CN104704416A - 用于对组织进行成像的系统和方法 - Google Patents

Abstract

一种用于对组织进行成像的方法和系统，包括：(i)使得组织表面的宏观图像在视觉显示器上显示；(ii)接收对宏观图像的至少一个部分的选择；(iii)使得由共焦成像器在组织的一部分的不同深度处捕获的多个共焦图像被显示；(iv)接收对至少一个目标深度图像的选择；以及(v)对于每个选择的目标深度图像，指示共焦成像器在不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。一种用于对组织进行成像的系统，具有宏观显示模块；第一选择模块；共焦显示模块；第二选择模块；以及指令模块，用于指示共焦成像器在组织的选择的区域上的不同位置处捕获多个图像。

Description

用于对组织进行成像的系统和方法

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求2012年8月15日提交的序列号为61/683,417的美国临时申请的优先权的权益，该申请的全部通过引用合并于此。

技术领域

本发明的实施例涉及用于共焦显微镜的用户界面，该用户界面使临床医生或者其他人能够在宏观和微观层面上检查组织并且捕获适合于对这种组织进行病理检查的图像。

背景技术

共焦显微镜将组织光学地分区段以产生组织的截面微观图像(此处称为共焦图像)。共焦显微镜的示例是由美国纽约Rochester的Caliber Imaging&Diagnostics公司(fka Lucid公司，在下文中称为Lucid公司)制造的共焦显微镜。在专利号为5,788,639、5,880,880、7,394,592、7,859,749、5,995,867和7,864,996的美国专利中描述了共焦显微镜的其它示例，这些专利的全部内容被合并于此。共焦显微镜光学地形成非组织学地制备的自然地或者外科手术地暴露的体内组织中的区段的图像，该图像对评估组织中的病变有用，而不需要活体组织检查以及对来自这种活体组织检查的组织学地制备的机械切片的组织样本的载玻片进行病理评估。此外，共焦显微镜对离体组织(即，从患者取出的组织)的病理检查也是有用的，而不需对该组织进行机械切片以及组织学制备以用于用传统显微镜在载玻片上观察。

具体地，美国专利No.7,864,996描述了用于对组织进行成像的共焦显微镜系统，具有：用于捕获宏观图像的宏观成像器，以及用于捕获一个或者多个组织上或者组织内光学形成的截面微观(共焦)图像的共焦成像器，组织附接装置(诸如组织环)，其中利用组织附接装置将宏观成像器和共焦成像器以与该装置预定义地对准的方式分别单独地提供给组织，由此共焦成像器相对于组织表面的成像位置与宏观图像空间上相关。计算机系统耦接至宏观成像器和微观成像器，并且具有显示器和存储器，该存储器用于存储从宏观成像器接收的至少一个宏观图像和(当从共焦成像器接收时的)共焦图像。可在计算机系统上操作的用户界面使宏观图像能够在耦接至计算机系统的显示器上显示，然后指示与可由共焦成像器成像的组织的视场相关联的宏观图像内的区域。用户界面使得能够在宏观图像中对共焦成像器的成像位置进行图形跟踪，并且把共焦成像器作为目标以在宏观图像中所选择的一个或者多个成像位置处捕获共焦图像。用户界面还使得能够在由共焦成像器捕获的共焦图像的一个或者多个位置的所显示的宏观图像上进行标记，该共焦图像由用户选择用于存储在计算机系统的存储器中。通常已将这种用户界面并入1500共焦显微镜中。

发明内容

使用美国专利No.7,864,996的共焦显微镜，临床医生或者其它培训的用户通过在显示器上导航用户界面来操作共焦显微镜，以便相对于所显示的捕获的微观图像选择在组织中的期望的位置处以及深度处的组织区段的单独的共焦图像。为了促进这种共焦图象获取，美国专利No.7,864,996的系统具有两个自动共焦图像捕获模式，称为和模式。在模式中，在相对于所显示的宏观图像的组织表面的共同位置处，在组织中的连续若干深度处捕获一组共焦图像。在模式中，捕获一组共焦图像，然后将该组共焦图像布置为合成图像以描绘组织中共同深度处的组织区域。用于采用美国专利No.7,864,996的技术的系统的指南(即，VivaScan Operations Guide，2011，Lucid，Inc.)的全部内容通过引用合并于此。使用美国专利No.7,864,996的用户界面的临床医生可能发现难以达到作为目标的要以模式捕获图像的期望深度；此外，临床医生还可能发现难以改变模式下的捕获的特性，诸如截面层的数量、深度或者共焦成像功率。

因此，本发明的实施例提供用于共焦显微镜的改进的用户界面，通过提供用于选择收集图像的部位的可视方法以及通过允许容易地导航(例如通过触摸屏或者鼠标)遍及所收集的图像，来使得能够实现附加的功能性以及临床医生或者其它用户在组织检查中容易使用。

在一个方面中，本发明的实施例包括用于对组织进行成像的方法，该方法包括使由宏观成像器捕获的组织表面的宏观图像在视觉显示器上显示。接收对宏观图像的至少一个部分的选择。对于宏观图像的每个选择的部分，使由共焦成像器在组织的对应部分中在不同深度处捕获的多个共焦图像显示在视觉显示器上。接收从所述多个共焦图像之中对至少一个目标深度图像的选择。对于每个选择的目标深度图像，指示共焦成像器在组织的选择区域上的不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。

可以包括下列特征中的一个或者多个。视觉显示器可以包括触摸屏。接收对宏观图像的至少一个部分的选择可以包括：识别对触摸屏上显示的宏观图像的至少一个部分的至少一个触摸。接收对至少一个目标深度图像的选择可以包括：识别对触摸屏上显示的至少一个共焦图像的至少一个触摸。识别组织的所选择的区域可以包括：识别对触摸屏上显示的宏观图像的至少一个触摸。

组织的所选择的区域可以对应于覆盖在宏观图像上的用户可调节区域。可以使网格覆盖在宏观图像上，该网格将宏观图像划分成块，所述块表示用于共焦成像器的步进电机的帧位置(frame position)。

在接收对宏观图像的至少一个部分的选择之后，可以使用于要捕获的共焦图像的图形输入在视觉显示器上显示。

图形输入可以包括用户可选择的输入，用于选择要捕获的共焦图像的深度、层计数和激光功率随深度的变化。

可以在组织的所选择的区域上的不同位置处分别捕获多个附加的图像。对于与选择的目标深度图像共同的至少一个深度，可以形成来自分别捕获的附加图像的组织的所选择的区域的合成图像。可以使合成图像在视觉显示器上显示。

在另一个方面中，发明的实施例包括用于对组织进行成像的系统。所述系统包括计算机存储器，该计算机存储器用于存储由宏观成像器和共焦成像器捕获的图像，以及用于存储限定指令的集合的代码；以及用于执行指令的集合的处理器。所述代码包括成像模块，配置为：(i)使由宏观成像器捕获的组织表面的宏观图像在视觉显示器上显示；(ii)接收对宏观图像的至少一个部分的选择；(iii)对于宏观图像的每个选择的部分，使由共焦成像器在组织的对应部分中的不同深度处捕获的多个共焦图像在视觉显示器上显示；(iv)接收从所述多个共焦图像之中对至少一个目标深度图像的选择；以及(v)对于每个选择的目标深度图像，指示共焦成像器在组织的选择区域上的不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。

可以包括下列特征中的一个或者多个。视觉显示器可以包括触摸屏。在接收对宏观图像的至少一个部分的选择中，成像模块可以配置为识别对触摸屏上显示的宏观图像的至少一个部分的至少一个触摸，和/或配置为识别对触摸屏上显示的至少一个共焦图像的至少一个触摸。成像模块还可以配置为：通过识别对触摸屏上显示的宏观图像的至少一个触摸来识别组织的所选择区域。

组织的所选择区域可以与覆盖在宏观图像上的用户可调节区域相对应。

成像模块还可以被配置为使网格覆盖在宏观图像上，该网格将宏观图像划分成块，所述块表示用于共焦成像器的步进电机的帧位置。

成像模块还可以被配置为：在接收对宏观图像的至少一个部分的选择之后，使用于要捕获的共焦图像的图形输入在视觉显示器上显示。图形输入可以包括用户可选择的输入，其用于选择要捕获的共焦图像的深度、层计数和激光功率随深度的变化。

所述多个附加的图像可以在组织的所选择区域上的不同位置处分别地被捕获。成像模块还可以被配置为：对于与选择的目标深度图像共同的至少一个深度，从分别捕获的附加图像形成组织的所选择的区域的合成图像。成像模块还可以配置为使合成图像在视觉显示器上显示。

在又一个方面中，发明的实施例包括用于对组织进行成像的系统。所述系统包括：(i)宏观显示模块，用于使由宏观成像器捕获并存储在计算机存储器中的组织表面的宏观图像在视觉显示器上显示；(ii)第一选择模块，用于接收对宏观图像的至少一个部分的选择；(iii)共焦显示模块，用于使对于宏观图像的每个选择部分由共焦成像器在组织的对应部分中的不同深度处捕获的并存储在计算机存储器中的多个共焦图像在视觉显示器上显示；(iv)第二选择模块，用于接收从所述多个共焦图像之中对至少一个目标深度图像的选择；以及(v)指令模块，用于指示共焦成像器对于每个选择的目标深度图像，在组织的选择区域上的不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。

附图说明

通过结合附图阅读下列描述，本发明的实施例的上述目的、特征和优点将变得更加明显，其中：

图1A是本发明的实施例的系统的示意图，该系统包括具有共焦成像器(或者成像头)的共焦显微镜、具有触摸屏显示器的计算机、和宏观成像器；

图1B是能够附接至图1A的宏观成像器和共焦成像器的组织附接装置或者组织环的示意图；

图1C是示出以和模式捕获的图像的关系的示意图；

图2是显示图1A的系统的自动模式操作的流程图，该自动模式操作用于获取以和模式捕获的图像中的一个或者多个集合；

图3是在由宏观成像器捕获宏观图像之后图1A的系统的显示器上的示例用户界面屏幕；

图4是图1A的显示器上的示例用户界面屏幕，显示覆在宏观图像上的图标，标记期望的以模式获取的位置；

图5A-5G是图1A的显示器上的用户界面屏幕上的模式中的简档(profile)窗口的示例，使用户能够选择参数(例如，深度、层或者区段数量和沿着不同层的共焦成像(激光)功率)以用于以模式的获取；

图6是图1A的显示器上的示例用户界面屏幕，显示以模式获取之后的图像中的每个组的图像以用于用户查看和接受；

图7是图4的相同示例屏幕，其中与模式相关的图标已在图形上发生改变以指示以模式获取的完成；

图8和图9是图1A的显示器上的示例用户界面屏幕，示出了以模式在不同深度处捕获的图像和对于每个获取的用户选择目标深度，其中图8没有显示目标深度选择，以及图9显示选择用于要以模式获取的四个不同图像集的目标深度的示例；

图10是图1A的系统的显示器上的示例用户界面屏幕，显示了在如例如图9所示为以模式捕获的每个图像选择目标深度之后相对于宏观图像用于获取的覆盖的用户选择区域；

图11-13是图1A的系统的显示器上的示例用户界面屏幕，用于通过宏观图像上覆盖的图形来查看在图10的所选择的区域内以模式捕获的图像和以模式捕获的图像；

图14是在来自图1A的共焦成像器的显示的图像的单个图像捕获手动模式期间图1A的系统的显示器上的用户界面屏幕的示例；

图15是在来自图1A的共焦成像器的显示的图像的视频捕获手动模式期间图1A的系统的显示器上的用户界面屏幕的示例；

图16是可以在以模式或者单个图像捕获手动模式获取期间捕获的来自图1A的共焦成像器的单个图像的示例；以及

图17是以模式获得的图像的示例，表示如可以在图11-13上查看期间显示的在所选择深度的一个深度处的来自共焦成像器的图像组的合成图像或者图。

具体实施方式

参照图1A和图1B，系统10具有如在先前提到的美国专利No.7,394,592和No.7,859,749以及国际专利申请No.PCT/US04/16255(其全部内容通过引用合并于此)中描述的共焦显微镜12。合适的共焦显微镜可以是由Rochester,NY的Lucid公司制造的1500显微镜。共焦显微镜12具有耦接至具有触摸屏54的显示器16的计算机系统14(诸如个人计算机(PC))。

计算机系统14从共焦成像器(成像头)18接收表示光学形成的微观截面图像的共焦图像，诸如细胞或其它组织结构，该共焦成像器18作为安装在具有前臂21和后臂22的多轴臂机构20上的万向节(gimble)。共焦成像器18具有鼻管24(优选地由透明塑料制成)，该鼻管在共焦成像器18前面附接至锥形毂(conical hub)26。手动地抓住并且移动把手28以允许共焦成像器的多轴移动。线缆沿着臂21和臂22延伸以提供电力并且使得能够在共焦成像器18和计算机系统14之间进行通信。

如在美国专利No.7,394,592和No.7,859,749以及国际专利申请No.PCT/US04/16255中描述的，在共焦成像器18中设置有三个步进电机驱动器，该步进电机驱动器分别地驱动X方向台(stage)驱动电机、Y方向台驱动电机和在Z方向上移动共焦成像器中的共焦光学器件的物镜的电机，其中X、Y、Z是正交维度。在组织成像中，X和Y维度基本上平行于正在对其或者穿过其成像的组织的表面，以及Z基本上垂直于该表面以控制共焦成像的深度。电机可以由用户驱动，经由计算机系统向一个或者多个电机发送信号改变成像位置。

系统10还具有宏观成像器(或者拍摄装置)32，宏观成像器(或者拍摄装置)32经由线缆31附接至计算机系统14的端口(诸如USB端口)以用于数据通信，以使得计算机系统可以从成像器32接收宏观图像。成像器32和计算机系统14处的常规硬件和软件可以设置用于接口连接(interface)和传递数字图像。宏观图像向计算机系统14提供10x10mm的宏观图像，该宏观图像可以是例如1000x1000像素。这与共焦成像器的例如4x4mm可成像区形成对比；共焦成像器的可成像区可以是有些不同的大小，诸如8x8mm或者20x20mm。宏观成像器32可以是可从Rochester，NY的Lucid公司获得的成像器。这种宏观成像器(其在系统10中的使用和操作)可以类似于美国专利No.7,864,996中描述的宏观成像器。宏观成像器32还可以表示常规数字拍摄装置，其可以与计算机系统12接口连接以从拍摄装置接收数字图像。如还是在美国专利No.7,864,996中描述的，组织附接装置可以黏附地耦接至组织，组织附接装置由组织底座48至具有窗口52的组织环30提供，其中该组织环可单独安装至宏观成像器和共焦成像器。组织环30表示具有中央开口30a的组织附接装置。组织环30可以由对磁体有磁性吸引力的金属材料制成以使得可由磁力可释放地接合至组织环底座48。在使用中，环形薄透明材料窗口52(例如，由塑料或者玻璃形成)由粘合剂环(例如，双面胶带)附接至组织环30的底面，该粘合剂环在开口30a的视场外部。突片52b从窗口52延伸，用于稍后从组织环30拆卸窗口52以及用于如稍后在下面将描述的对准。另一粘合剂环(例如，双面胶带)类似地在开口30a的视场外部沿着前表面52b以用于附接至组织。在图3和图4的示例中示出组织环30附接至组织，从而可通过组织环开口30a观察组织并且组织延伸到附接的组织环30以外。

系统10具有表示在计算机系统14的存储器中操作的程序或者应用的图形用户界面(GUI)。GUI的代码可以包括成像模块，其被配置为：(i)使由宏观成像器捕获的组织表面的宏观图像在视觉显示器上显示；(ii)接收对宏观图像的至少一个部分的选择；(iii)使对于宏观图像的每个所选择部分由共焦成像器在组织的对应部分中在不同深度处捕获的多个共焦图像在视觉显示器上显示；(iv)接收从多个共焦图像之中对至少一个目标深度图像的选择；以及(v)对于每个所选择的目标深度图像，指示共焦成像器在组织的所选择区域上的不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。

成像模块可以包括其它模块，诸如：(i)宏观显示模块，用于使由宏观成像器捕获并存储在计算机存储器中的组织表面的宏观图像在视觉显示器上显示；(ii)第一选择模块，用于接收对宏观图像的至少一个部分的选择；(iii)共焦显示模块，用于使对于宏观图像的每个所选择部分由共焦成像器在组织的对应部分中的不同深度处捕获并存储在计算机存储器中的多个共焦图像在视觉显示器上显示；(iv)第二选择模块，用于接收从多个共焦图像之中对至少一个目标深度图像的选择；以及(v)指令模块，用于对于每个所选择的目标深度图像，指示共焦成像器在组织的所选择区域上的不同位置处并且在与目标深度图像的共同深度处捕获多个附加的图像。

用户界面可以由显示器16的触摸屏54和耦接至显示器16的计算机系统14来实现，使用户能够通过触摸屏54操作系统10。代替触摸屏54，或者除触摸屏54以外，还可以使用其它指点机构(例如，鼠标、轨迹球等等)以类似地使用户能够选择移动、选择(点击)和/或拖拽所显示的图形元素。

参照图1C，在下面的讨论中，使用术语和(也在美国专利No.7,864,996中进行了描述)。模式是系统10的编程的操作，用以自动地操作共焦成像器18以分别在不同的Z电机台位置处但是在相同X和Y共焦图像位置台位置处，捕获一系列共焦图像200，然后将其存储在计算机存储器中。换句话说，以模式获得的共焦图像集是在共同X、Y帧位置处在组织中的连续深度处的多个共焦图像的集合或者组。模式是系统10的编程的操作，用以自动地操作共焦成像器18以分别在不同的X和Y共焦图像位置台位置处但是在相同的Z电机台位置处，捕获一系列共焦图像210，然后将其存储在计算机存储器中，所述一系列的共焦图像然后被结合成单个合成共焦图像。用户可以查看宏观图像215，然后以模式制备一系列的200的图像。用户还可以查看以模式获得的系列200的图像，并且选择目标深度220用于进一步查看。然后，用户可以请求或者查看全部在共同深度处(即，目标深度220)以模式得到的一系列120图像。换句话说，以模式获得的图像表示被布置以描绘组织中共同深度处的组织区域的组织区段图像。总之，图1C描绘了由以模式的图像获取限定的层210，其中每个列表示以模式捕获的一系列200图像。

在系统10的GUI的讨论中，此处使用术语诸如触摸、选择、轻击(tap)、按压、拖拽、点击来描述用户手指触摸屏幕54(或者足够靠近屏幕以感测手指)的操作以使得能够实现期望的操作，如在计算机系统14和显示器16上操作的图形用户界面触摸屏硬件和软件的通常的操作。

参照图2，示出了图1A的系统10的操作的流程图，将结合图3-15的用户界面屏幕54进行讨论。在步骤56处，如在美国专利No.7,864,996中描述的，宏观成像器32位于要共焦成像的组织70(诸如病变72或者所关心的其它组织结构)上，而组织环30和附接至组织环30上的窗口52附接至成像器32，并且组织环30和窗口52黏附至组织。优选地，用户在屏幕54上查看组织70(作为窗口75中的数字视频图像)，使得如图3的示例中那样显示病变72，然后用户在组织的方向上对宏观成像器32施加足够压力以使得面向组织的窗口52的下表面上的粘合剂将组织环和窗口组件粘附并且保持在组织上。

然后，在组织环30黏附地耦接至组织的情况下，捕获宏观图像。当宏观成像器32是由Lucid公司销售的拍摄装置时，成像器32具有把手和触发器用以启动、停止或者重置拍摄装置。用户在组织的方向上对宏观成像器32的壳体34施加压力，该壳体响应地相对于组织环30和鼻管38的至少部分向前滑动以便致动成像器32中的机械开关以捕获病变72的高分辨率宏观图像74(在窗口75中)。

可选地，宏观成像器32上的开关或者按钮41或者屏幕54上的触摸按钮可以用于捕获窗口75中的数字视频图像中的一个作为宏观图像74。接下来，如在美国专利No.7,864,996中描述的，从组织环30拆卸宏观成像器32，以及将共焦成像器18附接至并且对准至组织环以用于捕获共焦图像。

用户界面屏幕54在屏幕的右上方处具有模式选择和捕获控制面板69，具有图形按钮77a、77b、77c、和77d，用户可以触摸以选择系统10的四个操作模式中的一个。可以通过按钮选择两个自动操作模式：模式按钮77a和模式按钮77b。可以通过按钮选择两个手动操作模式：单个图像捕获模式按钮77c和视频捕获模式按钮77d。滑动条77g沿着水平滑轨77f的位置指示当前操作模式。在控制面板69上还设置有按钮77e，该按钮77e在不同模式中的每一个模式中改变其图标或者图形，以及该按钮77e使用户能够控制对于所选择的系统10的操作模式特定的一个或者多个操作，这将在下面更详细描述。

在捕获宏观图像74之后，图3的用户界面屏幕54显示有覆在图像74上的网格79(步骤57)。共焦成像器18的X、Y台被表示为整个帧电机位置的网格79。在一个实施例中，网格79将图像划分成例如16x16个方形块，其中每个块表示共焦成像器的X、Y台电机的帧位置。网格中方形的数量可以根据台大小改变，例如，由于1帧具有0.5mm的尺寸，所以8x8mm＝16x16帧。例如，如分别由X和Y轴76a和76b描绘的，该网格可以是8乘8mm。在另一个实施例中，台进一步地再分成对于每个可能X/Y坐标的可选择的点，并且可见的网格线被隐藏而无法观察，允许X/Y电机在台内的任何可能位置处。尽管在捕获宏观图像74之后系统10默认模式(其中按钮77e具有模式图形或者图标(参见图3))，但是系统10在等待用户选择对屏幕54的动作。

在四个操作模式中，将首先讨论模式。为了启动模式，用户在图形按钮78上轻击以启动“布局”在任何期望位置处标记期望的模式位置，例如，(i)相对于宏观图像74中显示的组织沿着网格79中的一个或者多个不同方形块或者(ii)在重叠的网格边缘处。另一个实施例可以不视觉地显示网格，允许设置在X/Y台坐标内的任何点处。响应于被启动，按钮78在颜色上发生变化(诸如蓝色)。然后，如例如图4中图示的，用户在网格79中的一个或者多个块上轻击以标记期望的模式位置80(步骤58)。然后，在每个选择的位置处，图形模式图标在块中显示，用图钉图形指示其选择(步骤58)。为了移除特定的选择的模式位置80，用户在网格79中其位置处再次轻击。为了禁用“布局”，用户在图形按钮78上再次轻击，其变回至它的原始颜色。以这种方式，用户可以选择期望模式的获取的位置。例如，可以在病变与周围组织之间的边界附近选择模式位置80，但也可以选择网格79中限定的组织的任何宏观图像区。如果没有启用“布局”，那么用户可以触摸块或者在块上拖拽他的手指以在X、Y方向上为共焦成像器18导航(定位X、Y台电机)。

在标记期望的模式位置80之后，接着由用户轻击按钮77e；由于系统10处于模式，因此提供启动按扭以通过如图5A所示覆在屏幕上的模式简档窗口81启动模式简档选择(步骤59)。模式简档窗口81使用户能够改变参数，通过这些参数将由系统10自动捕获每个(步骤60)。具体地，模式简档窗口81图形地图示了共焦成像器18将怎样通过递增(或者递减)深度Z自动地捕获固定的X、Y位置处的帧。这使用户能够查看，并且如果需要的话改变，模式目标深度、层(或者区段)数量、和激光功率随深度的变化(共焦成像器使用来自激光的照射产生图像)。激光功率随着正在成像的组织区段的深度而增大强度，如通过在成像深度沿着垂直深度刻度84降低时增加区或者区域96的宽度而图形地示出的。沿着深度刻度84的水平线89表示组织中的每个层，将参照其沿着刻度84近似深度捕获共焦图像。

模式简档窗口81使用户能够选择三个参数：深度、层计数和随深度的激光功率改变。通过用户将滑动条82(例如，小蓝框)拖拽至如刻度84指示的目标深度，来设置以模式收集的图像的深度，诸如通过将图5A的滑动条82在图5B中向下重新定位所示出的。顶层89a与最底层89b之间的深度范围90用括号中的层数量显示。例如，图5A中的层89b的目标深度是344.4微米，15层，而在图5B中是620.3微米，27层。线89a上方的顶部水平线表示0微米处的组织表面。最上层的开始深度在两种情况下相同，都在22微米处，或者用户可以标记相对零点。下方按钮121是用于设置相对零的图形图标。该图标或者按钮(当轻击时)允许用户将当前深度设置为“零”并且在这样做时，设置以模式收集的每个图像集合的开始深度。如果用户没有按压该按钮来将当前深度手动标记为零，那么系统可以将当前深度自动地标记为相对零并且从该位置开始所有堆叠。因此，以模式收集的图像通常从相对零开始，并且相对零是用户定义的，或者，如果用户没有设置，那么为用户将相对零设置在用户发起VivaStack图像获取时用户所处的任何深度处。目标深度基于可能的Z电机步进大小(消除推测和舍入误差)以量化方式移动。层89中的每一层处的共焦成像器的激光功率由阴影或者暗区96图形描绘，以使得每个层89之间的功率增量由在增加的深度中的区域96指示。

如果用户希望添加或者减少以模式捕获的图像集中的层数量，则通过按钮86和87选择层计数，其中用户可以在垂直滑动条88的任一边上按压+/-按钮86和87以分别增加或者减少要在层89a与89b之间捕获的层89的数量。例如，在图5C中，如层89a与89b之间附加的水平线图形地指示的，层数量增加到83。深度范围90还可以由于Z台电机移动的步进大小而改变。这还将每两个连续层89之间的深度差从如图5A和5B所示的深度差默认值改变。

激光功率由按钮92和93选择，其中用户可以在水平滑动条94上按压+/-按钮92和93以分别在DAC(数字模拟转换)计数的方面增加或者减少激光功率(共焦成像功率)水平，以在每一层89之间增量，如诸如图5D所示的从图5C的区96的形状变化所指示的。用户界面通过0-255DAC计数的范围控制激光，并且这些计数产生毫瓦级的结果激光功率。此外，用户可以在区96的两侧处或者靠近区96的两侧同时触摸以增大或者减小其宽度以提供更多调节(tailor)的激光功率简档。例如，在图5E中，如沿着区96的部分98所指示的，用户可以选择“收缩(pinch)”期望层89处的激光功率，使得激光功率在深度范围中增大和减小。因此，当以模式收集的每个图像集由共焦成像器18捕获时，用户可以选择期望的激光功率简档。

可选地，用户可以通过激活自动图像控制(AIC)按钮91而轻击以改为使用自动图像控制，这接着由出现区96如图5F中所示的来指示。AIC在共焦成像期间自动地选择激光功率，这通过根据期望范围内的图像的像素值来控制激光功率而提供最佳图像，从而避免曝光不足或者曝光过度的成像。尽管为了图示目的，这通过使区域96变窄来显示，但是还可以示出AIC选择的其它图形图示。

在图5A-5G中，已经将图3和图4的窗口75中的先前图像降低了分辨率并且显示在窗口75a中。窗口75目前显示了共焦成像器18的所显示的输出共焦图像。先前，如在图3中，窗口75a显示了共焦成像器18的所显示的输出共焦图像。按照需要，窗口75a上任何地方的轻击切换或者翻转屏幕54上的窗口75和75a中的图像。为了图示目的，在简档选择期间，在窗口75中显示共焦成像器18的共焦图像。在窗口75a中，网格79的块中的一个具有覆盖颜色(诸如蓝色)，指示在窗口75中的图像的共焦成像器18的X、Y台电机的当前位置。按钮73显示了捕获的上一个图像的缩略图-不管它是以或者模式捕获的图像集合或是宏观图像、单个帧捕获还是视频。通过按压按钮73，用户得到简单窗口。

当完成模式简档选择时，用户轻击模式简档窗口81中的开始按钮100以开始由系统10以模式的获取。如果用户改为按压取消按钮101，则窗口81被移除并且显示图4的屏幕54。用户还可以通过轻击简档窗口81外部的任何地方取消模式简档选择并且关闭窗口81。诸如图5A-5E中显示的由用户选择的模式简档设置可以保存在计算机系统14的存储器中并且被取回用于稍后的再执行(如果需要)。用户不需要对模式的获取参数或者设置做出任何改变，而是可以仅仅在模式简档窗口81第一次打开之后在开始按钮100上轻击。

响应于用户选择开始按钮100，系统10操作共焦成像器18以按照每个模式简档对于每个选择的模式位置80获取不同深度处的图像(步骤61)。系统10根据位置80(根据其在网格79上的X、Y位置)自动地定位X、Y电机，在Z电机步进中根据模式简档，层89经由组织环30的窗口52捕获对于每个层的组织的截面共焦图像。图像存储在计算机系统14的存储器中。

图6表示简短显示的屏幕54，诸如从上到下和从左到右以随深度获取的次序的在每个位置80处以模式捕获的图像的每个集或者组之间的预定义的2-3秒钟等待周期(或者计算机系统10的存储器中的其它预定义周期)。这允许用户通过轻击图标或者按钮104接受图像，通过在图标或者按钮105上轻击在窗口75中以幻灯片的方式重放来预览图像，或者如果图像是不能够接受的则通过在图标或者按钮106上点击来删除图像。如果在等待周期之后用户什么都没做，那么自动地接受在该位置80处以模式捕获的图像，在这一点处系统继续获取下一个模式标记位置80(如果有的话)。在图6中，图4的屏幕目前在窗口75a中，并且与图6中显示的图像相关的标记的位置80的块具有不同颜色(诸如蓝色)，指示共焦成像器18的X、Y电机的当前位置。如果用户选择取消按钮105，那么对于该位置和尚未以模式捕获的任何位置，以模式捕获的整个过程结束。如果以模式捕获的一个或者多个较早的图像集被接受，那么这些图像被存储并且稍后可用于重放。所有接受的以模式捕获的图像的一个或者多个集被存储在计算机系统10的存储器中。如果有要以模式捕获的图像的任何请求的集尚未启动/完成，那么当显示宏观图像74时它继续由其关联图标80显示。这允许用户做出调节，然后再次启动，从而系统10在完成所有以模式获取中将基本上从其停止的位置处重新开始。

在步骤62处，以模式获取的图像集在图7的屏幕54上被图形地指示为已完成。图7的屏幕54与图4中的相同，但是代替屏幕上的模式位置图标80，出现模式图标80a，该模式图标80a图形地改变(例如，移除图钉图形)以显示完成。对于任何要以模式获取而没有完成的图像集，其图标将保持为图标80，诸如如果用户在查看图6期间取消以模式的任何获取。如早先结合图4描述的，用户可以可选地使用启用按钮78来移除或者选择以模式捕获的图像的另一个位置，然后重复步骤58-62。

在步骤63处，用户可以接着通过在如图7所示的屏幕54上的对应位置80a上轻击来查看以模式捕获的任何已完成的图像80a集的图像。当轻击位置80a处以模式捕获的完成的图像集时，如例如在图8的屏幕54中所示的，系统10响应地针对该图像集从计算机系统12的存储器加载并且显示捕获的图像。按照捕获的顺序(即，随着渐增深度)从上到下和从左到右显示以模式捕获的该选择的图像集的每个共焦图像108。尽管为了图示目的，由斜线图示每个图像，但是在图16中显示共焦图像的示例。当轻击箭头按钮112时回到图7的屏幕54。如果图8和图9的屏幕54上的图标或者按钮105被用户轻击，则启用在窗口75中以幻灯片方式在图像108的屏幕上的重放。然而，用户可以通过按压图标或者按钮106移除以模式捕获并且在图8中显示的图像，这使屏幕返回至图7的屏幕，其中移除的以模式捕获的图像集的位置80a也被移除。

在图8的屏幕54中，在对位置80a处以模式捕获的图像进行任何查看期间，用户使用该图像来选择用于以模式捕获图像的深度。每个图像108包括图标110，当点击时起作用以在视觉上限定用户想要进行以模式捕获图像的深度。图标110当由用户点击时图形地改变(例如，颜色和网格图示)以指示对在捕获图像的Z台的深度处以模式捕获的图像集的选择(如由选择的图标110a、110b、110c、110d在例如图9的屏幕中显示的)。可以通过选择不同图像108的图标110选择一个或者多个深度。为了取消选择，可以再次点击图标110。如由图9的控制面板69显示的，已经选择一个或者多个层以在所述一个或者多个层处以模式执行图像获取的动作自动地激活模式。如果需要，用户可以按压充当后退按钮的箭头按钮112以使用户返回至前页屏幕，允许随后查看其它图像集。

在由选择的图标110标记用于模式获取的一个或者多个期望目标深度之后，按钮77e(目前具有图形)可以接着由用户轻击以启动用于模式获取的区域选择，如在例如图10上的屏幕54中所示出的，宏观图像74带有覆盖网格79。该屏幕使用户能够使用可调节矩形区域114选择模式布局(步骤64)。用户点击/按压宏观图像74内的相对角，从而限定用户希望获取的矩形区域114。以该方式，用户可以选择将由系统10在来自图9的Z上的相应目标深度处实施每个模式获取的整个X、Y区域。在图3-10的示例的病变72情况下，选择包括病变72的6乘7块区。如果用户希望改变区域114，那么他可以在所选择的区域114外部按压一次来清除区域，然后再轻击相对的角来重新选择。可选地，可以通过用手指拖拽角来重新调整角。不同于美国专利No.7,864,996的用户界面，其中用户可能被局限于整数毫米，本发明可以选择围绕区域114中心的正方形图形大小以允许在如网格79的范围所表示的共焦成像器的视场中的总体宏观检查内的任何大小(在视场的增量中)和任何位置。

在选择区域114之后，用户轻击屏幕54上的箭头按钮115以由系统10启动模式获取，并且在先前从一个或者多个模式查看屏幕中选择的每个目标深度处以模式捕获图像集(步骤65)。对于每个模式的图像集，系统10在用于模式获取的目标深度处自动地定位共焦成像器18的Z电机，然后使X、Y电机步进以根据区域114内的每个网格79块捕获共焦图像。如果不使用AIC模式，那么系统10还可以设置激光功率。将图像存储在计算机系统14的存储器中以提供如例如图17所示的合成图像。对于每个模式获取，除非当以模式捕获图像时使用AIC(在该情况下仅按照深度指定模式)，激光功率被自动地设置为与以模式来捕获与目标深度相关联的图像时使用的激光功率相同的激光功率。

与模式获取类似，在每个以模式自动获取的图像之间，类似于图6，在由系统10的计算机系统12形成合成图像之前或者之后用以模式捕获的每个图像集显示屏幕54，允许用户在进行到在下一个连续深度(如果有的话)处的下一个模式获取之前以与早先结合图6对于每个模式获取进行描述的方式相同的方式来接受、拒绝或者查看图像或者合成图像。如果用户取消模式获取，那么系统回到图9的屏幕54，以使用户在启动尚未完成的任何模式图像的集的获取之前能够对在一个或者多个深度选择和/或区域114选择上做出改变。这允许用户在自动获取过程期间根据需要做出调节。

在以模式图像捕获之后，图11的屏幕54被显示为模式图像之后的捕获后“会话图”，然后模式图像被自动地捕获并且存储在计算机系统14的存储器中(步骤66)。在之前的图3、图4以及图6-10中上述的示例中，在位置80a处示出以模式捕获的图像，以及虚线围封用模式获取描绘的区域114。

为了查看模式获取，由用户轻击其在位置80a处的关联图标，然后从计算机系统14的存储器加载用于在屏幕54上显示(诸如例如在图6中显示的)(步骤67)。

为了查看区域114中的模式获取，如例如在图12中显示的，对描绘的区域114内部的屏幕54(除了图标80a))的轻击在区域114中显示模式合成图像126a(步骤69)。通过重复地点击或者轻击描绘的区域114内部(除了图标80a)，如果已经以模式捕获了超过一个图像集，那么用户可以滚动每个连续深度的合成图像(在该连续中图像或者图像中的一个是与区域114相关联的宏观图像)，如由分别由图12和13所示，用于模式获取126a和126b。通过点击或者轻击窗口75中的区域114外部，合成图被隐藏并且再次显示图像74的宏观区域114。因此，用户可以快速轻击区域内部或者外部以在视觉上比较/切换模式共焦检查与和其相关的总体宏观区域114。为了图示目的，尽管由斜线图示图12和13的每个模式获取的合成图像或者图，但是在图17中显示合成图像或者图的示例。用宏观图像74的缩略图代替共焦面板69，并且在该缩略图上点击调出其它缩略图用于查看和选择与正被成像的组织相关的其它捕获图像。为了图示目的，图像74的缩略图被显示为白框。

可选地，如在美国专利No.7,864,996中描述的，用户可以调节视觉滑动条(未示出)以调节透明度，从而将模式获取的合成图与宏观图像74的区域114混合，以相对于不同共焦图像调节两个不同的覆盖图像的贡献。当由用户按压图12和13的区域114的区域114的右下方处的图形图标时，以高分辨率加载模式获取用于以全屏模式全景显示/缩放。

参照图3的面板，其示出了就在宏观图像74捕获之后的用户界面屏幕54，用户可以通过轻击按钮77c选择来自共焦成像器18的所显示图像的单个图像捕获模式。在图14中显示单个图像捕获手动模式期间的屏幕54的示例，其中从共焦成像器馈送的活动图像显示在窗口75中，以及宏观图像74目前在窗口75a中显示。如早先描述的，激光功率由按钮116和117选择，其中用户可以按压水平滑动条118上的+/-按钮116和117以分别地增大或者减小激光功率(共焦成像功率)的水平或者选择按钮120用于AIC控制。用户还可以按压+/-按钮之间的线118上的任何地方以“跳”至功率。垂直深度滑动条以相同方式起作用。按钮121和122控制成像的深度(Z台电机位置)，其中用户可以按压+/-按钮121和122或者在垂直滑动条123上按压来增大或者减小窗口54a的宏观图像74中如通过颜色(诸如蓝色)加亮的X、Y电机位置处的成像深度。可以通过用户在窗口74中在引导方向上滑动他的手指来改变该X、Y电机位置，或者当图像74翻转到窗口54中时类似地使用图像74。如果用户希望捕获正显示的共焦图像，那么由用户轻击按钮77e(目前具有单个捕获模式图形)，其中处于单个捕获模式的系统10将窗口74中的图像存储在计算机系统14的存储器中。

用户可以通过轻击按钮77d选择来自共焦成像器18的所显示图象的视频图像捕获模式。作为响应，系统10提供与图14的屏幕54相同的诸如图15中显示的屏幕54，但是按钮77e具有红色圆圈图标，这使能启动对窗口75中显示的共焦图像的视频捕获，然后停止对窗口75中显示的共焦图像的视频捕获。当正在获取块、堆叠或者视频时，用户不能改变模式。需要完成获取(或者在视频的情况中停止)来改变模式。

参照图5G，为了查看上面描述的系统10的操作模式中的任何一个期间的所有图像，在屏幕54上设置按钮73，当由用户按压时，该按钮73调出用于显示所有捕获图像的缩略图图像。如果用户接着按压这些缩略图图像中的一个，那么该图像以高分辨率显示用于以全屏模式全景显示/缩放。按钮73的图形是由系统10捕获的上一个图像的缩略图图像。此外，在屏幕54上有启动/停止共焦扫描按钮71，当按压该共焦扫描按钮71时，由系统10启动或停止共焦成像器操作。

在成像期间的任一点处，通过点击或者按压或者内的任何先前捕获的图像或者区域，如窗口54a中显示的那样，共焦成像器18自动地回到获取该特定帧的位置(电机和激光功率/波长两者)。

在图3的屏幕54中，覆盖宏观图像74的网格79建模共焦成像器18的X、Y台并且可以对X、Y台相对于图像74而被导航所沿着的位置(网格块)进行标记痕迹(诸如用颜色或者其它指示符标记该深度)，并且因此维护关于由用户执行的共焦成像的信息。还可以在没有宏观图像的情况下使用该功能来为共焦成像器18的X、Y台导航。换句话说，用手指擦过主窗口75来控制X/Y台电机，诸如左、右、上、下以及所有四个对角方向。因此，此处描述的用户界面能够在将宏观成像器32用作或者不用作系统10的一部分的情况下来操作。

可以在覆盖在宏观图像74上的网格79框中的一个中由颜色加亮共焦显微镜X和Y电机台的当前位置。除了在屏幕上显示的当前深度(按照成像深度的Z台位置)以外，另外的颜色也可以表示深度。用户可以相对于在一个或者多个该位置处成像的组织将X、Y电机台重新定位至任何块(或者沿着网格拖拽手指)。先前查看的X、Y块可以继续由颜色加亮以指示相对于台或者宏观图像(如果捕获)所成像的区域。

还可以在系统10中使用可从Lucid公司获得的其它共焦显微镜(诸如2100或者2500)，通过将它们的成像头与组织底座48适配，使得它们可以被定位为当安装至患者体内或者离体组织样本时接合组织环30。尽管申请描述了用于利用共焦显微术对光学形成的微观区段进行成像的共焦成像器，但是也可以使用其它成像器来提供根据双光子显微术或者光学相干层析技术对光学形成的微观区段的操作。此外，也可以使其它光学显微镜与该组织底座48适配。诸如，例如，根据光学相干层析技术或者干涉测量法(诸如在Schmitt等人的“Optical characterization ofdisease tissues using low-coherence interferometry,”Proc.Of SPIE,Volume 1889(1993)中描述的)或者双光子显微术(诸如在1991年7月23日颁布的Denk等人的美国专利No.5,034,613(其全部内容通过引用合并于此)中描述的)来操作的显微镜。

也设想了可选的实施例。例如，一个实施例可以使用系统10捕获在Z方向上彼此叠置的非常紧密间隔的层(即，以模式)，然后在3D空间中重建那些层。一个实施例可以接着通过皮肤的每个共焦成像层从总体宏观图像提供整个病变的手指/手势控制的3D可视化。由于重建中的每个图像与坐标空间内的所有其它图像相关，因此可以提供从皮肤下至细胞分辨率的共焦图像的整个病变的交互式3D建模，而不是对于以或者模式得到的每个系列图像具有单个屏幕或者面板。

在一些实施例中，在没有用户交互的情况下，软件可以被设计成指示硬件捕获病变的整体宽度和深度。图像集可以随后呈现在3D空间中，允许用户使病变可视化，并且可选地直接扫描至特定位置。

通过上面的描述，改进的用户界面软件将变得显而易见，并且已经提供了使用该用户界面的系统和方法，该系统和方法提供直观的、用户友好的以及触摸使能的成像界面并且因此特别适合于临床医生。上面的描述应当理解为说明性的并且没有限制性意义。尽管此处已经描述和描绘了本发明的若干方面，但是本领域技术人员可以实施替代方面以完成相同目标。因此，所附权利要求旨在覆盖所有该落在本发明真实精神和范围内的替代方案。

Claims (25)

1.一种用于对组织进行成像的方法，包括：

使由宏观成像器捕获的组织表面的宏观图像在视觉显示器上显示；

接收对所述宏观图像的至少一个部分的选择；

对于所述宏观图像的每个选择的部分，使由共焦成像器在所述组织的对应部分中的不同深度处捕获的多个共焦图像在所述视觉显示器上显示；

接收从所述多个共焦图像之中对至少一个目标深度图像的选择；以及

对于每个所选择的目标深度图像，指示所述共焦成像器在所述组织的选择的区域上的不同位置处并且在与所述目标深度图像的共同深度处捕获多个附加的图像。

2.根据权利要求1所述的方法，其中所述视觉显示器包括触摸屏。

3.根据权利要求2所述的方法，其中接收对所述宏观图像的所述至少一个部分的所述选择包括：识别对所述触摸屏上显示的所述宏观图像的至少一个部分的至少一个触摸。

4.根据权利要求2所述的方法，其中接收对所述至少一个目标深度图像的所述选择包括：识别对所述触摸屏上显示的至少一个共焦图像的至少一个触摸。

5.根据权利要求2所述的方法，还包括：通过识别对所述触摸屏上显示的宏观图像的至少一个触摸来识别所述组织的所述选择的区域。

6.根据权利要求1所述的方法，其中所述组织的所述选择的区域与覆盖在所述宏观图像上的用户可调节区域相对应。

7.根据权利要求1所述的方法，还包括：使网格覆盖在所述宏观图像上，所述网格将所述宏观图像划分成块，所述块表示用于所述共焦成像器的步进电机的帧位置。

8.根据权利要求1所述的方法，还包括：在接收对所述宏观图像的所述至少一个部分的所述选择之后，使用于要捕获的所述共焦图像的图形输入在所述视觉显示器上显示。

9.根据权利要求8所述的方法，其中所述图形输入包括用户可选择的输入，用于选择要捕获的所述共焦图像的深度、层计数和随深度的激光功率变化。

10.根据权利要求1所述的方法，其中所述多个附加的图像分别在所述组织的所述选择的区域上的所述不同位置处被捕获。

11.根据权利要求10所述的方法，还包括：对于与选择的目标深度图像共同的至少一个深度，从所述分别捕获的附加图像形成所述组织的所述选择的区域的合成图像。

12.根据权利要求11所述的方法，还包括：使所述合成图像在所述视觉显示器上显示。

13.一种用于对组织进行成像的系统，包括：

计算机存储器，用于存储由宏观成像器和共焦成像器捕获的图像，以及用于存储限定指令的集合的代码；以及

处理器，用于执行所述指令的集合，

其中所述代码包括成像模块，所述成像模块配置为：

(i)使由所述宏观成像器捕获的组织表面的宏观图像在视觉显示器上显示；

(ii)接收对所述宏观图像的至少一个部分的选择；

(iii)对于所述宏观图像的每个选择的部分，使由所述共焦成像器在所述组织的对应部分中的不同深度处捕获的多个共焦图像在所述视觉显示器上显示；

(iv)接收从所述多个共焦图像之中对至少一个目标深度图像的选择；以及

(v)对于每个选择的目标深度图像，指示所述共焦成像器在所述组织的选择的区域上的不同位置处并且在与所述目标深度图像的共同深度处捕获多个附加的图像。

14.根据权利要求13所述的系统，其中所述视觉显示器包括触摸屏。

15.根据权利要求14所述的系统，其中在接收对所述宏观图像的所述至少一个部分的所述选择中，所述成像模块被配置为识别对所述触摸屏上显示的所述宏观图像的至少一个部分的至少一个触摸。

16.根据权利要求14所述的系统，其中在接收对所述至少一个目标深度图像的所述选择中，所述成像模块被配置为识别对所述触摸屏上显示的至少一个共焦图像的至少一个触摸。

17.根据权利要求14所述的系统，其中所述成像模块还被配置为：通过识别对所述触摸屏上显示的所述宏观图像的至少一个触摸来识别所述组织的所述选择的区域。

18.根据权利要求13所述的系统，其中所述组织的所述选择的区域与覆盖在所述宏观图像上的用户可调节区域相对应。

19.根据权利要求13所述的系统，其中所述成像模块还被配置为：使网格覆盖在所述宏观图像上，所述网格将所述宏观图像划分成块，所述块表示用于所述共焦成像器的步进电机的帧位置。

20.根据权利要求13所述的系统，其中所述成像模块还被配置为：在接收对所述宏观图像的所述至少一个部分的所述选择之后，使用于要捕获的所述共焦图像的图形输入在所述视觉显示器上显示。

21.根据权利要求20所述的系统，其中所述图形输入包括用户可选择的输入，用于选择要捕获的所述共焦图像的深度、层计数和随深度的激光功率变化。

22.根据权利要求13所述的系统，其中所述多个附加的图像分别在所述组织的所述选择的区域上的所述不同位置处被捕获。

23.根据权利要求22所述的系统，其中所述成像模块还被配置为：对于与选择的目标深度图像共同的至少一个深度，从所述分别捕获的附加图像形成所述组织的所述选择的区域的合成图像。

24.根据权利要求23所述的系统，其中所述成像模块还被配置为使所述合成图像在所述视觉显示器上显示。

25.一种用于对组织进行成像的系统，包括：

宏观显示模块，用于使由宏观成像器捕获并且存储在计算机存储器中的组织表面的宏观图像在视觉显示器上显示；

第一选择模块，用于接收对所述宏观图像的至少一个部分的选择；

共焦显示模块，用于对于所述宏观图像的每个选择的部分，使由共焦成像器在所述组织的对应部分中的不同深度处捕获并且存储在所述计算机存储器中的多个共焦图像在所述视觉显示器上显示；

第二选择模块，用于接收从所述多个共焦图像之中对至少一个目标深度图像的选择；以及

指令模块，用于对于每个选择的目标深度图像，指示所述共焦成像器在所述组织的选择区域上的不同位置处并且在与所述目标深度图像的共同深度处捕获多个附加的图像。