CN110832378B - 具有集成的宽视场相机和光束扫描设备的显微镜透镜 - Google Patents

Abstract

将宽视场皮肤镜检查与反射共焦显微镜结合的手持设备和方法，用于非侵入性地同时捕获皮肤表面的宽视场彩色图像和亚表面细胞结构的图像。

Description

具有集成的宽视场相机和光束扫描设备的显微镜透镜

对于相关申请的交叉引用

本申请是非临时申请并且要求在2016年2月11日提交的美国临时申请No.62/294,149和在2016年2月12日提交的美国临时申请No.62/294,705的优先权。这两个申请的内容是通过引用并入本文。

技术领域

本发明涉及成像领域，更具体地，涉及将宽视场皮肤镜检查与反射共焦显微镜结合的手持设备和方法。

背景技术

与反射共焦显微镜配对的宽视场成像在临床环境中正在取得进展以指导皮肤癌的非侵入性诊断。但是，需要两个独立的设备来执行每个成像过程。

发明内容

宽视场临床检查，随后进行皮肤镜检查(放大率4X-10X)，是用于指导皮肤病变的活组织检查和病理学以及诊断的当前标准方法。然而，取决于设置、病变和患者特征，这种方法的特异性不同，导致高度可变的良性-恶性检出率，其范围从低至2比1到高达600比1，这因此导致数百万的良性病变活检。反射共焦显微镜(RCM)(其在皮肤亚表面非侵入性成像并在体内显示核和细胞细节)已被证明相对于单独的皮肤镜检查增加特异性并将良性-恶性检测率降低约两倍。现在正在临床环境中实施宽视场临床检查和结合RCM成像的皮肤镜检查，以将病变分类为看似良性的病变(这些患者正在避免活组织检查)与那些看似可疑的病变(这些患者进行标准活检和病理检查)。在减少对于良性病变的活检的需要的方面，最初的影响是有希望的。

显示病变的总体形态的宽视场成像指导RCM成像，其显示微观组织学级别细节，其最终指导非侵入性诊断(即，良性)或活组织检查(即，可疑)。然而，宽视场成像(临床检查、皮肤镜检查)和显微成像(RCM)目前是作为使用单独手持设备的单独过程而串联执行的。RCM成像的视场相对于宽视场成像(10mm x 10mm)非常小(小于1mm x 1mm)。因此，目前缺乏的是在较大的宽视场图像内在小的怀疑区域处准确且可重复定位RCM视场的能力。换句话说，在临床观察到的粗糙表面形态的背景下，使用手持设备进行的亚表面显微成像正在以有限的精度和可重复性执行，并且仅以主观且因此限制的手段执行以将RCM图像配准到宽视场图像。这导致在解释RCM图像和确定是否进行活组织检查时增加的可变性和不确定性。所需要的是一种提供皮肤表面的同时宽视场成像的方法，精确地显示正在进行亚表面细胞结构的RCM成像的部位。

在单个设备中提供同时的、具有足够高数值光圈(NA)的共焦显微成像和在较低NA下的宽视场成像中的挑战是由任何高NA物镜支持的有限视场。由于渐晕，不能用物镜产生宽视场图像，并且在所需的NA>0.7时，物镜和组织之间没有空间来容纳分束器和宽视场相机。

本发明的实施例通过将微型彩色相机集成在高NA物镜内部来提供具有并发宽视场成像的亚表面共焦成像。相机指定表面处几毫米的视场，包括病变内发生RCM成像的位置。插入在物镜的超半球形前透镜和后透镜组之间的相机指定4.0mm的视场，分辨率优于30μm，而共焦光学切片保持在比2.5μm更锐利的位置。

本发明一般涉及用于对主体的感兴趣目标区域进行非侵入性评估的设备和方法。特别地，本发明一般涉及手持设备和方法，其将宽视场皮肤镜检查与反射共焦显微镜结合，用于非侵入性地同时捕获皮肤表面的宽视场彩色图像和亚表面细胞结构的图像。图1示出了根据本发明实施例的手持式双视显微镜，其提供使用同时反射共焦显微术的宽视场皮肤镜检查。

本领域技术人员将认识到，集成扫描器或集成相机的本发明一起或单独地不仅适用于反射共焦显微镜，而且适用于任何基于扫描激光的成像模态，包括但不限于光学相干断层扫描和光学相干显微镜、多光子显微镜、二次谐波显微镜、光声显微镜等。此外，不具有扫描激光束的方法(如结构光显微镜或白光光学相干显微镜)将受益于集成相机，其用于在表面形态内对显微视图进行背景化。

在一个实施例中，本发明提供一种设备，包括：壳体；物镜，该物镜包括由壳体支撑的第一透镜组和由壳体支撑的第二透镜组；以及，位于第一透镜组和第二透镜组之间的相机，相机被配置为提供位于物镜焦点附近的目标的视频图像。

在另一个实施例中，本发明提供了一种设备，包括：壳体；物镜，该物镜包括由壳体支撑的第一透镜组和由该壳体支撑的第二透镜组；以及，光束扫描器和/或聚焦设备，被配置为在位于物镜焦点附近的目标空间内提供三维光束焦点位置的扫描。

在又一个实施例中，本发明提供了一种系统，包括：壳体；物镜，该物镜包括由所述壳体支撑的一个或多个透镜的第一透镜组、包括由所述壳体支撑的零个或多个透镜的第二透镜组以及包括由所述壳体支撑的零个或多个透镜的第三透镜组；位于所述第一透镜组和所述第二透镜组之间的相机，所述相机被配置为提供位于所述物镜焦点附近的目标的视频图像；以及，位于所述第二透镜组和所述第三透镜组之间的光束扫描器和/或聚焦设备，所述光束扫描器和/或聚焦设备被配置为在位于所述物镜的所述焦点附近目标空间内提供三维光束的焦点位置的扫描。

通过考虑详细描述和附图，本发明的其他方面将变得显而易见。

附图说明

图1示出了根据本发明实施例的手持式双视显微镜，其提供具有同时反射共焦显微术的宽视场皮肤镜检查。

图2示意性地示出了高NA第一透镜组，其利用与皮肤接触的超半球前透镜，与后透镜组的间隙大得足以容纳微型宽视场(WF)相机。后透镜是Huvitz 0.4NA空气浸没物镜。白光LED为WF成像提供照明。

图3示意性地示出了根据本发明的实施例的相机。

图4示出了在图3的相机中使用的CMOS传感器的放大视图。

图5示出了图3中所示的相机的组件的分解图。比例尺有1毫米的画线。

图6示出了与物镜相关地定位的相机的截面视图。

图7示出了固定到6mm直径超半球透镜的顶点的相机。焊接到柔性印刷电路材料的LED提供用于宽视场成像的白光照明。

图8示出了在接近目标时具有较大视场的手持式探头。

图9以图形示出了两个测试的宽视场相机的测量MTF(实线)。Zemax模拟透镜的多色MTF(虚线)。浅黑色线条对应于设计类型1。深蓝色线条对应于设计类型2。

图10A示出了使用设计类型1的4色印刷书籍封面的图像。

图10B示出了使用设计类型2的USAF 1951分辨率测试目标。

图11示意性地示出了具有直角棱镜的相机，其将宽视场图像以90°重定向。

图12以图形示出了作为光束聚焦到组织中的深度的函数的显微镜物镜的模拟斯特列尔(Strehl)比。

图13以图形示出了与相机-LED设置相比的全光瞳系统的轴向PSF。

图14A是来自志愿者的色素沉着病变的宽视场图像。

图14B是来自图14A中的宽视场图像的中心的对应RCM图像。

图15示出了根据本发明实施例的集成到显微镜物镜中的MEMS扫描器。

图16示出了集成在显微镜物镜中的相机和MEMS扫描器的组件。

图17示出了具有集成到显微镜物镜中的MEMS扫描器和相机的反射共焦显微镜的截面图。单模偏振保持光纤提供激光照射，而较大芯的光纤用于检测以增加信号并减少散斑。

图18示出了根据本发明实施例的具有支撑在硅万向节上的可变形聚合物膜的扫描器。

图19示出了图18中所示的扫描器的截面图。

具体实施方式

在详细解释本发明的任何实施例之前，应理解，本发明在应用上不限于以下描述中阐述的或在以下附图中示出的构造细节和部件布置。本发明能够具有其他实施例并且能够以各种方式实践或实施。

带有集成宽视场相机的显微镜物镜

用于诊断诸如癌症的疾病的体内显微术的前景是巨大的，并且已经在创建体内显微镜系统方面取得了重大进展。当前最先进的显微镜光学系统的两个方面是：1)可用的视场横向限制为几百微米，小于1毫米，以及，2)光学系统体积大，并且，即使在设计用于体内检查的临床显微镜中，与被检查组织接触的位置的物镜的尺寸通常为几毫米。因此，被成像的小区域周围的组织从视场中变得模糊。

对于临床有用性，必须在较大的可疑病变的背景下解释微观细胞结构——人们想要在病变的边缘或中心成像，并与周围的健康组织进行比较。因此，需要一种解决方案，其允许在组织表面处宽视场(几毫米)的可视化以及显微视图(小于1mm)的精确共同配准。最先进的解决方案允许在成像之前将一些机械导向设备附着到组织上。然后将宽视场相机附着到导向设备以记录组织的图像，之后将显微镜透镜附着到组织上，使用该被附着的导向设备来配准两个视场。虽然这适用于皮肤上的某些位置，但是对于许多易于发展疾病的部位，以及身体其他部位的组织(例如消化道)而言，这是不实际的。

本发明的实施例通过下述方式来解决这种需要：提供集成在庞大物镜内的宽视场相机，提供组织的同时的宽视场和显微视图。不需要单独的被附着的导向设备，并且没有由于相机相对于显微镜的定位误差而导致的不确定性。该创新部署了一个超小型CMOS传感器，其带有内置于物镜中的定制微型化透镜。

其次，使用环形光束实现显微镜图像，以便适应由于集成相机引起的遮蔽。如果中心遮蔽不是太大，则可以显示环形光束以对活组织以及全圆形光束成像。

图2示出了根据本发明实施例的用于提供组织的同时的宽视场和显微视图的设备100。系统100集成了相机和反射共焦显微镜透镜。设备100包括：壳体105；物镜，其包括由壳体105支撑的第一透镜组110和由壳体105支撑的第二透镜组125；以及，由壳体105支撑的相机120。在第一透镜组110和第二透镜组125之间存在间隙(例如，气隙)。间隙在4mm和5mm之间。更具体地，间隙约为4.8mm。相机120位于间隙内的第一透镜组110和第二透镜组125之间。在一种结构中，第二透镜组125是Huvitz 0.4NA空气物镜。

第一透镜组110包括超半球透镜150(例如，消球差超半球透镜)，其聚焦用于RCM的高NA环形光束130。在其他结构中，第一透镜组110包括半球透镜(例如，消球差半球透镜)。超半球透镜150包括顶点。相机120可以位于超半球透镜150的顶点或者位于超半球透镜150的一侧。

相机120在用于显微镜的光束(即，环形光瞳)中产生中心遮蔽。幸运的是，使用环形光束用于反射共焦显微镜不会降低其光学切片性能，而实际上会增强它。通过使用环形光束130，第一透镜组110的中心部分可用于安装相机120而不影响共焦图像。相机120包括成像透镜，以观察超半球透镜150的下方、下面、前方、或从超半球透镜150可见的区域，其包括宽视场视图170和显微视图160。使用环形光瞳的显微镜将超半球透镜的外部75％用于高NA显微图像，同时保留中心25％用于低NA的长聚焦深度的宽视场视频。相机120被配置为提供位于物镜焦点附近的目标的视频图像。

设备100还包括一个或多个光源，例如发光二极管140，以照射目标表面。在该示例性实施例中，在使用反射共焦显微镜100期间实时捕获宽视场视图170，并且在皮肤镜检查视场中可以看到显微视图160。此外，相机120可以在仪器接近时对表面成像，允许在表面特征的背景下容易地放置探针。

图3示出了根据本发明的实施例的用于宽视场成像的相机120。相机120包括来自Awaiba,GmbH(现在称为Cmosis)的彩色CMOS传感器202(Naneye2D-RGB)。还参见图4。该传感器在3μm间距上具有250x250像素，采用Bayer彩色掩模，导致有效面积为750μmx750μm。传感器的外部尺寸横向为1.03mm x 1.03mm，并且深度为0.54mm。尺寸为0.72mm x 0.19mm的四线微带电缆焊接到传感器背面。传感器包括400微米厚的硼硅酸盐盖玻片(Corning EagleXG)。

设计并构建了两个单线态微透镜。第一个是0.97mm焦距f/6.4透镜，其使用直径为1mm的BK-7半球透镜，在样品处的视场为2.3mm(对角线3.3mm)。第二个是0.65毫米焦距f/4.3透镜，其使用1毫米直径的蓝宝石半球透镜206，在样品处的视场为3.8毫米(对角线为5.4毫米，受超半球表面直径4.7毫米的限制)。表1中提供了光学设计的细节。

两个透镜的构造是类似的。用铝涂覆500μm厚的熔融石英晶片，然后将其光刻图案化并蚀刻以产生固定的相机光圈。将晶片切成1mm方形片，其称为“光圈块”。然后，半球透镜206在视觉上与所述光圈对准并胶合到光圈块208的金属化侧上。参见图5，切割一段内径为1mm的钢制皮下注射管204，并且然后将其打磨至最终尺寸，以将目标表面聚焦到传感器上并控制半球透镜206和传感器202之间的间隔。然后，间隔管204和传感器202全部粘在一起。不透明管(图5中未示出)防止杂散光撞击传感器。使用夹具将微相机主动对准由BK-7制成的直径6mm、4.85mm厚的超半球透镜(根据纽约州匹兹福特的Optics Technology(光学技术)公司的规范制造)的顶点，其中，用UV固化光学环氧树脂将其固定。图5示出了胶合到光圈块、间隔元件和传感器的半球透镜的分解图。图7示出了组装的微型相机，其胶合在超半球透镜150上的适当位置，并保持在铝夹具中。

参考图6，示出了根据本发明的一些实施例的相机120，其附接到超半球透镜150。特别地，CMOS传感器202附接到蓝宝石半球透镜206，在该实施例中，蓝宝石半球透镜206附接到光圈块208。光圈块208附接到超半球透镜150的顶点，超半球透镜150安装在支撑壳体250中。该示例性实施例示出了将相机120集成到反射共焦显微镜中的一种配置。

为了照射目标表面，将四个白色LED(Lighthouse A-0402UWC)焊接到柔性印刷电路上，柔性印刷电路使它们与超半球表面接触。保持LED的柔性突片也如图7所示。

图8示出了相机120的长聚焦深度允许在透镜尖端之外几毫米的内窥镜型成像，当接近感兴趣的目标时提供甚至更宽视场的图像。

为了测量相机的性能，对1951USAF条形目标进行成像，其被布置得与超半球的平坦表面接触，以水作为耦合介质。根据Boreman和Yang的方法，从成像的3个条形目标的归一化快速傅立叶变换光谱估计正弦调制传递函数(MTF)值。对于这些测量，使用红色(29.9％)、绿色(58.7％)和蓝色(11.4％)通道的加权和(图像亮度，基于建议ITU-RBT.601-7)。结果绘制在图9中。两个微相机的测量的50％MTF频率约为13lp/mm。对于相应的线扩散函数，该响应的傅里叶分析产生估计的28μm的半峰全宽(FWHM)。仅考虑透镜的光学性能，(Zemax)模拟多色MTF被示出以供参考，其预测两种微透镜设计的近乎衍射受限的性能。我们的使用拜耳色罩的传感器的有效像素间距为6μm，这限制了系统的分辨率。如果采用单色版本的传感器或者像素较小的传感器，微透镜将支持更高分辨率的成像。图10A和10B示出了4色印刷书籍封面的代表性图像，图示了NanEye传感器与我们的照明方案的色彩平衡。

其他配置是可能的，包括大于或小于25％的遮蔽率，以及使用其他光学配置，例如半球形最后透镜而不是超半球，或具有或不具有光学功率的一些其他元件。如图11所示，相机120可以位于除光束中心之外的另一位置，并且相机透镜可以分开，使得仅一部分相机透镜位于超半球上，并且使用小镜子或棱镜288来将相机光偏转向可以位于透镜一侧的CMOS或CCD或其他阵列传感器，不阻挡显微镜成像光束。通过这种方式，可以使用更大的传感器，这可以将视场或图像的分辨率改善到超出微型Naneye传感器可能具有的分辨率。

用于共焦显微镜的透镜设计使近似消球差的超半球与皮肤接触，接着是完全校正的后“透镜组”，两者之间具有4.8mm的间隙。在一个实验中，使用用于该后组的长工作距离0.4NA物镜(Huvitz LPlanFluor20X，WD＝12.2mm)。复合透镜的有效NA为0.9。由于宽视场相机引起的中心遮蔽导致遮蔽分数(ε)为0.17的环形光瞳。扫描是远心的，振镜扫描器(galvanometer scanner)被成像到Huvitz透镜的后光圈。6mm直径的超半球的厚度为4.85mm，其被选择为当聚焦到组织内部70μm的深度时使球面像差最小化。通过调节超半球和Huvitz透镜之间的间隔来控制光束聚焦的深度。利用648nm的激光波长(λ)执行共焦成像。

在图12中总结了透镜的模拟性能。图12绘制了作为成像深度的函数的在轴上的聚焦光束的计算的斯特列尔(Strehl)比。主要像差是未校正的球面的。轴向范围约为40μm，中心在68μm，Strehl>0.8。通常，这包括人们在皮肤中发现诊断上重要的基底细胞层和真皮-表皮连接的深度，这是我们的设计意图。对于6μm至112μm的深度，模拟的斯特列尔比超过0.2。增加球面像差，结合组织散射损失，将限制该透镜设计的最大成像深度。

通过使用有限尺寸的针孔来改善反射共焦显微镜在散射组织中的图像质量，这有助于减少相干散斑。在仪器中，使用半径为r_p的针孔光圈，其为艾里(Airy)半径的2.4倍，被测量到衍射限制光束的第一个零点。已经表明，对于有限尺寸的针孔，光学切片也通过环形光圈得到改善，因此在透镜中包括宽视场相机不会使得光学切片变差，而是实际上增强了它。对于系统的遮蔽率ε＝0.17，轴向点扩散函数(PSF)的FWHM方面的光学切片理论上降低了，尽管改善是适度的并且小于10％。

图13示出了通过平移平面镜穿过我们的复合透镜的焦点区域而测量的轴向PSF，其中，宽视场相机和LED照明“标签”就位。超半球和镜子之间的耦合介质是折射率为1.33的水，该折射率接近预期的皮肤折射率。测量2.3μm(3次测量的平均值)的最小FWHM，系统聚焦在超半球亚表面方50μm的深度。随着系统聚焦更浅或更深，FWHM会相当快地降级。为了比较，使用具有清晰光圈的超半球体重复测量，而无需宽视场相机或照明LED。发现最小FWHM为2.5μm(3次测量的平均值)，证实当使用比Airy点大2.4倍的有限尺寸检测针孔时，环形光圈改善了测量的光学切片。

使用先前已描述的台式扫描反射共焦显微镜，使用集成的宽视场相机在IRB批准的方案下募集的30名志愿者体内引导色素病变的亚表面RCM成像。图14A-B中的代表性图像对示出在志愿者前臂上的色素痣(痣)的宽视场彩色图像(图14A)以及相应的灰度RCM图像(图14B)。共焦显微镜的光栅扫描可见于痣内的位置(黑色箭头)，其中，获取视频和RCM图像的堆叠叠。宽视场图像显示褐色黑色色素沉着的球状图案。RCM图像显示在真皮-表皮连接处的小的明亮基底细胞(*)的簇，以及在真皮中的更大和更亮的圆形显现的新生细胞的单个簇(白色箭头)。比例尺为1mm(宽视场图像)和50μm(RCM图像)。附带的视频(可视化1)示出了：表面的颗粒状和棘状层，由在明亮的颗粒状显现的细胞内的暗核图案组成；以及，如图14B中还可见的，基底细胞和新生细胞的下层更深的簇。不同细胞层中明显分辨的特征，特别是基底层中的核，证实了复合透镜的优异光学切片性能。

透镜内扫描器

通常，激光扫描成像系统(两个示例是共焦显微镜和双光子显微镜)和曝光或标记系统(例如，双光子3D光刻系统)使用与良好校正的成像透镜分开的光束扫描器。通常，光学中继器在成像透镜的后焦平面中形成扫描器的图像以用于远心扫描。在其他情况下，非远心扫描对于该应用是令人满意的，并且可以不存在中继光学器件，或者使用不导致远心扫描的中继器。基本观察是扫描器和透镜是独立优化的单独实体。

本发明的实施例包括作为透镜的一部分的扫描器，将光束聚焦和扫描的功能合并到单个功能单元中。基本特征是扫描器的光学方案包括在透镜的设计和优化中，其中，扫描器的方案根据扫描的位置可变化。

在最简单的情况下，扫描器的光学方案是赋予在一个空间维度上线性变化的光学波前相位。例如，倾斜镜或透明空间光调制器赋予相位延迟就是这种情况，该相位延迟随着一个空间维度线性变化。接收该线性相位调制的光束将在其传播方向上偏离。

如果扫描器可以以对空间变量的一些更复杂的依赖性来调制光学相位，则可以控制波前曲率或像差。曲率和像差可以与线性相位分量一致地变化。

在本发明中，成像或标记透镜的设计包括扫描器对光学波前的影响，以便实现包括聚焦和扫描光束的所需性能。重申一下，扫描器的影响可能仅是对空间变量(倾覆/倾斜)(tip/tilt)的线性依赖，或者可能包括二次依赖(聚焦)或者还可能包括更高阶依赖性(各种类型和阶数的像差)。

在透镜设计中包括扫描器特性的优点是透镜的简化。例如，所谓的平面型物镜提供玻璃表面以去除场曲率。如果扫描器可以根据其线性相位调整其二次相位以补偿场曲率，则可以使用更简单且更便宜的透镜进行平场操作。类似地，利用更高阶的像差补偿，可以从透镜设计中消除其他玻璃类型和表面，以改善总体成本和性能。

在透镜设计中包括扫描器的另一个优点是使扫描激光成像系统或标记系统或光刻系统的总体占用面积最小化。将扫描器放置在透镜中或透镜附近可以避免对中继光学器件的需要，并且可以在非常紧凑的光学元件中提供扫描和聚焦光束的基本功能。

在一个实现中，倾覆/倾斜平台具有作为光束扫描器的可变形镜面。镜子被集成到诸如物镜的第一透镜组中，在扫描器之前和之后都具有透镜元件。该系统还包括折叠的环形光束，以便包含透明透镜和反射倾覆/倾斜/可变形镜。系统的优化包括固定的玻璃表面的方案，以及可变形镜子的方案，其可以与倾覆或倾斜的量一致地改变，以便最小化在仪器的整个视场中的像差。本发明可以同样适用于透明扫描器，例如空间光调制器，而不是反射倾覆/倾斜/可变形镜。

对于本发明该示例的具体应用是用于皮肤或口内组织成像的手持式扫描激光显微镜，用于疾病诊断，癌症是一个突出的例子。共焦反射显微镜、共焦荧光显微镜、双光子激发荧光显微镜和二次谐波产生显微镜都是扫描激光显微镜成像模式，其可以在这种情况下可能有用，并且可以从本发明中受益。

在被转换以用于非侵入性检测癌症的几种光学技术中，反射共焦显微镜已经显示出在体内筛查和诊断皮肤恶性肿瘤上的显著成功，同时减少了良性病变的不必要的活检，通过检测癌症边缘而不需要进行活组织检查并通过监测治疗后的患者而无需进行进一步的活组织检查来指导手术。对于口腔病变的检测也正在看到初步成功。尽管取得了所有这些有希望的进展，但显微镜的大尺寸仍然是阻碍更广泛接受和常规临床使用的巨大障碍，响应于其，已经做出了巨大努力来设计更小的体内共焦显微镜。但内窥镜反射共焦显微镜尚未广泛应用于临床。为了在临床环境中应对诊断成像的挑战，小型化是不够的。成像系统仍然必须提供具有出色对比度的高分辨率图像。良好的光学切片和高信噪比所需的大NA要求管理球面像差。期望的图像“平面”很少是正面的(en-face)，但取决于要成像的病变，可以是组织的任何倾斜或垂直部分，需要灵活的3D光束扫描能力。此外，临床医生需要知道在组织的大体形态的背景下微观图像的形成位置，然而通过典型的显微镜物镜可以看到的视场仅为几百微米；大透镜遮蔽了其余的组织。相比之下，迄今为止开发的小型化探针已经显示出受损的图像质量，并且没有宽视场图像引导，这些微型探针用于疾病诊断的有用性严重降低。

不仅对于内窥镜检查，而且对于皮肤病学，仪器的尺寸仍然是限制。皮肤癌，特别是恶性黑色素瘤和非黑色素瘤(基底细胞癌和鳞状细胞癌)，大多数(约80％)出现在面部和头颈部、鼻子、耳朵和眼睛周围的“角落和缝隙”。其他类型的黑素瘤发生在指甲下、在手指和脚趾之间，对于以上情况而言，目前可用的显微镜仍然非常不足。对于基底细胞癌边缘的术中绘图，为了指导莫氏手术切除，必须在典型范围5-10mm的小而深的火山口形状的伤口内进行成像，对于此而言，再一次地，目前可用的显微镜太大。因此，对于皮肤病学，也需要更小的“铅笔”尺寸的反射共焦显微镜，但前提是该解决方案保持图像质量、灵活性和宽视场图像引导。在基于这种方法开发iLSM技术和手持探针过程中，正在解决这一挑战。

小尺寸共焦显微镜在临床上是有用的，只要1)它在所有深度和适当的方向上提供诊断质量图像，允许增强对更深组织的检查，2)它提供宽视场相机图像以指导微观组织检查的位置，以及3)它向今天的快节奏临床实践工作流程提供用于“无缝集成”的简便性、速度和效率。微型化激光扫描显微镜以前已经开发出来，但临床影响有限，因为它们的光学性能受损，其无法清晰显示核级细节，它们缺乏灵活的3D光束扫描以允许任意倾斜切片，而且重要的是，它们没有共同配准的宽视场成像的手段来为显微镜成像的非常小的视场提供背景。克服这些缺陷的小型激光扫描显微镜将显著扩大皮肤的共焦显微镜的覆盖范围，并将其诊断潜力转化为在身体其他部位发生的上皮癌。

已经开发了新的一类“有源物镜”，其将宽视场内窥镜或皮肤镜成像与高分辨率(即，具有高数值光圈(NA))3D组织显微镜共同定位在单个亚厘米大小的仪器中，该仪器称为集成激光扫描显微镜(iLSM)。该技术适用于许多形态，包括反射光共焦和荧光共焦、双光子荧光或光学相干显微镜。本发明提供了一种新技术平台，用于开发针对皮肤、口腔、宫颈、GI和其他癌症的体内显微镜。

解决了微型化激光扫描显微镜的最显著限制：1)使用有源光学系统沿着正面、倾斜或垂直截面平面进行图像采集的敏捷30光束扫描，以及2)连续地共同配准的宽视场视频的集成以相对于表面组织形态学定位显微镜图像。这种集成的激光扫描显微镜(或iLSM)代表了一种新方法，用于解决在优化尺寸的光学系统中实现同时的3D显微镜和宽视场视频成像的挑战，该优化尺寸的光学系统小得足以集成到手持式铅笔探针或内窥镜中，但是大得足以保持高NA和出色的共焦图像质量。

缩小用于皮肤和口内成像的iLSM的一个目标是能够在整个三维空间中扫描高NA光束的新型光束扫描元件。由于通过来自单个有源表面的反射实现全3D扫描，因此扫描器被设计到物镜中，没有中继光学器件或其他额外元件。第一个具体目标是开发这种扫描器，它包括一个可变曲面镜，用于在倾覆-倾斜平台上进行聚焦控制(z扫描)、(横向x-y扫描)，对所有三个轴上的光束位置进行电子控制。关键性能包括高达每秒8帧的横向扫描、高达10kHz的组织中150μm范围上的快速聚焦扫描，使得能够实现正面、倾斜或垂直截面成像以及所有深度处的球面像差的动态控制。相对于iLSM仪器所需的明确定义的规范，MEMS扫描器将在光学和机械性能方面得到充分表征。在其他实施例中，光束扫描器可包括液晶空间光调制器。

对于显微成像和宽视场成像，表2中给出了第一代iLSM的目标规格。值得注意的是，使用有源光学器件的这种提出的仪器的3D衍射限制视场(斯特列尔比>0.8)超过了高度校正的静态物镜所能达到的，高度校正的静态物镜当在通过分层组织的不同深度成像时必然会受到球面像差的影响。彩色视频图像将用作内窥镜相机；对于手持使用适当缩放，该图像的视场将与传统的皮肤镜相当。

表2：iLSM光学性能规格

图1示出了iLSM模块的大小。iLSM在功能上是一个无限远校正的物镜，其具有内置的光束扫描器和宽视场CMOS相机。完整的仪器最低限度地为iLSM添加照明/检测光纤和准直透镜，但也可以包括其他光学器件，这些光学器件将容纳在笔式探针或直角口内探针的手柄中。

MEMS 2D光束扫描是用于远端扫描内窥镜和手持式共焦显微镜和OCT成像系统的使能技术。毫米尺寸的MEMS万向节倾覆-倾斜镜已经实现超过500个可分辨点的高分辨率和高达每秒60帧的实时扫描。控制第三(z)维度更具挑战性。带有用于聚焦控制的可变形镜的第一台基于MEMS的共焦显微镜在2000年被提及。同一个镜子同时可以校正球面像差。在2004年，Shao展示了第一台集成3D MEMS光束扫描器，其将可变形反射镜放置在倾斜万向节上，并提出了一种带有环形光瞳的共焦显微镜结构，该结构适合直径为2mm的探头尖端。

该3D MEMS镜像技术形成有源光学iLSM的基础，提供灵敏的x-y-z扫描，其具有用于依赖于深度的球面像差的内置校正。Shao的3DMEMS镜子的焦距范围有限，约为iLSM所需的1/5。从那时起，已经发现新的膜材料和可变形镜子架构，以实现聚焦控制范围的五倍提高。

由于其改变波前曲率和校正主要球面像差的能力，新的MEMS倾覆-倾斜-聚焦镜能够实现另一种创新，即将扫描器放置在物镜内，而不是使用庞大的外部透镜中继器来将扫描镜成像到物镜的后焦平面。图15示出了作为从组织表面计数的第二光学元件的MEMS扫描器420，该组织与高折射率超半球形前透镜接触。MEMS扫描器420之后的所有玻璃光学器件必须仅设计用于固定的轴上共轭，大大简化了光学设计。第二个扁平环形反射器和双合透镜440用于完美准直光束，完成iLSM模块。光瞳是环，并且仪器保持光路的轴对称性。

使用Zemax光学设计软件的iLSM的光线跟踪模拟验证了所提出的架构的性能，其在横向300μm和轴向150μm的全3D显微成像体积上能够达到斯特列尔比>0.8。光学要求设定了MEMS镜的机械要求，其被总结在表3中。这些性能规格在先前对于万向镜和可变形聚焦镜已达到的范围内，并且iLSM x-y-z扫描镜将实现iLSM的必要性能指标。

图15示出了包括物镜内的MEMS扫描器的系统400的实施例。反射可变焦距透镜420改变其球面曲率并校正主要球面像差，从而允许MEMS扫描器在该示例性实施例中位于物镜内，而不是使用庞大的外部透镜中继器将扫描镜成像到物镜的后焦平面。在该实施例中，光束460从环形反射器480反射到反射可变焦距透镜420。环形反射器和双合透镜440用于准直光束。为了在x、y和z轴上扫描和聚焦，反射可变焦距透镜420改变曲率并通过控制表面形状(用于z扫描)校正主要球面像差，而反射可变焦距透镜420在该示例性实施例中安装为万向节以实现横向x-y扫描(在图18和19中进一步指定)。反射可变焦距透镜420在超半球形前透镜490的显微视图的整个横向和轴向范围内具有功能。

已经充分研究了使用环形光瞳的共焦显微术。众所周知，具有点检测器的薄环带产生更好的横向分辨率，但与圆形光瞳相比，显示出减小的轴向切片。然而，对于有限大小的针孔(对于抑制体内图像的斑点而言是期望的和通常的)，如我们在我们所提出的设计中已经采用的具有50％遮蔽的环形光瞳实际上提供具有较低轴向旁瓣的更好的轴向切片。使用散射体模很好地展示了使用有限大小的针孔结合具有环形光瞳的恢复的分辨率进行的斑点抑制，而环形光瞳也可以在存在漫射散射的情况下改善信号/背景比。但是，以前没有使用环形光瞳展示人体皮肤的反射光共焦显微。

第二个创新是将宽视场视频成像集成到iLSM中用于引导共焦成像。迄今为止，还没有开发出能够同时实现高NA显微镜和重叠区域的宽视场视频的系统。将使用新的毫米级CMOS摄像机(如上所述)将视频路径直接放置在物镜中。环形光瞳将超半球透镜的外部75％(按面积)贡献给高NA显微图像，同时为低NA的长聚焦深度的宽视场视频保留中心25％双重透镜。图16图示了这个概念(不完全按比例)。来自Awaiba的NanEye CMOS相机使用0.7x0.7mm²的有效区域，并且尺寸仅为1x1x2mm(详见上文)。图像区域在空气中为60°(在玻璃中为32°)。取决于探针的缩放，当与玻璃表面接触时，在组织处的视场可以在2和7mm之间。相机的长聚焦深度允许超过iLSM的尖端几毫米的内窥镜型成像，当接近组织表面时提供甚至更宽视场图像(图8)。相机本身可以直接位于第一透镜元件后面(如图16所示)，或者可以使用直角反射棱镜(图11和17)位于组件的边缘。以这种方式，MEMS扫描器和摄像机可以以其最佳间隔容纳，而不会导致iLSM尺寸增加。相机需要在探头尖端处照射白光。这将通过安装在图16和17中所示的环形镜的后侧上的芯片LED来实现。

已经执行Zemax射线追踪以验证视频成像性能并且确认在相机的整个图像场上保持几乎衍射受限的MTF的同时，可以使用与F#6一样快的微透镜。

使用iLSM的代表性仪器是图17中所示的双光纤共焦显微镜。这里，偏振保持单模光纤将激光传送到显微镜。沃拉斯顿棱镜将光束引向iLSM，穿过四分之一波片以产生圆偏振光。来自组织的后向反射光被转换为正交偏振态，在棱镜处分离并耦合到具有有限尺寸针孔滤波器的大芯探测光纤中，针孔尺寸被选择得大得足以最小化图像中的散斑但小得足以确保足够的轴向截面。宽视场相机位于一侧，在超半球的顶点处具有直角反射器(也是用于宽视场成像的孔径光阑的位置)。相机上方的适当二向色滤光片可防止散射的激光破坏白光图像。此设计旨在说明iLSM的未来实用性。可以同样很好地支持其他显微成像模态，包括荧光共焦、双光子激发荧光和光学相干显微镜。

由我们小组开发的早期3D MEMS扫描镜在倾覆-倾斜万向节上部署了金属化氮化硅的可变形膜。两个环形电极允许光束聚焦和三阶球面像差的独立静电控制。该扫描器导致NA＝0.4的超小型荧光共焦显微镜。MEMS扫描器的偏转行程限制在3微米左右——iLSM由于其更高的NA和更深的穿透深度将需要增加5倍的聚焦控制。我们的团队在过去十年中一直致力于改善静电可变形反射镜的行程和速度，并且最近实现了超过16微米行程的反射镜，其能够以超过10kHz的速度进行全深度聚焦扫描。这些新镜子使用金属化聚合物膜(photoset聚合物SU-8)，并且其动态性能通过精心设计的粘性空气阻尼进行优化。三个环形致动电极允许使变形膜成形，以在定位反射光束的焦点的同时将球面像差控制到第五阶。

SU-8膜镜集成在硅万向节平台上，在硅下面具有平行板电极以控制倾覆和倾斜(x-y扫描)。膜表面上的电极控制聚焦和像差。图18和19显示了该结构。微机械加工过程与我们早期的3D MEMS镜非常相似，但是膜是旋转铸造的SU-8而不是气相沉积的氮化硅。新镜子将符合表2中所示的规格。

表2：MEMS x-y-z扫描器指标

如图18所示，反射可变焦距透镜420的一个实施例包括反射表面422和环形光圈424。在该实施例中，反射表面422为反射可变焦距透镜420提供聚焦和扫描功能，如图19中进一步描述的。在该实施例中，环形光圈424允许光束通过反射可变焦距透镜420。

图19更详细地示出了反射可变焦距透镜420的实施例。在该示例性实施例中，反射表面422和环形光圈424如图18所示。在该示例性实施例中，反射表面422由悬浮膜432和控制电极430组成。在该实施例中，控制电极430控制悬浮膜432的聚焦和球面像差(对反射表面422的曲率的调节)。膜气隙433允许悬浮膜432响应于控制电极430而调节聚焦和球面像差。万向节控制电极431控制万向板434绕x轴428和y轴426的倾覆和倾斜。万向节气隙435提供空间以响应于来自万向节控制电极431的控制信号而调节万向节板434。万向环436绕x轴428旋转，但允许万向节板434在该实施例中在万向节气隙435的公差范围内围绕x轴428和y轴426旋转。本实施例中的聚焦和扫描控制是通过在由万向板434响应于万向节控制电极431而控制倾覆和倾斜的同时响应于控制电极430而改变聚焦和球形的悬浮膜432来实现的。

为了测试新镜子的性能，使用反射激光束和位置敏感检测器测量x-y扫描范围和速度。为了测量聚焦和像差控制，使用相移干涉仪来提供聚焦控制膜的2D表面映射。使用频闪照明光源测量动态变形；因此可以量化静态和动态表面形状变化。测量的机械性能将与有限元模型进行比较。我们的综合表征计划将清楚地展示了所开发的镜子是否满足iLSM光学系统的苛刻要求。

图16示出了集成如前所述的相机120和如前所述的反射可变焦距透镜420的集成激光扫描显微镜500的实施例。在集成激光扫描显微镜500的该示例性实施例中，在壳体580内，光束570穿过双合透镜560，并且然后由反射透镜540反射到反射可变焦距透镜550，从而提供小区域的显微视图。相机510通过超半球透镜530提供由发光二极管520照射的宽视场视图。在集成激光扫描显微镜500的该示例实施例中，可以在单个设备中实现显微视图和宽视场视图，而不会使得任一视场变差。

图17示出了集成激光扫描显微镜600的另一个实施例，其集成了如前所述的相机120和如前所述的反射可变焦距透镜420。在该示例性实施例中，相机608不位于超半球形透镜610上，而是位于超半球形透镜610旁边。如前所述，在该实施例中，直角反射棱镜604通过超半球透镜610重定向光以提供皮肤镜检查。发光二极管602照射由相机608捕获的目标图像。在集成激光扫描显微镜600的该示例实施例中，光束618被反射透镜612反射到反射可变焦距透镜606，提供小区域的显微视图。在该示例性实施例中，照明激光束由单模偏振保持光纤传送。激光和反射光通过四分之一波片614将反射光转换成交叉偏振态。Wollaston棱镜616将交叉偏振反射光重定向到更大芯的探测光纤，其中，可根据所需的针孔尺寸选择芯尺寸以进行共焦检测。偏振保持光纤、四分之一波片、沃拉斯顿棱镜和大芯光纤的使用都是本领域技术人员已知的。在集成激光扫描显微镜600的该示例性实施例中，可以在单个设备中实现微观反射共焦视场和宽视场视图，而不会使得任一视场变差。

在所附权利要求中阐述了本发明的各种特征和优点。

Claims (30)

1.一种用于观察目标的设备，所述设备包括：

壳体；

物镜，所述物镜位于所述壳体内，所述物镜包括由所述壳体支撑的第一透镜组和由所述壳体支撑的第二透镜组，所述第一透镜组比所述第二透镜组更靠近目标；以及

相机，所述相机位于所述物镜内在所述第一透镜组和所述第二透镜组之间，所述相机被配置为提供位于所述物镜的焦点附近的所述目标的视频图像，

其中，所述第一透镜组的外部提供高数值光圈显微图像，并且所述第一透镜组的中心部分提供低数值光圈宽视场视频。

2.根据权利要求1所述的设备，其中，所述第一透镜组包括单个消球差超半球透镜，所述相机位于所述超半球透镜和所述第二透镜组之间，并且与所述超半球透镜的外凸表面相邻。

3.根据权利要求2所述的设备，其中，所述超半球透镜包括顶点，并且其中，所述相机在所述顶点处耦合到所述超半球透镜。

4.根据权利要求2所述的设备，还包括反射元件，所述反射元件与所述超半球透镜相邻，并且被配置为将从所述目标反射的光重定向到所述相机。

5.根据权利要求2所述的设备，其中，所述第一透镜组包括顶点，并且其中，所述相机被定位为离开所述顶点。

6.根据权利要求1所述的设备，其中，所述第一透镜组包括单个消球差半球透镜，所述相机位于所述半球透镜和所述第二透镜组之间，并且与所述半球透镜的外凸表面相邻。

7.根据权利要求6所述的设备，其中，所述半球透镜包括顶点，并且其中，所述相机在所述顶点处耦合到所述半球透镜。

8.根据权利要求6所述的设备，还包括反射元件，所述反射元件与所述半球透镜相邻，并且被配置为将从所述目标反射的光重定向到所述相机。

9.根据权利要求6所述的设备，其中，所述半球透镜包括顶点，并且其中，所述相机被定位为离开所述顶点。

10.根据权利要求1所述的设备，其中，所述相机包括半球微透镜和在透明基板上的不透明膜中的光刻图案孔以形成光圈。

11.根据权利要求1所述的设备，还包括由所述壳体支撑的第三透镜组，以及位于所述第二透镜组和所述第三透镜组之间的扫描器。

12.根据权利要求11所述的设备，其中，所述扫描器是MEMS扫描器，所述MEMS扫描器被配置为提供所述目标的一部分的三维亚表面成像。

13.根据权利要求1所述的设备，其中，所述第一透镜组包括具有第一数值光圈和第一视场的透镜，并且其中，所述第二透镜组包括具有第二数值光圈和第二视场的透镜，所述第一数值光圈大于所述第二数值光圈，所述第一视场小于所述第二视场。

14.一种用于观察目标的系统，所述系统包括：

壳体；

物镜，所述物镜位于所述壳体内，所述物镜包括由所述壳体支撑的一个或多个透镜的第一透镜组以及包括由所述壳体支撑的一个或多个透镜的第二透镜组，所述第一透镜组比所述第二透镜组更靠近目标；

相机，所述相机位于所述物镜内在所述第一透镜组和所述第二透镜组之间，所述相机被配置为提供位于所述物镜的焦点附近的所述目标的视频图像；以及

光束扫描器和/或聚焦设备，所述光束扫描器和/或聚焦设备位于所述第一透镜组和所述第二透镜组之间，所述光束扫描器和/或聚焦设备被配置为在位于所述物镜的焦点附近的目标空间内提供三维光束焦点位置的扫描。

15.根据权利要求14所述的系统，其中，在所述第一透镜组和所述第二透镜组之间存在间隙，并且其中，所述间隙在2mm和10mm之间。

16.根据权利要求15所述的系统，其中，所述间隙为4.8mm。

17.根据权利要求14所述的系统，其中，所述第一透镜组是消球差超半球透镜。

18.根据权利要求17所述的系统，其中，所述相机位于所述超半球透镜的顶点处。

19.根据权利要求14所述的系统，其中，所述光束扫描器和/或聚焦设备是MEMS扫描器，所述MEMS扫描器包括耦合到倾覆和倾斜万向节平台的可变形膜。

20.根据权利要求14所述的系统，其中，所述光束扫描器和/或聚焦设备是液晶空间光调制器。

21.根据权利要求17所述的系统，还包括邻近所述超半球透镜定位的发光二极管，用于所述目标的照射。

22.根据权利要求14所述的系统，其中，所述相机被配置为提供所述目标的表面形态的宽视场成像。

23.根据权利要求19所述的系统，其中，所述MEMS扫描器被配置为提供所述目标的一部分的三维亚表面成像。

24.根据权利要求19所述的系统，其中，所述MEMS扫描器和所述相机同时操作以提供所述目标的宽视场图像和所述目标的三维亚表面图像。

25.根据权利要求14所述的系统，其中，所述系统提供用于评估皮肤病的诊断图像。

26.根据权利要求14所述的系统，其中，所述第一透镜组包括具有第一数值光圈和第一视场的透镜，并且其中，所述第二透镜组包括具有第二数值光圈和第二视场的透镜，所述第一数值光圈大于所述第二数值光圈，所述第一视场小于所述第二视场。

27.根据权利要求14所述的系统，其中，所述第一透镜组的外部提供高数值光圈显微图像，并且所述第一透镜组的中心部分提供低数值光圈宽视场视频。

28.一种用于观察目标的显微镜，所述显微镜包括：

壳体；

位于所述壳体内的物镜，所述物镜包括由所述壳体支撑的一个或多个透镜组成的第一透镜组和由所述壳体支撑的一个或多个透镜组成的第二透镜组，所述第一透镜组比所述第二透镜组更接近所述目标；

在所述第一透镜组和所述第二透镜组之间的位于所述物镜内的相机，所述相机被配置为提供位于所述物镜的焦点附近的所述目标的视频图像；以及

位于所述第一透镜组和所述第二透镜组之间的光束扫描器和/或聚焦设备，所述光束扫描器和/或聚焦设备被配置为在位于所述物镜的焦点附近的目标空间内提供光束的焦点位置的三维扫描。

29.根据权利要求28所述的显微镜，其中，所述第一透镜组的外部提供高数值光圈显微图像，并且所述第一透镜组的中心部分提供低数值光圈宽视场视频。

30.根据权利要求29所述的显微镜，其中，所述第一透镜组包括具有第一数值光圈和第一视场的透镜，并且其中，所述第二透镜组包括具有第二数值光圈和第二视场的透镜，所述第一数值光圈大于所述第二数值光圈，所述第一视场小于所述第二视场。

Images