CN107850754A - 具有快速样本自动聚焦的成像组件 - Google Patents

具有快速样本自动聚焦的成像组件 Download PDF

Info

Publication number
CN107850754A
CN107850754A CN201680044339.9A CN201680044339A CN107850754A CN 107850754 A CN107850754 A CN 107850754A CN 201680044339 A CN201680044339 A CN 201680044339A CN 107850754 A CN107850754 A CN 107850754A
Authority
CN
China
Prior art keywords
camera
sample
pin hole
image
photochopper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680044339.9A
Other languages
English (en)
Inventor
郑国安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Connecticut
Original Assignee
University of Connecticut
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Connecticut filed Critical University of Connecticut
Publication of CN107850754A publication Critical patent/CN107850754A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明提供了用于执行成像技术(例如，微观成像技术)的有利的仪器、组件和方法。本公开提供了改进的成像技术、设备和系统。更具体地，本公开提供了具有快速样本自动聚焦的有利的显微镜/成像组件(例如，具有用于快速样本自动聚焦成像的即时聚焦的显微镜/成像组件)。本公开提供了使用即时焦平面检测的高处理量整个幻灯片成像。提供了使用即时聚焦系统/方法来用于高速样本自动聚焦的整个幻灯片成像平台/组件。此类示例性平台/组件可以用于数字病理学等，并且可以提供对疾患/疾病的改进、更快和更廉价的诊断/预后。提供了用于整个幻灯片成像的至少两个示例性快速聚焦系统，第一系统包含安装在显微镜平台/组件的目镜端口上的两个针孔调节式相机，并且第二系统包含安装在用于自动聚焦的落射光臂上的一个针孔调节式相机。

Description

具有快速样本自动聚焦的成像组件
对相关申请的交叉参考
本申请要求2015年7月27日提交的标题为“Auto-Focus System For Whole SlideImaging”的临时申请序列号62/197,283的优先权，所述申请的内容在此以全文引用的方式并入。
技术领域
本公开大体上涉及成像技术、设备和系统的领域，并且更具体来说，涉及具有快速样本自动聚焦的显微镜/成像组件(例如，具有用于快速样本自动聚焦成像的即时聚焦的显微镜/成像组件)。
背景技术
一般来说，整个幻灯片成像(“WSI”)系统可能是用于生物医学研究和临床诊断的重要工具。具体来说，计算机和图像传感器技术的进步已经加快了对用于高含量筛选、远程医疗和数字病理学的WSI系统的开发。WSI系统的重要方面是在较大视场上的最佳焦点位置处维持样本。一般来说，开发用于高处理量WSI系统的自动聚焦方法由于在工业和临床应用中的潜力而仍然是比较活跃的研究领域。
在WSI系统中存在至少两种一般类型的自动聚焦方法：1)基于激光反射的方法；以及2)基于图像对比度的方法。对于基于激光反射的方法，红外激光束被玻璃表面反射并且产生参考点以确定玻璃表面与物镜之间的距离。此方法对于离开玻璃表面固定距离的样本很有效。如果样本改变其相对于表面的位置，那么此方法可能无法维持光学焦点位置。
与激光自动聚焦方法不同的是，基于图像对比度的方法一般跟踪样本形貌变化并且通过图像处理来识别最佳焦点位置。此方法通过沿着z方向移动样本来采集多个图像，并且通过使所采集的图像的品质因数最大化来计算最佳焦点位置。典型的品质因数包含图像的图像对比度、分辨率、熵和频率含量。因为z堆叠增加了总的扫描时间，所以基于图像的自动聚焦方法可以通过权衡系统处理量来实现改进的成像性能。然而，由于病理学幻灯片的形貌变化，所以许多市售的WSI系统采用了基于图像对比度的方法来用于焦点跟踪。
在终端用户和/或制造商之间需要开发包含改进的特征/结构的显微镜/成像组件。另外，还需要通过容易理解和实施的设计和技术来实现成像技术(例如，微观成像技术)的仪器、组件和方法。
因此，关注于改进的显微镜/成像组件以及其相关使用方法。本公开的组件、系统和方法解决和/或克服了用于提高的这些和其它低效和机会。
发明内容
根据本公开，提供了用于执行成像技术(例如，微观成像技术)的有利的仪器、组件和方法。
本公开提供了改进的成像技术、设备和系统。更具体地，本公开提供了具有快速样本自动聚焦的有利的显微镜/成像组件(例如，具有用于快速样本自动聚焦成像的即时聚焦的显微镜/成像组件)。
在示例性实施例中，本公开提供了使用即时焦平面检测的高处理量整个幻灯片成像。本公开提供了使用即时聚焦系统/方法来用于高速样本自动聚焦的整个幻灯片成像平台/组件。此类示例性平台/组件可以用于数字病理学等，并且可以提供对疾患(例如，癌症和其它疾病)的改进、更快和更廉价的诊断/预后。此类优势已经促使将数字病理学的发展看作诊断医学中的有前景领域之一。
本文公开了一种整个幻灯片成像平台/组件，其并入有用于快速聚焦的构件以用于高速显微镜样本自动聚焦数字成像。可以使用示例性组件将病理学幻灯片转换为数字图像。基于示例性即时聚焦系统/方法，可以高速地并且使用低成本仪器有利地采集数字图像。具有即时聚焦的本公开的系统、组件和方法被配置成节省时间并且产生具有改进的图像质量的图像。提供了用于整个幻灯片成像的示例性快速聚焦系统，所述系统包含安装在显微镜平台/组件的目镜端口上的针孔调节式相机。
本公开提供了用于高处理量整个幻灯片成像(“WSI”)的至少两种超快自动聚焦系统/方法。在示例性实施例中，可以在显微镜平台/组件的两个目镜端口处附接两个针孔调节式相机。对于每个相机，可以使用单针孔遮光器来调节光场(例如，用于两个相机的两个单针孔遮光器)。通过调整在两个相机中使用的针孔遮光器的位置，可以有效地改变目镜端口处的样本视角，并且因此，可以使用两个针孔调节式图像的平移移位来识别最佳焦点位置。通过使用较小的针孔大小，焦平面检测范围是数毫米，比物镜的景深长至少100倍。还可以示出，通过分析针孔调节式图像的相位相关，用户可以确定样本是含有一个薄截面、折叠区段还是相隔特定距离的多个层，其为在详细z扫描之前的一条重要信息。
在另一实施例中，可以在落射光臂处附接一个相机以用于自动聚焦。对于此相机，可以将二针孔遮光器插入傅里叶平面。因此，来自此相机的所捕获的图像含有所述样本的两个副本。如果样本置于对焦位置，那么来自一个图像的这两个副本不具有平移移位。如果样本离焦，那么这两个副本具有平移移位。基于此平移移位，可以恢复样本的对焦位置。
总之，在一个实施例中，可以使用两个相机来用于自动聚焦，并且通过傅里叶平面处的单针孔遮光器来调节每个相机。在另一实施例中，可以使用一个相机来用于自动聚焦，并且可以通过傅里叶平面处的二针孔遮光器来调节此相机。对于以上两个实施例，可以在不需要z扫描的情况下恢复散焦距离，从而缩短了WSI的采集时间。以上两个实施例可以用于明视场和荧光WSI。
本公开提供了一种成像组件，所述成像组件包含：第一相机，所述第一相机具有定位在第一相机的傅里叶平面处的第一针孔遮光器，所述第一针孔遮光器具有第一针孔；第二相机，所述第二相机具有定位在第二相机的傅里叶平面处的第二针孔遮光器，所述第二针孔遮光器具有第二针孔；显微镜，所述第一相机和第二相机被安装到所述显微镜；其中所述第一相机被配置和适配成提供所述显微镜的样本的第一图像；其中所述第二相机被配置和适配成提供所述显微镜的样本的第二图像；并且其中对第一样本图像和第二样本图像的平移移位的识别允许用户识别样本的对焦位置。
本公开还提供了一种成像组件，其中对所述样本的对焦位置的识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。本公开还提供了一种成像组件，其中所述第一相机和第二相机被安装到模块化壳体。
本公开还提供了一种成像组件，其中所述第一针孔遮光器定位在第一相机的第一目镜适配器的傅里叶平面处，所述第一针孔遮光器定位在第一目镜适配器的两个透镜之间；并且其中所述第二针孔遮光器定位在第二相机的第二目镜适配器的傅里叶平面处，所述第二针孔遮光器定位在第二目镜适配器的两个透镜之间。
本公开还提供了一种成像组件，其中通过所述显微镜的主要相机端口提供样本的对焦位置。本公开还提供了一种成像组件，所述成像组件进一步包含：显微镜的第一目镜端口，所述第一相机被安装到所述第一目镜端口；以及显微镜的第二目镜端口，所述第二相机被安装到所述第二目镜端口。
本公开还提供了一种成像组件，其中所述第一针孔的位置是可调整的，并且所述第一针孔的所述位置的所述调整会改变所述第一相机对所述样本的观看角度；并且其中所述第二针孔的位置是可调整的，并且所述第二针孔的所述位置的所述调整会改变所述第二相机对所述样本的观看角度。
本公开还提供了一种成像方法，所述成像方法包含：提供第一相机，所述第一相机具有定位在第一相机的傅里叶平面处的第一针孔遮光器；所述第一针孔遮光器具有第一针孔；提供第二相机，所述第二图像具有定位在第二相机的傅里叶平面处的第二针孔遮光器，所述第二针孔遮光器具有第二针孔；提供显微镜；将所述第一相机和第二相机安装到所述显微镜；经由所述第一相机采集所述显微镜的样本的第一图像；经由所述第二相机采集所述显微镜的样本的第二图像；利用所述第一图像和第二图像来识别所述第一样本图像和第二样本图像的平移移位；以及利用所述第一样本图像和第二样本图像的平移移位来识别样本的对焦位置。
本公开还提供了一种成像方法，其中对所述样本的对焦位置的识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。
本公开还提供了一种成像方法，其中将所述第一相机和第二相机安装到模块化壳体。本公开还提供了一种成像方法，其中所述第一针孔遮光器定位在第一相机的第一目镜适配器的傅里叶平面处，所述第一针孔遮光器定位在第一目镜适配器的两个透镜之间；并且其中所述第二针孔遮光器定位在第二相机的第二目镜适配器的傅里叶平面处，所述第二针孔遮光器定位在第二目镜适配器的两个透镜之间。
本公开还提供了一种成像方法，其中通过所述显微镜的主要相机端口提供样本的对焦位置。本公开还提供了一种成像方法，所述成像方法进一步包含：显微镜的第一目镜端口，将所述第一相机安装到所述第一目镜端口；以及显微镜的第二目镜端口，将所述第二相机安装到所述第二目镜端口。
本公开还提供了一种成像方法，其中所述第一针孔的位置是可调整的，并且所述第一针孔的所述位置的所述调整会改变所述第一相机对所述样本的观看角度；并且其中所述第二针孔的位置是可调整的，并且所述第二针孔的所述位置的所述调整会改变所述第二相机对所述样本的观看角度。
本公开还提供了一种成像组件，所述成像组件包含：相机，所述相机具有定位在相机的傅里叶平面处的针孔遮光器，所述针孔遮光器具有第一针孔和第二针孔；显微镜，所述相机被安装到所述显微镜；其中所述相机被配置和适配成提供所述显微镜的样本的图像，所述图像包含样本的两个图像副本；并且其中对所述两个图像副本的平移移位的识别允许用户识别所述样本的对焦位置。
本公开还提供了一种成像组件，其中对所述样本的对焦位置的识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。
本公开还提供了一种成像组件，其中通过所述显微镜的主要相机端口提供样本的对焦位置。本公开还提供了一种成像组件，其中所述相机被安装到所述显微镜的落射光臂。
本公开还提供了一种成像方法，所述成像方法包含：提供相机，所述相机具有定位在相机的傅里叶平面处的针孔遮光器，所述针孔遮光器具有第一针孔和第二针孔；提供显微镜；将所述相机安装到所述显微镜；经由所述相机采集所述显微镜的样本的图像，所述图像包含所述样本的两个图像副本；利用所述图像来识别所述两个图像副本的平移移位；以及利用所述两个图像副本的所述平移移位来识别所述样本的对焦位置。
本公开还提供了一种成像方法，其中对所述样本的对焦位置的识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的；其中通过显微镜的主要相机端口提供样本的对焦位置；并且其中将相机安装到显微镜的落射光臂。
预期实施例的任何组合或排列。通过以下描述，尤其在结合附图阅读时，本公开的所公开的系统、组件和方法的附加的有利特征、功能和应用将显而易见。在本公开中列举的所有参考在此以全文引用的方式并入。
附图说明
在下文参考附图描述实施例的特征和方面，其中元件不一定是按比例描绘。
进一步参考附图描述本公开的示例性实施例。应注意，在下文描述并且在图中说明的各种特征、步骤和特征/步骤的组合可以通过不同的方式布置和组织，从而产生仍然在本公开的范围内的实施例。为了辅助本领域技术人员制作并且使用所公开的系统、组件和方法，参考附图，其中：
图1A至图1D示出用于即时焦平面检测的两个针孔调节式相机；图1A示出通过调整每个相机的针孔的位置，可以有效地改变样本视角；可以从两个对应图像的平移移位恢复最佳焦点位置；图1B1至图1B3示出所提出的自动聚焦方案的示意图；可以使用图像的平移移位来识别样本的最佳焦点位置；图1C1至图1C3示出将离轴针孔插入到目镜适配器中的缩小透镜的傅里叶平面；可以通过纸张上的针来冲出所述针孔；可以使用3D打印塑料外壳来组装自动聚焦模块；图1D示出附接在显微镜的目镜端口处的示例性自动聚焦模块；
图2A1至图2D示出针孔调节式相机的平移移位与散焦距离之间的关系；图2A1至图2B3示出通过针孔调节式相机所捕获的图像；图2C1至图2C3示出通过显微镜的主要相机端口捕获的对应的高分辨率图像以作为比较；图2D示出平移移位与散焦距离之间的关系；
图3示出用于恢复样本的散焦距离的示例性流程图；
图4示出利用相位相关曲线以用于沿着z方向探索样本结构；在图4A1至图4A4中示出具有一个薄截面的样本，在图4B1至图4B4中示出具有折叠截面的样本，并且在图4C1至图4C4中示出具有相隔特定距离的两个不同层的样本；
图5A至图5B2示出样本加载和机械扫描方案；图5A示出用于控制对焦旋钮的3D打印塑料齿轮；图5B1和图5B2示出使用机械套件的样本扫描和使用可编程机械臂的样本加载；XM:x轴电机；YM:y轴电机；XYG:x-y扫描齿轮组；ZM:z轴电机；ZG:z轴扫描齿轮；
图6A1至图6B4示出通过使用示例性平台/组件而捕获的十亿像素；图6A1至图6A4示出使用9百万像素CCD的病理学幻灯片的所捕获的图像；视场是14mm乘8mm并且采集时间是90秒；图6B1至图6B4示出使用1.5百万像素色彩CMOS传感器的血涂片的所捕获的图像；视场是15mm乘15mm并且采集时间是16分钟；
图7示出示例性相机可以用于自动聚焦并且可以通过二针孔遮光器来调节此相机；
图8A至图8D示出另一示例性自动聚焦组件/方法；图8A至图8C中的每一者中的所捕获的图像各自含有样本的两个副本；通过识别这两个副本的横向距离(例如，图8A中的两个箭头之间的距离)，可以恢复样本的散焦距离，如图8D中所示；以及
图9示出用于恢复样本的散焦距离的另一示例性流程图。
具体实施方式
本文公开的示例性实施例说明了本公开的有利的显微镜/成像组件和系统以及其方法/技术。然而，应理解，所公开的实施例仅仅示范了本公开，可以通过各种形式体现本公开。因此，本文参考示例性成像组件/制造方法和组件的相关联的工艺/技术以及用途而公开的细节不应被理解为具有限制性，而是仅理解为教导本领域技术人员如何制作和使用本公开的有利的成像组件/系统和/或替代性组件的基础。
提供了用于执行成像技术(例如，微观成像技术)的有利的仪器、组件和方法。本公开提供了改进的成像技术、设备和系统。更具体地，本公开提供了具有快速样本自动聚焦的有利的显微镜/成像组件(例如，具有用于快速样本自动聚焦成像的即时聚焦的显微镜/成像组件)。
一般来说，本公开提供了使用即时焦平面检测的高处理量整个幻灯片成像。示例性实施例提供了使用即时聚焦系统/方法来用于高速样本自动聚焦的整个幻灯片成像平台/组件。此类平台/组件可以用于数字病理学等，并且可以提供对疾患/疾病的改进、更快和更廉价的诊断/预后。
本公开提供了整个幻灯片成像平台/组件，其并入有用于快速聚焦的构件以用于高速显微镜样本自动聚焦数字成像。在示例性实施例中，可以使用所述组件将病理学幻灯片转换为数字图像，并且基于所公开的即时聚焦系统/方法，可以高速地并且使用低成本仪器有利地采集数字图像。具有即时聚焦的示例性系统、组件和方法被配置成节省时间并且产生具有改进的图像质量的图像(例如，因为图像的不同区全部对焦)。在一些实施例中，提供了用于整个幻灯片成像的快速聚焦系统，所述系统包含安装在显微镜平台/组件的目镜端口上的针孔调节式相机。
在某些实施例中，示例性系统/组件向显微镜的每个目镜利用针孔附加相机以提供即时聚焦(例如，自动聚焦)。在用于每只眼睛的两个不同图像的情况下，随后可以计算病理学(例如，改变的形貌)可能需要的最佳焦点位置(而不是扫描每个层)。对于需要速度的整个幻灯片成像，尤其需要所述即时聚焦。
因此，示例性实施例提供对疾病的改进、更快和因此更低的成本预测、诊断和预后。当前自动聚焦方法仅针对一个平面，或者它们需要针对每个截面扫描多个平面，这可能是缓慢和耗时的(例如，当前方法选择性地选择扫描哪些像素(它们跳过))。
在示例性实施例中，本公开的系统/组件利用两个图像来计算最佳焦点位置，使得不必扫描每个深度(例如，z扫描)。
本公开提供了用于整个幻灯片成像(“WSI”)的至少两种超快自动聚焦系统/方法。在实施例中，可以在显微镜平台的两个目镜端口处附接两个针孔调节式相机。对于每个相机，可以使用单针孔遮光器来调节光场(例如，用于两个相机的两个单针孔遮光器)。通过调整在两个相机中使用的针孔遮光器的位置，可以有效地改变目镜端口处的样本视角，并且因此，可以使用两个针孔调节式图像的平移移位来识别最佳焦点位置。
在另一实施例中，可以在落射光臂处附接一个相机以用于自动聚焦。对于此相机，可以将二针孔遮光器插入傅里叶平面。因此，来自此相机的所捕获的图像含有所述样本的两个副本。如果样本置于对焦位置，那么来自一个图像的这两个副本不具有平移移位。如果样本离焦，那么这两个副本具有平移移位。基于此平移移位，可以恢复样本的对焦位置。
因此，在第一公开的实施例中，可以使用两个相机来用于自动聚焦，并且通过傅里叶平面处的单针孔遮光器来调节每个相机。在第二实施例中，可以使用一个相机来用于自动聚焦，并且可以通过傅里叶平面处的二针孔遮光器来调节此相机。对于以上两个示例性实施例，可以在不需要z扫描的情况下恢复散焦距离，从而缩短了WSI的采集时间。本公开的组件、系统和方法可以用于明视场和荧光WSI。
所公开的实施例存在若干优势。首先，通过在遮光器中部署小的针孔，自动聚焦可以达到毫米范围，比物镜的景深长至少100倍。只要将样本置于焦平面的毫米范围，示例性实施例便能够识别最佳焦点位置，而不需要执行z堆叠。另一方面，常规的基于对比度的方法依赖于来自主要相机端口的所捕获的图像，如果样本散焦较长距离，那么所述图像会模糊。
另一优势是，由针孔调节式相机捕获的图像提供了样本结构在z方向上的附加信息。在第一实施例中，通过分析两个图像的相位校正曲线，可以容易确定样本是含有一个薄截面、折叠区段还是相隔特定距离的多个层。此类信息对于细胞学分析来说是宝贵的，其中样本在本质上是三维的。还可以结合所报告的系统/方法而使用不同的z取样策略以用于更好的图像采集。举例来说，可以针对含有折叠区段或多个层的区域执行z堆叠。还可以通过将分层结构与周围区域进行比较来避免气泡。
对于第一实施例，应注意，不需要将两个相机置于目镜端口处。只要可以使用透镜将样本平面中继到检测器平面，便可以将这两个相机放置到检测器平面。对于第二实施例，应注意，还可以在遮光器中使用两个以上针孔来调节光，只要将针孔置于系统光瞳的边缘处。
在某些实施例中，本公开通过使具有成本效益的光电-机械附加套件/组件适配于现有的显微镜而实现对高处理量整个幻灯片成像系统/方法的开发。可以将两个针孔调节式相机附接在目镜端口处以用于即时焦平面检测。为了实现系统自动化，可以部署低成本可编程机械臂以执行样本加载，并且部署步进电机来驱动显微镜载片台以执行x-y扫描。通过使用20X物镜，可以在90秒内在14mm乘8mm的视场下采集2十亿像素图像。示例性组件、系统和方法可以应用于生物医学研究、远程医疗和数字病理学中。它们还可以为开发高含量筛选仪器提供新的见解。
对于每个x-y位置，示例性组件、系统和方法能够直接将载片台移动到最佳焦点位置；不需要z堆叠并且焦点误差将不会传播到其它x-y位置。在某些实施例中，可以采用具有成本效益的可编程机械臂(例如，Kickstarter的uArm)以用于样本加载。可以将其能力扩展来处置其它样本(例如培养皿)，并且整合其它图像辨识策略以实现更好的和可负担的实验室自动化。
将关于以下实例进一步描述本公开；然而，本公开的范围不会受此限制。以下实例说明本公开的有利的成像组件、系统和方法。
实例1：用于自动聚焦的两个相机并且每个相机被单针孔遮光器调节：
在一些实施例中，可以将两个针孔调节式相机14附接在显微镜12的目镜端口处以用于即时焦平面检测，如图1A中所示。通过调整每个相机14的每个针孔的位置，可以有效地改变针孔调节式相机14的样本视角。当将显微镜12的样本置于对焦位置时，来自相机14的两个所捕获的图像将相同(图1B2)。当样本焦点未对准时(图1B1和图1B3)，将以两个不同的视角投射样本图像，从而导致两个图像中的平移移位。所述平移移位与样本的散焦距离成比例。因此，通过识别两个所捕获的图像的平移移位，可以恢复样本的最佳焦点位置(例如，显微镜12的样本的对焦位置)，而不需要对样本进行z扫描(例如，不需要在z方向上或沿着样本的深度对样本进行z扫描)。
在图1C1中示出针孔调节式相机14的目镜适配器的示例性设计，其中可以将针孔遮光器置于目镜适配器的傅里叶平面处(例如，在图1A和图1C1的两个透镜之间)。可以将两个针孔调节式相机14附接(经由目镜适配器)到显微镜12(例如，具有20X、0.75NA物镜的Olympus显微镜12)的目镜端口中，如图1A和图1D中所示。如图1C3中所示，可以将两个相机14安装到壳体16(例如，模块化壳体16)。在示例性实施例中，可以结合广泛多种不同的显微镜12来利用壳体16和安装的相机14。
应注意，不需要将两个相机14置于目镜端口处。只要可以使用透镜将样本平面中继到检测器平面，便可以将这两个相机14放置到检测器平面。
图1C1和图1C2示出将离轴针孔遮光器插入到相机14的目镜适配器中的缩小透镜的傅里叶平面。可以通过一张纸上的针等来冲出针孔遮光器的针孔。
每个针孔遮光器的每个针孔的大小可以在0.5mm左右，并且每个针孔可以与光学轴线相距约1.5mm。为了调整每个针孔的位置，可以增加离轴距离，直到图像在相机中消失为止。
可以使用3D打印塑料外壳或壳体16来组装收容相机14的自动聚焦模块16。图1D示出自动聚焦模块16和附接在显微镜12的目镜端口(经由相机14的目镜适配器)处的相机14。
图2A1至图2D示出针孔调节式相机14的平移移位与散焦距离之间的关系。图2A1至图2B3示出通过针孔调节式相机14所捕获的图像。图2C1至图2C3示出通过显微镜12的主要相机端口所捕获的对应的高分辨率图像以作为比较。图2D示出平移移位与散焦距离之间的关系。
图2A1至图2D示出即时焦平面检测方案的实验表征。当将样本置于不同的离焦位置时，会在来自处于不同的离焦位置的针孔调节式相机14(图2A1和图2B1以及图2A3和图2B3)的两个相应的图像处引入平移移位。当样本对焦时(图2A2和图2B2中的图像)，平移移位消失。通过使用小的针孔，通过这两个相机14捕获的每个图像具有长景深。在图2C1至图2C3中，此示出在显微镜12的主要相机端口处捕获的图像。可以看到，针孔调节式相机14的景深比通过显微镜12的主要相机端口所捕获的高分辨率图像长数个数量级。图2D示出样本的平移移位和散焦距离之间的所测得的关系。对于将新的样本成像，应注意，可以首先识别两个针孔调节式图像的平移移位，并且随后使用此校准曲线来恢复样本的焦点位置。
在图3中示出用于恢复此实施例的散焦距离的示例性流程图。
如图3中示出，示例性系统/方法包含第一步骤：采集并且输入来自针孔调节式相机14的两个图像。接下来，计算所述两个图像的相位相关。下一步骤是找到相位相关曲线的峰值以获得平移移位。下一步骤是将所估计的平移移位替换到样本的散焦距离与平移移位之间的关系曲线中。输出于是可以是显微镜12的样本的散焦距离。
还可以使用在图3的流程图中计算的相位相关曲线来识别两个针孔调节式图像的平移移位。将相位相关用于子像素对准是图像处理中的一种技术。在此实施例中，我们探索使用相位相关曲线来查看样本的断层结构，而不需要对样本进行详细的z扫描，如图4A1至图4C4中所示。
图4A1至图4C4演示不同的样本在相位相关曲线上具有不同的特性。薄截面呈现单个锐峰(图4A1)，而具有折叠区段的样本拥有具有更广的半高全宽(FWHM)的峰值，如图4B1中所示。最后，具有相隔特定距离的两个层的样本提供两个峰值，如图4C1中所示。具体来说，在图4C1中，两个层相隔100pm。本公开的示例性组件/平台能够恢复此类较长景深上的信息。沿着z方向的样本信息对于确定取样策略来说是宝贵的。举例来说，可以根据相位相关曲线的峰值或FWHM来执行多层取样。可能需要进一步的研究来中继相位相关特性与样本性质。在此实施例中，可以仅仅识别相位相关曲线的最大点以恢复样本的焦点位置。因此，不需要执行z堆叠来获取具有多个层或折叠区段的样本的附加信息。
为了实现系统自动化，可以使用低成本可编程机械臂(例如，uArm，Kickstarter)以执行样本加载，并且可以使用步进电机(例如，NEMA-17，Adafruit)来驱动显微镜载片台以执行x-y-z扫描。在示例性实现方式中，可以使用3D打印塑料齿轮来控制对焦旋钮以用于样本自动聚焦，如图5A中所示。在一些实施例中，最小的z步长是350nm。在需要时，可以改变图5A中的两个机械齿轮的大小比率以实现提高的z分辨率。图5B1和图5B2示出用于控制x-y平面中的样本扫描的机械附加套件和用于自动样本加载的可编程机械臂。可以使用Arduino微控制器来控制所述扫描过程。
图6A1至图6B4示出使用平台/组件所捕获的十亿像素图像。在图6A1至图6A4中，利用9百万像素单色CCD相机(例如，Prosilica GT 34000，3.69pm像素大小)来捕获病理学幻灯片。通过使用20X、0.75数值孔径物镜，用90秒在14mm乘8mm的视场下采集2十亿像素图像。此图像含有340段，并且在使用具有Intel i5处理器的常规桌上型计算机的情况下，每段的图像采集耗费0.24秒左右。采集时间的详细分解如下：1)针孔调节式相机14从目镜端口采集两个图像要0.1秒；2)计算相位相关并且恢复最佳焦点位置要0.02秒；3)驱动对焦旋钮要0.04秒；4)触发主要相机以捕获高分辨率对焦图像要0.02秒；5)将x-y载片台驱动到另一位置要0.06秒。主要速度限制是从针孔调节式相机读出的数据。在此原型中，使用相机模型(例如，31AU03，IC捕获，1024乘768像素)。具有更快的数据读出的CMOS网络摄像头可以将单个段的采集时间减少到0.16秒(提高40％左右)。
在图6B1至图6B4中，使用1.5百万像素彩色CMOS相机(Infinity lite，4.2pm像素大小)来采集血涂片的彩色图像。在2400段的情况下，总的采集时间是16分钟并且视场是15mm乘15mm。在检测器大小比在图6A1中使用的CCD小得多并且不存在硬件触发的情况下会导致更长的采集时间。
为了测试自动聚焦能力，还可以将样本移动到25个预定义的z位置并且使用实例1中所公开的方法来恢复所述z位置。在地面实况与恢复之间的标准偏差是300nm左右，比所采用的物镜的景深小得多。最后，使用步进电机并且将步进电机与所公开的自动聚焦方案进行整合以用于高处理量WSI是新的方式，并且可以应用于各种生物医学。
总之，已经演示了使用针孔调节式相机(例如，两个相机)来用于即时焦平面检测。已经开发出用于将显微镜转换为WSI系统的WSI附加套件。对于每个x-y位置，所报告的WSI平台/组件能够直接将载片台移动到最佳焦点位置；不需要z堆叠进行焦平面搜索，并且对焦误差将不会累加到其它x-y位置。通过使用所报告的平台，演示了在90秒内采集2十亿像素图像(14mm乘8mm)。
与激光反射方法相比，所公开的方法/组件能够跟踪组织截面的地形变化；不需要外部激光源或角度跟踪光学器件。与图像对比度方法相比，所公开的方法/组件具有超长的自动聚焦范围并且不需要z扫描进行焦平面检测。
可以通过具有0.5X缩小透镜(例如，Amscope)的低成本目镜适配器来取代目镜端口处的相机透镜。可以将针孔插入到所述缩小透镜的傅里叶平面中。最后，可以在目镜端口处使用低成本立体声Minoru网络摄像头或其它低成本网络摄像头来捕获针孔调节式图像。
系统的其余部分可以与显微镜(例如，常规的显微镜)一样。所公开的设计/组件可以使得能够传播高处理量成像/筛选仪器来用于广泛的生物医学界。它们还可以直接与用于高处理量多模式显微镜成像的其它具有成本效益的成像方案组合。
在下一阶段有若干领域要提高。首先，由于所采集的大数据集，可以使用自由软件程序(例如，图像合成编辑器)在线下执行图像拼接。可以将所捕获的数据转换为个别图像并且手动地将它们上传到所述软件。所述软件盲目地拼接图像，而不需要利用个别段的位置信息。整个过程花费约40分钟来产生在图6A1中示出的图像。可以计划开发存储器有效程序以在图像采集过程期间执行拼接。
其次，当前速度限制是来自从针孔调节式相机读出的数据(15fps)。可以使用具有更高帧速率的相机将采集时间进一步缩短40％。在某些实施例中，针孔调节式相机的传感器面积和像素总数并不重要。
接下来，可以在组件的各个部分中使用塑料外壳来安装针孔调节式相机。由于相机的重量，稳定性可能是个问题。可以利用具有改进的光电子-机械设计的金属底座(例如，使用市售的具有0.5X缩小透镜的目镜适配器)。
而且，所公开的组件/方法可以用于荧光成像。在此情况下，针孔调节式相机的光子预算将较低。可能需要研究拍摄噪声对相位相关曲线的影响。
而且，使用相位相关曲线来查看样本的断层结构是新的方式。可以执行进一步的研究来进一步研究相位相关特性和相关联的样本性质。
在示例性实施例中，可以采用可编程机械臂来用于样本加载。可以利用低成本和开源机械臂。可以扩展它们的能力来处置不同的样本，并且整合其它图像辨识策略以实现改进的和可负担的实验室自动化。
实例2：用于自动聚焦的相机并且此示例性相机被二针孔遮光器调节：
在另一实施例中并且如图7中所示，可以将一个相机114附接到显微镜。将示例性相机114附接/安装在显微镜的落射光臂处以用于自动聚焦。
对于相机114并且如图7中所描绘，可以将具有两个针孔的二针孔遮光器插入相机114(自动聚焦模块114)的傅里叶平面。因此，来自此相机114的所捕获的图像含有样本的两个图像副本，如图8A中所示(并且如图8B中所示；以及如图8C中所示)。
如果样本置于对焦位置，那么来自一个图像的这两个副本在它们之间没有横向距离。如果样本离焦(例如，图8A)，那么在单个图像中含有的这两个图像副本具有横向平移移位(例如，在图8A中的两个箭头之间的距离)。基于此横向平移移位，可以恢复样本的对焦位置。在图9中示出用于恢复此实施例的散焦距离的示例性流程图。
如图9中所示，示例性系统/方法包含第一步骤：采集并且输入来自二针孔调节式相机114的一个图像(例如，图8A)。接下来，可以找出所捕获/所采集的图像的傅里叶变换、取模并且再次进行傅里叶变换。接下来，可以找出最高突出的峰值(除零频率峰值之外)并且取得对应的平移移位。随后，可以将所估计的平移移位替换到样本的散焦距离与平移移位之间的关系曲线中。输出于是可以是显微镜的样本的散焦距离(例如，图7)。
还可以将偏移设定到图7中的自动聚焦相机114。在此情况下，当样本对焦时，其将引入图8A中的所捕获的图像的两个副本的特定量的横向移位。
应注意，还可以在相机114的遮光器中使用两个以上针孔来调节光，只要将针孔置于系统光瞳的边缘处。
虽然已经参考本公开的示例性实施例描述了本公开的系统/方法，但本公开不限于此类示例性实施例/实现方式。而是，本领域技术人员从本公开的公开内容将容易明白，本公开的系统/方法会有许多实现方式和应用。本公开明确涵盖所公开的实施例的此类修改、增强和/或变化。因为可以在以上构造中作出许多改变，并且可以在不脱离本公开的范围的情况下制作本公开的许多广泛不同不同的实施例，所以期望将把在图式和说明书中含有的所有内容理解为说明性的，而没有限制性意义。在前述公开内容中预期了附加的修改、变化和替代。因此，应了解，将广泛地且以与本公开的范围一致的方式解释所附权利要求书。

Claims (20)

1.一种成像组件，所述成像组件包括：
第一相机，所述第一相机具有定位在所述第一相机的傅里叶平面处的第一针孔遮光器，所述第一针孔遮光器具有第一针孔；
第二相机，所述第二相机具有定位在所述第二相机的傅里叶平面处的第二针孔遮光器，所述第二针孔遮光器具有第二针孔；
显微镜，所述第一相机和第二相机被安装到所述显微镜；
其中所述第一相机被配置和适配成提供所述显微镜的样本的第一图像；
其中所述第二相机被配置和适配成提供所述显微镜的所述样本的第二图像；以及
其中对所述第一样本图像和第二样本图像的平移移位的识别允许用户识别所述样本的对焦位置。
2.根据权利要求1所述的组件，其中，对所述样本的所述对焦位置的所述识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。
3.根据权利要求1所述的组件，其中，所述第一相机和第二相机被安装到模块化壳体。
4.根据权利要求1所述的组件，其中，所述第一针孔遮光器定位在所述第一相机的第一目镜适配器的傅里叶平面处，所述第一针孔遮光器定位在所述第一目镜适配器的两个透镜之间；并且
其中所述第二针孔遮光器定位在所述第二相机的第二目镜适配器的傅里叶平面处，所述第二针孔遮光器定位在所述第二目镜适配器的两个透镜之间。
5.根据权利要求1所述的组件，其中，所述样本的所述对焦位置是通过所述显微镜的主要相机端口来提供。
6.根据权利要求1所述的组件，进一步包括所述显微镜的第一目镜端口，所述第一相机被安装到所述第一目镜端口；以及
所述显微镜的第二目镜端口，所述第二相机被安装到所述第二目镜端口。
7.根据权利要求1所述的组件，其中，所述第一针孔的位置是可调整的，并且所述第一针孔的所述位置的所述调整会改变所述第一相机对所述样本的观看角度；并且
其中所述第二针孔的位置是可调整的，并且所述第二针孔的所述位置的所述调整会改变所述第二相机对所述样本的观看角度。
8.一种成像方法，所述成像方法包括：
提供第一相机，所述第一相机具有定位在所述第一相机的傅里叶平面处的第一针孔遮光器，所述第一针孔遮光器具有第一针孔；
提供第二相机，所述第二相机具有定位在所述第二相机的傅里叶平面处的第二针孔遮光器，所述第二针孔遮光器具有第二针孔；
提供显微镜；
将所述第一相机和第二相机安装到所述显微镜；
经由所述第一相机获取所述显微镜的样本的第一图像；
经由所述第二相机获取所述显微镜的所述样本的第二图像；
利用所述第一图像和第二图像来识别所述第一样本图像和第二样本图像的平移移位；以及
利用所述第一样本图像和第二样本图像的所述平移移位来识别所述样本的对焦位置。
9.根据权利要求8所述的方法，其中，对所述样本的所述对焦位置的所述识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。
10.根据权利要求8所述的方法，其中，将所述第一相机和第二相机安装到模块化壳体。
11.根据权利要求8所述的方法，其中，将所述第一针孔遮光器定位在所述第一相机的第一目镜适配器的傅里叶平面处，所述第一针孔遮光器定位在所述第一目镜适配器的两个透镜之间；以及
其中将所述第二针孔遮光器定位在所述第二相机的第二目镜适配器的傅里叶平面处，所述第二针孔遮光器定位在所述第二目镜适配器的两个透镜之间。
12.根据权利要求8所述的方法，其中，通过所述显微镜的主要相机端口提供所述样本的所述对焦位置。
13.根据权利要求8所述的方法，进一步包括所述显微镜的第一目镜端口，将所述第一相机安装到所述第一目镜端口；以及
所述显微镜的第二目镜端口，将所述第二相机安装到所述第二目镜端口。
14.根据权利要求8所述的方法，其中，所述第一针孔的位置是可调整的，并且所述第一针孔的所述位置的所述调整会改变所述第一相机对所述样本的观看角度；并且
其中所述第二针孔的位置是可调整的，并且所述第二针孔的所述位置的所述调整会改变所述第二相机对所述样本的观看角度。
15.一种成像组件，所述成像组件包括：
相机，所述相机具有定位在所述相机的傅里叶平面处的针孔遮光器，所述针孔遮光器具有第一针孔和第二针孔；
显微镜，所述相机被安装到所述显微镜；
其中所述相机被配置和适配成提供所述显微镜的样本的图像，所述图像包含所述样本的两个图像副本；以及
其中对所述两个图像副本的平移移位的识别允许用户识别所述样本的对焦位置。
16.根据权利要求15所述的组件，其中，对所述样本的所述对焦位置的所述识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的。
17.根据权利要求15所述的组件，其中，所述样本的所述对焦位置通过所述显微镜的主要相机端口来提供。
18.根据权利要求15所述的组件，其中，所述相机被安装到所述显微镜的落射光臂。
19.一种成像方法，所述成像方法包括：
提供相机，所述相机具有定位在所述相机的傅里叶平面处的针孔遮光器，所述针孔遮光器具有第一针孔和第二针孔；
提供显微镜；
将所述相机安装到所述显微镜；
经由所述相机获取所述显微镜的样本的图像，所述图像包含所述样本的两个图像副本；
利用所述图像来识别所述两个图像副本的平移移位；以及
利用所述两个图像副本的所述平移移位来识别所述样本的对焦位置。
20.根据权利要求19所述的方法，其中，对所述样本的所述对焦位置的所述识别是在不沿着所述样本的深度或z方向扫描所述样本的情况下进行的；
其中通过所述显微镜的主要相机端口提供所述样本的所述对焦位置；以及其中将所述相机安装到所述显微镜的落射光臂。
CN201680044339.9A 2015-07-27 2016-07-27 具有快速样本自动聚焦的成像组件 Pending CN107850754A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562197283P 2015-07-27 2015-07-27
US62/197,283 2015-07-27
PCT/US2016/044312 WO2017019795A1 (en) 2015-07-27 2016-07-27 Imaging assemblies with rapid sample auto-focusing

Publications (1)

Publication Number Publication Date
CN107850754A true CN107850754A (zh) 2018-03-27

Family

ID=57883567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680044339.9A Pending CN107850754A (zh) 2015-07-27 2016-07-27 具有快速样本自动聚焦的成像组件

Country Status (3)

Country Link
US (1) US10330906B2 (zh)
CN (1) CN107850754A (zh)
WO (1) WO2017019795A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578549A (zh) * 2019-09-27 2021-03-30 莱卡微系统Cms有限责任公司 使用显微镜对对象进行成像的成像设备和方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US10334151B2 (en) * 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
EP3504573A4 (en) * 2016-08-28 2020-07-29 Augmentiqs Medical Ltd. HISTOLOGICAL EXAMINATION SYSTEM OF TISSUE SAMPLES
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
EP3396430B1 (en) * 2017-04-27 2023-08-16 Euroimmun Medizinische Labordiagnostika AG Optical scanning arrangement and method
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
DE102017115021A1 (de) * 2017-07-05 2019-01-10 Carl Zeiss Microscopy Gmbh Digitale Bestimmung der Fokusposition
CN108169192A (zh) * 2017-12-08 2018-06-15 中国科学院生态环境研究中心 毛细管电泳-连续波长双光子荧光偏振检测装置
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
WO2020227544A1 (en) * 2019-05-08 2020-11-12 University Of Connecticut Methods and systems for single frame autofocusing based on color-multiplexed illumination
CN115278087B (zh) * 2020-08-31 2024-04-02 深圳迈瑞生物医疗电子股份有限公司 样本图像拍摄方法以及样本图像拍摄设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4625103A (en) * 1982-11-30 1986-11-25 Asahi Kogaku Kogyo Kabushiki Kaisha Automatic focusing device in microscope system
JPH05268606A (ja) * 1992-01-23 1993-10-15 Nec Corp 撮像装置
JP2008089691A (ja) * 2006-09-29 2008-04-17 Canon Inc 焦点検出装置及びそれを有する撮像装置
JP2009270988A (ja) * 2008-05-09 2009-11-19 Panasonic Corp 重ね合わせずれ量算出方法及び半導体装置の製造方法
CN101952762A (zh) * 2008-01-02 2011-01-19 加利福尼亚大学董事会 高数值孔径远程显微镜设备
WO2014016839A1 (en) * 2012-07-24 2014-01-30 Nova Measuring Instruments Ltd. Optical method and system for measuring isolated features of a structure

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55140806A (en) * 1979-04-23 1980-11-04 Hoya Corp Binoculars provided with automatic focus mechanism
US6607888B2 (en) * 1998-10-20 2003-08-19 Wisconsin Alumni Research Foundation Method for analyzing nucleic acid reactions
US8848199B2 (en) * 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
JP5272823B2 (ja) * 2009-03-17 2013-08-28 ソニー株式会社 焦点情報生成装置及び焦点情報生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4625103A (en) * 1982-11-30 1986-11-25 Asahi Kogaku Kogyo Kabushiki Kaisha Automatic focusing device in microscope system
JPH05268606A (ja) * 1992-01-23 1993-10-15 Nec Corp 撮像装置
JP2008089691A (ja) * 2006-09-29 2008-04-17 Canon Inc 焦点検出装置及びそれを有する撮像装置
CN101952762A (zh) * 2008-01-02 2011-01-19 加利福尼亚大学董事会 高数值孔径远程显微镜设备
JP2009270988A (ja) * 2008-05-09 2009-11-19 Panasonic Corp 重ね合わせずれ量算出方法及び半導体装置の製造方法
WO2014016839A1 (en) * 2012-07-24 2014-01-30 Nova Measuring Instruments Ltd. Optical method and system for measuring isolated features of a structure

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578549A (zh) * 2019-09-27 2021-03-30 莱卡微系统Cms有限责任公司 使用显微镜对对象进行成像的成像设备和方法

Also Published As

Publication number Publication date
US10330906B2 (en) 2019-06-25
WO2017019795A1 (en) 2017-02-02
US20170031146A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN107850754A (zh) 具有快速样本自动聚焦的成像组件
US10944896B2 (en) Single-frame autofocusing using multi-LED illumination
Doroshenkov et al. Classification of human sleep stages based on EEG processing using hidden Markov models
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
US20180307005A1 (en) Multifunction Autofocus System and Method for Automated Microscopy
US8760756B2 (en) Automated scanning cytometry using chromatic aberration for multiplanar image acquisition
CN102053355B (zh) 用于具有增强景深的成像的系统和方法
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
CN102053356B (zh) 用于具有增强景深的成像的系统和方法
CN102053357B (zh) 用于具有增强景深的成像的系统和方法
EP2737453A2 (en) Standardizing fluorescence microscopy systems
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
CN108873290A (zh) 用于扫描显微镜载玻片的装置和方法
CN116430568A (zh) 显微镜系统、显微镜自动对焦方法和医疗设备
Guo et al. Brightfield, fluorescence, and phase-contrast whole slide imaging via dual-LED autofocusing
CN116088158A (zh) 一种细胞图像处理系统、方法、自动读片装置与存储介质
JP7090171B2 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
Murali et al. Continuous stacking computational approach based automated microscope slide scanner
Cruz et al. Automated urine microscopy using scale invariant feature transform
WO2023166624A1 (ja) 焦点調整方法、プログラム、装置
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2014149484A (ja) 撮像システムおよびその制御方法
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
WO2022259647A1 (ja) 情報処理装置、情報処理方法、及び顕微鏡システム
JP2015090493A (ja) 画像取得装置、及び、画像取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327

WD01 Invention patent application deemed withdrawn after publication