CN109416465B - 用于图像捕获和显示的系统、方法和设备 - Google Patents

用于图像捕获和显示的系统、方法和设备 Download PDF

Info

Publication number
CN109416465B
CN109416465B CN201780038056.8A CN201780038056A CN109416465B CN 109416465 B CN109416465 B CN 109416465B CN 201780038056 A CN201780038056 A CN 201780038056A CN 109416465 B CN109416465 B CN 109416465B
Authority
CN
China
Prior art keywords
level image
image
level
magnification
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780038056.8A
Other languages
English (en)
Other versions
CN109416465A (zh
Inventor
K·艾波利多
J·保林
R·萨里兹伯里
L·斯通
E·梅列斯
A·吉根富斯
E·佩尔斯马克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Life Technologies Corp
Original Assignee
Life Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Life Technologies Corp filed Critical Life Technologies Corp
Publication of CN109416465A publication Critical patent/CN109416465A/zh
Application granted granted Critical
Publication of CN109416465B publication Critical patent/CN109416465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供了允许用户在低水平放大率和高水平放大率下捕获图像并接着将所述高水平放大率图像覆盖在所述低水平放大率图像上以便检视所述图像的系统和方法。所述高水平放大率图像可以至少部分地基于所述低水平放大率图像中所述高水平图像所源自的部分而覆盖在所述低水平放大率图像上。

Description

用于图像捕获和显示的系统、方法和设备
相关申请
本申请要求美国专利申请号62/335,422“用于图像捕获和显示的系统、方法和设备”(2016年5月12日提交)的优先权和权益，所述申请的全部内容出于任何和所有目的通过引用全部并入本文。
技术领域
本公开涉及图像捕获和图像覆盖领域。
背景技术
对于各种学科，特别是细胞分析的研究者来说，一个熟悉的问题是在相对低的放大率下检视样品图像以生成背景图像，识别所述图像中的感兴趣区域，并且然后在较高放大率下检视感兴趣区域，同时还试图从较大背景图像内的哪个位置跟踪产生的放大的感兴趣区域的过程。然而，此过程通常涉及比较来自不同计算机文件的低放大率图像和高放大率图像，并且通常是乏味、耗时且易出错的。因此，本领域长期以来需要改进的图像捕获和显示的方法和系统。
发明内容
在满足所述挑战的过程中，本公开首先提供了图像分析方法，所述方法包括：在第一放大率水平下收集样品的至少一个第一级图像；在大于第一放大率水平的第二放大率水平下收集包括对应第一级图像的区域的第一第二级图像；以及将第一第二级图像覆盖在第一级图像上。
本公开还提供了样品分析系统，其包括：成像装置，所述成像装置被配置成(a)在第一放大率水平下收集第一样品图像，并且(b)在大于第一放大率水平的第二放大率水平下收集第二样品图像，所述第二样品图像包括至少部分地安置在对应第一图像内的区域；以及处理器，所述处理器被配置成实现将所述第二图像覆盖在所述第一图像上。
额外地提供了图像分析方法，其包括：在第一放大率水平下收集至少一个第一样品图像；在大于所述第一放大率水平的第二放大率水平下收集至少一个第二样品图像，所述第二样品图像包括至少部分地安置在所述对应第一图像内的区域；将第二图像的特征与第一图像的对应特征对齐；以及将第二图像覆盖在第一图像上。
还提供了图像分析方法，包括：在第一放大率水平下收集多个第一样品图像；对于所述多个第一样品图像中的至少一些的集合的每个成员，在大于所述第一放大率水平的第二放大率水平下收集一个或多个第二样品图像，所述第二样品图像包括至少部分地安置在所述对应第一样品图像内的区域；对于所述第一样品图像集合中的那些成员中的至少一些(或者甚至每个)，将所述一个或多个第二样品图像中的每一个的特征与那个对应第一样品图像的对应特征对齐；以及将所述一个或多个第二样品图像覆盖在所述对应第一样品图像上。
还提供了样品分析系统，其包括：成像装置，所述成像装置被配置成(a)在第一放大率水平下收集第一样品图像，并且(b)在大于所述第一放大率水平的第二放大率水平下收集第二样品图像，所述第二样品图像包括至少部分地安置在对应第一样品图像内的区域；处理器，所述处理器被配置成实现(a)将至少一个所收集的第二样品图像的特征与所述第一样品图像的对应于那个第二样品图像的对应特征对齐，并且(b)将所述第二图像覆盖在所述第一样品图像上。
附图说明
当结合附图阅读时，将进一步理解发明内容以及以下具体实施方式。出于说明所公开的主题的目的，在附图中示出了所公开的主题的示例性实施例；然而，所公开的主题不限于所公开的具体方法、组合物和装置。此外，附图不一定成比例绘制。在附图中：
图1提供了适用于本公开的示例性双相机装置的部件视图；
图2A提供了没有平台的图1的示例性装置的部件视图，图2B提供了图2A的装置的替代性部件视图以及图2C提供了图1的装置的侧视图；
图3A提供了示出平台的图1的示例性装置的部件视图，图3B提供了图2A的装置的替代性部件视图以及图3C提供了图1的装置的侧视图；
图4提供了适用于本公开的示例性单相机装置的部件视图；
图5A提供了示出平台的图4的示例性装置的部件视图，图5B提供了图5A的装置的替代性部件视图以及图5C提供了图4的装置的侧视图；
图6A提供了示出平台的图4的装置的视图，图6B提供了装置的内部部件的视图以及图6C提供了装置的侧部件视图；
图7提供了用于现有手动方法的示例性信息流程图；
图8提供了用于现有自动化方法的示例性信息流程图；
图9提供了用于所公开方法的手动实施例的示例性信息流程图；
图10提供了用于所公开方法的自动化实施例的示例性信息流程图；
图11提供了所公开技术的示例性实施例的屏幕视图；
图12提供了所公开技术的示例性实施例的屏幕视图，示出了第一级(相对低放大率)样品视图；
图13提供了所公开技术的示例性实施例的屏幕视图，示出了第一级(相对低放大率)样品视图，其中限定了第二级图像；
图14提供了所公开技术的示例性实施例的屏幕视图，示出了第一级(相对低放大率)样品视图，其中限定了第二级图像；
图15提供了所公开技术的示例性实施例的屏幕视图，示出了第一级图像；
图16提供了所公开技术的示例性实施例的屏幕视图，示出了示例性过程控制菜单；
图17提供了所公开技术的示例性实施例的屏幕视图，示出了示例性过程控制菜单；
图18提供了所公开技术的示例性实施例的屏幕视图，示出了示例性过程控制菜单；
图19提供了所公开技术的示例性实施例的屏幕视图，示出了示例性过程控制菜单；
图20提供了所公开技术的示例性实施例的屏幕视图，示出了示例性过程控制菜单；
图21A提供了在第一级图像上限定第二级放大率区域的示意图，图21B示出了在第二级放大率下实时选择第一级图像的第一“快照”，所述第一“快照”保持覆盖在第一级图像上，图21C示出了在第二级放大率下选择(例如，实时地)第一级图像的第二“快照”，所述第二“快照”保持覆盖在第一级图像上，以及图21D提供了替代性视图，其中用户已经创建了涵盖图21A中所示的整个感兴趣对象的第二级图像；
图22提供了在低放大率图像上方的用户绘制的自由区域(重边界)的示例性描绘，系统可以从所述低放大率图像设置扫描区域，使得获得合适数量的高放大率图像，以确保在较高的放大率下捕获整个自由区域(由较轻边框表示)；
图23提供了根据本公开的示例性系统的描绘；
图24提供了根据本公开的示例性方法的描绘；
图25提供了根据本公开的替代性示例性方法的描绘；以及
图26提供了根据本公开的进一步替代性方法的描绘。
具体实施方式
通过参考结合形成此公开的一部分的附图和实例的以下具体实施方式，可以更容易地理解本公开。应理解，此公开不限于本文描述和/或示出的具体装置、方法、应用、条件或参数，并且本文使用的术语仅出于通过实例描述特定实施例的目的，并不旨在限制所要求保护的主题。此外，如在包含所附权利要求的说明书中所使用的，单数形式“一”，“一个”和“所述”包含复数，并且除非上下文另有明确规定，否则对特定数值的引用至少包含那个特定值。如本文所用，术语“多个”意指超过一个。当表达一系列值时，另一个实施例包含从一个特定值和/或到其它特定值。类似地，当通过使用先行词“约”将值表达为近似值时，将理解特定值形成另一个实施例。所有范围都是包含性的且可组合的。
应当理解，为了清楚起见，也可以在单个实施例中组合提供在单独的实施例的上下文中本文描述的所公开的主题的某些特征。相反，为了简洁起见，也可以单独提供或以任何子组合提供在单独实施例的上下文中描述的所公开的主题的各种特征。进一步，对范围中所述值的引用包含那个范围内的每个值。出于任何和所有目的，本文引用的任何文献均通过引用以其整体并入本文。
在一个方面，本公开提供了图像分析方法。方法包括在第一放大率水平下收集样品的至少一个第一级图像；在大于第一放大率水平的第二放大率水平下收集包括对应第一级图像的区域的第一第二级图像(例如，在第二放大率水平下收集)；以及将第一第二级图像覆盖在第一级图像上。
图26提供了这些方法的示例性说明。如所示，方法可以包含步骤2600，所述步骤包括在第一收集状态下收集第一级样品图像。步骤2602然后包含在与第一收集状态不同大于的第二收集状态下收集第二级图像；第二级图像可以包含第一级图像的至少一部分。(如其它地方所述，收集状态是指收集图像的条件，例如放大率、照明、照射等中的一个或多个。)在步骤2604中，将第二级图像覆盖在对应第一级图像上。
第一放大率水平可以基本上是任何水平，例如，1x、2x、5x、10x、20x、30x、40x、50x、100x、200x、500x，1000x或更高(或任何中间值)，取决于用户的需要。第二放大率水平适当地大于第一放大率水平，约1.01倍(即，第二放大率水平是第一放大率水平的1.01倍)到约10,000倍，例如，约5到约5,000、约10到约1,000、约20到约500、约50到约100，以及所有中间值。第一级照明可以是典型的白光，但也可以是有色光或选择用于激发一种或多种荧光分子的光。还可以选择照明或其它条件以产生磷光分子的可检测性和/或活性(例如，可检测的活性)。
作为一个说明性实例，第一放大率水平可以是约2x，并且第二放大率水平可以是约20x。可以通过例如在物镜之间切换来实现不同的放大率水平。
第一第二级(即，较高放大率水平)图像可以覆盖在第一级(即，较低放大率水平)图像上。这可以这样进行，使得第一第二级图像根据(例如，上方)包括在第一第二级图像中的第一级图像的区域来定位。可以根据坐标系或其它空间关系方案来完成覆盖。然而，不要求第二级图像精确地覆盖在第一级图像上，使得第二级图像的位置反映第二级图像源自第一级图像的区域。在一些情况下，可能优选的是将第二级图像对齐/定位在第一级图像上方，使得第二级图像中所示的区域覆盖(精确地或几乎如此)第一级图像的从中取得第二级图像的区域。
作为一个非限制性说明，用户可以收集第一级图像。那个图像包含在单元格内，所述单元格在用户的视频屏幕上具有5cm的宽度。然后，用户收集第二级图像，所述第二级图像包含第一级图像的感兴趣的单元格。
然后将第二级图像覆盖在第一级图像上，以覆盖第一级图像的从中取得第二级图像的区域。在这样做时，可以设定第二级图像的大小，使得第二级图像中的长度比例与第一级图像的长度比例一致，使得当覆盖在第一级图像上的第二级图像中示出时单元格具有5cm的宽度(如在第一级图像中)，但是单元格-通过在较高的第二放大率水平下收集-现在可以在较高的分辨率下可见。
所公开的技术还可以-如本文其它地方所述-放大或以其它方式扩展第一或第二图像。所公开的技术可以进一步使第二级图像在第一级图像上方对齐，例如，通过将第二级图像定位在对应第一级图像上方，使得第二级图像的特征覆盖对应第一级图像的那个特征。
在一个示例性实施例中，用户可以选择位于第一级图像的10×10坐标系上的位置(3，4)处的图像作为第二级图像。然后可以将第二级图像覆盖在第一级图像上，使得第二级图像以第一级图像的10×10坐标系上的位置(3，4)为中心(或以其它方式放置在附近)。替代性地，第二级图像可以被覆盖为使得第二级图像与位置(3，4)重叠，尽管第二级图像不必一定以位置(3，4)为中心。如本文其它地方所述，当用户选择图像或将光标或其它指针定位在第二级图像上方时，第二级图像可以以第二级图像扩展的方式覆盖。
作为另一个实例，用户可以选择包含也安置在背景第一级图像内的某一特征(例如，液泡)的图像作为第二级图像。可以将第二级图像覆盖在第一级图像上，使得第二级图像中的液泡以第一级图像中的液泡为中心(或以其它方式放置在附近)。这可以手动完成(例如，通过用户将第二级图像拖动到第一级图像上方的期望位置)或者以自动化方式(例如，通过图像对齐算法)完成。如本文其它地方所述，对齐可以以各种方式实现，例如，通过将第一第二级图像的区域与第二第二级图像的区域重叠。对齐还可以通过使第一和第二第二级图像的一个或多个特征彼此重叠(或接近重叠)来实现。
应当理解，第二级图像可以包括已经完全包括在第一级图像内的样品区域。然而，这不是必需的，因为第二级图像可以包含包括在第一级图像内的区域和不包括在那个第一级图像内的区域。作为一个实例，第二级图像可以以第一级图像的边缘为中心，使得第二级图像包含在第一级图像内的材料和不在第一级图像内的材料。
在一个实施例中，结果是第一级图像具有覆盖于其上的更高放大率的第二级图像。第二级图像可以被定位成使得其精确地覆盖第一图像的从中取得第二图像的部分。不受任何特定理论的束缚，第二级图像可以被认为是相对较高分辨率的窗口或透镜，用户可以通过所述窗口或透镜查看第一级窗口中的感兴趣区域，同时仍然在第一级图像中的其原始位置上下文中示出感兴趣对象。图21中示出了一个这种实例，本文其它地方描述了所述图。
然而，应该理解的是，不要求第二级图像被精确地覆盖在由第二级图像反射的第一图像的区域上方。例如，如果第一级图像以10×10坐标系中的位置(3，4)为中心，则包含位置(3，4)周围的第一级图像的区域的第二级图像，当覆盖在第一图像上时，可以以(3，4)为中心，但也可以以(3.1，4.2)为中心。
所公开的方法还包括收集包括对应第一级图像的区域的第二第二级图像。可以在与第一第二级图像相同或不同的放大率和/或照明来收集第二第二级图像。应该理解的是，所公开的方法和系统设想在两种、三种或更多种放大率和/或照明类型下收集图像。第二第二级图像可以包括第一第二级图像的区域，但这不是必需的。
方法还可以包括将第一第二级图像和第二第二级图像对齐(例如，定位)，使得第一第二级图像和第二第二级图像形成对应第一级图像的区域的邻近图像，例如，使得对齐的第二级图像跨越第一级图像的区域。
对齐可以以各种方式实现，例如，通过将第一第二级图像的区域与第二第二级图像的区域重叠。对齐还可以通过使第一和第二第二级图像的一个或多个特征(例如，边缘)彼此重叠(或接近重叠)来实现。在一些实施例中，系统可以操作以强制大于系统的移动平台中的误差的重叠。
可以使用各种对齐/配准算法。在一些应用中，所公开的技术可以用于从第一级图像形成一组平铺的第二级图像，其覆盖第一级图像的内容的约5％到100％。
在一些情况下，感兴趣的特征(例如，细胞)可能太大而不适合单个第二级(高放大率)图像内。在这种情况下，系统可以计算覆盖整个特征所需的第二级图像的数量，然后根据需要将那些第二级图像对齐在一起，以便形成那个感兴趣特征的完整图片。
所公开的方法还可以包括将第一第二级图像和第二第二级图像覆盖在第一级图像上。图11中示出了一个这种实例，所述图示出了覆盖在背景第一级图像上的多个第二级放大率图像。
可以将第一第二级图像和第二第二级图像覆盖在第一级图像上，使得所述第一第二级图像和所述第二第二级图像根据第一级图像的包括在第一第二级图像和第二第二级图像中的区域相对于彼此定位。通过参考本文其它部分描述的示例性10x10坐标系，可以覆盖在位置(3，4)处取得(例如，居中)的第一第二级图像，以便在第一级图像上的那个位置上方居中，并且可以覆盖在位置(7，9)处取得的第二第二级图像，以便在第一级图像上的那个其它位置上方居中。
如本文其它地方所述，第一级图像和第二级图像各自是在不同的照明条件下的。例如，可以在标准“白色”光下收集第一级图像，并且可以在优化用于可视化特定荧光染料的照明条件下收集第二级图像。还如本文其它地方所述，可以在彼此不同的放大率和/或照明条件下收集不同的第二级图像。应该理解，图像本身可以含有一种、两种或甚至更多种荧光颜色。例如，用户可以将白色(透射)光用于第一较低放大率图像，然后以相同的较高放大率但不同的光线条件在相同位置取得若干图像。每个图像含有相同细胞的不同方面(图像1中的细胞核、图像2中的细胞质、图像3中的神经突)，并且图像组合在一起以显示“合并”(或“合成”)图像，其含有细胞核、细胞质和神经突的彩色图像。因此，技术可以产生细胞的高分辨率合并彩色图像，其中细胞的灰度低分辨率透射图像在背景中。除了改变光线条件之外，还可以改变检测机构。可以改变所使用的相机(例如，通过彩色和单色相机)，检测模式(如宽场或共焦)或其任何组合。
可以以自动化方式选择第一级图像的位置。替代性地，可能手动选择第一级图像的位置。例如，扫描孔板的用户可以手动选择孔的左手边缘以收集第一级图像。替代性地，可以自动选择第一级图像的位置，例如，自动选择孔板上每个孔的中心。类似地，可以手动或以自动化方式实现对第二级图像的位置的选择。
可以选择第一第二级图像的位置，使得第一第二级图像包括第一级图像中的感兴趣特征。例如，第二级图像的位置(和/或形状)可以使得第二级图像在其内包含在第一级图像中示出的一个或多个细胞。
用户可以从第一图像的视图中选择并显示第二图像。如本文其它地方所述，这可以以这种方式完成：当查看第二级图像覆盖在那个第一级图像之上的第一级图像的用户点击图像或将光标或其它指针放在第二级图像上方时，第二级图像扩展，随后第二级图像扩展或甚至打开新的查看窗口。
用户可以以自动化或手动方式设置第一或第二级图像的形状(正方形、矩形、多边形或自定义)。这可以通过图像形状选择的菜单(例如，下拉菜单或其它选择工具)来完成。第一或第二级图像的形状也可以以自动化方式设置，例如，设置成使得特定特征至少部分地在图像内。
系统可以提供矩形、椭圆形、圆形或甚至自由形状工具中的一个或多个以限定感兴趣区域。在一些实施例中，这些工具不需要限定图像的形状，而是限定在哪里收集图像。例如，低放大率图像可以显示正在考虑的整个样品孔，并且用户可以使用自由形式工具以限定感兴趣的细胞或细胞位于孔内的位置。在一个说明性实施例中，想要在高放大率(例如，40x)下获取第二组图像的用户，然后软件可以自动扫描那个限定的形状内的多个邻近图像，以便覆盖整个用户选择的形状。如示例性图22所示，用户可以绘制黑色的自由形状，并且系统可以设置扫描区域(例如，以自动化方式)，使得获得合适数量(例如，22个图像)的高放大率图像，以确保在较高的放大率下捕获整个自由区域(由灰色边框表示)。
图23提供了根据本公开的系统2300的示例性视图。如所示，系统2300可以包含成像器2314，所述成像器可以是例如显微镜、高内涵筛选装置等。成像器2314可以通过接口2318与其它部件进行电子通信。各种部件中的一个或多个可以通过链接2312彼此通信。系统2300还可以包括键盘2312和点击装置2310，这些部件可以用于控制例如图像采集、图像分析、图像存储等。由成像器2314收集的图像可以被传送到显示器2306，所述显示器可以通过图形适配器2320连接到其它部件。
图形适配器2320可以与存储器2304通信，所述存储器也可以与处理器2302通信。处理器可以被配置成执行所公开的步骤中的一个或多个，例如，在较低放大率的图像上方覆盖较高放大率的图像，在第一级图像上方对齐第二级图像等。硬盘驱动器2308适当地与一个或多个其它部件通信，并且可以被配置成接收和保留一个或多个图像，无论图像是原始还是处理形式。系统2300还可以包含网络适配器2320，所述适配器可以无线地或通过电缆或有线连接发送或接收信息2316。
在一些实施例中，用户可以首先收集第一级图像。然后，用户可以限定第二级放大率区域(例如，通过限定用于第二级放大率的区域的边界的形状)，所述第二级放大率区域可以作为例如覆盖在第一级图像上的矩形窗口而存在。然后，用户可以围绕第一级图像平移(例如，通过点击、拖动或以其它方式移动)第二级放大率区域，以便在较高的放大率/分辨率下实时地查看第一级图像的区域。系统可以被配置成缩放第二级(较高放大率)图像，使得第二级图像中的长度比例与第一图像的长度比例相对应。以这种方式，当第二级图像窗口围绕第一级图像平移时，用户可以实时地查看第一级图像的较高分辨率的字段。这反过来允许用户查看第一级图像的区域的较高分辨率的“窗口”，同时还将所述窗口维持在其相对位置的上下文中。
当用户识别第一级图像中的特定感兴趣区域时，用户然后可以取得所述感兴趣区域的第二级放大率“快照”，所述快照保持覆盖在第一级图像上。以这种方式，用户可以在检视第一级图像的部分或全部的同时实时收集感兴趣的第二级图像。
以这种方式，可以向用户呈现允许用户容易地确定第二级图像是从第一级图像上的一个或多个位置生成的视图。这反过来允许用户确定第二级图像的相对位置，使用户能够快速确定第一级图像的哪些区域已经经过较高放大率的检视。
图21中示出了一个示例性实施例。如图21A所示，用户可以在第一级图像上限定第二级放大率区域(由虚线框示出)。在此实例中，第一级图像是孔的圆形图像，其中感兴趣的对象安置在孔内。如图21A所示，由于第一级图像的相对低放大率，难以辨别感兴趣对象的某些细节，如对象边缘的精确轮廓。
如图21B所示，用户可以围绕第一级图像移动限定的第二级放大率区域，然后选择感兴趣的区域作为“快照”，所述快照保留(如图21B和图21C所示)覆盖在第一图像上。还如图21B和图21C所示，在生成第一“快照”(所述快照保持覆盖在第一级背景图像上)之后，用户可以在识别出其它感兴趣区域时生成另外的第二级放大率快照。
如图21B所示，第二级“快照”覆盖在第一级图像上方。但是如图21B中可以看到的，“快照”-因为它是在相对较高的放大率水平下取得的-向用户提供了感兴趣对象的所选区域的较高分辨率视图。实际上，如图21B所示，第二级“快照”图像为用户提供了感兴趣对象的边缘的更好、更高度详细的视图，允许用户更详细地看到边缘。
图21C示出了图21B的图像，在图的右上区域添加第二第二级图像。如图所示，第二第二级图像为用户提供了对象的相关区域的相对高细节的视图。
图21D提供了替代性视图，其中用户已经创建了涵盖图21A中所示的整个感兴趣对象的第二级图像。如图21D所示，第二级图像安置在第一级图像的对应区域上方，从而为用户提供整个感兴趣对象的更好、更高度详细的视图，同时仍然在第一级图像中其原始位置上下文中示出所述感兴趣的对象。因此如图21所示，方法包含(1)在第一放大率水平下收集样品的至少一个第一级图像；(2)在大于第一放大率水平的第二放大率水平下收集包括对应第一级图像的区域的第一第二级图像；以及(3)将第一第二级图像覆盖在第一级图像上。
如本文其它地方所述，所公开的技术可以操作以便将第二级图像覆盖在第一级图像上方，使得第二级图像中的视场精确地(或几乎完全，例如，在第二级图像的宽度的小于约5％、小于约1％、或甚至小于约0.01％内)覆盖在来自第一级图像的相同的场。这可以通过坐标系，通过在第一和第二级图像中重叠/对齐特征，或通过本领域技术人员已知的其它方法来实现。应该理解，可以通过改变物镜来实现收集图像。例如，可以通过改变物镜来实现收集第一级图像和收集第二级图像。收集图像也可以通过改变照明源，通过改变(或引入)滤波器，通过改变焦平面，以及通过其它方式改变观察变量来实现。
在另一个方面中，本公开还提供了样品分析系统。系统可以包括成像装置，所述成像装置被配置成(a)在第一放大率水平下收集第一级样品图像，并且(b)在大于第一放大率水平的第二放大率水平下收集第二级样品图像，第二级样品图像包括至少部分地安置在对应第一级样品图像内的区域；处理器，所述处理器被配置成实现将第二级样品图像覆盖在第一级样品图像上。
处理器可以被配置成将至少一个所收集的第二级图像的特征与第一级图像的对应于那个第二级图像的对应特征对齐(例如，部分或完全重叠)。本文其它地方描述了合适的对齐技术。
在一些实施例中，处理器可以被配置成将第一第二级图像覆盖在第一级图像上，使得所述第一第二级图像根据所述第一级图像的包括在所述第一第二级图像中的所述区域定位。这可以以各种方式实现，例如，通过上述坐标系、通过如上所述的对齐算法、或者以本领域技术人员已知的其它方式。
处理器可以被配置成收集包括对应第一级图像的区域的第二第二级图像。如本文其它地方所述，第二级图像在收集所述第二级图像的照明和/或放大率方面可以彼此不同。
处理器可以被配置成对齐第一第二级图像和第二第二级图像，使得对齐的第一第二级图像和第二第二级图像形成对应第一级图像的区域的连续图像。对齐可以至少部分地通过将第一第二级图像的区域与第二第二级图像的区域重叠来实现。如本文其它地方所述，对齐可以以各种方式实现，例如，通过将第一第二级图像的区域与第二第二级图像的区域重叠。对齐还可以通过使第一和第二第二级图像的一个或多个特征彼此重叠(或接近重叠)来实现。
处理器可以被配置成将第一第二级图像和第二第二级图像覆盖在第一级图像上。处理器可以被配置成将第一第二级图像和第二第二级图像覆盖在第一级图像上，使得所述第一第二级图像和所述第二第二级图像根据第一级图像的包括在第一第二级图像和第二第二级图像中的区域相对于彼此定位。
系统可以被配置成在不同的照明条件下收集第一级图像和第二级图像。作为一个实例，可以在标准或所谓的“白光”照明下收集第一级图像，并且可以在优化的照明下收集所述第一级图像的区域的第二级图像，以使一种或多种染料的存在可视化。根据本公开的系统可以包含能够供应一种、两种、三种或更多种不同类型的照明的照明系列。
根据本公开的系统可以被配置成以自动化方式选择第一级图像的位置。例如，系统可以被配置成通过沿着板以规则间隔的间隔收集图像来收集孔板中的孔的第一级图像，所述图像与板上的孔的位置相对应。
系统还可以被配置成以自动化方式选择第一第二级图像的位置。这可以通过分析一个或多个感兴趣特征的第一级图像来完成，例如细胞、细胞壁、染料分子等。系统还可以被配置成选择第一第二级图像的位置，使得第一第二级图像包括第一级图像中的感兴趣特征。
系统可以被配置成使用户能够从第一图像的视图中选择并显示第二图像。通过参考示例性图11，用户可以选择在较大的矩形第一级图像内示出为较小矩形边界图像的第二级图像中的一个。
应当理解，系统可以包括配置成收集第一级样品图像的第一物镜和配置成收集第二级样品图像的第二物镜。系统可以被配置成允许用户在第一与第二物镜之间改变。如本文其它地方所述，系统还可以被配置成除了在两个(或更多个)物镜之间进行改变之外，允许用户改变照明源、滤光片、焦平面和其它变量。
本公开额外提供了进一步的方法，所述进一步的方法包括在第一放大率水平下收集至少一个第一样品图像(其也可以称为第一级图像)；在大于第一放大率水平的第二放大率水平下收集至少一个第二样品图像(其可以称为第二级图像)，所述第二样品图像包括至少部分地安置在对应第一图像内的区域；将第二图像的特征与第一图像的对应特征对齐；以及将第二图像覆盖在第一图像上。
说明性的图24中示出了一个实施例。如所述图所示，方法包含在第一收集状态(例如，第一放大率水平、第一照明水平等)下收集第一级样品图像的步骤2400。然后，方法可以包含在与第一收集状态不同的第二收集状态下收集第二级图像的步骤2402。作为一个实例，可以在第一放大率水平下收集第一级图像，并且在大于第一级的第二放大率水平下收集第二级图像。
然后，方法可以包含将第二级图像的特征与第二级图像的对应特征对齐的步骤2404。如本文其它地方所述，这可以包含，例如，将第二级图像中的细胞壁的切片与第一级图像中的细胞壁的相同切片对齐。这还可以包含将第二级图像的边缘或区域与第一级图像的对应边缘或区域对齐。
步骤2406包括将第二级图像覆盖在第一级图像上方。可以执行覆盖，使得第二级图像直接位于第一图像的从中取得第二图像的区域上方。如上所述，这可以完成以保持第二级图像在第一级图像上方的对齐。
所公开的方法可以包括收集第三样品图像(例如，第二第二级图像)，所述第三样品图像包括至少部分地安置在第一图像内的区域。可以以自动化方式执行，但也可以手动执行对第二图像的收集、对第三图像的收集或两者。
方法还可以包括将第三图像覆盖在第一图像上方并将第三图像的特征与第一图像的对应特征对齐。
在一些实施例中，方法可以包括将第三图像覆盖在第二图像上方并将第三图像的特征与第二图像的对应特征对齐。方法还可以包括相对于第一图像重叠(或以其它方式对齐)第三图像。
方法还可以包括限定第一、第二或两个图像的边界。可以通过选择预设边界(例如，从下拉菜单)来限定边界。边界可以是正方形、矩形、圆形、卵形、多边形、或甚至是定制形状。
在一些实施例中，(a)至少一个或多个第一图像基于在两个或更多个焦平面处取得的信息，(b)其中至少一个或多个第二图像基于在两个或更多个焦平面处取得的信息，或者(a)和(b)两者。作为一个实例，可以将第一(和/或第二)图像显影为在两个或更多个不同焦平面处取得的样品图像的合成物。替代性地，可以将第一(和/或第二)图像显影为在两个或更多个不同照明下取得的样品图像的合成物。
图像和图像覆盖的对齐可以以手动或自动化方式实现。如本文其它地方所述，方法还可以允许用户从第一图像的视图选择并显示第二图像。应该理解，可以通过改变物镜来实现收集图像。例如，可以通过改变物镜来实现收集第一级图像和收集第二级图像。收集图像也可以通过改变照明源，通过改变(或引入)滤波器，通过改变焦平面，以及通过其它方式改变观察变量来实现。
还提供了图像分析方法。方法包括在第一放大率水平下收集多个第一样品图像；对于所述多个第一图像中的至少一些的集合的每个成员，在大于第一放大率水平的第二放大率水平下收集一个或多个第二样品图像，所述第二样品图像包括至少部分地安置在所述对应第一图像内的区域；对于第一图像集合中的那些成员中的至少一些(或者甚至每个)，将一个或多个第二图像中的每一个的特征与那个对应第一图像的对应特征对齐；以及将所述一个或多个第二图像覆盖在对应第一图像上。
在一些实施例中，来自两个或更多个第一图像内的一个或多个第二样品图像是在相应第一图像内的相同相对位置处取得的。作为一个实例，在孔板上的孔的中心用作第一图像的过程中，在每个孔第一图像的最上边缘的中心处取得第二图像。
可以以自动化方式实现收集多个第一图像，收集第二图像，或两者。用户可以设置图像收集的位置，例如，通过使用坐标系或其它参考指定图像之间的均匀间隔。
在一些实施例中，(a)至少一个或多个第一图像基于在两个或更多个焦平面处取得的信息，(b)其中至少一个或多个第二图像基于在两个或更多个焦平面处取得的信息，或者(a)和(b)两者。作为一个实例，可以将第一(和/或第二)图像显影为在两个或更多个不同焦平面处取得的样品图像的合成物。替代性地，可以将第一(和/或第二)图像显影为在两个或更多个不同照明下取得的样品图像的合成物。
图25提供了如本文所述的说明性方法。如所示，方法可以包含在第一收集状态下收集多个第一级样品图像的步骤2500。作为一个实例，这可能包含为样品板中的96个孔中的至少一些(或甚至每个)收集孔中心的图像，其中这些图像中的每一个是在第一放大率水平下取得的。
在步骤2502中，方法可以包含在与第一收集状态不同的第二收集状态下收集多个第二级图像。作为实例，第二级图像可以在比对应第一级图像更高的放大率下取得，或者可以在与对应第一级图像不同的照明条件下取得。第二级图像可以包含第一级图像的至少一部分，例如，对应第一级图像的最中心部分的较高放大率视图。
在步骤2504中，方法可以包含将第二级图像的至少某一特征与对应第一图像的对应特征对齐。在上面给出的96孔板实例中，这可以包含，例如，使第二级图像的中心居中于对应于那个第二级图像的第一级图像的中心。作为一个实例，如果对于96孔板的每个孔，对每个孔的中心取得第一级图像，但是在更高的放大率下对那些相同孔的中心取得第二级图像，则第二级图像的中心可以与第一级图像的中心对齐，这为用户提供了孔的中心的更高度详细的视图，允许用户更详细地看到孔的中心。应该理解，可以通过改变物镜来实现收集图像。例如，可以通过改变物镜来实现收集第一级图像和收集第二级图像。收集图像也可以通过改变照明源，通过改变(或引入)滤波器，通过改变焦平面，以及通过其它方式改变观察变量来实现。
本公开还提供了样品分析系统，包括：成像装置，所述成像装置被配置成(a)在第一放大率水平下收集第一样品图像，并且(b)在大于第一放大率水平的第二放大率水平下收集第二样品图像，第二样品图像包括至少部分地安置在对应第一图像内的区域；处理器，所述处理器被配置成实现(a)将至少一个所收集的第二图像的特征与第一图像的对应于那个第二图像的对应特征对齐，并且(b)将第二图像覆盖在第一图像上。
系统可以被配置成以自动化方式实现收集所述一个或多个第一图像，收集第二图像，或两者。系统还可以被配置成通过组合在两个或更多个焦平面处取得的信息来产生一个或多个第一图像，其中系统被配置成通过组合在两个或更多个焦平面处取得的信息或两者来产生一个或多个第一图像。
在一些实施例中，系统被配置成使得来自两个或更多个第一图像内的一个或多个第二图像是在相应的第一图像内的相同相对位置处取得的。
各种成像装置被认为适用于所公开的方法和系统。示例性的这种装置包含例如显微镜、板读取器、阵列扫描仪和高内涵筛选装置。一些说明性实例是Thermo Fisher CX5TM、CX7TM和EVOSTM系统。
如本文其它地方所述，系统可以被配置成使用户能够从第一图像的视图中选择并显示第二图像。
应当理解，系统可以包括配置成收集第一级样品图像的第一物镜和配置成收集第二级样品图像的第二物镜。系统可以被配置成允许用户在第一与第二物镜之间改变。如本文其它地方所述，系统还可以被配置成除了在两个(或更多个)物镜之间进行改变之外，允许用户改变照明源、滤光片、焦平面和其它变量。
示例性实施例
图1提供了根据本公开的示例性装置108(例如，Thermo Fisher的EVOSTM装置系列)的部件视图。如图所示，装置可以包含透射光聚光器100。聚光器可以包含具有多相环的自动转台。装置还可以包含单色相机102和彩色相机108。可以将如光立方体(例如，ThermoFisher EVOSTM光立方体)等照明源104安装在平移托架上；托架的位置可以是自动化的以向样品110提供照明。可以将各种物镜安置在转台106中，转台可以是自动化的或手动的，并且用户可以根据所需放大率的水平选择物镜。
图2A提供了图1的装置的替代性视图。如图2所示，电动机和光控制器200被配置成控制平台(未示出)。装置还可以包含相位转台霍尔效应装置202。图2B示出了第二电动机和光控制器204，以及光立方体功率和信号206以及功率和信号集线器208。装置还可以包含光立方体接口板210。图2C中示出了状态LED 212，并且图2C中还示出了物镜转台霍尔效应214。
图3提供了图1的装置的平台的视图。如图3A所示，平台可以包含x轴电动机300(内侧平台)和y轴电动机302(内侧平台)。图3B中示出了Z轴电动机1 304并且那个图中还示出了z轴电动机2 306。那个图中示出了相机轴电动机308，外延轴电动机310也是如此。图3C提供了侧视图，其中示出了相位转台电动机312。
图4提供了根据本公开的单相机装置的视图。如图所示，装置可以包含透射光聚光器400和单色相机402，所述相机可以固定在位置。光立方体404提供样品照明，并且装置可以以用于样品408的多个物镜406为特征。
图5提供了图4的装置的部件视图。如图5A所示，装置可以适当地包含电动机和光控制器1 500以及相位转台霍尔效应502。图5B描绘了电动机和光控制器2 504、功率和信号集线器506以及立方体功率和接口适配器508。还可以呈现立方体接口板。装置可以包含状态LED 510以及物镜转台霍尔效应512。
图6A提供了图4中装置的平台布置的细节。如图6A所示，平台可以以x轴电动机600(内侧平台)和y轴电动机602(内侧平台)为特征。图6B描绘了z轴电动机604以及物镜轴转台电动机606和外延轴电动机608。图6C提供了侧部件视图，具有相位转台电动机610。
图7呈现了用标准显微镜手动检查感兴趣区域的传统方法的典型信息流程。如本领域技术人员所熟悉的，用户可以使用手动或自动化平台四处移动样品，用低功率物镜手动捕获图像。如果用户识别出需要进一步研究的图像的某一特征，则用户可以将所述图像保存到磁盘或其它介质。然后，用户可以使用不同的物镜取得感兴趣区域的较高放大率图像，然后比较低放大率图像和高放大率图像。此过程在本领域中是众所周知的并且乏味且耗时，因为它需要用户方的大量参与和记录保持。另外，当使用现有处理时，难以重新创建图像收集方案，因为用户可能无法从低放大率图像中精确获知高放大率图像是在哪里取得的。
图8提供了用自动化方式检查感兴趣区域的传统方法的典型信息流程。如图所示，用户识别感兴趣的样品区域，然后使用软件程序以扫描感兴趣的区域。如果用户识别出感兴趣的区域，则用户然后切换到较高放大率的物镜，并且-在估计新的感兴趣区域的扫描与在较低放大率下扫描的原始区域之间的重叠之后-开始第二次自动化扫描。在所述第二次扫描完成之后，用户在分开的窗口中比较两组所收集图像。这个过程也很耗时且乏味。进一步，用户可能无法从低放大率图像中精确获知高放大率图像是在哪里取得的。
图9提供了用手动方式检查感兴趣区域的公开方法的典型信息流程。如图所示，用户例如通过移动样品来执行样品的低放大率检视。在用户识别出低放大率图像内的感兴趣区域之后，用户可以改变到较高放大率的物镜，然后捕获感兴趣区域的较高放大率的图像。然后可以在与较低放大率背景图像相同的窗口中示出此新的更详细的图像，如示例性图11中所示。此方法转而允许用户在空间背景中观看较高放大率的图像；即，可以将较高放大率图像覆盖在较低放大率背景图像上，使得较高放大率图像安置在背景图像的区域上方，从所述区域收集较高放大率的图像。
还可以以使得用户可以选择(例如，通过点击或通过定位光标或其它指针)所述图像以进一步放大的方式显示较高放大率的图像。以这种方式，用户可以快速扫描多个高放大率图像，同时还看到高放大率图像中的每一个是从背景图像上的哪里取得的。
图10提供了用自动化方式检查感兴趣区域的公开方法的典型信息流程。如图所示，用户例如通过自动化平台或其它自动化运动通过移动样品来执行样品的低放大率检视。在用户识别低放大率背景图像内的感兴趣区域之后，用户可以选择较高放大率的物镜，然后用所述较高的放大率捕获感兴趣区域的图像。然后可以在与较低放大率背景图像相同的窗口中示出一个或多个新的更详细的图像，如图11中所示。此方法转而允许用户在空间背景中观看较高放大率的图像；即，可以将较高放大率图像覆盖在较低放大率背景图像上，使得较高放大率图像安置在背景图像的区域之上，从所述区域收集较高放大率的图像。还可以以使得用户可以选择所述图像以进一步放大的方式显示较高放大率的图像。以这种方式，用户可以快速扫描多个高放大率图像，同时还看到高放大率图像中的每一个是从背景图像上的哪里取得的。
图11提供了从所公开技术的示例性实施例取得的图像。如本文其它地方所述，用户可以使用自动化平台手动或自动化移动样品。用户可以用低放大率物镜捕获图像；在图11中，最大的矩形图像是用2x物镜取得的，尽管当然可以使用其它物镜。在识别出感兴趣的区域之后，可以改变物镜，并在较高的放大率下重新捕获图像。新的详细图像(在图11中通过较大矩形图像内插入的较小矩形示出)可以在与较低放大率背景图像相同的窗口中示出。以这种方式，用户可以在单个窗口中看到较低放大率背景图像内示出那些图像的相对位置的位置中的更详细图像。
如图11的右手侧所示，用户界面还可以包含正在被观察的样品的示意图。在图11中，正在被观察的样品是多孔板，并且正在被观察的特定孔是位于图像的右上方所示的定位网格上的坐标(4，C)处的孔。界面还可以允许用户控制/选择正在被使用的物镜或镜、光线、自动聚焦和各种自动化特征。
图12和图13示出了来自所公开技术的另一个实施例的视图。如图12所示，用户可以使用自动化平台移动样品，用低放大率物镜捕获一个或多个图像(即，第一级图像)。(此实例中是在明场中使用2x物镜取得的图像的集合)。如图13所示，通过矩形突出显示的区域，在观看先前已经获取的图像的同时，选择感兴趣的区域用于在较高的放大率下扫描(例如，20x；第二级图像)。
图14中示出了此选择和增大的放大率的结果。如所述图所示，仅从所选区域获取高质量图像，而不必对来自样品载玻片的其余部分的图像进行分类。还如图14所示，可以在与第一级图像不同的照明下收集第二级图像。第二(和第一)级图像还可以根据用户的需要进行进一步的图像处理(对比度调整、伪色添加等)。
图15提供了示例性用户界面的另一个视图。如图所示，界面的右上区域包含三个选项卡-捕获、自动和检视。当用户希望在样品周围移动并捕获样品的图像时，选择捕获选项卡。如所示，界面包含箭头和其它按钮，以实现图像捕获和样品移动。
图15的右上方处是正在被分析的样品容器的示意图，在这种情况下是多孔板。用户可以通过从预先设定的容器列表中选择容器来选择容器的类型，例如，通过点击“容器”按钮，然后从容器菜单中选择所需的容器。或者，用户可以创建其自己的容器简介，其中他们指定容器的特征，例如孔尺寸、孔间距等。
图15中还看到“物镜”按钮。此按钮允许用户选择所需的物镜并且可以操作以在成像装置中旋转物镜转台。
还示出了“光源”按钮。此按钮操作以允许用户选择其所需的照明，例如照明颜色和/或强度。
其它控制包含例如“光”(允许进一步控制照明)、“自动聚焦”(允许控制z驱动)和“捕获”(允许控制图像捕获)。
图15的上半部分示出了两个按钮-一个示出聚集在一起的四个小方块，另一个示出单个方块。这些按钮允许用户在相对低的放大率下取得的第一级图像与在较高放大率水平下取得的第二级图像之间的视图之间切换。如所示，图15中的视图是在低放大率水平下取得的第一级图像的视图。图11中示出了在较高放大率水平下取得的第二级图像的视图。
如所述图所示，示出了96孔板的单个孔(孔C-4)。此图提供了视图，其中将较高放大率的图像覆盖在较低放大率的图像上。尽管图11中未示出，但是较高放大率的图像可以被对齐为使得所述图像被平铺或以其它方式缝合在一起以形成邻近的合成图像。
图16提供了用户在界面上选择“自动”选项卡之后的用户视图。如所示，用户可以为给定的运行选择各种参数(硬件、扫描区域、自动聚焦和Z-堆叠、延时、孵化器、图像保存设置等)。
图17提供了使用图16中的“硬件”功能的“编辑”按钮之后的视图。如图17所示，可以给予用户调整各种硬件参数的机会。
图18提供了用于扫描区域选择选项卡的用户选项的视图。如所示，用户可以编辑/调整扫描区域，还可以设置第二级图像的大小和形状。用户还可以设置每个第一级图像的第二级图像的数量和位置；在这种情况下，用户已经设置系统以收集孔的每个第一级图像的两个矩形第二级图像。
图19提供了用于自动聚焦选项卡的用户选项的视图。如所示，用户可以设置各种相关参数。可以将系统配置成利用共聚焦显微镜。还可以将系统配置成执行多个图像(例如，单个图像的切片)的所谓“粉碎”，然后生成合成图像，所述合成图像使用例如来自每个切片的最亮像素、来自每个切片的最聚焦像素等。
图20提供了用于图像保存选项卡的用户选项的视图。如所示，用户可以以各种格式保存图像。用户可以将一组图像保存为单个文件，但也可以将图像保存为具有平铺关系的所有图像的文件。

Claims (20)

1.一种图像分析方法，其包括：
当样品在第一照明条件下被照明时，在第一放大率水平下收集样品的至少一个第一级图像；
当样品在与所述第一照明条件不同的第二照明条件下被照明时，在大于所述第一放大率水平的第二放大率水平下收集包括所述第一级图像的区域的第一第二级图像，使得所述第一级图像和所述第一第二级图像的每一个在不同照明条件下被收集；
收集包括所述第一级图像的区域的第二第二级图像，其中，所述第二第二级图像是在与所述第一第二级图像不同的放大率和/或照明条件下收集的；
对齐所述第一第二级图像和所述第二第二级图像，使得对齐的第一第二级图像和第二第二级图像形成所述第一级图像的区域的连续图像；
将对齐的第一第二级图像和第二第二级图像覆盖在所述第一级图像上以创建合并图像，其中进行覆盖包括缩放所述第一第二级图像，使得所述第一第二级图像中的长度比例与所述第一级图像的长度比例相对应；以及
显示所述合并图像，包括：显示第一级图像和具有相对水平的放大率和照明条件的第一第二级图像。
2.根据权利要求1所述的方法，其中所述第一第二级图像覆盖在所述第一级图像上，使得所述第一第二级图像根据所述第一级图像的包括在所述第一第二级图像中的所述区域定位。
3.根据权利要求1所述的方法，其中所述对齐是至少部分地通过将所述第一第二级图像的区域与所述第二第二级图像的区域重叠来实现的。
4.根据权利要求1所述的方法，其中所述第一第二级图像和所述第二第二级图像覆盖在所述第一级图像上，使得所述第一第二级图像和所述第二第二级图像根据所述第一级图像的包括在所述第一第二级图像和所述第二第二级图像中的所述区域相对于彼此定位。
5.根据权利要求1所述的方法，其中所述第一级图像的位置是以自动化方式选择的。
6.根据权利要求1所述的方法，其中所述第一第二级图像的位置是以自动化方式选择的。
7.根据权利要求1所述的方法，其中所述第一第二级图像的位置被选择为使得所述第一第二级图像包括所述第一级图像中的感兴趣特征。
8.根据权利要求1所述的方法，其进一步包括：使用户能够从所述第一级图像的视图中选择并显示所述第一第二级图像。
9.根据权利要求1所述的方法，其中收集所述第一级图像和收集所述第一第二级图像是通过改变物镜来实现的。
10.一种样品分析系统，其包括：
成像装置，所述成像装置被配置成(a)当样品在第一照明条件下被照明时，在第一放大率水平下收集样品的第一级图像，并且(b)当样品在与所述第一照明条件不同的第二照明条件下被照明时，在大于所述第一放大率水平的第二放大率水平下收集样品的第二级图像，使得所述第一级图像和所述第二级图像在不同照明条件下被收集，其中第二级图像包括至少部分地安置在所述第一级图像内的区域；以及
处理器，所述处理器被配置成使所述第二级图像覆盖在所述第一级图像上以创建合并图像，其中进行覆盖包括缩放所述第二级图像，使得所述第二级图像中的长度比例与所述第一级图像的长度比例相对应，并且其中所述合并图像包括所述第一级图像和具有相对水平的放大率和照明条件的第二级图像，
其中，所述第二级图像包括第一第二级图像和第二第二级图像，其中，所述第二第二级图像是在与所述第一第二级图像不同的放大率和/或照明条件下收集的；并且
其中，所述处理器被进一步配置为对齐所述第一第二级图像和所述第二第二级图像，使得对齐的第一第二级图像和第二第二级图像形成所述第一级图像的区域的连续图像。
11.根据权利要求10所述的系统，其中所述处理器被配置成将至少一个所收集的第二级图像的特征与所述第一级图像的对应特征对齐。
12.根据权利要求10所述的系统，其中所述处理器被配置成将第一第二级图像覆盖在所述第一级图像上，使得所述第一第二级图像根据所述第一级图像的包括在所述第一第二级图像中的所述区域定位。
13.根据权利要求10所述的系统，其中所述对齐至少部分地通过将所述第一第二级图像的区域与所述第二第二级图像的区域重叠来实现。
14.根据权利要求10所述的系统，其中所述处理器被配置成将所述第一第二级图像和所述第二第二级图像覆盖在所述第一级图像上。
15.根据权利要求14所述的系统，其中所述处理器被配置将所述第一第二级图像和所述第二第二级图像覆盖在所述第一级图像上，使得所述第一第二级图像和所述第二第二级图像根据所述第一级图像的包括在所述第一第二级图像和所述第二第二级图像中的所述区域相对于彼此定位。
16.根据权利要求10所述的系统，其中所述系统被配置成以自动化方式选择所述第一级图像的位置。
17.根据权利要求10所述的系统，其中所述系统被配置成以自动化方式选择所述第一第二级图像的位置。
18.根据权利要求10所述的系统，其中所述系统被配置成选择所述第一第二级图像的位置，使得所述第一第二级图像包括所述第一级图像中的感兴趣特征。
19.根据权利要求10所述的系统，其中所述系统被配置成使用户能够从所述第一级图像的视图中选择并显示所述第二级图像。
20.根据权利要求10所述的系统，其中所述系统包括被配置成收集所述第一级图像的第一物镜、被配置成收集所述第二级图像的第二物镜，并且其中所述系统被配置成允许用户在所述第一物镜与所述第二物镜之间改变。
CN201780038056.8A 2016-05-12 2017-05-12 用于图像捕获和显示的系统、方法和设备 Active CN109416465B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662335422P 2016-05-12 2016-05-12
US62/335,422 2016-05-12
PCT/US2017/032324 WO2017197217A1 (en) 2016-05-12 2017-05-12 Systems, methods, and apparatuses for image capture and display

Publications (2)

Publication Number Publication Date
CN109416465A CN109416465A (zh) 2019-03-01
CN109416465B true CN109416465B (zh) 2022-09-09

Family

ID=59034857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780038056.8A Active CN109416465B (zh) 2016-05-12 2017-05-12 用于图像捕获和显示的系统、方法和设备

Country Status (6)

Country Link
US (2) US11416997B2 (zh)
EP (1) EP3455664A1 (zh)
JP (1) JP7300834B2 (zh)
KR (1) KR20190007445A (zh)
CN (1) CN109416465B (zh)
WO (1) WO2017197217A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3547675A4 (en) * 2016-11-24 2020-04-22 Nikon Corporation IMAGE PROCESSING DEVICE, MICROSCOPE SYSTEM, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM
US11494936B2 (en) 2018-07-02 2022-11-08 Ortho-Clinical Diagnostics, Inc. Method and apparatus for selecting slide media image read location
EP4028989A1 (en) * 2019-09-09 2022-07-20 PAIGE.AI, Inc. Systems and methods for processing images of slides for digital pathology
USD960222S1 (en) * 2019-10-21 2022-08-09 Osman ESKI Forensic camera with multispectral imaging system
WO2021154849A1 (en) * 2020-01-28 2021-08-05 PAIGE.AI, Inc. Systems and methods for processing electronic images for computational detection methods
FR3107604B1 (fr) * 2020-02-24 2024-01-12 Inscoper Procédé de gestion de blocs de commandes destinés à un système d’imagerie en microscopie, programme d’ordinateur, moyen de stockage et dispositif correspondants
JP7506523B2 (ja) 2020-05-20 2024-06-26 株式会社エビデント 顕微鏡システム、制御方法、プログラム
JP7506524B2 (ja) * 2020-05-20 2024-06-26 株式会社エビデント 顕微鏡システム、制御方法、プログラム
JP2022121167A (ja) * 2021-02-08 2022-08-19 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
KR102707646B1 (ko) * 2021-05-31 2024-09-19 딥헬릭스 주식회사 백혈구 이미지 촬영 장치
JP7623906B2 (ja) * 2021-07-27 2025-01-29 富士フイルム株式会社 光学系、レンズ装置、撮像装置、及び投射装置
WO2025023771A1 (ko) * 2023-07-25 2025-01-30 주식회사 큐리오시스 슬라이드 스캔 장치 및 이의 동작 방법
KR102739395B1 (ko) * 2023-07-25 2024-12-06 주식회사 큐리오시스 자동 초점 수행 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011196867A (ja) * 2010-03-19 2011-10-06 Olympus Corp 顕微鏡システム、観察画像の表示方法、プログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD487275S1 (en) 2000-01-04 2004-03-02 Apple Computer, Inc. User interface for computer display
JP2003131142A (ja) * 2001-10-25 2003-05-08 Olympus Optical Co Ltd 顕微鏡
WO2004036283A1 (ja) * 2002-09-06 2004-04-29 Celestar Lexico-Sciences, Inc. 顕微鏡画像処理システム、顕微鏡画像処理方法、プログラム、および、記録媒体
USD502184S1 (en) * 2002-09-10 2005-02-22 Meso Scale Technologies, Llc. Computer generated image for a display panel or screen
EP1714155A1 (en) * 2004-02-12 2006-10-25 Institut Pasteur Non-invasive real-time in vivo bioluminescence imaging of local ca2+ dynamics in living organisms
DE102004016736A1 (de) * 2004-04-05 2005-11-10 Carl Zeiss Bildaufnahmesystem, Bildwiedergabesystem und Bildaufnahme/-wiedergabesystem
US20050231512A1 (en) 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US20060155576A1 (en) 2004-06-14 2006-07-13 Ryan Marshall Deluz Configurable particle system representation for biofeedback applications
US8130237B2 (en) 2004-06-24 2012-03-06 Apple Inc. Resolution independent user interface design
DE102004047519B4 (de) * 2004-09-28 2021-08-12 Leica Microsystems Cms Gmbh Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US7929738B2 (en) * 2005-10-11 2011-04-19 Olympus Corporation Microscope apparatus and microscope system
US8031206B2 (en) * 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
JP5006062B2 (ja) * 2007-02-05 2012-08-22 オリンパス株式会社 バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
USD574396S1 (en) 2007-04-01 2008-08-05 Nec Display Solutions, Ltd. Projector screen with an image
JP4937850B2 (ja) 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのｖｓ画像生成方法、プログラム
USD642184S1 (en) 2008-09-10 2011-07-26 Trimble Navigation Limited Global navigation satellite system apparatus display screen with user interface for a target display
WO2011008209A1 (en) * 2009-07-16 2011-01-20 Jiang Gu Virtual telemicroscope
USD671550S1 (en) 2010-09-01 2012-11-27 Apple Inc. Display screen or portion thereof with graphical user interface
EP2450936B1 (en) * 2010-11-03 2013-03-13 Carl Zeiss NTS Ltd. Microscope system, method for operating a charged-particle microscope
USD670717S1 (en) * 2011-03-11 2012-11-13 Omron Corporation Portion of a screen display with a graphic user interface
US9176662B2 (en) 2011-08-26 2015-11-03 Adobe Systems Incorporated Systems and methods for simulating the effects of liquids on a camera lens
WO2013109802A1 (en) * 2012-01-19 2013-07-25 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
USD705242S1 (en) 2012-05-11 2014-05-20 Unitedhealth Group Incorporated Display screen or portions thereof with graphical user interface
CN103544688B (zh) * 2012-07-11 2018-06-29 东芝医疗系统株式会社 医用图像融合装置和方法
JP6035931B2 (ja) * 2012-07-13 2016-11-30 ソニー株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US9514157B2 (en) 2012-08-22 2016-12-06 Adobe Systems Incorporated Multi-dimensional browsing of content
WO2014063106A1 (en) * 2012-10-18 2014-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Multi-resolution foveated endoscope/laparoscope
DE102012021726A1 (de) * 2012-11-06 2014-05-08 Celltool Gmbh Mikroskopsystem und Verfahren zur Datenerfassung
JP6099477B2 (ja) * 2012-11-16 2017-03-22 オリンパス株式会社 撮像装置、顕微鏡システム及び撮像方法
US9891804B2 (en) * 2012-12-06 2018-02-13 Ge Healthcare Bio-Sciences Corp. Selection and display of biomarker expressions
US9513470B1 (en) * 2013-02-05 2016-12-06 Vanderbilt University Telecentric lens assembly providing a collimated light space
USD763860S1 (en) * 2013-03-04 2016-08-16 Tixtrack, Inc. Display panel or portion thereof with graphical user interface
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
USD737833S1 (en) 2013-06-09 2015-09-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD732560S1 (en) 2013-06-09 2015-06-23 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD758445S1 (en) 2013-09-03 2016-06-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6270388B2 (ja) * 2013-09-13 2018-01-31 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
USD752631S1 (en) 2014-01-03 2016-03-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
JP1531221S (zh) * 2014-09-30 2015-08-17
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
USD760248S1 (en) 2015-01-13 2016-06-28 Victor Alfonso Suarez Display screen with graphical user interface
US10510143B1 (en) * 2015-09-21 2019-12-17 Ares Trading S.A. Systems and methods for generating a mask for automated assessment of embryo quality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011196867A (ja) * 2010-03-19 2011-10-06 Olympus Corp 顕微鏡システム、観察画像の表示方法、プログラム

Also Published As

Publication number Publication date
JP7300834B2 (ja) 2023-06-30
US11416997B2 (en) 2022-08-16
USD951283S1 (en) 2022-05-10
EP3455664A1 (en) 2019-03-20
WO2017197217A1 (en) 2017-11-16
KR20190007445A (ko) 2019-01-22
CN109416465A (zh) 2019-03-01
JP2019523897A (ja) 2019-08-29
US20170330327A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
CN109416465B (zh) 用于图像捕获和显示的系统、方法和设备
US20210224541A1 (en) Augmented Reality Microscope for Pathology
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
JP5655557B2 (ja) 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
US8116543B2 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
US20190137743A1 (en) Method for digitally collecting a sample by a microscope
US9690088B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
EP2444479A1 (en) State determination method for cell cluster, image processing program and imaging processing device using said method, and method for producing cell cluster
JP2004101871A (ja) 顕微鏡画像撮影装置
US20070064101A1 (en) Observation apparatus
US20140140595A1 (en) Microscopy system and method for biological imaging
CN115511866B (zh) 用于多维数据的图像分析的系统和方法
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP2005234435A (ja) 顕微観察装置、顕微観察方法および顕微観察プログラム
JP5119111B2 (ja) 顕微鏡装置
KR102602005B1 (ko) 하전 입자선 장치
KR102608709B1 (ko) 하전 입자선 장치
JP5917080B2 (ja) 画像処理装置、拡大観察装置および画像処理プログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム
JP2010224486A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant