CN116157844A - 用于基于事件成像的方法和系统 - Google Patents

用于基于事件成像的方法和系统 Download PDF

Info

Publication number
CN116157844A
CN116157844A CN202180060747.4A CN202180060747A CN116157844A CN 116157844 A CN116157844 A CN 116157844A CN 202180060747 A CN202180060747 A CN 202180060747A CN 116157844 A CN116157844 A CN 116157844A
Authority
CN
China
Prior art keywords
image
interest
sample
structures
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180060747.4A
Other languages
English (en)
Inventor
N·V·米施
R·弗拉赫曼
A-C·赫维希
C·克鲁卡斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
BASF Plant Science Co GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Plant Science Co GmbH filed Critical BASF Plant Science Co GmbH
Publication of CN116157844A publication Critical patent/CN116157844A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种用于对至少一个样本进行基于事件的成像以仅将感兴趣结构记录为事件的计算机实现的方法，该方法包括：提供与样本保持器耦接的自动图像捕获设备、与图像捕获设备耦接的控制器、与控制器可操作地结合的至少一个处理器、以及包括指令的计算机可读介质，所述指令在由至少一个处理器执行时使得控制器和/或至少一个处理器：a)通过图像捕获设备获取(102)由样本保持器携带的至少一个样本(100)的至少一个初始图像，b)使用图像处理算法对至少一个初始图像搜索(103)感兴趣结构，c)在检测到一个或多个感兴趣结构时，控制图像捕获设备的成像捕获软件以分别获取(104)所检测到的感兴趣结构的至少一个主图像，d)使用分类算法对至少一个主图像中的所检测到的感兴趣结构进行分类(105)，e)评估(106)经分类的感兴趣结构，以及f)输出(107)所评估的感兴趣结构的结果，通过至少一个处理器执行指令，其中重复至少步骤a)至c)，直到已经检测到预先给定数量k个感兴趣结构，其中k是整数。

Description

用于基于事件成像的方法和系统
技术领域
本发明涉及一种用于对至少一个样本进行基于事件的成像以仅记录感兴趣的结构的方法和系统，因此，减少了数据分析的体积和数据存储的体积，因此增加了研究的吞吐量。
背景技术
显微分析是自然科学中的一个重要工具。然而，准确和可靠的数据仅通过独立于人类偏见来分析大样本体积来生成。这目前超出了有限的人类劳动和手工的耗时显微术可以达到的水平。
为了规避这些限制，目标是进一步自动化显微分析。自动化成像、有效处理大型图像直到结构分类和量化的自动化是期望的。显微术的智能自动化将允许当前不可能的高吞吐量分析，用于以无偏见的方式以最少的人类劳动完成复杂的3D或4D成像任务。
US 2001/0054692 A1描述了一种扫描电子显微镜(SEM)，其可以通过根据与样本保持器的二维位置相关的信息和与从检查系统接收的对象或缺陷的二维位置相关的信息通过计算机将从检查系统发送的二维对象/缺陷坐标信息校正为最佳值以及确定从校正值自动检测对象或缺陷的搜索放大率，在二维空间中完全自动地搜索和分类样本(特别是晶片)上的对象和故障。所描述的扫描电子显微镜包括载物台(stage)和功能，该载物台可以载着其上的样本水平移动，并且该功能将所述载物台水平移动到新的坐标，该新的坐标是通过坐标校正表达式校正由检查系统获得的所述样本上的感兴趣对象的坐标值以观察所述感兴趣对象来获得的，其中，所述扫描电子显微镜还包括根据所述校正的坐标值和观察到对象的实际坐标计算所述坐标校正表达式的校正精度的功能。为了检测样本上的第一表面元素中的对象，SEM移动到样本上的相邻第二表面元素中的对应点(坐标)，获得参考图像，移动到第一表面元素，获得比较图像，比较这些图像，并且从而标识对象。
在常规显微术研究中，研究人员定义了一种实验配置，通常是时间推移、z堆叠、多通道、多位置和多视图设置的组合。基本上，在发起相应的实验之前，相应的显微镜将完成的最大工作是完全定义的。
因此，本公开的目的是提供一种用于成像分析的方法和系统，该方法和系统具有增加的吞吐量，并且如果足够的结果可用，则具有同时自动终止分析。
发明内容
本公开涉及一种用于对至少一个样本进行基于事件的成像以仅将感兴趣结构记录为事件的计算机实现的方法，该方法包括：
-提供与多样本保持器耦接的自动图像捕获设备、与所述图像捕获设备耦接的控制器、与所述控制器可操作地结合的至少一个处理器、以及包括指令的计算机可读介质，所述指令在由至少一个处理器执行时使得所述控制器和/或所述至少一个处理器：
a)通过所述图像捕获设备获取由所述样本保持器携带的至少一个样本的至少一个初始图像，
b)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
c)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，
d)使用分类算法，特别是机器学习分类算法，对所述至少一个主图像中所检测到的感兴趣结构进行分类，
e)评估经分类的感兴趣结构，以及
f)输出所评估的感兴趣结构的结果，
-通过所述至少一个处理器执行所述指令，其中重复至少步骤a)至c)，直到检测到预先给定数量k个感兴趣结构，其中k是大于零的整数。
所提出的仅获取感兴趣区域和/或感兴趣结构的数字图像的成像方法(“基于事件的成像”)将减少大量不必要的图像(高达90％)，并且从而将明显增加吞吐量。在执行所提出的方法时产生的工作流程将使能对例如植物病理系统和/或基于软物质的系统进行必要的微观研究。所提出的方法允许增加吞吐量并提供生物学的不同细胞过程的测量结果的统计相关性。
通常，如例如在“Digital Images(数字图像)”，计算机科学，Encyclopedia.com，16.6.2021，https://www.encyclopedia.com中所描述的，数字图像不是传统意义上的图像，而是将真实图像描述为一组数字。可以使用数字计算单元(诸如上文所提到的控制器和/或上文所提到的至少一个处理器)在显示单元上存储、处理和可视化该组数字。数字图像由称为像素的小区域的马赛克组成，其中对于每个像素，图像捕获设备记录数字或一小组数字，这些数字描述了相应像素的某种特性，诸如其亮度(光强度)或其颜色。记录的数字布置成对应于数字图像中的相应像素的水平(x-)和垂直(y-)位置的行和列的阵列。数字图像的分辨率以每英寸像素数(ppi)表示。更高的分辨率产生更详细的数字图像。
所述自动图像捕获设备可以是自动显微镜，特别是自动高速显微镜，例如ZEISSAxio
Figure BDA0004113803050000031
然而，可以提供和使用在自动监测和/或控制系统中实现和使用的所有类型的自动图像捕获设备。图像捕获设备将图像捕获为数字图像或根据数字图像。图像捕获设备可包括不同图像捕获模块的布置。可能的是，第一图像捕获模块用于获取至少一个初始图像，并且第二图像捕获模块用于获取至少一个主图像。
基于事件的成像被用作用于半自动和全自动高速图像捕获的信息丰富数据的聚焦方法，优选利用数字自动高速显微镜。此处，图像捕获设备(优选地显微镜)被编程为忽略信息丰富数据中的信息，除了相关特征(在本文中称为感兴趣区域和/或感兴趣结构)之外。基于事件的成像可以应用于要求对较大样本的小但特定感兴趣区域进行显微分析的任何实验设置。基于事件的成像优选地被嵌入到从自动图像采集直到自动结构分类和量化的全数字工作流中。因此，经由显微镜的操作，在显著减少至没有用户交互的情况下，可以明显地增加吞吐量，并且可以减少显微镜分析的成本。此外，更多的微观数据(独立于人类偏见)导致更好的统计信心。
在由本发明所要求保护的主题所提出的基于事件的方法中，感兴趣结构和/或感兴趣区域方面的检测到的事件用于影响实验配置，例如图像捕获设备的实验设置及其操作条件。另外，还可以设置其操作模式。这是通过闭合反馈环路来完成的，其中图像分析和/或搜索协议在图像被获取时在图像上运行，例如在至少一个初始图像上。初始图像是在开始针对相应样本的基于事件的成像时的第一步骤中使用图像捕获设备拍摄的样本的图像，并且初始图像用作开始图像，该开始图像经受比较粗略的分析，并且根据该分析来决定将是否以及如何拍摄进一步的图像，特别是至少一个主图像。关于相应样本的表面区域，初始图像可以是相应样本的连续图像或作为将相应样本的部分图像拼接在一起的结果而由部分图像组成的图像，或者相应样本的每个这样的部分图像本身可以表示相应样本的初始图像。关于样本的高度或厚度，初始图像可以是具有深度分辨率的三维图像，该三维图像通常由多个二维数字图像叠加产生，这些二维数字图像在下文中也称为源图像。对初始图像的分析和/或搜索的结果，例如，是否检测到事件和/或检测到的事件的类型，用于决定接下来发生什么。这样的方法具有节省大量的显微镜时间的潜在性，这使能更大规模的研究，以及减少用户错误和偏见。这样的反馈环路也比人类操作者更客观和公正。
现代数字显微镜可以获取大量的可能无法管理的数字图像。在许多研究中，这些数字图像中的仅小部分包含搜索到的信息，并且该信息可用于回答特定问题。基于事件的方法可用于在获取图像时提取图像的感兴趣区域和/或感兴趣结构，特别是至少一个初始图像，并且明显减少研究的数据存储要求。这样的感兴趣结构可以是或包括特定图案和/或相对于其周围显眼的图案。例如，如果要研究样本中的特定化学或生物结构或图案，那么仅保存包含特定结构或图案的至少一个初始图像的区域用于进一步分析。例如，如果要使用时间推移显微术研究生物材料结构的特定修饰，例如动物或植物组织、器官或其部分的结构，或真菌或细胞培养物的结构，那么仅将包含特定结构的至少一个初始图像的区域保存为感兴趣区域用于进一步分析。在光学显微镜中，在空间分辨率、帧速率、信噪比(SNR)和曝光之间存在恒定的权衡。当对活体样本进行成像时，应使用有限的、理想的生理(physiological)曝光来确保相关生物不受成像影响。进一步地，通过仅对需要什么进行成像，可以减少样本曝光。该光预算的智能使用允许将更高的SNR、空间分辨率和帧速率与等效总曝光组合。
通常，基于事件的成像可以应用于包括与周围结构、图案和/或区域可分离的特定感兴趣结构和/或感兴趣区域的样本。样本可以是可包括这样的感兴趣结构或感兴趣区域的任何材料。这样的样本可以是例如水样品、土壤样品，例如具有纳米塑料颗粒的土壤样品，或者化学组成，例如具有捕获的灰尘颗粒的泡沫。
根据本发明的事件的分析例如涉及包括感兴趣区域的样本。感兴趣区域是包括不同于包括感兴趣区域的样品或样本的一般或主要结构或图案的结构或图案，所述感兴趣区域应根据本发明的方法进行标识或分析。具有这样的图案或结构的样本可以被分析用于由样本包含的相应图案或结构的修改。在本发明的一个实施例中，感兴趣结构或感兴趣区域是小的，并且例如可以仅用如本文所描述的显微镜来标识。
根据本发明待分析的样本是例如溶液、化合物、混合物和/或生物材料，其包括感兴趣区域或预期包括感兴趣区域。例如，样本可以是生物材料，例如生物组织、生物器官、细胞、细胞培养物或其一个或多个部分。生物组织或器官或其部分包括植物或动物来源的材料。如示例中所描述的，可分析的样本例如是源自植物组织或器官的材料，例如植物叶、植物根、花、种子、茎或其部分。在一个实施例中，所分析的样本是细胞或微生物，例如细胞培养物或微生物的混合物。
仅利用包含感兴趣区域的相应样本的小部分进行基于事件的成像的应用可以是以下示例：解剖样本的病理学(例如染色和免疫染色解剖)及其体视学；检测病毒、细菌或真菌感染和/或分析；感染的类型和类别的标识；生物测定，例如在药物筛选中，例如各种癌症疾病的单细胞肿瘤检测；经由例如血液学对各种疾病的医学诊断；细胞生物学中的测定，例如通过例如荧光标记的细胞或生物分子如标记融合蛋白自动计数位置；荧光原位杂交；组织微阵列；感兴趣区域的3D重建；生物化学或化学反应的时间推移过程，例如肌动蛋白的聚合，以跟随细胞骨架或分子马达的发展；以及以及经由例如荧光标记检测稳定或瞬时转染或转化的细胞，例如植物细胞、动物细胞、微生物，诸如细菌、真菌、酵母或其他。
例如，本发明的方法可用于标识生物材料中的感兴趣结构或感兴趣区域由于生物或非生物应力(例如化学、环境或生物应力，例如干旱或营养缺乏)而发生的任何变化。在本申请中，非生物应力通常是指植物通常面临的非生物环境条件，包括但不限于干旱(由于提高了用水效率，可以实现对干旱的耐受性)、热、低温和寒冷条件(诸如冷冻和冷却条件)、盐度、渗透应力、遮荫、高植物密度、机械应力、氧化应力等。生物应力是指由感染引起的应力，例如由害虫和病原体。
在最近的趋势中，用于许多宽视场和共焦系统的采集软件可以执行简单的基于事件的方法。采集软件(本文中也称为成像捕获软件)被配置为与外部平台组合，例如Fiji、Icy、CellProfiler或
Figure BDA0004113803050000061
并且使能使用图像分析。因此，可以实现采集软件与外部分析平台之间的双向桥梁。利用这样的设置，相应的用户能够从外部平台向采集软件发送各种采集命令，并且通过使用彻底的文档，用户能够检索图像。
样本保持器自动转移到图像捕获设备的光束中使在一个步骤中或连续地向图像捕获设备提供多个样本可能。样本保持器可以变化，例如从经典的载玻片到多孔(multiwell)板。一种类型的样本保持器可以具有用于多个载玻片的容量，例如用于多达4个载玻片，并且每个载玻片可以托管多个样本。可以从样本室中取得样本保持器。样本室可以是图像捕获设备的组件。样本室可以具有用于多个样本保持器的容量，例如2、4、6、10、20、25或更多样本保持器。可替代地，样本室是可以从外部进入的单独组件。例如，可以通过诸如机器人臂的抓握设备来执行从外部的这样的进入。抓握设备可以被配置为从样本室移除样本保持器和/或将样本保持器放置在样本室中。抓握设备还可以被配置为将样本保持器(以及因此由样本保持器托管的样本)正确地放置在图像捕获设备中/上/处，例如放置在图像捕获设备的相应光束中。
根据所提出的方法的一个实施例，当由至少一个处理器执行时，指令进一步使得控制器和/或至少一个处理器控制这样的抓握设备，诸如机器人臂，以从样本室移除样本保持器，以及其中至少一个样本，和/或将样本保持器上的至少一个样本放置到图像捕获设备的光束中，和/或反之亦然。
样本室可以是一种筒仓，其被配置为托管相同或不同类型的多个样本保持器。
根据所提出的方法的另一实施例，作为图像处理算法，机器学习算法，特别是深度学习算法用于搜索至少一个初始图像的感兴趣结构。这样的机器学习算法被训练为自动检测和标识感兴趣结构。机器学习算法由用户训练以在无人值守、快速(可选地低分辨率)预扫描模式期间，例如在捕获至少一个初始图像期间，自动标识期望的感兴趣结构，诸如特定的生物细胞状态。在标识一个或多个感兴趣结构之后，该方法在步骤c)中通过切换到更复杂的成像过程来继续，特别是分别获取所检测到的感兴趣结构的至少一个主图像。主图像是具有与初始图像相比较更高放大率的图像。关于相应样本的表面积，主图像可以是连续图像或由多个部分图像组成的图像。此外，关于相应样本的高度或厚度，主图像具有通常大于先前记录的初始图像的深度分辨率的深度分辨率，并且因此由多个叠加的二维数字图像(本文中也称为源图像)组成。因此，用于主图像的成像过程通常具有更高的复杂性。在完成期望的更复杂的成像过程之后，特别是在获取至少一个主图像之后，它返回到预扫描模式以标识附加的感兴趣结构，特别是重复所提出的方法的步骤a)至c)，直到已经检测到预先给定数量的k个感兴趣结构。
复杂的成像过程具有附加的参数，例如以与先前利用不同物镜获取的初始图像相比较更高的放大率获取主图像，不仅从样本表面而且从样本内的多个焦平面(例如以多个焦距)获取主图像，在定义的时间跨度上获取主图像以监测样本中的假定变化，获取在观察期间改变其位置的可移动感兴趣区域的主图像，和/或在切换到具有更大放大率的荧光应用之前在明场应用中获取主图像和/或以用于一个荧光信号的低放大率获取主图像，继之以以更高放大率获取用于第二荧光信号的主图像，和/或使用与用于获取初始图像的图像捕获模块不同的图像捕获设备的图像捕获模块(例如多光谱相机)获取主图像。
通常，这样的复杂成像过程也符合较大的数据累积。图像处理算法可以是机器学习算法。分类算法也可以是机器学习算法。
本文所使用的机器学习算法可以各自由至少一个训练的卷积神经网络(CNN)实现。通过由至少一个处理器执行的程序例程集合来实现至少一个训练的CNN中的每一个。这样的训练的CNN可以具有多层。至少一个训练的CNN中的每一个具有至少输入层和输出层。可能的是，这样的训练的CNN还具有隐藏的(多个)中间层，在这种情况下，机器学习算法被视为深度学习算法。CNN在本领域中是众所周知的。为了使用至少一个CNN作为图像处理算法对至少一个初始图像搜索感兴趣结构，必须训练至少一个CNN。在至少一个计算机处理器上实现和运行的至少一个CNN以所提供的数字图像作为输入并以相关联的注释图像作为输出来训练，其中至少一个CNN被训练以使相应的输入图像与相应的相关联的注释图像相关。训练至少一个CNN以使输入图像中的每个像素与相应相关联的逐像素注释图像的相应标签相关是可能的。
以植物真菌感染的情况为例进行解释，实现图像处理算法的至少一个CNN优选地被训练以区分在植物的相应样本的表面处的真菌感染与在植物的相应样本的表皮层加上表皮下的层中的进展的真菌感染。因此，获取不同焦距处的部分图像，例如在七个不同焦距处，具有约50μm的相应间距。在每个部分图像中，作为感兴趣结构的真菌结构由尽可能小的绘图框来注释，并用与相应真菌结构相关的字母标记。这两种清楚标识的真菌结构和可能是某种真菌生长状态的真菌结构的这些被注释。为了开发和训练图像处理算法，使用至少一个焦距。在相应的训练数据库中，仅包括具有注释的真菌结构的图像或者包括不具有注释的真菌结构的图像和具有注释的真菌结构的图像两者是可能的。优选地，训练数据库中的0％至10％的图像是没有注释真菌结构的图像。
控制器和/或至少一个处理器被配置为经由通信信道读取至少一个初始图像，中断扫描，例如中断获取至少一个初始图像以对其搜索感兴趣结构，并且在检测到一个或多个感兴趣结构时，为期望的复杂成像过程重新配置图像捕获设备，特别是至少一个主图像的获取。
用于这样的自动成像方法的前提条件是所使用的设备台的机动化、物镜和/或扫描仪变焦的自动改变、以及荧光滤光器和/或激光线的切换。图像捕获设备还应提供多定位和/或网格扫描连同自动聚焦功能。图像捕获设备包括用于允许由控制器和/或至少一个处理器进行远程控制的至少一个接口。任何种类的适合通信技术可用于分别在控制器、至少一个处理器和图像捕获设备之间建立通信连接。
可替代地和/或除了使用机器学习算法来对至少一个初始图像搜索感兴趣结构之外，图像处理算法使用其他现象。根据所提出的方法的实施例，可测量的特性视觉对比度，特别是可测量的特性光现象，诸如荧光、磷光、反射率，用于对至少一个初始图像搜索感兴趣结构。由于单独感兴趣结构对关于上文所提到的光现象的特定可控照明的相应已知特性响应，可以检测这些感兴趣结构。
考虑到至少一个样本的单个样本，根据本公开的一方面，相应样本的至少一个初始图像实际上是整个样本的一个图像，可替代地，至少一个初始图像是样本的一部分的一个图像，也称为部分样本的图像。在后一种情况下，样本部分的一个图像也被指定为整个样本的部分图像。初始图像也可以是由部分图像组成的图像。
在本公开的另一方面中，获取相应样本的至少一个初始图像作为相应样本的多个部分图像，其中，针对每个样本整体或连续地对一个或多个样本的部分图像搜索感兴趣结构，直到已检测到预定义数量的k个感兴趣结构为止。因此，相应样本的每个这样的部分图像表示相应样本的初始图像。部分图像的数量可以是大于零的任何整数。部分图像可以像马赛克一样放在一起，以便成像或显示相应样本的较大部分，即部分样本或整个样本。部分图像也可以指定为图块(tile)。例如，一个部分图像可以对应于一个图块。可能的是，搜索样本中的一个或多个或所有部分图像。在一个实施例中，可能的是，同时对样本的一个或多个或所有部分图像搜索感兴趣结构。仅在检测到感兴趣结构之后，记录并进一步分析至少一个主图像，通常记录和进一步分析所检测到的感兴趣结构的多个主图像。可替代地，连续地对样本的部分图像搜索感兴趣结构，并且每当在部分图像之一中检测到感兴趣结构时，执行更复杂的成像过程，特别是捕获至少一个主图像。在完成更复杂的成像过程之后，控制器循环回到预扫描模式，特别是步骤a)和b)，在部分图像处继续，特别是在样本位置处，其中其停止用于获取至少一个主图像的位置。
可能的是，对部分图像之一中的感兴趣结构的每次检测启动对至少一个主图像的采集。可替代地，还可能的是，在针对若干部分图像的相应列表启动更复杂的成像过程(特别是至少一个主图像的采集)之前，首先对若干部分图像搜索感兴趣结构。在读取相应部分图像之后，例如分割每个部分图像，并且提取每个感兴趣结构的特征集。为了分割感兴趣结构，取决于感兴趣结构的视觉特性，可以使用滤色器，或者可以执行纹理分析和过滤。对于复杂结构，也可以使用用于对象检测的深度学习方法(例如，“Faster R-CNN”[Ren,S.，He,K.，Girshick,R.，&Sun,J.(2015)。Faster r-cnn:Towards real-time object detectionwith region proposal networks.In Advances in neural information processingsystems(第91-99页).])或分割(例如“Mask R-CNN”[He,K.，Gkioxari，G.,Dollár，P.，&Girshick，R.(2017).Mask r-cnn.In Proceedings of the IEEE internationalconference on computer vision(第2961-2969页).])。标记的图像像素或检测到的对象的坐标和大小定义感兴趣区域和/或感兴趣结构。在预定义时间或预定义数量的采集部分图像之后，采集至少一个主图像，并且此后图像采集设备被切换回来以获取进一步的初始图像，例如相同样本或另一样本的进一步的部分图像。在步骤d)中，使用分类算法，特别是机器学习分类算法，对所检测到的感兴趣结构进行分类，并且在随后的步骤e)中，对分类的感兴趣结构进行评估，例如量化。例如，在步骤e)中，确定并指示要分配给相应分类、特别是分配给相应类别的所检测到的感兴趣结构的相应数或数量。
在植物真菌感染的示例性情况下，优选地开发和训练分类算法以区分例如在穿透相应植物细胞之后的真菌感染的三个阶段。获取多个不同焦距处的部分图像，例如在十五个不同焦距处，具有约30μ0至35物真的相应间距。在每个部分图像中，真菌结构通过围绕相应感兴趣结构的绘图框来注释，绘图框一致地约为800x800像素，没有任何大小变化，并用与相应真菌结构相关的字母来标记。优选地，仅对清楚标识的真菌结构进行注释。为了训练分类算法，优选不使用完整的部分图像，而是仅使用表示相应部分图像的相应部分的绘图框。在相应的训练数据库中，仅包括具有注释真菌结构的部分图像的部分作为正确的命中是优选的。进一步优选的是，将具有来自图像处理算法的对应的假定识别的真菌结构的部分图像的错误注释部分分配给具有假命中(false hit)作为背景的额外类，用于分类算法的训练。优选地，用不包括任何真菌结构的部分图像的其他部分进一步丰富背景。因此，背景包括作为用于分类算法的训练的假命中的否定示例。训练数据库包括由具有正确注释的真菌结构的部分图像的部分组成的组，以及被指定为背景的组，其包括具有错误注释的真菌结构或不具有注释真菌结构的部分图像的部分。
在本公开的范围内，术语“分类”通常是指根据特定特性将感兴趣结构划分为组，更特别地划分为相关植物/植物疾病/真菌感染的类别。深度学习方法通常透明地观察纹理和颜色特征。作为替代方案，可以通过纹理分析(例如，‘Haralick Texture Features’[Haralick,R.M.,Shanmugam,K.,&Dinstein,I.H.(1973).Textural features for imageclassification.IEEE Transactions on systems,man,and cybernetics,(6),610-621.])来确定检测到的对象的特定特性，特别是所检测到的感兴趣结构的特定特性。然后可以使用机器学习方法诸如“self-organizing map”[Kohonen,T.(1990).The self-organizing map.Proceedings of the IEEE,78(9),1464-1480.]或K-means聚类[MacQueen,J.(1967年6月).Some methods for classification and analysis ofmultivariate observations.In Proceedings of the fifth Berkeley symposium onmathematical statistics and probability(第1卷，第14号，第281-297页).]对计算的纹理特征进行分组。分组也可以基于与已知类的差异。在这种情况下，通过将检测到的感兴趣区域和/或所检测到的感兴趣结构的类别与已知对象类别的特性进行比较并找到它们之间的最小差异来确定它们。
根据所提出的方法的进一步的实施例，对一个或多个样本的部分图像搜索感兴趣结构，直到检测到并分类了预定义数量的m个特定分类、特别是特定类别的感兴趣结构，其中m是大于零的整数，并且m≤k。例如，在类别的特定情况下，一个或多个样本被搜索用于以相应给定类ci的特定特性/特征为特征的感兴趣结构，其中i是大于零的整数。这样的类划分可以是预定义的，并且允许对所检测到的感兴趣结构进行清晰的分类。它可以旨在搜索这些类中的一个类的感兴趣结构，直到检测到预定义数量m。因此，所有给定类ci的一个或多个样本中要检测的感兴趣结构的和是
Figure BDA0004113803050000121
每个这样的类可以由特定感兴趣结构来表征，例如与控制类型或野生类型不同的特定结构。针对生物感兴趣结构的示例是由材料上的化学、环境或生物应力形成的结构，或作为材料自身对这样的应力的反应形成的结构。优选地，表征所述类的感兴趣结构允许标识潜在的应力事件。例如，每个这样的类可以由特定的植物防御结构表征，例如由特定的可见或不可见的植物防御反应产生，和/或特定的真菌结构，或指示潜在生物材料感染的结构。例如，该类可以表征的感兴趣结构可以是特定的真菌生命阶段和/或任何其他特定的植物疾病结构。取决于特定检查，可以为讨论中的检查预定义所有可想象的类划分。
根据所提出的方法的又一实施例，分别标识具有预定义数量n个感兴趣结构、特别是具有预定义数量n个特定类的感兴趣结构的一个或多个样本和/或一个或多个样本的相应部分图像，其中n是大于零的整数，并且n≤k，特别地其中n≤m。当搜索了相应的整个样本时，或者当检测到并分类了n个感兴趣结构，特别是特定类的n个感兴趣结构时，图像采集和图像分析针对相应样本自动停止。
在一个实施例中，可以搜索和分析每个样本，直到检测到特定数量的感兴趣结构，特别是特定类的特定数量的感兴趣结构。然后，系统自动移动到下一样本，直到检测到总共k个感兴趣结构，可能是预定义数量的类中的任何一个或每个类ci的m个感兴趣结构，其中
Figure BDA0004113803050000131
根据所提出的方法的进一步的实施例，获取至少一个初始图像作为多个临时部分图像。由于临时部分图像的采集，可以节省存储空间，并且可以增加总吞吐量。对于一个或多个感兴趣结构和/或不同的感兴趣结构，按组或逐个分析临时部分图像(也称为图块)。
在所提出的方法的又一方面，获取至少一个初始图像作为相应的低放大率图像。低放大率部分图像的采集，特别是临时低放大率部分图像的采集进一步减少了相应的数据流和存储，并且允许更快地采集至少一个初始图像。
根据所提出的方法的又一实施例，在步骤b)中搜索至少一个初始图像已经包括在不同的感兴趣结构之间进行区分，使得已经利用适于检测到的不同感兴趣结构的多个z堆叠来获取至少一个主图像。例如，当获取至少一个初始图像时，不同的感兴趣结构，即使它们可能属于同一类，也根据它们的当前外观来区分，例如，由于它们相应的进展，例如疾病进展，或者它们当前对生物材料穿透有多深，例如动物或植物组织中或细胞培养物内，特别是在植物、植物组织或植物器官或其一部分中，例如植物叶、根或种子。取决于相应的不同感兴趣结构，确定随后要获取的主图像的z堆叠的数量。例如，如果感兴趣结构似乎穿透生物材料的若干层，例如动物或植物组织或细胞培养物内，特别是植物、植物组织或植物器官或其一部分，例如植物叶、根或种子，与感兴趣结构仅出现在相应生物材料(例如动物或植物组织)的表面上或细胞培养物内，特别是在植物、植物组织或植物器官或其一部分(例如植物叶、根或种子)中的情况相比，选择不同数量的z堆叠用于获取主图像。然而，在这两种情况下，相应感兴趣结构可以被分配到特定类，例如材料上的化学、环境或生物应力，或材料本身对这样的应力的反应，特别是特定的植物或动物疾病或特定的真菌/真菌感染等。
根据所提出的方法的另一方面，利用预定数量a的z堆叠来获取至少一个初始图像，z堆叠的数量a取决于相应的样本和/或预期的可检测感兴趣结构来预定。
Z堆叠是通过在不同焦距处拍摄多个源图像来生成的，焦距沿着Z轴(即沿着光轴)递增地步进。词语“具有多个z堆叠的图像”意味着在不同焦距处拍摄多个源图像，即在样本内的不同焦平面中拍摄，并且组合以提供作为合成(初始或主)图像的相应图像，其具有比任何单独源图像更大的景深。从而，源图像是在针对给定xy位置的一个z位置处获取的二维数字图像。通过叠加多个源图像，获得具有取决于源图像的数量的深度分辨率的三维图像。所得的三维图像可以是初始图像或主图像。通常，样本的初始图像具有较小的深度分辨率，因此，由比相应样本的主图像更少的源图像组成。因此，样本的初始图像是具有比相应样本的主图像更少数量的z堆叠的图像。因此，初始图像和主图像二者可以由以不同焦距拍摄的多个源图像组成。z堆叠的数量等于不同焦距的数量，并且因此，指示关于三维的相应(初始或主)图像的深度。
样本的图像的Z堆叠允许通过例如同时成像样本内的不同焦平面来以高空间分辨率跟踪样本中的三维动态，并且因此，跟随感兴趣区域和/或感兴趣结构的进展进入三维空间，这使得能够进行仅在二维空间中不可能的评估和/或结论。这是例如为了在自动成像不相等的样本(如例如叶片表面)时用于均衡表面不规则性和/或对生长和/或结构不同的真菌结构进行分类和/或沿着z轴发起植物防御反应时所需要的。
因此，本发明还涉及一种用于对至少一个样本进行基于事件的成像以仅将感兴趣结构记录为事件的计算机实现的方法，该方法包括：
-提供与样本保持器耦接的自动图像捕获设备、与图像捕获设备耦接的控制器、与控制器可操作地结合的至少一个处理器、以及包括指令的计算机可读介质，所述指令在由至少一个处理器执行时使得控制器和/或至少一个处理器：
a)通过图像捕获设备获取由所述样本保持器携带的至少一个样本的至少一个初始图像，
b)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
c)在检测到一个或多个感兴趣结构时，控制图像捕获设备的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，所述至少一个主图像是三维图像，
d)使用分类算法对所述至少一个主图像中的所检测到的感兴趣结构进行分类，
e)评估经分类的感兴趣结构，以及
f)输出评估的感兴趣结构的结果，
g)通过至少一个处理器执行指令，其中重复至少步骤a)至c)，直到检测到预先给定数量的k个感兴趣结构，其中k是整数。
进一步地，在具有第一数量的z堆叠的样本的第一初始图像中没有检测到感兴趣结构的情况下，可以控制图像捕获设备以获取具有次高数量的z堆叠的下一初始图像和/或用于获取下一初始图像而移动到相应样本的另一位置或到至少一个样本的另一样本。因此，用于至少一个初始图像的z堆叠的数量不必预定义，而是可以在操作期间，特别是在至少一个原始图像的图像采集过程期间，对其进行修改和适配。
在至少一个初始图像中的至少一个中检测到感兴趣结构的情况下，在所提出的方法的进一步的实施例中，获取所检测到的感兴趣结构中的至少一个主图像作为高放大率图像。
根据所提出的方法的进一步的实施例，在至少一个初始图像中的至少一个中检测到感兴趣结构的情况下，获取所检测到的感兴趣结构的至少一个主图像作为具有可变数量的z堆叠的图像，其中，同时执行所检测到的感兴趣结构的获取和分类，使得取决于所检测到的感兴趣结构的相应分类，特别是取决于所检测到的感兴趣结构的相应类别，选择至少一个主图像的z堆叠的数量。通常，在通过机器学习分类算法进行分类的同时，获取至少一个主图像作为相应的3D图像(三维图像)或高放大率图像。z堆叠的数量取决于分类，例如，取决于所检测到的感兴趣结构被分配到的类别。在获取至少一个主图像时，将至少一个主图像传送到相应的评估模块、评估软件和/或评估算法用于评估，并且经由适合的输出设备(诸如显示器、音频输出或其任何组合)输出所评估的感兴趣结构的相应结果。分类的类型，例如对预定义类的分配，可以取决于基础调查的目标或焦点提前学习，特别是相应地训练机器学习分类算法。机器学习分类算法也可以通过至少一个训练的卷积神经网络(CNN)来实现。通过由至少一个处理器执行的程序例程集合来实现至少一个训练的CNN中的每一个。这样的训练的CNN可以具有多层。至少一个训练的CNN中的每一个具有至少输入层和输出层。可能的是，这样的训练的CNN还具有隐藏的(多个)中间层，在这种情况下，相应机器学习算法被视为深度学习算法。CNN在本领域中是众所周知的。为了使用至少一个CNN对至少一个主图像中所检测到的感兴趣结构进行分类，必须相应地训练至少一个CNN。在至少一个计算机处理器上实现和运行的至少一个CNN以所提供的数字图像作为输入并以相关联的注释图像作为输出来训练，其中至少一个CNN被训练以使相应的输入图像与相应的相关联的注释图像相关。训练至少一个CNN以使输入图像中的每个像素与相应相关联的逐像素注释图像的相应分类标签相关是可能的。
通常，对至少一个初始图像的相应初始图像连续地执行步骤a)至c)。可能的是，在执行步骤e)和f)之前，对一个样本和/或对不同样本执行步骤a)至d)，直到检测到预定数量k个感兴趣结构。
根据进一步的实施例，对一个样本和/或对不同样本执行步骤a)至d)，直到检测到预定数量的感兴趣结构，所检测到的感兴趣结构满足特定分类的特征，例如根据特定类的成员资格或根据同一类内的不同外观。
本公开还涉及一种用于对至少一个样本进行基于事件的成像以仅将感兴趣结构记录为事件的系统，该系统至少包括：
-自动图像捕获设备，其被连接到样本保持器，
-控制器，其被配置为与所述图像捕获设备耦接，
-至少一个处理器，其与所述控制器可操作地结合，
-包括指令的计算机可读介质，所述指令在由所述至少一个处理器执行时使得与所述图像捕获设备耦接的控制器和/或使得所述至少一个处理器：
a)通过所述图像捕获获取由所述样本保持器携带的所述至少一个样本的至少一个初始图像，
b)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
c)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，
d)使用分类算法，特别是机器学习分类算法，对所述至少一个主图像中的所检测到的感兴趣结构进行分类，
e)评估经分类的感兴趣结构，以及
f)输出所评估的感兴趣结构的结果，
其中，所述处理器被配置为执行所述指令使得重复至少步骤a)至c)，直到检测到预先给定数量的k个感兴趣结构，其中k是大于零的整数。
在所提出的系统的优选实施例中，当由至少一个处理器执行时，指令进一步使得与图像捕获设备耦接的控制器和/或使得至少一个处理器控制抓握设备，特别是机器人臂，以将至少一个样本放置在样本保持器上，反之亦然。抓握设备还可以被配置为从样本室移除样本和/或将样本放置在样本室中。
在又一优选实施例中，该系统包括输出设备，该输出设备被配置为向用户输出结果，并且该输出设备是至少包括声学设备、触觉设备、显示设备及其任何组合的组中的一个。
在进一步的实施例中，该系统包括上文所提到的抓握设备，该抓握设备被配置为由至少一个处理器和/或控制器控制以将至少一个样本放置在样本保持器上，反之亦然。
在另一实施例中，该系统还包括样本室，该样本室被配置为与图像捕获设备耦接，并且被设计为在将至少一个样本放置在样本保持器上之前和/或之后容纳至少一个样本，并且该样本室可用于图像捕获设备。
本发明的进一步的方面是一种包括指令的非暂态计算机可读介质，所述指令在由与自动图像捕获设备的控制器可操作地结合的至少一个处理器执行时，使得所述控制器和/或所述至少一个处理器：
A)将至少一个样本放置在被连接到所述图像捕获设备的样本保持器上，
B)通过所述图像捕获设备获取所述至少一个样本的至少一个初始图像，
C)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
D)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，
E)使用分类算法，特别是机器学习分类算法，对所述至少一个主图像中的所检测到的感兴趣结构进行分类，
F)评估经分类的感兴趣结构，以及
G)输出经评估的感兴趣结构的结果，
H)重复至少步骤B)至D)，直到检测到预先给定数量的k个感兴趣结构，其中k是大于零的整数。
适合于存储所述指令和数据的所述计算机可读介质包括所有形式的非易失性存储器和存储器设备，包括例如半导体存储器设备，例如闪存设备、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)；磁盘，诸如内部硬盘或可移动磁盘；磁光盘；光盘；CD-ROM、DVD-R、DVD+R、DVD-RAM和DVD-ROM磁盘或它们中的一个或多个的组合。这样的存储器设备可以存储各种对象或数据，包括高速缓存、类、应用、备份数据、数据库表、存储动态信息的存储库以及包括任何参数、变量、算法、指令、规则、约束和/或对其的引用的任何其他适当信息。此外，存储器可包括任何其他适当的数据，诸如策略、日志、安全性或访问数据、报告文件以及其他。至少一个处理器和存储器可以由专用逻辑电路补充或者并入专用逻辑电路中。
指令可以作为计算机程序、软件应用、软件模块、脚本或代码存在。指令可以用任何形式的编程语言编写，包括编译或解释语言，或声明性或过程性语言。此外，指令可以以任何形式部署，包括作为独立的计算机程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。在一个实施例中，本公开的计算机可执行指令以HTML、TS(TypeScript)或CSS(级联样式表)进行编写。
计算机程序可以但不需要对应于相应文件系统中的文件。计算机程序可以被存储在保持其他计算机程序或数据(例如，被存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于讨论中的计算机程序的单个文件中或在多个协作文件中(例如，存储一个或多个模块、子程序或代码的部分的文件)。计算机程序可以被部署成在一个计算机上执行，或者在被定位在一个地点处或跨多个地点分布并且通过通信网络互连的多个计算机上执行。虽然计算机程序的部分可以被设计为通过各种对象、方法或其他过程来实现各种特征和功能的单独模块，但是计算机程序可以替代地适当包括多个子模块、第三方服务、组件和/或库。相反，各种组件的特征和功能可以适当地组合成单个组件。
至少一个处理器，特别是适合于执行本公开的方法的系统，可以基于通用或专用微处理器，或任何其他种类的CPU。通常，CPU将从只读存储器(ROM)或随机存取存储器(RAM)或两者接收指令和数据。除了图像捕获设备和控制器之外，系统的基本元件是用于执行或执行指令的CPU(作为至少一个处理器)和用于存储指令和数据的一个或多个存储器设备。通常，系统包括至少一个存储器设备，或者可操作地耦接到至少一个存储器设备，并且被配置为从用于存储数据的至少一个存储器设备接收数据或者将数据传送到用于存储数据的至少一个存储器设备或者两者。至少一个存储器设备包括例如磁盘、磁光盘或光盘。然而，系统本身不需要具有这样的存储器设备。而且，系统可以被嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、或便携式存储设备，例如通用串行总线(USB)闪盘驱动器，等等。
本描述在一种或多种特定实施方式的上下文中呈现和提供。对所公开的实施方式的各种修改对于本领域技术人员来说将是显而易见的，并且在不脱离本公开的范围的情况下，本文所定义的一般原理可以应用于其他实施方式和应用。
本说明书中所描述的主题和功能操作的实施方式可以在数字电子电路、计算机软件、计算机硬件中实现，包括本说明书中所公开的结构及其结构等同物，或者以它们中的一个或多个的组合。本说明书中所描述的主题的实施方式可以被实现为一个或多个计算机程序，例如，编码在有形非暂态计算机可读介质上的计算机程序指令的一个或多个模块，用于由至少一个处理器执行以控制图像捕获设备的操作。替代地或者附加地，计算机程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，其被生成以编码信息用于传输到适合的接收机设备用于由至少一个处理器执行。
如本文所描述的图像捕获过程的自动化提供了以下优点：
-节省时间：在定义相应的实验和图像分析参数之后，实验可以自动运行而不需要人类操作者，
-感兴趣结构由计算机算法选择，这导致比人类操作者的主观和有偏见的选择更一致的数据，
-图像捕获设备可以理论上运行更多的样本，并且增加相应的吞吐量，
-如本文所描述的所提出的方法中使用的用于自动图像分析和采集的集成反馈环路允许快速和有效地评估可用样本，以及同时节省必要的数据流和数据存储以及因此成本。
所使用的控制器和所提出的计算机可读介质提供的指令允许定义用于图像捕获设备的特定成像模式和成像作业。还可以控制图像捕获设备，并且可以使用图像捕获设备的相应接口来实现反馈环路。
图像捕获设备是完全自动化的，特别是在筛选和图像采集期间要改变的所有功能，诸如样本位置、激光和/或二极管和/或灯参数、相应样本的环境参数，经由软件工具来改变。进一步地，提供了一种通信信道，特别是图像捕获设备的控制器和至少一个处理器之间的通信连接，使得可以实现该方法及其集成的反馈环路。
通常，至少图像捕获设备、控制器和至少一个处理器经由相应的通信连接彼此联网。不同组件之间的通信连接中的每一个可以分别是直接连接或间接连接。每个通信连接可以是有线或无线连接。可以使用每个适合的通信技术。图像捕获设备、控制器和至少一个处理器各自可包括用于彼此通信的一个或多个通信接口。这样的通信可以使用有线数据传输协议来执行，诸如光纤分布式数据接口(FDDI)、数字用户线(DSL)、以太网、异步传输模式(ATM)或任何其他有线传输协议。可替代地，通信可以无线经由使用各种协议中的任一种的无线通信网络，诸如通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、码分多址(CDMA)、长期演进(LTE)、无线通用串行总线(USB)和/或任何其他无线协议。相应通信可以是无线和有线通信的组合。术语“通信连接”和“操作连结”在本文中同义使用。
分类算法，特别是机器学习分类算法、图像处理算法，特别是机器学习搜索算法和图像评估算法可以分别在相同或不同的处理器上运行。图像捕获设备控制软件可以在与运行上文所提到的一个或多个算法不同的处理器上运行。大型图像批(batch)也可以分布给若干处理器用于并行处理。术语“处理器”、“计算机”和“计算设备”在本文中同义使用。
本说明书的主题的一种或多种实施方式的细节在附图和描述中阐述。主题的其他特征、方面和优点将从描述、附图和权利要求变得显而易见。
附图说明
图1示意性地示出了所提出的方法的实施例的流程图。
图2在图2a、2b、2c和2d中示出了由自动显微镜捕获的不同真菌生命阶段和植物防御反应的相应初始图像，如可用于所提出的方法的实施例和/或作为所提出的系统的组件。
图3示意性地示出了所提出的系统的实施例。
具体实施方式
图1示出了用于对样本100进行基于事件的成像和用于仅记录感兴趣结构的所提出的方法的实施例的流程图。首先，提供了一种自动图像捕获设备(此处未示出)，该设备与样本保持器的自动传送耦接和/或耦接。在本实施例中，图像捕获设备是自动高速显微镜。样本保持器携带样本100，并且如果样本100被正确放置，则允许样本100在步骤101中可用于图像捕获设备用于成像。进一步地，控制器与图像捕获设备耦接，并被配置为控制图像捕获设备的操作。至少一个处理器与控制器可操作地结合。进一步地，提供了一种计算机可读介质，其存储程序代码，特别是可由至少一个处理器立即或在其中安装之后执行的指令。根据第一方面，当由至少一个处理器执行时，指令使得控制器和/或至少一个处理器在步骤102中从显微镜连续获取多个叶片表面的低放大率部分图像作为初始图像。这样的采集可以用五倍或十倍放大率的物镜执行。
在步骤103中，根据获得部分图像的顺序，紧接在拍摄图像之后在捕获下一图像之前对多个部分图像的图像搜索感兴趣结构。在此处描述的实施例中，机器学习算法被用作用于搜索的图像处理算法。在最简单的情况下，图像处理算法被训练以检测与样本的正常外观的任何偏差。图像处理算法还可以被训练为检测特定的预定义感兴趣结构和/或区分感兴趣结构而不能够对其进行典型化。可替代地和/或附加地，其他可检测现象可用于搜索，诸如荧光、磷光、反射等。
在没有找到感兴趣结构的情况下，控制显微镜的成像捕获软件以移动到多个部分图像中的下一部分图像，特别是过程返回到步骤102，如由箭头10所指示的，以拍摄/捕获/获取多个部分图像中的下一部分图像。
在检测到一个或多个感兴趣结构时，控制显微镜的成像捕获软件以在步骤104中分别获取所检测到的感兴趣结构的至少一个主图像。至少一个主图像可以是高放大率图像，特别是3D高放大率图像。
获取所检测到的感兴趣结构的至少一个主图像作为具有可变数量的z堆叠的图像，其中，同时执行步骤104中的至少一个主图像的获取和步骤105中所检测到的感兴趣结构的分类，使得取决于所检测到的感兴趣结构的相应类来选择至少一个主图像的z堆叠的数量。通常，在通过分类算法、特别是通过机器学习分类算法进行分类的同时，获取至少一个主图像作为3D图像，特别是作为3D高放大率图像。z堆叠的数量，特别是图像层的数量，取决于类和/或分类。不同的类区分不同类型的感兴趣结构，例如与相应类型的植物疾病和/或真菌感染的联系。不同的分类通常区分相同类型或不同类型的感兴趣结构的不同外观形式。同一类型的感兴趣结构可以示出不同的外观形式，例如，在渐进的发展过程中。为了采集至少一个主图像，使用具有例如10倍或20倍放大率的物镜。可以捕获多达例如17个z堆叠。由于图像层的灵活数量取决于检测到的类和/或分类，因此要求较少的存储。因此，整个过程可以被加速。
在获取至少一个主图像时，在步骤106中将至少一个主图像传送到相应的评估模块(也称为评估软件或评估算法)用于评估，并且在步骤107中经由适合的输出设备(诸如显示器、音频输出或其任何组合)输出所评估的感兴趣结构的相应结果。
过程切换回到步骤102，并且重复步骤102至105，直到检测到预定数量的感兴趣结构，其中所检测到的感兴趣结构分别满足特定分类的特征，特别是特定类的特征。
可能的是，在执行步骤106和107之前，对一个样本和/或对不同样本重复步骤102至105，如箭头11所指示的，直到检测到预定数量的感兴趣结构。
多样本保持器可以加载有多达例如100个样本。因此，多样本保持器可以一次向显微镜提供多达100个样本。
在上文所描述的实施例中，在成像和评估内不存在或仅存在微小的人类交互。在对预先给定数量的感兴趣结构进行分类之后，成像和分析自动停止。可替代地，由人类用户停止成像和分析。仅处理和存储信息丰富的数据。
可替代地，还可能的是，在步骤104中获取所检测到的感兴趣结构的至少一个主图像作为具有静态数量的z堆叠的图像，其中在执行步骤105中对所检测到的感兴趣结构的分类之前，执行步骤104中对至少一个主图像的获取。
进一步可替代地，显微镜不获取临时部分图像，而是获取相应样本的相应预扫描作为初始图像。
图2在图2a、2b、2c和2d中示出了由自动显微镜捕获的不同真菌生命阶段和植物防御反应的相应初始图像，如可用于所提出的方法的进一步的实施例和/或作为所提出的系统的组件。图2a和2b各自在下部区域中示出了植物叶片表面的真实部分图像，由此可以识别/检测偏离表面的剩余部分的感兴趣结构。在相应的上部区域中，示出了穿过相应植物叶片的示意性剖面。可识别的是，在这两种情况下，引起相应感兴趣结构的真菌感染在植物叶片和表皮细胞层的表面上。因此，不需要捕获具有较高数量的z堆叠的进一步的初始图像和/或具有高数量的z堆叠的主图像。可能控制显微镜的成像捕获软件以获取所检测到的感兴趣结构的主图像，例如3D图像，特别是3D高放大率图像，具有适配数量的z堆叠。
图2c和2d各自也在下部区域中示出了植物叶片表面的真实部分图像，由此可以识别偏离表面的剩余部分的结构。在上部区域中，示出了穿过相应植物叶片的示意性剖面。可识别的是，在这两种情况下，引起相应感兴趣结构的真菌感染深入到叶片内部中。因此，需要捕获具有较高数量的z堆叠的进一步的初始图像和/或具有足够高数量的z堆叠的主图像。此外，控制显微镜的成像捕获软件以获取所检测到的感兴趣结构的主图像，例如具有适配数量的z堆叠的3D高放大率图像。
图3示出了可用于执行如本文所描述的方法的系统400的实施例。用户40可以利用控制器41的用户接口(例如图形用户接口)来操作至少一个图像捕获设备42以捕获至少一个样本43的数字图像。
来自图像捕获设备(例如显微镜42)的数据可以被传送到计算机44，诸如个人计算机、移动设备、或任何类型的处理器。计算机44可以经由网络45与服务器46通信，即处于通信连接中。网络45可以是任何类型的网络，诸如因特网、局域网、内联网或无线网络。服务器46与数据库47通信，数据库47可以存储由本发明的实施例的方法用于评估目的的数据和信息。在各种实施例中，数据库47可用于例如客户端服务器环境或例如基于网络的环境，诸如云计算环境。本发明的实施例的方法的各个步骤可以由计算机44和/或服务器46与控制器41可操作地结合来执行。在另一方面中，本发明可以被实现为包含指令的非暂态计算机可读介质，所述指令用于由至少一个处理器(例如计算机44)执行，并且使得至少一个处理器和/或控制器41与至少一个处理器可操作地结合以执行上文所描述的方法。指令可包括用于使得至少一个处理器和用户接口能够执行本文所描述的方法的各种模块。
参考标记列表
100 样本
101 方法步骤
102 方法步骤
103 方法步骤
104 方法步骤
105 方法步骤
106 方法步骤
107 方法步骤
10 箭头
11 箭头
400 系统
40 用户
41 控制器
42 图像捕获设备
43 样本
44 计算机
45 网络
46 服务器
47 数据库

Claims (16)

1.一种用于对至少一个样本进行基于事件的成像以仅将感兴趣结构记录为事件的计算机实现的方法，所述方法包括：
-提供与样本保持器耦接的自动图像捕获设备(42)、与所述图像捕获设备(42)耦接的控制器、与所述控制器可操作地结合的至少一个处理器(44)、以及包括指令的计算机可读介质，所述指令在由所述至少一个处理器(44)执行时使得所述控制器和/或所述至少一个处理器(44)：
a)通过所述图像捕获设备(42)获取(102)由所述样本保持器携带的所述至少一个样本(100，43)的至少一个初始图像，
b)使用图像处理算法对所述至少一个初始图像搜索(103)感兴趣结构，
c)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备(42)的成像捕获软件以分别获取(104)所检测到的感兴趣结构的至少一个主图像，所述至少一个主图像是三维图像，
d)使用分类算法对所述至少一个主图像中的所述所检测到的感兴趣结构进行分类(105)，
e)评估(106)经分类的感兴趣结构，以及
f)输出(107)所评估的感兴趣结构的结果，
-由所述至少一个处理器(44)执行所述指令，其中，重复至少步骤a)至c)，直到已经检测到预先给定数量k个感兴趣结构，其中，k是整数。
2.根据前述权利要求中的任一项所述的方法，其中，获取样本(100，43)的所述至少一个初始图像作为相应的样本(100，43)的多个部分图像，其中，对于每个样本(100、43)作为所述样本(100，43)的整体或部分图像，连续地对一个或多个样本(100，43)的所述部分图像搜索感兴趣结构，直到已经检测到所述预定义数量k个感兴趣结构。
3.根据权利要求2所述的方法，其中，对所述一个或多个样本(100，43)的所述部分图像搜索特定分类的感兴趣结构，直到检测到所述特定分类的预定数量m个感兴趣结构，其中，m是整数，并且m≤k。
4.根据前述权利要求中的任一项所述的方法，其中，获取所述至少一个初始图像作为多个临时部分图像。
5.根据前述权利要求中的任一项所述的方法，其中，获取所述至少一个初始图像中的每个初始图像作为相应的低放大率图像。
6.根据前述权利要求中的任一项所述的方法，其中，搜索所述至少一个初始图像还包括在不同的感兴趣结构之间进行区分，以使得已经利用适于所检测到的不同的感兴趣结构的多个z堆叠来获取所述至少一个主图像，其中，通过在不同焦距处拍摄多个源图像来生成所述z堆叠。
7.根据前述权利要求中的任一项所述的方法，其中，利用预定数量a的z堆叠来获取所述至少一个初始图像，所述z堆叠的数量a取决于所述相应的样本(100，43)和/或预期的可检测感兴趣结构来预先确定，其中，通过在不同焦距处拍摄多个源图像来生成所述z堆叠。
8.根据权利要求7所述的方法，其中，在利用第一数量的z堆叠在样本(100，43)的第一初始图像中没有检测到感兴趣结构的情况下，控制所述图像捕获设备(42)以利用次高数量的z堆叠来获取下一初始图像和/或移动到所述相应的样本(100，43)的另一位置或移动到所述至少一个样本(100，43)中的另一样本(100，43)以用于获取所述下一初始图像。
9.根据前述权利要求中的任一项所述的方法，其中，在所述至少一个初始图像中的至少一个初始图像中检测到感兴趣结构的情况下，分别获取所检测到的感兴趣结构的所述至少一个主图像作为高放大率图像。
10.根据前述权利要求中的任一项所述的方法，其中，在所述至少一个初始图像中的至少一个初始图像中检测到感兴趣结构的情况下，获取所检测到的感兴趣结构的至少一个主图像中的每个主图像作为具有可变数量的z堆叠的图像，其中，同时执行所述相应的图像的获取和所检测到的感兴趣结构的分类，以使得取决于所检测到的感兴趣结构的相应分类来选择所述至少一个主图像中的每个主图像的z堆叠的数量，其中，通过在不同焦距处拍摄多个源图像来生成所述z堆叠。
11.根据前述权利要求中的任一项所述的方法，其中，对所述至少一个初始图像中的各初始图像连续地执行所述步骤a)至c)。
12.根据权利要求11所述的方法，其中，在执行步骤e)和f)之前，对一个样本(100，43)和/或对不同的样本(100，43)执行所述步骤a)至d)，直到已经检测到预定数量的感兴趣结构。
13.一种用于对至少一个样本(100，43)进行基于事件的成像以仅将感兴趣结构记录为事件的系统，所述系统至少包括：
-自动图像捕获设备(42)，其与样本保持器耦接；
-控制器(41)，其被配置为与所述图像捕获设备(42)耦接；
-至少一个处理器(44)，其与所述控制器(41)可操作地结合；
-包括指令的计算机可读介质，所述指令在由所述至少一个处理器(44)执行时使得与所述图像捕获设备(42)耦接的控制器(41)和/或使得所述至少一个处理器(44)：
a)通过所述图像捕获设备(42)获取由所述多样本保持器携带的所述至少一个样本(100，43)的至少一个初始图像，
b)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
c)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，所述至少一个主图像是三维图像，
d)使用分类算法对所述至少一个主图像中的所检测到的感兴趣结构进行分类，
e)评估经分类的感兴趣结构，以及
f)输出所评估的感兴趣结构的结果，
其中，所述至少一个处理器(44)被配置为执行所述指令，以使得重复至少步骤a)至c)，直到已经检测到预先给定数量k个感兴趣结构，其中，k是整数。
14.根据权利要求13所述的系统，其中，所述指令在由所述至少一个处理器(44)执行时还使得与所述图像捕获设备(42)耦接的所述控制器(41)和/或所述至少一个处理器(44)控制抓握设备，特别是机器人臂，以将样本保持器上的所述至少一个样本(100，43)放置到所述图像捕获设备(42)的光束中。
15.根据权利要求13或14所述的系统，还包括：输出设备，其被配置为向用户或抓握设备输出所述结果，所述抓握设备被配置为由所述至少一个处理器(44)或所述控制器(41)控制以将所述样本保持器上的所述至少一个样本(100，43)放置到所述图像捕获设备(42)的光束中或者多载玻片室中，所述多载玻片室被配置为与所述图像捕获设备(42)耦接，并且被设计为在所述样本保持器上的所述至少一个样本(100，43)被放置到所述图像捕获设备(42)的光束中并且可用于所述图像捕获设备(42)之前或之后，容纳所述至少一个样本(100，43)。
16.一种包括指令的非暂态计算机可读介质，所述指令在由与自动图像捕获设备(42)的控制器(41)可操作地结合的至少一个处理器(41)执行时，使得所述控制器(41)和/或所述至少一个处理器(44)：
A)将样本保持器上的至少一个样本(100，43)转移到所述图像捕获设备(42)，
B)通过所述图像捕获设备(42)获取所述至少一个样本(100，43)的至少一个初始图像，
C)使用图像处理算法对所述至少一个初始图像搜索感兴趣结构，
D)在检测到一个或多个感兴趣结构时，控制所述图像捕获设备(42)的成像捕获软件以分别获取所检测到的感兴趣结构的至少一个主图像，所述至少一个主图像是三维图像，
E)使用分类算法对所述至少一个主图像中的所检测到的感兴趣结构进行分类，
F)评估经分类的感兴趣结构，以及
G)输出所评估的感兴趣结构的结果，
H)重复至少步骤B)至D)，直到已经检测到预先给定数量k个感兴趣结构，其中，k是整数。
CN202180060747.4A 2020-07-22 2021-07-21 用于基于事件成像的方法和系统 Pending CN116157844A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20187285 2020-07-22
EP20187285.0 2020-07-22
PCT/EP2021/070458 WO2022018173A1 (en) 2020-07-22 2021-07-21 Method and system for event-based imaging

Publications (1)

Publication Number Publication Date
CN116157844A true CN116157844A (zh) 2023-05-23

Family

ID=71783833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180060747.4A Pending CN116157844A (zh) 2020-07-22 2021-07-21 用于基于事件成像的方法和系统

Country Status (9)

Country Link
US (1) US20230291992A1 (zh)
EP (1) EP4185987A1 (zh)
JP (1) JP2023534722A (zh)
KR (1) KR20230042059A (zh)
CN (1) CN116157844A (zh)
AU (1) AU2021311033A1 (zh)
CA (1) CA3186239A1 (zh)
IL (1) IL299994A (zh)
WO (1) WO2022018173A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724419B1 (en) * 1999-08-13 2004-04-20 Universal Imaging Corporation System and method for acquiring images at maximum acquisition rate while asynchronously sequencing microscope devices
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP3934854B2 (ja) * 2000-05-29 2007-06-20 株式会社日立製作所 走査電子顕微鏡
JP6322058B2 (ja) * 2014-06-10 2018-05-09 オリンパス株式会社 画像取得装置
US20160032281A1 (en) * 2014-07-31 2016-02-04 Fei Company Functionalized grids for locating and imaging biological specimens and methods of using the same
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING

Also Published As

Publication number Publication date
IL299994A (en) 2023-03-01
KR20230042059A (ko) 2023-03-27
CA3186239A1 (en) 2022-01-27
US20230291992A1 (en) 2023-09-14
WO2022018173A1 (en) 2022-01-27
JP2023534722A (ja) 2023-08-10
EP4185987A1 (en) 2023-05-31
AU2021311033A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US20230127698A1 (en) Automated stereology for determining tissue characteristics
JP6453298B2 (ja) 細胞診標本を観察および解析するためのシステムおよび方法
JP6816196B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US8068670B2 (en) Image analysis of biological objects
CA2604317C (en) Methods and system for validating sample images for quantitative immunoassays
TW202142856A (zh) 用於生物樣本之分析的系統及方法
US8116543B2 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
US20220351860A1 (en) Federated learning system for training machine learning algorithms and maintaining patient privacy
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
US20030184730A1 (en) Fast 3D cytometry for information in tissue engineering
CN102174384B (zh) 对基因测序仪的测序及信号处理进行控制的方法及系统
CN106204642B (zh) 一种基于深度神经网络的细胞追踪方法
CA2966555A1 (en) Systems and methods for co-expression analysis in immunoscore computation
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
WO2011030481A1 (ja) 細菌分類装置および細菌検査前処理装置
KR20090073092A (ko) 생물학적 시료에서 형광 신호를 검출하는 방법
CN116757998A (zh) 基于ai的ctc细胞和ctc样细胞的筛查方法及装置
Niederlein et al. Image analysis in high content screening
CN116157844A (zh) 用于基于事件成像的方法和系统
WO2021157397A1 (ja) 情報処理装置及び情報処理システム
Aubreville et al. Augmented mitotic cell count using field of interest proposal
Sieracki¹ et al. Enumeration and sizing of micro-organisms using digital image analysis
French et al. High-throughput quantification of root growth
CN111896456A (zh) 一种基于微流控和高光谱成像的单细胞分析方法
CN115049714B (zh) 原位杂交荧光显微全景图配准、微环境的构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240801

Address after: Analytik Jena

Applicant after: Carl Zeiss Microscopy GmbH

Country or region after: Germany

Address before: Rhine, Ludwigshafen, Germany

Applicant before: BASF PLANT SCIENCE Co.,GmbH

Country or region before: Germany