CN113614778A - 图像分析系统及使用该图像分析系统的方法 - Google Patents

图像分析系统及使用该图像分析系统的方法 Download PDF

Info

Publication number
CN113614778A
CN113614778A CN202080023572.5A CN202080023572A CN113614778A CN 113614778 A CN113614778 A CN 113614778A CN 202080023572 A CN202080023572 A CN 202080023572A CN 113614778 A CN113614778 A CN 113614778A
Authority
CN
China
Prior art keywords
image
machine learning
learning system
training data
annotated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080023572.5A
Other languages
English (en)
Inventor
阿夫鲁·I·科恩
洪迪慧
斯蒂芬·莱茵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN113614778A publication Critical patent/CN113614778A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)

Abstract

公开了一种使用非暂时性可编程设备分析图像的系统和方法。在非暂时性可编程设备上操作的用户界面生成器接收生物样本的第一图像和第一图像分析步骤的指定。在非暂时性可编程设备上操作的定序器将第一图像分析步骤应用于第一图像以开发经注释的训练数据，并且在非暂时性可编程设备上操作的机器学习系统训练器训练未训练的机器学习系统以开发经训练的机器学习系统。当向经训练的机器学习系统呈现第一图像作为输入时，经训练的机器学习系统开发经注释的训练数据的预测。此外，所述定序器接收包括第二图像分析步骤的工作流的指定，所述第二图像分析步骤指定操作所述经训练的机器学习系统，并且所述定序器对第二图像执行所述工作流以分析所述第二图像。

Description

图像分析系统及使用该图像分析系统的方法
相关申请的交叉引用
本申请要求在2019年1月23日提交的美国申请NO.16/254,823的优先权，其内容通过引用整体并入本文。
技术领域
本公开主题涉及用于分析生物样本图像的图像分析系统，并且更具体地，涉及在该图像分析系统中结合机器学习系统。
背景技术
成像系统可以用于获得生物样本的显微图像。可以使用图像分析系统来处理这样的图像，以识别与其中的感兴趣对象(细胞、细胞器等)相关联的图像的像素，以对图像中表示的不同类型的感兴趣对象进行分类，以获得关于所述感兴趣对象或其部分等的指标。所述指标可以包括例如感兴趣对象的计数、生物样本中表示的每种类型的感兴趣对象的计数、细胞的大小(面积、周长、体积)、感兴趣对象的大小的统计等(均值、众数、中值、标准差等)。
一些图像分析系统允许操作者交互地指定用于分析生物样本的一个或多个图像以创建输出图像的工作流。输出图像的每个像素与生物样本的图像的对应像素相关联，并且输出图像的像素值指示生物样本的图像的对应像素是否与感兴趣对象相关联，所述感兴趣对象诸如细胞、细胞的特定类型的组分、特定类型的细胞或具有某些特性的细胞等。
使用图像分析系统指定的工作流包括应用于生物样本的图像或从先前图像分析步骤生成的图像的图像分析步骤的序列，以及用于所述图像分析步骤的参数。通常，使用示例性生物样本的一个或多个图像来定义包括工作流及其参数的图像分析步骤的序列。例如，操作者选择从成像系统采集的或从执行先前图像分析步骤得到的一个或多个图像。操作者还从可用图像分析步骤库中选择图像分析步骤以使用所选图像来执行，并且迭代地调整与所选图像分析步骤相关联的参数，同时查看这种调整对图像分析步骤的输出的影响。此后，如果对参数的这种调整满足操作者的期望的输出，则操作者将所选择的图像分析步骤和与其相关联的参数添加到工作流。否则，操作者可以选择不同的图像分析步骤或终止创建工作流。操作者继续以这种方式开发工作流，直到工作流的输出令人满意。在操作者已经选择了所有图像分析步骤和执行这些步骤的序列之后，图像分析系统可以对一个或多个附加图像应用所述工作流以分析这些图像。
包括工作流的一些图像分析步骤与在特定条件下生物样本的一个或多个图像的获取相关联，例如，在荧光期间使用特定照明条件、在发光体和生物样本之间使用一个或多个滤光器、在生物样本和图像捕获装置之间使用一个或多个滤光器、使用特定物镜等。一些图像分析步骤可以包括使用图像处理操作来处理所获取的(多个)图像和/或作为执行另一图像分析步骤的结果而生成的(多个)图像。这种图像处理操作可以包括将一个或多个图像处理滤波器应用于一个或多个图像，例如模糊掩蔽滤波器、阈值滤波器、边缘检测滤波器、平滑滤波器等。工作流中指定的图像处理操作还可以包括通过将一个或多个捕获图像彼此组合、将一个或多个捕获图像与由先前图像处理操作生成的一个或多个图像组合等来生成图像。图像处理操作还可以包括对图像中的不同类型的对象(例如，细胞或其部分)进行计数的测量操作，以及测量与如上所述的对象相关联的指标。
Cohen等人的标题为“提供用于图像分析序列的选择性排列和配置的图像处理系统”的NO.8,577,079美国专利公开了这样的图像分析系统。另外，Cohen等人的标题为“用于多维数据的图像分析的系统和方法”的NO.9,928,403美国专利公开了另一种这样的图像分析系统，用于指定和应用可以用于多维图像的工作流。这两个专利的全部内容在此引入作为参考。
将已被训练成分析一个或多个图像的经训练的机器学习系统结合到工作流中是有用的。然而，这样的经训练的机器学习系统必须针对特定特征来分析特定类型的生物样本的图像，所述特定特征诸如，例如与其中表示的细胞或其细胞器相关联的像素、细胞类型等。经训练来分析一种类型的生物样本的机器学习系统可能对分析另一种类型的生物样本没有用处。此外，机器学习系统的训练通常需要人工智能和/或机器学习方面的专业知识，并且因此，开发各种训练过的机器学习系统是不可行的，其中每个经训练过的机器学习系统被训练来分析特定类型的生物样本。如果图像分析系统包括特征，该特征使得操作者能够容易地训练机器学习系统以针对特定特征来分析特定类型的生物样本并且将所述经训练的机器学习系统结合到使用图像分析系统开发的工作流中，则将是有用的。
发明内容
根据一个方面，一种用于分析图像的系统包括非暂时性可编程设备，并且包括用户界面生成器、定序器和在非暂时性可编程设备上操作的机器学习系统训练器。用户界面生成器接收生物样本的第一图像的指定和第一图像分析步骤的指定，并且定序器将第一图像分析步骤应用于第一图像以开发经注释的训练数据。机器学习系统训练器训练未训练的机器学习系统以开发经训练的机器学习系统，其中，当经训练的机器学习系统以第一图像作为输入时，经训练的机器学习系统开发经注释的训练数据的预测。此外，所述定序器接收包括第二图像分析步骤的工作流的指定，所述第二图像分析步骤指定操作所述经训练的机器学习系统，并且所述定序器对第二图像执行所述工作流以分析所述第二图像。
根据另一方面，一种用于分析图像的方法包括操作非暂时性可编程设备以执行接收生物样本的第一图像的指定和第一图像分析步骤的指定的步骤。非暂时性可编程设备执行通过将第一图像分析步骤应用于第一图像来产生经注释的训练数据，并且训练未训练的机器学习系统以开发经训练的机器学习系统的附加步骤。当经训练的机器学习系统以第一图像作为输入时，经训练的机器学习系统开发经注释的训练数据的预测。非暂时性可编程设备执行接收包括第二图像分析步骤的工作流的指定的附加的步骤，其中，第二分析步骤包括操作经训练的机器学习系统并且对第二图像执行所述工作流以分析所述第二图像。
在考虑以下详细描述和附图之后，其它方面和优点将变得显而易见，其中，在整个说明书中，相同的标号表示相同的结构。
附图说明
图1示出图像分析系统的框图；
图2示出操作者可以如何使用图1的图像分析系统来创建和使用包括机器学习系统的图像分析工作流的流程图；
图3示出图1的图像分析系统的图形用户界面；
图3A示出图3所示的图形用户界面的面板；
图4示出图1的图像分析系统的用于创建工作流的操作的流程图；
图5示出图1的图像分析系统的用于创建工作流的操作的另一流程图；
图6示出图1的图像分析系统的图像编辑器的操作的流程图；
图7示出用于编辑图像时的图3的图形用户界面；
图7A示出在图7的图形用户界面中描述的被编辑之前的图像；
图8示出图1的图像分析系统的机器学习系统训练器的操作的流程图；
图8A示出图3所示的图形用户界面的面板，用于操作图1的图像分析系统的机器学习系统训练器；
图9示出图1的图像分析系统的机器学习系统训练器的操作细节的流程图；以及
图10示出使用图1的图像分析系统的机器学习系统训练器来重新训练机器学习系统的操作细节的流程图。
具体实施方式
为了清楚起见，在本公开中，包括机器学习系统的训练和使用的图像分析步骤被描述为对一个图像进行操作并且产生另一图像。然而，对于本领域普通技术人员来说显而易见的是，一些图像分析步骤对多个输入图像进行操作并生成一个输出图像，其他图像分析步骤对一个输入进行操作来生成多个输出图像，并且还有其他图像分析步骤对多个输入图像进行操作并生成多个输出图像。此外，在一些实施例中，可以从输入图像或从应用一个或多个图像分析步骤产生的图像进行测量，并且所述测量结果可以被提供作为到另外的图像分析步骤的输入。
如下面详细描述的，操作者(例如，图像分析系统的用户)可以交互地使用图像分析系统来训练机器学习系统以分析生物样本的图像，然后结合一个或多个图像分析步骤来指定在工作流中使用训练过的机器学习系统，以分析其他生物样本的附加图像，例如，由成像系统获取的生物样本的图像。
操作者还可以使用图像分析系统来训练机器学习系统，然后将经训练的机器学习系统的操作结合到工作流中的图像分析步骤中的一个。具体地，如以下更详细描述，操作者选择示例输入图像，对输入图像应用一个或多个图像分析步骤以开发经注释的训练数据，并且训练机器学习系统以示例输入图像作为输入时产生经注释的训练数据的预测。通常，经注释的数据是分割图像、分类图像、或者从分割和分类图像中的一个或两个导出的图像。所述经注释的数据包括对应于输入图像的每个像素的输出值。
如果经注释的数据是分割图像，则输出值指示输入图像的对应像素是否与感兴趣对象相关联，所述感兴趣对象诸如细胞、细胞的特征、特定类型的细胞等。对应于与感兴趣对象相关联的输入图像的像素的经注释的数据的值被设置为与前景像素相关联的预定值，并且对应于不与感兴趣对象相关联的输入图像的像素的经注释的数据的值被设置为与背景像素相关联的预定值。
如果经注释的数据是分类图像，则与输入图像的像素相关联的输出值指示所述像素所属的表示的生物样本的一部分的类。所述类可以是例如细胞类型、细胞器类型、细胞状况等。细胞状况可以包括例如细胞是活的还是死的、细胞是否正在经历细胞分裂、或所述细胞分裂的特定状态。每个类可以与特定像素值相关联。将对应于与特定类相关联的输入图像的像素的经注释的数据的值设置为特定值。对应于不与任何所述类相关联的输入图像的像素的经注释的数据的值设置为与背景像素相关联的预定值。
如上所述，经注释的数据可以从分割和/或分类图像中导出。例如，在一个实施例中，可以处理分割图像以识别具有与前景像素相关联的值的一组或多组连续像素的质心(例如，分割图像、生物细胞、细胞器等中的每个斑区(blob)的质心)的坐标。与所述坐标相关联的经注释的数据的值被设置为第一预定值，而不与这种坐标相关联的经注释的数据的值被设置为第二预定值。在一些实施例中，第一预定值等于与分割图像中的前景像素相关联的值，并且第二预定值等于与背景像素相关联的值。
在一些实施例中，可以通过处理分割图像来开发经注释的数据，所述经注释的数据包括例如训练图像中的一个或多个感兴趣对象的一个或多个中心、一个或多个边界框、区域等的坐标。在一些实施例中，所述经注释的数据可以包括例如与分割图像中表示的每个对象相关联的对象分数或置信度水平。所述对象分数可以指示例如与其相关联的对象匹配特定标准的置信度水平，所述特定标准诸如例如特定形状、与对象的特定类相关联的源图像中的像素的特定强度等。在一些实施例中，经注释的数据训练数据可以是针对在分割图像中识别的每个对象都具有的一个条目的表格。每个这样的条目可以包括例如对象标识符和与条目相关联的一个或多个特性或数值(例如，上述坐标、对象分数等)。例如，开发作为表格而不是图像的经注释的数据可能是有利的，因为表格可能需要比图像更少的存储器或者可能更容易被分析。
在一些实施例中，经注释的训练数据可以被视为图像，并且所述图像的像素的值指示输入图像的对应像素是否与感兴趣对象相关联。
在如上所述训练了机器学习系统之后，可以将附加的生物样本的图像作为机器学习系统的输入，并且作为响应，经训练的机器学习系统生成输出值。在一些实施例中，每个输出值对应于附加的生物样本的图像的一个像素并且指示所述图像的像素是否与感兴趣对象相关联。
此外，可以分别获取生物样本的第一类型和第二类型的图像，例如，荧光图像和透射光图像。此后，可以从第一类型的图像开发经注释的训练数据，并且机器学习系统可以被训练为接受生物样本的第二类型的图像作为输入，并且作为响应生成经注释的训练数据。然后，以这种方式训练的机器学习系统可以用于仅使用另外的生物样本的第二类型的图像来分析另外的生物样本。本领域普通技术人员将理解，以这种方式训练的机器学习系统将是有益的，例如，如果仅生物样本的第二类型的图像可用，获取第一类型的图像是有害的或除此之外对生物样本是有害的，或者获取第一类型的图像比获取第二类型的图像需要更多的复杂性或成本。
参考图1，图像分析系统100包括用户界面生成器102、图像获取器104、定序器106、图像编辑器108、图像处理器110、机器学习系统112、机器学习系统训练器114和测量计算器115。图像分析系统100还包括图像数据存储116、工作流数据存储118和机器学习系统参数数据存储120。
用户界面生成器102联接到用户计算机122，并且图像获取器104联接到成像系统124。在一些实施例中，成像系统124可以是例如高容量成像系统、无透镜或基于透镜的电子显微镜、手动操作显微镜等。
如下面更详细描述的，为了开发工作流，用户界面生成器102指示用户计算机122在其显示器上生成图形用户界面(GUI)，该图形用户界面允许用户指定图像分析步骤，并且如果需要，指定与其相关联的参数，并且查看所述图像分析步骤的结果。本领域普通技术人员应当理解，当用户界面生成器102在此被描述为从用户计算机122或所述计算机的操作者接收信息时，用户界面生成器102生成指令并将其发送到用户计算机122，该指令使得GUI从用户获取信息并将所述信息发送到用户界面生成器102。类似地，当用户界面生成器102被描述为在用户计算机122上显示信息时，用户界面生成器102生成指令并将其发送到用户计算机122，使得GUI显示所述信息。
图2示出了在工作流中示例性使用图像分析系统100的特征来创建和使用经训练的机器学习系统112的流程图150。参考图2，如以下更详细描述的，在步骤152，操作者经由用户界面生成器生成的GUI来引导定序器106开始新的工作流。
在步骤154，操作者指定一个或多个图像分析操作，诸如图像处理器110执行的用于从生物样本的一个或多个图像开发第一经注释的数据的(多个)图像处理操作。生物样本可以是标记的(例如，染色的)或未标记的生物样本，并且可以使用各种波长的光来捕获图像，当生物样本进行荧光时，使用透射光来捕获图像等等。可以将上述图像处理操作应用于这些图像中的一个或多个，并且可以将应用这些步骤的结果进行组合以创建第一经注释的数据。在一些实施例中，第一经注释的数据表示二进制分割图像，其中每个像素具有与生物样本中的感兴趣对象(例如，前景像素)相关联的第一预定值或与感兴趣对象(例如，背景像素)不相关的第二预定值。
在步骤156，可选地，操作者指定一个或多个图像分析操作，诸如由图像处理器110执行的(一个或多个)图像处理操作，以开发生物样本的一个或多个图像的第二经注释的数据或从生物样本的一个或多个图像开发的中间图像，包括例如第一经注释的图像。生物样本的一个或多个图像可包括用于创建第一经注释的数据的那些图像和/或生物样本的附加图像。在一些实施例中，第二经注释的数据的像素与分类相关联，该分类使用例如数值过滤和/或根据第一经注释的数据的具有相似或相同值的多个相邻像素的数量、所述相邻像素的边界框的尺寸、所述相邻像素的圆度或其他形状指标等来确定。预定的唯一值(例如，颜色)可以与每个分类相关联，并且第二注释集合的像素的值根据其分类来分配。
在步骤158，操作者可以使用图像编辑器108来编辑第一经注释的数据以例如将前景像素改变为背景像素或将背景像素改变为前景像素。操作者还可以使用图像编辑器108来编辑第二经注释的数据，以调整与某些像素相关联的分类值、将前景像素改变为背景像素、和/或将背景像素改变为前景像素。
在步骤160，操作者识别生物样本的图像以用作训练图像。
在步骤162，操作者使用机器学习系统训练器114，以使用所述训练图像、所述第一经注释的数据和所述第二经注释的数据(如果有的话)来训练未训练的机器学习系统112。所述机器学习系统112被训练为使得当机器学习系统112用所述训练图像作为输入时，所述机器学习系统生成所述第一经注释的数据的第一预测数据作为输出。如果所述第一经注释的数据和所述第二经注释的数据都用于训练机器学习系统112，则当将训练数据作为输入呈现给机器学习系统时，机器学习系统分别生成第一经注释的数据和第二经注释的数据的第一和第二预测数据。所述预测数据的每个数据提供了经注释的数据的相应数据具有特定值的指示或概率。
在步骤164，操作者使用机器学习系统训练器114将与经训练的机器学习系统112相关联的参数存储在机器学习系统参数数据存储120中，并将标识符与所述参数相关联。此后，所述标识符可以用于将与所述标识符相关联的经训练的机器学习系统112结合至附加工作流中。
在步骤166，操作者结束或关闭第一工作流。
在一些实施例中，第一工作流与标识符相关联并且被保存在工作流数据存储118中。然后，如果必要，可以在稍后的时间调用第一工作流，以更新(例如，扩展或细化)机器学习系统112的训练或训练未训练的机器学习系统112的另一实例。
在一些实施例中，在步骤160由操作者选择的训练图像可以包括足够数量的对象(例如，细胞、细胞器等)以提供足够的数据来训练机器学习系统112。然而，对于本领域普通技术人员来说显而易见的是，操作者可以在步骤160选择多个训练图像；在步骤154至158，开发与多个训练图像中的每一个相对应的第一经注释的数据集，并且可选地开发第二经注释的数据集；并且在步骤162，使用所述多个图像以及第一经注释的数据集和可选的第二经注释的数据集来训练机器学习系统112。
为了使用在步骤162开发的经训练的机器学习系统，在步骤168，操作者使用定序器106来创建第二工作流。
在步骤170，操作者使用定序器106通过从图像分析系统100提供的图像处理操作菜单中选择与所述经训练的机器学习系统相关联的标识符来添加所述经训练的机器学习系统112的操作作为图像处理操作。
在步骤172，操作者使用定序器106将任何附加的后处理(post-processing)图像分析步骤添加到工作流。所述后处理图像分析步骤可以清洗(cleanse)由经训练的机器学习系统生成的输出，并且可以包括例如自动边界填充、边缘检测、去除虚假值、去除所有具有与前景相关但太大或太小而无法与感兴趣的对象相关联的值邻近元素、去除虚假内容等。
在步骤174，操作者使用定序器106来添加任何期望的测量步骤，以从特征图像自动地开发一个或多个指标，例如，在由第二工作流分析的图像中表示的细胞或其部分的数量的计数，所述细胞或其部分至少具有与特征相关联的预定概率。自动地开发这样的(一个或多个)指标可以涉及将边界或边缘检测、边界填充和类似算法应用于由经训练的机器学习系统112生成的输出。
在步骤176，操作者使用定序器106来将名称与第二工作流相关联，并且将第二工作流保存在工作流数据存储118中。
如果在步骤154和/或156处开发的第一和/或第二经注释的数据集是条目表或数字数据(例如，对象的坐标、边界框等)的表，则机器学习系统112响应于作为输入呈现的图像而分别产生表或数字数据。
此外，对于本领域普通技术人员应当显而易见的是，选择作为使用第一成像条件获取的第一生物样本的第一图像的训练数据和作为使用第二成像条件获取的第一生物样本的第二图像的经注释的训练数据，机器学习系统112可以被训练成从使用第一成像条件获取的第二生物样本的第三图像产生第四图像，其中，所述第四图像是将使用第二成像条件获取的第二生物样本的图像的估计。这样的第一成像条件和第二成像条件可以包括例如使用不同的发光体、滤光器和/或透镜获取透射光图像；使用不同的发光体、滤光器和/或透镜获取荧光图像；获取不同焦距处的透射光或荧光图像等。例如，机器学习系统112可以被训练成当以透射光图像作为输入呈现时产生对荧光图像的估计、当以荧光图像呈现时产生对透射光图像的估计、当以使用第二发光体获取的第二荧光图像呈现时产生对使用第一发光体获取的第一荧光图像的估计等。
在已经创建和保存第二工作流之后，在步骤178，可以将第二工作流应用于一个或多个附加图像以自动地执行由所述工作流指定的步骤。例如，在一些实施例中，操作者可以使用图形用户界面来选择存储在图像数据存储116中的一个或多个图像，并且将第二工作流应用于所述图像。在其他实施例中，操作者可以使用图形用户界面来引导图像分析系统100自动地捕获在成像系统124中加载的生物样本的一个或多个图像，并且将第二工作流应用于所述捕获的图像。从第二工作流的应用得到的数据可以显示给用户、存储在与图像分析系统100相关联的数据存储器中、或者传输到另外的系统(未示出)以用于附加分析。
图3和图3A示出了由用户计算机122上的用户界面生成器102生成的GUI200的实施例。参照图3和图3A，GUI200包括其中可以显示用于指定图像分析步骤的面板的区域202和其中可以显示一个或多个图像的区域204。在一些实施例中，区域204包括一个或多个子区域205a、205b等，使得可以同时显示多个图像。GUI200还包括区域206，其包括一个或多个可选择的图标208，每个所述图标208a、208b、…208、208j与可用的图像分析步骤相关联。在一些实施例中，一个或多个图标208可以与允许选择特定图像分析步骤的下拉菜单(未示出)相关联。对于本领域普通技术人员来说显而易见的是，GUI200可以结合选择图像分析步骤的方式。
参考图3A，选择图标208在区域202中显示相应的面板210a、210b、210c等。每个面板与特定的图像分析步骤相关联。每个面板210包括一个或多个弹出菜单212，其可以用于选择由与面板210相关联的图像分析步骤使用的任何输入数据的(一个或多个)源。每个弹出菜单212呈现与成像系统124(图1)的预定义配置相关联的标识符，以用于捕获加载在成像系统124中的生物样本的图像或输出由先前定义的图像分析步骤生成的数据。
成像系统124的预定成像配置包括获取生物样本的透射光图像、获取荧光下的生物样本、以及使用照明条件(例如，光的波长)、一个或多个透镜、设置在照明源和生物样本之间的光路中的一个或多个过滤器、设置在生物样本和图像捕获装置之间的光路中的一个或多个过滤器等的特定组合。
在一些实施例中，成像系统100被配置为将诸如DAPI的特定标识符与相应的数据源相关联。在图3A所示的例子中，数据源DAPI和FITC与使用照明获取的生物样本的图像相关联，所述照明分别示出了DAPI和FITC染色，这对于本领域普通技术人员是显而易见的。类似地，标识符“透射光”与数据源相关联，该数据源与使用透射光照明捕获的生物样本的图像相关联。
每个面板210还可以包括一个或多个输入区域214，其中，可以输入与面板相关联的图像分析步骤所使用的参数，以及输入区域216，其中，可以输入与图像分析步骤的输出相关联的标识符。输入到特定面板210的输入区域216中的标识符是名称或标签，通过该名称或标签，可以参考由与特定面板210相关联的图像分析步骤生成的输出以用于后续图像分析步骤。例如，操作者可以通过在弹出菜单212中选择与该输出相关联的标识符或者在输入区域214中输入该标识符，来指定将特定面板210的输出用作输入或用作与该后续图像分析步骤相关联的面板210的参数。
一些面板210包括“应用”按钮218，当其被选择时，进行与该面板相关联的图像分析步骤，并生成与面板210中指定的标识符216相关联的结果(例如图像)。一些面板210包括区域220，当被选择时，该区域关闭面板210(例如，从区域202移除面板)并且从工作流移除与所述面板相关联的图像分析步骤。
例如，面板210a与名为“计数核对象”的图像处理操作相关联，并且允许使用弹出菜单212a指定一个数据源。在图3A所示的例子中，使用弹出菜单212a选择被称为“DAPI”的数据源。在输入区域214a中输入参数，该参数指定与面板210a相关联的图像分析步骤应当识别输入图像中(例如，来自源DAPI)的在10至30个像素之间跨越的那些连续像素，具有比相邻像素高至少500个强度水平的像素值，并且“FAST”算法应当用于这样的处理。结果(例如，二进制图像)将与标识符“核”(在输入区域216A中指定)相关联，其中,与满足在输入区域214A中指定的参数的输入图像的像素相关联的结果的值被设置为与前景像素相关联的值。此外，与不满足这些参数的输入图像的像素相关联的结果的值被设置为与背景像素相关联的值。如果用户选择“应用”按钮218a和/或作为包括这种图像处理步骤的工作流的一部分，则可以交互地进行由面板210a指定的图像分析步骤。
继续图3和图3A中所示的示例，面板210a至210e将图像分析步骤应用于DAPI和FITC图像以生成与标识符“训练候选者”相关联的结果。如本领域技术人员理解的，所述图像分析步骤包括应用以上结合面板210a描述的“计数核对象”图像分析、自适应阈值图像分析步骤(面板210b)、分水岭图像分析步骤(210c)、逻辑AND运算(210d)和根据“计数核对象”和逻辑AND图像分析步骤的结果选择像素的图像分析步骤(210e)。
面板210f指定允许用户手动编辑与标识符“训练候选者”相关联的图像，如下文更详细描述的，以生成与标识符“训练目标”相关联的结果图像。面板210g指定图像分析步骤，该步骤使用具有透射光图像的这种结果图像来训练机器学习系统，如下文更详细描述的。
再次参考图1，为了开发工作流，用户界面生成器102从用户计算机122接收图像分析步骤的指定，定序器106协调图像分析系统100的其余组件的步骤以进行指定的图像分析步骤，从而开发图像分析步骤的输出(如果有的话)，并且引导用户界面生成器102在用户计算机122上显示任何所述的输出。
如下文更详细描述的，用户界面生成器102和定序器106允许操作者以这种方式指定图像处理操作，直到用户计算机122的操作者指示已经指定了工作流或者应当丢弃工作流。如果操作者指示已经指定了工作流，则定序器106将图像分析步骤和与其相关联的参数记录在工作流数据存储中。在一些实施例中，操作者提供与工作流相关联的名称。在其他实施例中，定序器106可以生成名称以与工作流相关联。对于本领域普通技术人员来说，使用将名称与工作流相关联的其它方式是显而易见的。
在如上所述已经开发和存储工作流之后，操作者可以将待分析的生物样本加载到成像系统124中并且选择与所述工作流相关联的名称。作为响应，定序器106操作图像分析系统100的其他组件以执行由工作流指定的图像分析步骤，以生成结果，所述结果由用户界面生成器102显示在用户计算机122上、记录在与图像分析系统100相关联的数据存储(未示出)中、或提供给另一系统(未示出)以供进一步分析。
图4示出了由图像分析系统100执行以创建新工作流的步骤的流程图250。参考图1至图4，在步骤252，用户界面生成器102生成指令并将其发送到用户计算机122，使得用户计算机122显示上述GUI200。在步骤254，用户界面生成器102从用户计算机122接收开始指定新工作流的指令。例如，用户计算机122的操作者可以选择GUI200(图3)的按钮222来提供这样的指示。
在步骤256，用户界面生成器102接收如上所述的图像分析步骤的指定，包括要采取的图像分析步骤以及与该步骤相关联的任何参数。
在步骤258，定序器106执行在步骤256接收的图像分析步骤，并且在步骤260，引导用户界面生成器102在GUI200的区域204中显示执行该步骤的任何结果。
在步骤262，用户界面生成器102从用户计算机122接收操作者是否已经改变在步骤256指定的一个或多个参数的指示。如果操作者已经改变了一个或多个参数，则用户界面生成器102进行到步骤256以接收图像分析步骤的所述改变后的指定。
否则，在步骤264，用户界面生成器102接收图像分析步骤和在步骤256接收的与其相关联的任何(一个或多个)参数是否可接受的指示。如果这样的步骤和(一个或多个)参数是可接受的，则在步骤266，定序器106将关于图像分析步骤的信息(例如，与该步骤相关联的标识符)和(一个或多个)参数存储在工作流数据存储118中。否则，在步骤268，定序器106从其存储器中清除关于这种图像分析步骤的任何信息，并且用户界面生成器102从GUI200中移除与图像分析步骤相关联的面板210。
此后，在步骤270，用户界面生成器102从用户计算机122接收来自用户计算机122的指示，指示操作者是否希望指定另一图像分析步骤以添加到工作流。如果操作者确实想要增加另一图像分析步骤，则图像分析系统100进行到步骤256。否则，在步骤272，定序器106将工作流存储在工作流数据存储118中，以便与其它生物样本的图像一起使用。
图5示出在图4所示的流程图250的步骤258期间由定序器106的一个实施例执行的步骤的流程图300。参考图1至图5，在步骤302，定序器106确定在步骤256(图4)指定的图像分析步骤是否指定从成像系统124采集图像。如果是，则在步骤304，定序器106引导图像获取器104指示成像系统124根据与指定的图像分析步骤相关联的参数获取加载在成像系统124中的样本的图像。定序器106在步骤306接收所获取的图像，在步骤308将所获取的图像存储在图像数据存储116中，并且进行到图4的步骤260以引导用户界面生成器102在GUI200的区域204中显示所获取的图像。
如果在步骤302，定序器106确定图像分析步骤没有指定获取图像，则在步骤312，定序器106确定指定的所述图像分析步骤是否执行图像处理操作，包括使用已经训练的机器学习系统112。如果是，则在步骤316，定序器106加载由与步骤316处的图像分析步骤相关联的任何参数指定的图像，并在步骤318处调用图像处理器110处理所述图像。此后，定序器106进行到步骤306和308以分别接收和存储图像处理器110生成的结果。
如果在步骤312，定序器106确定图像分析步骤没有指定进行图像处理操作，则定序器106在步骤320确定图像分析步骤是否指定了开发在一个或多个图像中表示的一个或多个对象的特性的指标。如果是，则在步骤322，定序器106将被指定为参数的一个或多个图像加载到步骤256(图4)的图像分析步骤，并且在步骤324调用测量计算器115来开发这些对象的指标。例如，测量计算器115产生在所加载的图像中表示的对象(细胞或其部分)的数量的计数或与所述对象相关联的统计。所述统计可以包括对象的面积的平均值、众数和/或中值、面积的直方图或分布、周长和/或所述对象的尺寸、所述对象的边界框等。显然，对于本领域普通技术人员显而易见的其它类型的指标可以由测量计算器115开发。同样在步骤324，测量计算器115可以经由图形用户界面显示由此开发的指标，或者将所述指标存储在步骤256(图4)指定的参数中标识的数据位置(未示出)中。在一些情况下，测量计算器115可以开发表示由此开发的指标的图像。所述图像可以包括，例如叠加在从其开发指标的(一个或多个)图像中表示的对象周围的边界框、根据与所述对象相关联的指标对所述对象中的对象进行颜色编码(例如，颜色编码对象在与均值的一个标准偏差内使用第一颜色、在与均值的两个标准偏差内使用第二颜色)。对于本领域普通技术人员来说显而易见的是，测量计算器115可以将边界或边缘检测、边界填充和类似算法应用于正被测量的图像以开发所述指标。此后，定序器106返回到图4的步骤262。
如果在步骤320，定序器106确定在步骤256(图4)指定的图像分析步骤没有指定开发指标，则定序器106在步骤326确定图像分析步骤是否指定手动编辑由与指定的图像分析步骤相关联的参数标识的图像。如果是，则在步骤328，定序器106加载要编辑的图像，并且在步骤330，调用图像编辑器108以允许操作者手动编辑图像，如下面更详细描述的。此后，定序器106进行到步骤306和308以分别接收和存储由图像编辑器108生成的结果。
操作者可能希望编辑例如由先前图像处理操作产生并显示在用户计算机122上的图像。例如，如果通过执行一个或多个图像处理操作而生成的分割图像将其某些像素与对象不正确地关联，则操作者可以将每个这种不正确关联的像素的值设置为与背景(例如，非对象)像素相关联的值。可以执行这样的编辑，例如，以在使用这样的经注释的训练数据来训练机器学习系统112之前编辑经注释的训练数据。
如果在步骤326，定序器106确定图像分析步骤没有指定手动编辑图像，则定序器106在步骤332确定图像分析步骤是否指定训练机器学习系统112。如果是，则在步骤334，如下文所述，定序器106调用机器学习系统训练器114来训练机器学习系统112。此后，处理进行到图4的步骤262。
如果在步骤332，定序器106确定由操作者指定的图像处理操作没有指定训练机器学习系统112，则图像分析系统进行到步骤256(图4)以等待另一图像分析步骤的指定。本领域技术人员将理解，图像分析系统100可以从用户计算机122接收与本文描述的实施例不相关的附加输入。为了清楚起见，此处不描述这样的附加输入。
图6示出了当操作者选择图像编辑步骤时，在图5的流程图300的步骤330处，由图像编辑器108执行的处理的流程图350。参照图1和图4至图7A，在步骤352(图6)，图像编辑器108引导用户界面生成器102生成图7所示的图像编辑面板210f。操作者可以编辑分割的或特征化的图像，例如，调整与对象的边缘相关联的像素以使这样的边缘更明显，连接相邻对象的像素以使得这样的像素被关联成单个较大对象，移除错误识别的对象等。除了这些调整之外，操作者可以编辑分类图像以修改对象的分类。
图像编辑面板210f包括用于选择要编辑的源图像的弹出菜单212f(如上所述)、操作者可以在其中输入与编辑后的图像相关联的标识符的文本框354、以及用于选择如下所述的绘制模式的可选按钮356、358、360、362和364。在一些实施例中，图像编辑面板210f还包括被标记为“应用”的按钮366。
还参考图5和图6，在步骤372(图6)，图像编辑器108创建编辑后的图像，该编辑后的图像是在步骤328(图5)由定序器106加载的要编辑的图像(例如，源图像)的副本。在步骤374，图像编辑器108引导用户界面生成器102在GUI200的区域204的子区域368中显示源图像，并在子区域370中显示经编辑的图像。
在步骤376，图像编辑器108等待接收输入(经由用户界面生成器102)，该输入指示操作者对按钮356至364、显示源图像的子区域368的像素或“应用”按钮366之一的选择。
如果在步骤378中，图像编辑器108确定输入是否指示选择绘制模式按钮356至364中的一个，如果是，则进行到步骤380。否则，图像编辑器108进行到步骤382。在步骤380中，图像编辑器108根据所选择的绘图模式按钮356至364(图7)来设置有效的绘图模式。特别地，如果按钮358被操作者选择，则绘制模式被选择，该绘制模式将经编辑图像的与源图像的每个随后被选择的像素相对应的像素值设置为与前景相关联的第一预定值(例如，以指示这样的像素与源图像中的对象相关联)。
类似地，如果按钮360被选择，则绘制模式将与子区域368中显示的源图像的每个随后被选择的像素相对应的经编辑图像370的像素的值设置为与背景像素相关联的第二预定值(例如，以指示该像素不与源图像中的对象相关联)。
按钮362选择绘图模式，该绘图模式将经编辑图像370的与随后选择的值相对应的值设置为它们的未编辑值(例如，擦除对这样的所选择的像素执行的任何编辑)。按钮364调整当选择在子区域368中显示的源图像的像素时受到影响的经编辑图像370的像素数量(例如，调整编辑光标的宽度)。选择按钮356结束绘制操作，使得随后选择在子区域368中显示的源图像的像素不影响编辑图像370的任何像素。图像编辑器108可以提供附加的绘图操作，例如撤销所有编辑、重做先前撤销的编辑、清除所有编辑等。
在步骤380中设置的绘图模式保持有效，直到操作者选择了按钮356至364中的另一个不同的按钮，或选择所述“应用”按钮366。在设置绘图模式之后，图像编辑器108返回到步骤376，等待接收另一输入。
在步骤382，如果图像编辑器108确定在步骤376接收的输入指示子区域368(图7)的像素的选择，则图像编辑器108进行到步骤384。否则，图像编辑器108进行到步骤386。
在步骤384，图像编辑器108确定与子区域368的所选像素对应的源图像的像素的坐标，并将这些坐标和有效绘制模式记录在其存储器(未示出)中。此后，在步骤388，图像编辑器108指示用户界面生成器102用与绘图模式相关联的颜色覆盖子区域368的所选像素。此外，同样在步骤388，图像编辑器108引导用户界面生成器102根据有效的绘图模式，用对应于前景像素的颜色或对应于背景像素的颜色覆盖子区域370的像素。
例如，图7A示出了在子区域368中显示的源图像的未编辑版本。如在子区域370中显示的编辑图像中所示，由圆390和392指示的未编辑图像的部分已经被编辑，以将在该示例中表示为白色像素的前景像素改变为在该示例中表示为灰色像素的背景像素。操作者可以进行这样的编辑，以将在源图像中被错误地识别为与感兴趣对象相关联的经编辑图像的像素进行设置。另外，由圆394表示的未编辑图像的一部分已经被编辑，以将对象内的前景像素改变为背景像素，例如，以将源图像中的单个对象分成编辑图像中的两个对象。此外，由圆396指示的源图像的一部分已经被编辑以用前景像素替换背景像素，从而将源图像中的两个对象连接成编辑图像中的单个对象。
再次参考图6，在步骤388已经更新了所显示的源和编辑后的图像之后，图像编辑器108返回到步骤376，以等待来自操作者的另一输入。
如果在步骤382，图像编辑器108确定操作者没有选择子区域368中的像素，则图像编辑器108在步骤386确定是否选择了“应用”按钮366以指示图像编辑完成。如果是，则在步骤398，图像编辑器108生成作为源图像的副本的结果图像。此后，图像编辑器108根据在步骤384记录的坐标和绘图模式修改结果图像的像素。在生成结果图像之后，处理进行到图5的步骤306。
如果在步骤386，图像编辑器108确定操作者没有选择“应用”按钮366，则图像编辑器108返回到步骤376以等待另一个输入。
在一些实施例中，操作者可以选择生物样本的图像以用于如上所述的编辑，并且在区域368中显示所选择的图像。此后，操作者可以将区域368中显示的图像的某些像素指定为前景或与如上所述的特定分类值相关联。作为响应，图像编辑器108根据来自操作者的这种指定来修改区域368的像素。当操作者选择“应用”按钮366时，图像编辑器108生成结果图像，该结果图像具有用于在区域368中显示的图像的每个像素的一个结果像素。与区域368中显示的未修改像素相关联的每个这样的结果像素的值被设置为背景值。与区域368中显示的修改像素相关联的每个结果像素的值被设置为根据由操作者为该像素指定的修改的值。
图8是当定序器106(图1)调用机器学习系统训练器114(图1)以在步骤334(图4)训练机器学习系统112(图1)时所采取的步骤的流程图400。参考图1、图4、图8和图9，在步骤402，机器学习系统训练器114指导用户界面生成器102生成图9所示的机器学习系统训练面板210g。图9所示的机器学习系统训练面板210g与图2A所示的机器学习系统训练面板210g基本相同。
机器学习系统训练面板210g包括操作者可以用来选择训练图像的弹出菜单212g和选择第一经注释的训练数据的弹出菜单212h，该第一经注释的训练数据可以是例如对应于训练图像的分割图像。如上所述，训练图像和分割图像可以从相同或不同的图像源产生。例如，训练图像可以是生物样本的透射光图像，并且可以通过将一个或多个图像分析步骤应用于生物样本的所述透射光图像来开发分割图像。或者，可以通过将一个或多个图像分析步骤应用于与生物样本的训练图像不同的另一透射光图像来开发分割图像，其中，使用与用于捕获训练图像的光源、(一个或多个)透镜、(一个或多个)滤波器等的不同组合来捕获另一透射光图像。在一些情况下，可以将一个或多个图像分析步骤应用于在生物样本经历荧光时捕获的生物样本的图像(例如，生物样本的荧光图像)来开发分割图像。
如果第一经注释的训练数据集是分割图像，则如上所述，分割图像包括与训练图像的每个像素对应的像素，并且分割图像的每个像素的值指示对应的训练图像的像素是与对象相关联(例如，是前景像素)还是不与对象相关联(例如，是背景像素)。
另外，机器学习系统训练面板210g包括按钮430，以允许操作者指定可选的第二经注释的数据集。所述第二经注释的数据集可以是例如分类图像。在一些实施例中，所述第二经注释的数据集可识别在第一经注释的数据集中识别的对象的特征。例如，如果第一经注释的数据集识别细胞，则第二经注释的数据集可以识别细胞内的特定细胞器。类似地，第一经注释的数据集可以识别一个或多个细胞器，且第二经注释的数据集可以识别所述细胞器的一个或多个细胞。
机器学习系统训练面板210g还包括用于启动机器学习系统112的训练的“训练”按钮432、用于利用附加数据更新机器学习系统112的训练的“更新训练”按钮434、以及用于保存与经训练的机器学习系统112相关联的参数的“保存训练”按钮436。
再次参考图8，在生成机器学习系统训练面板210g之后，在步骤404，机器学习系统训练器114等待来自操作者的经由用户界面生成器102的输入。在步骤408，机器学习系统训练器114确定所述输入是否指示选择训练图像。如果是，则在步骤410，机器学习系统训练器114加载训练图像，并返回到步骤404以等待附加输入。
否则，在步骤412，机器学习系统训练器114确定输入是否指示选择第一经注释的数据的源，如果是，则在步骤414加载第一经注释的数据并返回到步骤404以等待附加输入。
在一些实施例中，当机器学习系统训练面板210g最初由用户界面生成器102生成时，“训练”按钮432是不可选择的。在所述实施例中，也在步骤410，机器学习系统训练器114引导用户界面生成器102允许在已经选择第一经注释的训练数据的源之后选择“训练”按钮432。
否则，在步骤416，机器学习系统训练器114确定输入是否指示选择第二经注释的数据的源，如果是，则在步骤418加载第二经注释的数据集，并返回到步骤404以等待附加输入。
如果在步骤416，所述输入不指示选择第二数据集，则机器学习系统训练器114在步骤419确定输入是否指示“训练”按钮432被选择。如果是，则机器学习系统训练器114进行到步骤420，否则机器学习系统训练器114进行到步骤422。在步骤420，机器学习系统训练器114使用在步骤410加载的训练图像、在步骤414加载的第一经注释的数据、以及如果指定的话，在步骤414选择并加载的第二经注释的数据来训练机器学习系统112，如下文更详细的描述。在训练机器学习系统112完成之后，所述机器学习系统训练器返回到步骤404以等待附加输入。
在步骤422，机器学习系统训练器114确定是否选择了“更新训练”按钮434，并且如果是，则进行到步骤424以更新先前经训练的机器学习系统112的训练，如下文更详细的描述。否则，机器学习系统训练器114进行到步骤426。
在一些实施例中，当机器学习系统训练面板210最初由用户界面生成器102生成时，“保存训练”按钮436不可选择。在所述实施例中，分别在步骤420和424，机器学习系统训练器114引导用户界面生成器102允许在训练了机器学习系统112或更新了机器学习系统112的训练之后选择“保存训练”按钮436。
在步骤426，机器学习系统训练器114确定输入是否指示“保存训练”按钮436被选择。如果是，则机器学习系统训练器114进入步骤428，否则机器学习系统训练器进入步骤404以等待附加输入。
在步骤428，机器学习系统训练器114引导用户界面生成器102请求标识符以与经训练的机器学习系统112相关联。如果先前经训练的机器学习系统112在选择“保存训练”按钮436之前已被重新训练，则机器学习系统训练器可以允许操作者指定与该先前经训练的机器学习系统112相关联的标识符或不同的标识符。
此后，机器学习系统训练器114将与机器学习系统112的每个节点相关联的参数存储在机器学习系统参数数据存储120中。这样的参数包括例如激活阈值、输入和输出缩放因子或权重、卷积核以及机器学习系统112的架构。例如，如果机器学习系统112是神经网络，则每层中的节点或神经元的架构、节点层之间的互连等被存储在机器学习系统参数数据存储120中。如本领域普通技术人员理解的，这样的神经网络参数可以包括一个或多个卷积层和一个或多个神经元层的互连，在它们之间具有一个或多个池化层。所存储的参数足以将未训练的机器学习系统112配置成训练状态。
所存储的参数与由操作者提供的经训练的机器学习系统的标识符相关联，使得可以通过使用所述标识符来从机器学习参数数据存储检索这样的参数。在一些实施例中，经训练的机器学习系统的标识符被用作机器学习系统参数数据存储120中的存储有所述参数的文件或目录的名称。在其他实施例中，参数被存储在关系或其他类型的数据库中，并且经训练的机器学习系统的标识符是可以作为向数据库查询这样的参数的索引值。对于本领域普通技术人员来说，显然可以使用其他方式将标识符和与经训练的机器学习系统相关联的参数相关联。
此外，在步骤420，机器学习系统训练器114将具有经训练的机器学习的标识符的图标208添加到GUI200的区域206(或与已经存在的图标208相关联的菜单)作为图像处理操作，使得经训练的机器学习系统可以在图像分析步骤中，例如在步骤318，在使用图像分析系统100开发的未来工作流中指定。
图9是在图8所示的流程图400的步骤420执行的处理的流程图450。参照图9，在步骤452，机器学习系统训练器114配置未训练的机器学习系统112的架构。这种配置指定这种机器学习系统112的输入和输出的数量。例如，输入的数量可以根据在步骤410处加载的训练图像中的像素的数量来指定，并且输出的数量可以根据第一经注释的数据集和第二经注释的数据集中的值的数量的总和来指定。
另外，如果机器学习系统112是神经网络，则配置可以指定神经网络中的层的数量，作为卷积层、池化层和/或神经元层的这样的层的数量。此外，该配置可以指定构成机器学习系统112的层之间的互连。
在一些实施例中，如果机器学习系统112包括神经网络，则使用由加州MountainView的Google公司开发的AutoML和NASNet技术来配置这样的神经网络。应当清楚，可以使用本领域技术人员已知的其它神经网络技术，包括例如全卷积DenseNet、针对机器视觉应用优化的神经网络等。应当清楚，机器学习系统112可以是包括随机森林树等的另一类型的机器学习系统。
在一些实施例中，未训练的机器学习系统112的架构选自一个或多个预定配置。可被考虑来选择这种配置的因素可包括例如训练数据的大小(例如，像素的数量、图像尺寸等)、经注释的数据集的大小、训练机器学习系统112的速度、机器学习系统112所生成的结果的可接受准确度水平、机器学习系统112的存储器和处理要求、要产生的输出的类型(例如，如果机器学习系统将产生分割图像，则为标识输入图像中的对象的一个或多个质心的数据、对输入图像中的对象进行分类的图像等)、作为输入提供给机器学习系统112的数据的复杂度、由机器学习系统112分析的图像中表示的对象的大小和/或复杂度等。可以针对机器学习系统112要分析的图像中所表示的特定类型的样本(例如，神经突、TL细胞单层等)来优化一些配置。不同的配置可以用于分析生物样本的二维图像与捕获生物样本的三维视图的一系列二维图像。
在步骤454，机器学习系统训练器114将在步骤410加载的训练图像呈现为在步骤452配置的机器学习系统112的输入，并且作为响应，机器学习系统112开发与第一经注释的训练数据相对应的第一预测输出值。第一预测输出值中的每一个对应于第一经注释的训练数据中的一个。如果训练图像是生物样本的图像，并且第一经注释的训练数据表示从第一源图像开发的分割图像，其中，第一源图像是训练图像或在不同成像条件下捕获的生物样本的另一图像，每个第一预测输出值指示对应于第一源图像的像素与训练图像中的感兴趣对象(例如，是前景像素)相关联的概率，如分割图像所指定的。
此外，如果在步骤414加载了第二经注释的训练数据，则在一些实施例中，机器学习系统112同时开发第二预测输出值，每个这样的值对应于第二经注释的训练数据的像素。例如，如果第二经注释的训练数据是从第二源图像开发的，该第二源图像是训练图像或生物样本的另一图像，并且这样的经注释的训练数据标识第二源图像中与特定特性相关联的像素(例如，使用强度编码来标识不同特性)，则每个第二预测输出值指示训练图像的对应像素与一个这样的特定特性相关联的概率。
在步骤456，机器学习系统训练器114开发第一输出值集合与第一经注释的训练数据之间的第一差异。如果加载了第二经注释的训练数据集合，则机器学习系统训练器114还得出第二输出值集合与第二经注释的训练数据之间的第二差异。在一些实施例中，使用损失函数(例如，加权的分类交叉熵函数)来计算这种差异。
在步骤458，机器学习系统训练器114组合(一个或多个)第一差异和任何(一个或多个)第二差异以形成汇总误差指标(aggregate error metric)。这样的误差指标可以是例如训练图像中正确地与分割相关联的像素的数量以及分别在第一经注释的训练数据和第二经注释的训练数据中表示的特性。在步骤460，机器学习系统训练器114确定汇总误差指标的大小是否小于预定的可接受误差，如果是，则处理进行到图8所示的流程图400的步骤404。
否则，在步骤462，机器学习系统训练器114根据例如已经执行的训练的迭代次数、成功训练通过之间的总误差指标的改进率、训练所执行的时间量以及对于本领域普通技术人员显而易见的其它这种条件，确定是否应当进行机器学习系统112的附加训练。如果准许附加训练，则机器学习系统训练器114进行到步骤464，否则处理返回到图8所示的流程图400的步骤404。
在步骤464，机器学习系统训练器114使用在步骤456开发的差值来调整机器学习系统112的参数，例如，使用反向传播或另一技术，如本领域普通技术人员所理解的。
在调整参数之后，机器学习系统训练器114返回到步骤454，以使用调整后的参数来操作机器学习系统112。
在一些情况下，在步骤462，机器学习系统训练器114可以确定汇总误差指标大于预定的可接受误差，但是附加训练未被批准(例如，如果汇总误差指标没有改善)。在这种情况下，机器学习系统训练器114可以引导用户界面生成器102在用户计算机122上显示汇总误差指标以及这样的汇总误差指标大于预定的可接受误差的消息，并且不执行附加训练。
在一些实施例中，机器学习系统112可以被训练成对训练图像的子部分(或图块)进行操作，而不是同时使用训练图像的所有像素。在这样的实施例中，在步骤452配置的输入的数量可以依据每个图块的像素的数量。此外，机器学习系统112可以包括将训练图像划分成这样的图块的功能。例如，训练图像可以被划分成具有例如32像素乘32像素的尺寸的图块，其中每个图块复制相邻图块的一些像素(例如在每个方向上的8个像素)。本领域技术人员将理解，可以使用其他尺寸的并且具有不同数量的重复像素的图块。在其他实施例中，可以根据生物样本的细胞或另一感兴趣部分预期占据的像素的预期数量来选择图块的尺寸。
当机器学习系统112被配置为对从训练图像开发的图块进行操作时，在一些实施例中，机器学习系统112可以被配置为每图块生成一个输出值，该输出值指示该图块包括表示特定感兴趣对象或生物样本的特性的一个或多个像素的概率。在其他实施例中，机器学习系统112可以被配置为生成包括用于图块的每个像素的一个值的输出数据。此外，在一些实施例中，机器学习系统112可以被配置有附加功能，该附加功能将与图块相关联的输出数据组合成与训练图像相关联的汇总数据，从该训练图像开发这样的图块。
图10是在图8所示的流程图400的步骤420处执行的用于更新先前训练的机器学习系统112的训练的处理的流程图480。例如，如果操作者遇到先前训练的机器学习系统112没有充分分析图像(例如，产生错误的输出值)的图像，则操作者可能希望更新机器学习系统112的训练。如本领域普通技术人员将理解的，机器学习系统训练器114可以使用迁移学习或类似技术来更新已经训练的机器学习系统112的参数，而不是以未训练的机器学习系统112开始。参考图8A，为了启动这样的重新训练，操作者选择新的训练图像以用于使用参数框212g更新机器学习系统112的训练，使用参数框212h选择经注释的数据集，以及可选地使用按钮“添加分类掩码”430选择进一步的经注释的数据集，如上所述。然后，操作者选择“更新训练”按钮434。
参考图10，在一个实施例中，在步骤482，机器学习系统训练器114引导用户界面生成器102从操作者获得与要重新训练的机器学习系统相关联的标识符。在一些实施例中，用户界面生成器102呈现与存储在机器学习系统参数数据存储120中的机器学习参数相关联的标识符的列表，接收对所呈现的标识符之一的选择，并且将这样的选择提供给机器学习系统训练器114。
此后，在步骤484，机器学习系统训练器114从机器学习系统参数数据存储120加载与所选标识符相关联的参数。在步骤486，机器学习系统训练器114使用加载的参数来配置未经训练的机器学习系统112。此后，机器学习系统训练器114进行到步骤454(图9)，以便使用分别在图8的步骤410、步骤414和步骤418加载的训练图像、第一经注释的数据集和第二经注释的数据集(如果有的话)来训练配置的机器学习系统112。
尽管前面描述的图像分析系统100被描述为用于训练机器学习系统112以分析单独的二维图像，但是这样的图像分析系统100可以适于训练机器学习系统112以分析在不同焦点处拍摄的生物样本的一系列二维透射光图像，所述二维透射光图像表示这样的生物样本的三维表示。在这样的实施例中，用于训练机器学习系统112的训练图像包括一系列训练图像，其中，包括这样的系列的所有图像与生物样本的基本上相同的X-Y位置相关联并且与不同的焦点(例如，不同的Z位置)相关联。包括这种图像系列的所有图像被同时提供给机器学习系统112，并且机器学习系统112生成预测值，其中每个值与该图像系列的像素相关联，并且指示这种像素与感兴趣对象(在三维中)相关联或与特定特性相关联的概率。
在一些实施例中，从在不同Z位置处获得的一系列训练图像中产生的经注释的数据表示从这一系列中产生的共焦图像。此后，一系列训练图像和经注释的数据集可以用于训练机器学习系统112以从在不同焦点获取的一系列图像生成共焦图像。
再次参考图2，如本领域普通技术人员将清楚的，在步骤160被选择作为训练数据的生物样本的图像可以是二进制图像、灰度图像或具有多个色彩平面的图像。类似地，分别在步骤154和步骤156开发的第一经注释的数据和/或第二经注释的数据可包括二进制值(例如，单个位)、灰度或单个字节值、多色或多字节值、和/或其组合。此外，由经训练的机器学习系统生成的数据可以包括二进制值(例如，单个位)、灰度或单字节值、多色或多字节值、和/或其组合。
对于本领域技术人员来说显而易见的是，可以使用硬件和/或软件的任何组合来实现本文描述的图像分析系统100。可以理解和明白，结合图1至图10描述的一个或多个过程、子过程和过程步骤可以由一个或多个电子或数字控制设备上的硬件、软件或硬件和软件的组合来执行。软件可以驻留在适当的电子处理部件或系统中的软件存储器(未示出)中，所述电子处理部件或系统例如图1至图10中示意性示出的功能系统、控制器、设备、部件、模块或子模块中的一个或多个。软件存储器可以包括用于实现逻辑功能(即，“逻辑”可以以诸如数字电路或源代码的数字形式实现，或者以诸如模拟源(诸如模拟电、声音或视频信号)的模拟形式实现)的可执行指令的有序列表。指令可以在处理模块或控制器(例如，图2的用户界面生成器102、图像获取器104、定序器106、图像编辑器108、图像处理器110、机器学习系统训练器114和机器学习系统112)内执行，所述处理模块或控制器包括例如一个或多个微处理器、通用处理器、处理器的组合、数字信号处理器(DSPs)、现场可编程门阵列(FPGAs)或专用集成电路(ASICs)。此外，示意图描述了具有不受功能的架构或物理布局限制的物理(硬件和/或软件)实现的功能的逻辑划分。本申请中描述的示例系统可以以各种配置来实现，并且作为单个硬件/软件单元中的硬件/软件组件来操作，或者作为单独的硬件/软件单元来操作。
对于本领域技术人员来说，图像分析系统100的一个或多个组件可以在云环境中操作，例如，使用通过局域网或广域网(例如，因特网或专用网)连接的分布式计算和存储系统。例如，用户界面生成器102、图像获取器104、定序器106、图像编辑器108、图像处理器110、机器学习系统112和机器学习系统训练器114中的一个或多个可以在远离用户计算机122、成像系统124和/或彼此的一个或多个计算机上操作。在一个这样的配置中，例如，图像获取器104可以通过局域网或广域网与成像系统124通信以从成像系统124获取图像并且将以这种方式获取的图像存储在基于云的图像数据存储116中。定序器106可以将存储在这样的基于云的或远程图像数据存储116中的图像提供给图像分析系统100的其他组件，以用于结合进行一个或多个图像分析步骤来进行处理。用户可以指定到存储在面板210中的这种图像数据存储116中的一个或多个图像的一个或多个路径。本地操作或在云中操作的机器学习系统训练器114可以访问这样的图像以训练机器学习系统112并且将参数存储在也可以是基于云的存储系统的机器学习系统参数数据存储120中。定序器106可以访问存储在机器学习系统参数数据存储120中的参数以训练未训练的机器学习系统112(在本地计算机上或在云环境中操作)。类似地，可以进行机器学习系统112的操作以分析使用本地或远程成像系统124获取的图像。
可执行指令可以被实现为其中存储有指令的计算机程序产品，当由电子系统的处理模块执行时，所述指令引导电子系统执行指令。计算机程序产品可以选择性地体现在任何非暂时性计算机可读存储介质中，以供指令执行系统、装置或设备使用或与其结合使用，所述指令执行系统、装置或设备诸如基于电子计算机的系统、包含处理器的系统或可以选择性地从指令执行系统、装置或设备获取指令并执行指令的其他系统。在本文的上下文中，计算机可读存储介质是可以存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何非暂时性设备。非暂时性计算机可读存储介质可以选择性地是例如电、磁、光、电磁、红外或半导体系统、装置或设备。非暂时性计算机可读介质的更具体示例的非穷举列表包括：具有一个或多个导线的电连接(电子)；便携式计算机磁盘(磁性)；随机存取，即易失性存储器(电子)；只读存储器(电子)；可擦除可编程只读存储器，例如闪存(电子)；光盘存储器，例如CD-ROM、CD-R、CD-RW(光学)；以及数字通用盘存储器，即DVD(光学)。
还将理解，如本文中使用的信号或数据的接收和发送意味着两个或更多个系统、设备、组件、模块或子模块能够经由在某种类型的信号路径上行进的信号来彼此通信。信号可以是通信、电力、数据或能量信号，其可以沿着第一和第二系统、设备、组件、模块或子模块之间的信号路径将信息、电力或能量从第一系统、设备、组件、模块或子模块传送到第二系统、设备、组件、模块或子模块。信号路径可以包括物理、电、磁、电磁、电化学、光、有线或无线连接。信号路径还可以包括在第一和第二系统、设备、组件、模块或子模块之间的附加系统、设备、组件、模块或子模块。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度如同每篇参考文献单独且具体地指明通过引用并入本文并且在本文中整体阐述。
在描述本发明的上下文中(尤其是在以下权利要求的上下文中)使用的术语“一”和“一个”和“该”以及类似的参考被解释为覆盖单数和复数，除非在此另外指出或与上下文明显矛盾。除非本文另有说明，本文中对数值范围的描述仅旨在用作单独提及落入该范围内的每个单独值的速记方法，并且每个单独值被并入说明书中，如同其在本文中被单独叙述一样。除非本文另有说明或与上下文明显矛盾，否则本文所述的所有方法可以任何合适的顺序进行。除非另外要求，否则本文提供的任何和所有实例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本公开，而不是对本公开的范围施加限制。说明书中的语言不应被解释为指示任何未要求保护的元素对于本公开的实践是必要的。
鉴于前述描述，对本公开的许多修改对于本领域技术人员将是显而易见的。应当理解，所示实施例仅是示例性的，并且不应当被认为限制本公开的范围。

Claims (28)

1.一种用于分析图像的系统，其中，所述系统包括非暂时性可编程设备，所述系统包括：
用户界面生成器，其在所述非暂时性可编程设备上操作，所述用户界面生成器接收对生物样本的第一图像的指定和对第一图像分析步骤的指定；
定序器，其在所述非暂时性可编程设备上操作，所述定序器将所述第一图像分析步骤应用于所述第一图像以开发经注释的训练数据；
机器学习系统训练器，其在所述非暂时性可编程设备上操作，所述机器学习系统训练器训练未训练的机器学习系统以开发经训练的机器学习系统，其中，当所述经训练的机器学习系统以所述第一图像作为输入时，所述经训练的机器学习系统开发对所述经注释的训练数据的预测；
其中，所述定序器接收对包括第二图像分析步骤的工作流的指定，其指定操作所述经训练的机器学习系统，并且所述定序器对第二图像执行所述工作流以分析所述第二图像。
2.根据权利要求1所述的系统，其中所述经注释的训练数据包括第一经注释的训练数据，并且对所述经注释的训练数据的所述预测包括对所述第一经注释的训练数据的第一预测，所述用户界面生成器接收对第三图像分析步骤的指定，所述定序器将所述第三图像分析步骤应用于第三图像以开发第二经注释的训练数据，并且所述机器学习系统训练器根据所述第一经注释的训练数据和所述第二经注释的训练数据来训练所述未训练的机器学习系统以开发所述经训练的机器系统，使得当所述经训练的机器学习系统以所述第一图像作为输入时，所述经训练的机器学习系统同时开发所述第一预测和所述第二经注释的数据的和第二预测。
3.根据权利要求2所述的系统，其中，所述第二经注释的训练数据包括多个第二经注释的训练数据值，所述多个第二经注释的训练数据值中的每一个对应于所述第三图像的像素，并且所述第三图像分析步骤使得所述定序器识别所述第三图像中具有相同值的相邻像素的组，并且将与包括所述组的所述像素相关联的所述第二经注释的训练数据值设置为与包括所述组的所述像素的数量相关联的预定值。
4.根据权利要求2所述的系统，其中，所述第二经注释的训练数据和所述第三图像相同。
5.根据权利要求1所述的系统，还包括图像编辑器，其在所述非暂时性可编程设备上操作，其中，所述定序器通过从将所述第一图像分析步骤应用于所述第一图像中开发中间图像，所述用户界面生成器接收图像编辑指令，所述图像编辑器将所述图像编辑指令应用于所述中间图像以开发所述经注释的训练数据。
6.根据权利要求5所述的系统，其中，所述中间图像包括多个像素，所述多个像素中的每一个对应于所述第一图像的像素，并且具有与由所述第一图像的所述像素表示的对象的特性相关联的值或背景值。
7.根据权利要求6所述的系统，其中，所述图像编辑指令使所述图像编辑器将所述多个像素中的一个像素的值从与所述特性相关联的值修改为与所述背景相关联的值。
8.根据权利要求1所述的系统，其中，所述非暂时性可编程设备包括第一非暂时性可编程设备，所述定序器包括第一定序器，所述机器学习系统训练器包括第一机器学习系统训练器，所述经训练的机器学习系统包括第一经训练的机器学习系统，并且所述工作流包括第一工作流，所述系统还包括第二定序器和第二机器学习系统训练器，所述第二机器学习系统训练器在远离所述第一非暂时性可编程设备的第二非暂时性可编程设备上操作，其中，所述第二机器学习系统训练器使用与所述第一经训练的机器学习系统相关联的参数来配置未训练的机器学习系统以开发第二经训练的机器学习系统，所述第二定序器接收对第二工作流的指定，其指定操作所述第二经训练的机器学习系统，并将所述第二工作流应用于第三图像以分析所述第三图像。
9.根据权利要求1所述的系统，其中，所述用户界面生成器接收对第三图像的指定，所述定序器从所述第三图像开发第二经注释的数据，并且所述机器学习系统训练器使用所述第三图像和所述第二经注释的训练数据来更新所述经训练的机器学习系统的训练。
10.根据权利要求9所述的系统，其中，所述经训练的机器学习系统包括神经网络，并且机器学习系统训练器使用迁移学习来更新所述经训练的机器学习系统的训练。
11.根据权利要求1所述的系统，其中，第一图像是表示所述生物样本的三维表示的第一系列图像中的一个，并且所述经注释的训练数据是从所有所述第二系列图像中开发的，并且所述机器学习系统训练器同时将所有所述第一系列图像提供给所述机器学习系统作为输入以训练所述机器学习系统，从而在预定误差内产生对所述经注释的训练数据的预测。
12.根据权利要求11所述的系统，其中，所述经注释的训练数据是从所述第一系列图像开发的共焦图像。
13.根据权利要求1所述的系统，其中，所述用户界面生成器接收对所述生物样本的第三图像的指定，并且所述定序器从所述第一图像和所述第三图像开发所述经注释的训练数据。
14.根据权利要求1所述的系统，所述第一图像分析步骤包括第一图像分析步骤，并且所述定序器将第二图像分析步骤应用于所述生物样本的第三图像以开发经注释的训练数据集，其中，所述第一图像和所述第三图像通过使用不同照明、光学和成像条件中的一个或多个来获取。
15.根据权利要求1所述的系统，其中，对所述第一图像的所述指定包括指定第一图像在图像储存库中的位置。
16.根据权利要求15所述的系统，其中，所述图像储存库处于远离所述非暂时性可编程设备的位置处。
17.一种用于分析图像的方法，包括以下步骤：
操作非暂时性可编程设备以执行以下步骤：
接收对生物样本的第一图像和第一图像分析步骤的指定；
通过将所述第一图像分析步骤应用于所述第一图像来开发经注释的训练数据；
训练未训练的机器学习系统以开发经训练的机器学习系统，其中，当所述经训练的机器学习系统以所述第一图像作为输入时，所述经训练的机器学习系统在预定误差内开发对所述经注释的训练数据的预测；
接收对包括第二图像分析步骤的工作流的指定，其中，所述第二分析步骤包括操作所述经训练的机器学习系统；以及
对第二图像执行所述工作流以分析所述第二图像。
18.根据权利要求17所述的方法，其中，所述经注释的训练数据包括第一经注释的训练数据，并且对所述经注释的训练数据的所述预测包括对所述第一经注释的训练数据的第一预测，并且操作所述非暂时性可编程设备以执行以下另外的步骤：接收对第三图像分析步骤的指定；将所述第三图像分析步骤应用于第三图像以开发第二经注释的训练数据；以及训练所述未训练的机器学习系统以开发所述经训练的机器系统，使得当所述经训练的机器学习系统以所述第一图像作为输入时，所述经训练的机器学习系统同时开发所述第一预测和对所述第二经注释的数据的第二预测。
19.根据权利要求18所述的方法，其中，所述第二经注释的训练数据包括多个第二经注释的训练数据值，所述多个第二经注释的训练数据值中的每一个对应于所述第三图像的像素，并且操作所述非暂时性可编程设备以执行识别所述第三图像中具有相同预定值的相邻像素的组，并且将与包括所述组的所述像素相关联的所述第二经注释的训练值设置为与包括所述组的所述像素的数量相关联的预定值的另外的步骤。
20.根据权利要求18所述的方法，其中，所述第二经注释的训练数据和所述第三图像相同。
21.根据权利要求17所述的方法，其中，操作所述非暂时性可编程设备以执行开发所述经注释的训练数据包括：通过应用所述第一图像分析步骤从所述第一图像开发中间图像、接收图像编辑指令、以及将所述图像编辑指令应用于所述中间图像以开发所述经注释的训练数据。
22.根据权利要求17所述的方法，其中，所述中间图像包括多个像素，所述多个像素中的每一个对应于所述第一图像的像素，并且具有与由所述第二图像的像素表示的对象的特性相关联的值或背景值。
23.根据权利要求22所述的方法，其中，操作所述非暂时性可编程设备以执行所述图像编辑指令使得所述非暂时性可编程设备执行将所述多个像素中的一个像素的值从与所述特性相关联的值修改为与所述背景相关联的值。
24.根据权利要求17所述的方法，其中，所述非暂时性可编程设备包括第一非暂时性可编程设备，所述工作流包括第一工作流，并且所述经训练的机器学习系统包括第一经训练的机器学习系统，所述方法还包括操作远离所述第一非暂时性可编程设备的第二非暂时性可编程设备以执行以下步骤：使用与所述第一机器学习系统相关联的参数来配置未训练的机器学习系统以开发第二经训练的机器学习系统；接收对第二工作流的指定，其指定操作所述第二经训练的机器学习系统；以及将所述第二工作流应用于第三图像以分析所述第三图像。
25.根据权利要求17所述的方法，还包括操作所述非暂时性可编程设备以执行接收对第三图像的指定、从所述第三图像开发第二经注释的数据、以及使用所述第三图像和所述第二经注释的训练数据来更新所述经训练的机器学习系统的训练的另外的步骤。
26.根据权利要求25所述的方法，其中，所述经训练的机器学习系统包括神经网络，并且包括使用迁移学习来更新所述经训练的机器学习系统的训练。
27.根据权利要求17所述的方法，其中，所述第一图像是表示所述生物样本的三维表示的第一系列图像中的一个，开发所述经注释的训练数据包括从所有所述第一系列图像开发所述经注释的训练数据，并且训练所述机器学习系统包括将所有所述第一系列图像作为输入提供给所述机器学习系统。
28.根据权利要求17所述的方法，其中，开发所述经注释的训练数据的步骤包括从所述第一图像和第三图像开发所述经注释的训练数据。
CN202080023572.5A 2019-01-23 2020-01-23 图像分析系统及使用该图像分析系统的方法 Pending CN113614778A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/254,823 2019-01-23
US16/254,823 US11068694B2 (en) 2019-01-23 2019-01-23 Image analysis system and method of using the image analysis system
PCT/US2020/014696 WO2020154452A1 (en) 2019-01-23 2020-01-23 Image analysis system and method of using the image analysis system

Publications (1)

Publication Number Publication Date
CN113614778A true CN113614778A (zh) 2021-11-05

Family

ID=71610380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023572.5A Pending CN113614778A (zh) 2019-01-23 2020-01-23 图像分析系统及使用该图像分析系统的方法

Country Status (5)

Country Link
US (2) US11068694B2 (zh)
EP (1) EP3915088A4 (zh)
JP (1) JP7477517B2 (zh)
CN (1) CN113614778A (zh)
WO (1) WO2020154452A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
WO2020123303A2 (en) * 2018-12-10 2020-06-18 Voxeleron, LLC System and method for obtaining measurements from imaging data
US11068694B2 (en) * 2019-01-23 2021-07-20 Molecular Devices, Llc Image analysis system and method of using the image analysis system
US11074479B2 (en) * 2019-03-28 2021-07-27 International Business Machines Corporation Learning of detection model using loss function
US20210097392A1 (en) * 2019-10-01 2021-04-01 Sensormatic Electronics, LLC Classification and re-identification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399452A (zh) * 2017-02-08 2018-08-14 西门子保健有限责任公司 用于执行多重分析的神经网络的权重的分层学习
US20180247153A1 (en) * 2017-02-28 2018-08-30 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN108665462A (zh) * 2017-03-27 2018-10-16 西门子保健有限责任公司 用于医学成像的高度集成的注释和分割系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577079B2 (en) * 2011-09-02 2013-11-05 Molecular Devices, Llc Image processing system providing selective arrangement and configuration for an image analysis sequence
JP5464244B2 (ja) 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US9235875B2 (en) * 2012-11-01 2016-01-12 Google Inc. Image enhancement using learned non-photorealistic effects
US20150324689A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Customized classifier over common features
WO2015195609A1 (en) 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
JP6371870B2 (ja) * 2014-06-30 2018-08-08 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習サービス
KR102154676B1 (ko) * 2015-05-14 2020-09-10 한국과학기술원 인공 신경망의 하향식 선택적 주의집중 트레이닝 방법
US10802262B2 (en) * 2015-10-29 2020-10-13 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
CN108369642A (zh) 2015-12-18 2018-08-03 加利福尼亚大学董事会 根据头部计算机断层摄影解释和量化急症特征
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
JP2018022216A (ja) 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20180211380A1 (en) * 2017-01-25 2018-07-26 Athelas Inc. Classifying biological samples using automated image analysis
JP7030423B2 (ja) 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
JP2020518915A (ja) 2017-04-27 2020-06-25 パスハラキス スタブロスＰＡＳＣＨＡＬＡＫＩＳ， Ｓｔａｖｒｏｓ 自動眼底画像分析用のシステムおよび方法
US20190065464A1 (en) * 2017-08-31 2019-02-28 EMR.AI Inc. Artificial intelligence scribe
JP2021500901A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション Ｃｒｏｆおよび機械学習を使用する画像ベースのアッセイのシステムおよび方法
US11068694B2 (en) * 2019-01-23 2021-07-20 Molecular Devices, Llc Image analysis system and method of using the image analysis system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399452A (zh) * 2017-02-08 2018-08-14 西门子保健有限责任公司 用于执行多重分析的神经网络的权重的分层学习
US20180247153A1 (en) * 2017-02-28 2018-08-30 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN108665462A (zh) * 2017-03-27 2018-10-16 西门子保健有限责任公司 用于医学成像的高度集成的注释和分割系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN WEIGERT等: "Content-Aware Image Restoration: Pushing the Limits of Fluorescence Microscopy", 《BIORXIV》, 3 July 2018 (2018-07-03), pages 1 - 17 *
YOUSEF AL-KOFAHI等: "A deep learning-based algorithm for 2-D cell segmentation in microscopy images", 《BMC BIOINFORMATICS》, 3 October 2018 (2018-10-03), pages 1 - 11, XP021261218, DOI: 10.1186/s12859-018-2375-z *

Also Published As

Publication number Publication date
US11645752B2 (en) 2023-05-09
US20210326565A1 (en) 2021-10-21
EP3915088A1 (en) 2021-12-01
JP7477517B2 (ja) 2024-05-01
WO2020154452A1 (en) 2020-07-30
US20200234025A1 (en) 2020-07-23
US11068694B2 (en) 2021-07-20
JP2022518508A (ja) 2022-03-15
EP3915088A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
US11645752B2 (en) Image analysis system and method of using the image analysis system
US10061974B2 (en) Method and system for classifying and identifying individual cells in a microscopy image
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
CN109613002B (zh) 一种玻璃缺陷检测方法、装置和存储介质
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN103106265B (zh) 相似图像分类方法及系统
JP6089886B2 (ja) 領域分割方法および検査装置
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
US10769432B2 (en) Automated parameterization image pattern recognition method
US10706259B2 (en) System and method for image analysis of multi-dimensional data
JP2022548160A (ja) 機械学習アルゴリズムを使用したトレーニングデータセットの準備
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
KR20220149727A (ko) 결함 검출 시스템
US11461880B2 (en) Generating image masks from digital images utilizing color density estimation and deep learning models
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
Al-Shammri et al. A Combined Method for Object Detection under Rain Conditions Using Deep Learning
CN114155440A (zh) 一种耕地非农化的自动检测方法及系统
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
EP3895060A1 (en) Classification of cell nuclei
Cham et al. AI-Assisted Manual Segmentation Web Application for Geospatial Satellite and Imagery Data
US12008734B2 (en) Generating image masks from digital images via color density estimation and deep learning models
CN116935168B (zh) 目标检测的方法、装置、计算机设备及存储介质
CN115410194A (zh) 基于渐进分割和聚焦分类的染色体图像分析方法及系统
CN116580222A (zh) 一种图像数据打标装置及其训练方法、图像数据打标方法
CN117292217A (zh) 一种基于对抗生成网络的皮肤分型数据增广方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination