CN114041149A - 配置为便于生物样本内的实例分割的用户注释的用户界面 - Google Patents

配置为便于生物样本内的实例分割的用户注释的用户界面 Download PDF

Info

Publication number
CN114041149A
CN114041149A CN202080028060.8A CN202080028060A CN114041149A CN 114041149 A CN114041149 A CN 114041149A CN 202080028060 A CN202080028060 A CN 202080028060A CN 114041149 A CN114041149 A CN 114041149A
Authority
CN
China
Prior art keywords
image
interest
computing system
pixel
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080028060.8A
Other languages
English (en)
Inventor
艾拉德·阿尔贝尔
伊泰·雷默
阿米尔·本-道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agilent Technologies Inc
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of CN114041149A publication Critical patent/CN114041149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

提供了新的工具和技术，用于使用基于深度学习的经由多个回归层的分割实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于实例分割的用户注释的用户界面。在各种实施例中，计算系统可以生成用户界面，该用户界面配置为收集用于预测生物样本内的实例分割的训练数据，并且可以在用户界面的显示部分内显示包括生物样本的视场的第一图像。计算系统可以经由用户界面从用户接收指示第一多个感兴趣对象中的每个的质心的第一用户输入和指示第一多个感兴趣对象中的每个感兴趣对象周围的边界的第二用户输入。计算系统可以训练AI系统来预测生物样本图像中感兴趣对象的实例分割。

Description

配置为便于生物样本内的实例分割的用户注释的用户界面
相关申请的交叉引用
本申请要求由Elad Arbel等人于2019年4月12日提交的题为“DL BasedSegmentation via Regression Layers”的美国专利申请序列号62/832,880(“'880申请”)(代理人案卷编号20190110-01)以及由Elad Arbel等人于2019年4月11日提交的题为“Nuclei Segmentation Using Partial Annotation”的美国专利申请序列号62/832,877(“'877申请”)(代理人案卷编号20190111-01)的优先权，出于所有目的，每个申请的公开内容通过引用整体并入本文。
本申请可能与由Elad Arbel等人于2020年4月10日提交的题为“User InterfaceConfigured to Facilitate User Annotation for Instance Segmentation WithinBiological Samples”的美国专利申请序列号__/___(“'__申请”)(代理人案卷编号20190111-02)有关，该申请要求'880和'877申请的优先权，其公开内容出于所有目的通过引用整体并入本文。
这些申请/专利(本文献统称为“相关申请”)的各自公开内容出于所有目的通过引用整体并入本文。
版权声明
本专利文献的部分公开内容包含受版权保护的材料。版权所有人不反对任何人以传真方式复制出现在专利商标局专利文件或记录中的专利文献或专利公开，但无论如何保留所有版权。
技术领域
本公开大体上涉及用于实现数字显微成像(例如，数字病理学或活细胞成像等)的方法、系统和装置，并且更具体地，涉及用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置。
背景技术
近年来，数字病理学越来越受欢迎，因为许多染色的组织载玻片以高分辨率(例如40X)进行数字扫描，并使用数字设备(例如PC、平板电脑等)而不是标准显微镜作为整个载玻片图像(“WSI”)查看。拥有数字格式的信息使得能够实现可应用于WSI以便于诊断的数字分析。
给定包含特定类型对象的许多实例的图像，实例分割是识别和描绘图像中的不同实例(例如，哪些细胞可能接触或部分重叠其他细胞)的问题。这种任务的示例是显微镜图像中的细胞核分割，其中所有细胞核都需要被分割。此任务是许多数字病理学分析中的重要步骤，例如细胞核分类和各种癌症分级任务。由于不同组织和染色类型(例如用于多器官细胞核分割或MoNuSeg等)中细胞核形状、颜色、方向和密度的巨大多样性，开发稳健的细胞核分割方法尤其具有挑战性。
细胞核分割算法的性能取决于可用于训练模型的可用地面实况数据的大小和质量。对于大小为NxMx3的视场I，可以通过大小为NxM的整数值标签垫(Label Mat)L指定用于细胞核分割的地面实况数据，其中属于特定细胞核的所有像素都分配有唯一的正ID，并且所有背景像素都分配有零值。收集这些地面实况数据非常具有挑战性，因为需要指定FOV中每个细胞核的确切边界。这项繁琐的注释任务由领域专家为数千个细胞核执行。因此，当前获取大量训练数据的困难是限制深度学习模型更广泛适用于细胞核分割的因素。此外，虽然基于深度学习(“DL”)的模型可能倾向于对于它们开发所针对的特定任务(例如，特定组织类型中的细胞核分割，或特定染色协议等)表现得非常好，但它们当天真地应用于不同的组织类型时往往表现不佳，也需要在迁移学习场景中进行非平凡的附加注释工作。
在许多情况下，WSI分析管道需要稳健的细胞核分割作为基本构建块。高性能细胞核分割包含训练阶段，该阶段利用领域专家(例如，病理学家等)注释的高质量训练数据来处理多个细胞核轮廓。这种注释任务执行起来困难、耗时且繁琐，限制了深度学习模型在细胞核分割中的适用性。当天真地应用于不同的分割时，基于深度学习的模型往往表现不佳。
因此，需要用于实现数字显微成像的更稳健和可扩展的解决方案，并且更具体地，需要用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置。
附图说明
通过参考说明书的其余部分和附图，可以实现对特定实施例的性质和优点的进一步理解，其中相似的附图标记用于指代相似的组件。在一些情况下，子标签与附图标记相关联以表示多个相似组件之一。当在不指定现有子标签的情况下参考附图标记时，旨在指代所有这样的多个相似组件。
图1是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的系统的示意图。
图2A-图2C是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的各种系统的系统流程图。
图3A-图3E是示出根据各种实施例的用于便于生物样本内的实例分割的用户注释的用户界面的各种实施例的示意图。
图4描绘了根据各种实施例的示出第一生物样本的原始图像中感兴趣对象的注释并且示出人工智能(“AI”)系统对感兴趣对象的预测的各种图像的示例。
图5描绘了根据各种实施例的示出第一生物样本的原始图像的弹性增强和原始图像的注释图像的弹性增强的各种图像的示例。
图6描绘了根据各种实施例的示出第一生物样本的原始图像的颜色增强的各种图像的示例。
图7描绘了根据各种实施例的示出基于完全和部分分割的感兴趣对象的预测功效的各种图像的示例。
图8A-图8D是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像和/或基于部分注释实现实例分割的方法的流程图。
图9A-图9D是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法的流程图。
图10是示出根据各种实施例的示例性计算机或系统硬件架构的框图。
图11是示出可以根据各种实施例使用的计算机、计算系统或系统硬件架构的联网系统的框图。
具体实施方式
概述
各种实施例提供用于实现数字显微成像(例如，数字病理学或活细胞成像等)的工具和技术，并且更具体地，提供用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置。
在各种实施例中，计算系统可以接收第一图像和第二图像，第一图像包括第一生物样本的视场(“FOV”)，并且第二图像包括第一生物样本中感兴趣对象的实例的标记。计算系统可以使用编码器对第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像不同于第三编码图像。
在一些实施例中，第一生物样本可包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，其中感兴趣对象可包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。在一些情况下，第二图像中感兴趣对象的实例的标记可包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释或仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释和/或类似物中的至少一种。
在一些实施例中，对第二图像进行编码以生成第三编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的质心；以及用计算系统生成第三编码图像，第三编码图像包括对感兴趣对象的每个标记实例的质心的突出显示。在一些情况下，对第二图像进行编码以生成第四编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的边缘或边界；以及用计算系统生成第四编码图像，第四编码图像包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。
根据一些实施例，计算系统可以训练AI系统生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例。计算系统可以使用AI系统或(更新的)AI模型的回归层生成第五图像和第六图像，第六图像与第五图像不同。
计算系统可以使用解码器解码第五图像和第六图像以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记，在一些情况下，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作、或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种。在一些情况下，应用一个或多个形态学操作或一个或多个机器学习操作中的至少一种可以包括应用一个或多个形态学操作，其中在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，计算系统可以应用分水岭算法来生成第七图像。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。
根据一些实施例，计算系统可以将第七图像与第二图像进行比较以生成实例分割评估结果。在一些情况下，生成实例分割评估结果可以包括使用一个或多个指标评估实例分割性能，这些指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标或联合dice指标和/或类似物中的至少一种。在一些情况下，实例分割评估结果可包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。计算系统可以在显示屏上显示生成的实例分割评估结果。在一些情况下，第七图像可以由标记控制的分水岭算法使用回归层(其可以包括边缘表面回归层等)生成。在一些情况下，可以在应用贝叶斯优化之后以实例分割评估结果(例如，AJI分数等)作为目标函数来设置用于形态学操作的参数。
在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例可以至少包括对第二图像进行编码以生成第三编码图像和第四编码图像，训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例，生成第五图像和第六图像，解码第五图像和第六图像以生成第七图像，以及将第七图像与第二图像进行比较等。尽管使用两个图像(在这种情况下，第三编码图像和第四编码图像)来训练AI系统，但是各种实施例不限于此，并且可以使用多于两个图像(或表面)。
根据一些实施例，计算系统可以接收第八图像，第八图像包括不同于第一生物样本的第二生物样本的FOV；可以使用由经过训练的AI系统生成或更新的AI模型基于第八图像生成两个或更多个图像，这两个或更多个图像彼此不同；并且可以使用解码器解码两个或更多个图像以生成第九图像，第九图像包括第二生物样本中感兴趣对象的实例的预测标记。与解码第五图像和第六图像类似，解码两个或更多个图像以生成第九图像可以包括用计算系统且使用解码器，通过应用在生成第九图像之前识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作、或者直接解码两个或更多个图像以生成第九图像的一个或多个机器学习操作中的至少一种，解码两个或更多个图像以生成第九图像。在应用一个或多个形态学操作的情况下，在通过应用识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作来解码两个或更多个图像之后，计算系统可以应用分水岭算法以生成第九图像。通过这种方式，经过训练的AI系统和/或AI模型可用于预测新生物样本中感兴趣对象的实例的标记——在没有对应于新生物样本的地面实况图像(或先前用户注释的图像)的一些情况下。
替代地或附加地，计算系统可以生成用户界面，该用户界面被配置为使用生物样本图像内感兴趣对象的完整注释或部分注释中的至少一个来收集训练数据，并且可以在用户界面的显示部分内显示包括第一生物样本的FOV的第一图像。计算系统可以经由用户界面从用户(例如，病理学家、临床医生、医生、护士或实验室技术员等)接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置。计算系统可以至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法(其可包括但不限于对象检测算法、像素识别算法、边缘检测算法和/或类似物)分析相应位置中或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界。
在一些情况下，计算系统可以经由用户界面从用户接收第二用户输入，该第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置到新位置的移动，并且可以至少部分地基于第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置、并且至少部分地基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。在一些情况下，计算系统可以经由用户界面从用户接收第三用户输入，该第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释，并且可以至少部分地基于第一图像内第三用户输入的位置，在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置。在一些情况下，计算系统可以经由用户界面从用户接收第四用户输入，该第四用户输入指示第三多个感兴趣对象中的一个是未知的或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类(例如，癌症、良性等)，并且可以至少部分地基于第一图像内第四用户输入的位置在第一图像中生成识别由第四用户输入表示的未知对象的位置的未知注释符号(即，表示未知实例或对象的符号或注释等)，或者可以将第三多个感兴趣对象中的所选一个的实例类切换到第四用户输入选择的另一个实例类(例如，在癌症和良性之间切换，在完整注释和部分注释之间切换，在部分注释和未知注释之间切换，在完整注释和未知注释之间切换等)。
根据一些实施例，第一用户输入可以包括但不限于点击输入或边界区域输入中的一种。在一些情况下，点击输入可以定义由点击输入识别的第一多个感兴趣对象中的一个第一对象的质心的位置，而边界区域输入可以定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域。在一些情况下，边界区域输入可以包括但不限于矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。在一些实施例中，第二用户输入可以包括但不限于点击和拖拽输入。在一些情况下，第三用户输入可以包括但不限于双击输入，其中第三用户输入选择或取消选择第二多个感兴趣对象中的一个周围的边界。在一些情况下，第四用户输入可以包括但不限于shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中第四用户输入可以包括但不限于在完整注释和未知注释之间转换或实例类列表中的实例类之间的切换等中的一种。然而，各种实施例不限于这些特定输入，并且这些输入可以是用于指示完整注释、部分注释和/或未知注释等的任何合适的输入。
计算系统可以基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一个。
以此方式，系统提供允许用户(或注释者)以有效方式生成注释的快速且高效的UI。特别是，用户不需要打开任何菜单或遵循一组复杂的操作来与注释系统的UI交互。通过单个操作(即，使用点击输入或边界区域输入等)，可以生成完整注释(即，在由点击输入或边界区域输入标记的位置周围生成边界等)。要更改自动生成的边界，用户只需使用单个操作(即，使用单击拖动输入等)在实例或对象内移动一个点，从而使系统重新绘制或重新生成实例或对象周围的新边界。因此，用户无需浪费时间在实例或对象的边缘或边界周围手动绘制以获得完整注释。类似地，通过单个操作(即shift加鼠标点击输入、按键加鼠标点击输入、或者鼠标/键盘组合等)，可以将完整注释更改为部分注释，或者可以更改实例或对象的类。操作不绑定特定的鼠标/键盘操作；相反，可以适当或根据需要使用或定制任何组合。
使用基于深度学习的分割(在一些情况下，通过多个回归层或其他机器学习或深度学习架构等)实现数字显微成像(例如，数字病理学或活细胞成像等)、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的这些和其他方面关于附图更详细地描述。虽然重点是如下图所描述的生物样本，但各种实施例不限于此，并且实例分割、训练系统以生成或更新AI模型以预测实例分割、和/或配置为便于实例分割的用户注释的用户界面可适于应用于非生物样本，包括但不限于化学样本、人类、动物、植物、昆虫、工具、车辆、结构、地标、行星、恒星、特定的有生命的物体、或特定的无生命的物体、和/或类似物。
下面的详细描述更详细地示出几个示例性实施例以使本领域技术人员能够实践这样的实施例。所描述的实施例是为了说明的目的而提供的，并非旨在限制本发明的范围。
在以下描述中，为了解释的目的，阐述了许多具体细节以提供对所描述实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些的情况下实践本发明的其他实施例。在其他情况下，某些结构和设备以框图形式显示。在此描述了几个实施例，并且虽然各种特征归于不同的实施例，但是应当理解，关于一个实施例描述的特征也可以与其他实施例合并。然而，出于同样的原因，任何描述的实施例的单个特征或多个特征不应被认为是本发明的每个实施例必不可少的，因为本发明的其他实施例可以省略这样的特征。
除非另有说明，否则本文中用于表示数量、尺寸等的所有数字都应理解为在所有情况下都被术语“约”修饰。在本申请中，除非另有说明，否则单数的使用包括复数，并且除非另有说明，否则术语“和”和“或”的使用是指“和/或”。此外，术语“包括”以及诸如“包括”和“被包括”的其他形式的使用应被视为非排他性的。此外，除非另外特别说明，否则诸如“元件”或“组件”的术语涵盖包含一个单元的元件和组件以及包含多于一个单元的元件和组件。
本文描述的各种实施例虽然体现(在一些情况下)软件产品、计算机执行的方法和/或计算机系统，但代表对现有技术领域的有形、具体的改进，包括但不限于数字病理学技术、活细胞成像技术、数字显微成像技术、实例分割技术、细胞核分割技术、用户界面技术和/或类似物。在其他方面，某些实施例可以改进用户设备或系统本身的功能(例如，数字病理学系统、活细胞成像系统、数字显微成像系统、实例分割系统、细胞核分割系统、用户界面系统等)，例如通过用计算系统接收第一图像，第一图像包括第一生物样本的视场(“FOV”)；用计算系统接收第二图像，第二图像包括对第一生物样本中感兴趣对象的实例的标记；用计算系统且使用编码器对第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像与第三编码图像不同；以及训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例；使用AI系统的回归层，基于第一图像并基于训练生成第五图像和第六图像，第六图像与第五图像不同；用计算系统且使用解码器解码第五图像和第六图像以生成第七图像，第七图像包括对第一生物样本中感兴趣对象的实例的预测标记；以及用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果；和/或类似物。
替代地或附加地，某些实施例可以改进用户设备或系统本身的功能(例如，数字病理学系统、活细胞成像系统、数字显微成像系统、实例分割系统、细胞核分割系统、用户界面系统等)，例如，通过用计算系统生成用户界面，该用户界面配置为使用生物样本图像内感兴趣对象的完整注释或部分注释中的至少一种来收集训练数据；用计算系统并在用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像；用计算系统并经由用户界面从用户接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置；用计算系统至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法分析相应位置中或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界；用计算系统基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一个。
特别地，就各种实施例中存在任何抽象概念而言，这些概念可以如本文所述通过涉及特定新颖功能(例如，步骤或操作)的设备、软件、系统和方法来实现，例如提供用户界面，该用户界面被配置为接收用户输入，该用户输入指示识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或感兴趣对象的未知实例的注释中的至少一种；和/或训练AI系统(包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或完全卷积网络(“FCN”)和/或类似物中的至少一种)以基于完整和/或部分注释预测生物样本图像中感兴趣对象的实例；和/或类似物，仅举几个示例，它们超出了仅仅传统的计算机处理操作。这些功能可以在实现计算机系统之外产生有形的结果，仅作为示例，包括指示完整注释、部分注释和/或未知对象的注释的用户输入的优化呈现和跟踪，和/或AI系统的优化训练以生成或更新AI模型以基于完整和/或部分注释预测生物样本图像中感兴趣对象的实例，和/或类似物，其中至少一些可以被用户(包括但不限于病理学家、临床医生、医生、护士或实验室技术人员等)观察或测量。
在一个方面，一种方法可以包括用计算系统接收第一图像，第一图像包括第一生物样本的视场(“FOV”)；用计算系统接收第二图像，第二图像包括对第一生物样本中感兴趣对象的实例的标记；并且训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。
在一些实施例中，计算系统可以包括设置在工作环境中的计算系统、设置在工作环境外部并且可通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统和/或类似物中的一种。工作环境可以包括实验室、诊所、医疗设施、研究设施、医疗保健设施或房间和/或类似物中的至少一种。在一些情况下，AI系统可以包括机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或全卷积网络(“FCN”)和/或类似物中的至少一种。在一些情况下，第一生物样本可以包括人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种。感兴趣对象可以包括正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。
根据一些实施例，训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例可以包括用计算系统且使用编码器对第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像与第三编码图像不同；训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例；使用由AI系统生成或更新的AI模型基于第一图像生成第五图像和第六图像，第六图像与第五图像不同；以及用计算系统且使用解码器解码第五图像和第六图像以生成第七图像，第七图像包括对第一生物样本中感兴趣对象的实例的预测标记。在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例可以进一步包括用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果。
在一些实施例中，对第二图像进行编码以生成第三编码图像可以包括：用计算系统计算第二图像中感兴趣对象的每个标记实例的质心；以及用计算系统生成第三编码图像，第三编码图像包括对感兴趣对象的每个标记实例的质心的突出显示。在一些实施例中，对第二图像进行编码以生成第四编码图像可以包括：用计算系统计算第二图像中感兴趣对象的每个标记实例的边缘或边界；以及用计算系统生成第四编码图像，第四编码图像包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。
仅作为示例，在一些情况下，对第二图像进行编码以生成第三编码图像还可以包括用计算系统计算第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量；以及用计算系统计算第一函数以生成第一接近度图，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图。类似地，对第二图像进行编码以生成第四编码图像还可以包括用计算系统计算第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量；以及用计算系统计算第二函数以生成第二接近度图，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图。
根据一些实施例，该方法可以进一步包括用计算系统至少部分地基于计算的每个像素的第一距离度量、第一函数、或第一接近度图中的至少一个为第三编码图像中的每个像素分配第一加权像素值；并且用计算系统至少部分地基于计算的每个像素的第二距离度量、第二函数或第二接近度图中的至少一个为第四编码图像中的每个像素分配第二加权像素值。
在一些实施例中，该方法还可以包括用计算系统确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值；用计算系统确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值；用计算系统使用损失函数，基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中每个像素与第五图像中对应像素之间的第一像素损失值的乘积、以及第四编码图像中每个像素的第二加权像素值乘以第四编码图像中每个像素与第六图像中对应像素之间的第二像素损失值的乘积计算损失值；用AI系统通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。在一些情况下，损失函数可包括均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。在这种情况下，生成第五图像和第六图像可以包括基于第一图像使用更新的AI模型生成第五图像和第六图像。
根据一些实施例，第二图像中感兴趣对象的实例的标记包括识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释和/或类似物中的至少一种。在一些情况下，该方法还可以包括在计算损失值之前，用计算系统利用第四编码图像和第六图像中的对应像素中的部分注释屏蔽感兴趣对象的第二实例，而不利用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例；和在计算损失值之前，用计算系统利用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。
在一些实施例中，解码第五图像和第六图像以生成第七图像可以包括用计算系统且使用解码器，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作、或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种，来解码第五图像和第六图像以生成第七图像。在一些情况下，应用一个或多个形态学操作或一个或多个机器学习操作中的至少一种可以包括应用一个或多个形态学操作，并且该方法还可以包括在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，应用分水岭算法以生成第七图像。在一些情况下，一个或多个形态学操作可以包括重构开放变换或区域H-最小值变换和/或类似物中的至少一种。
根据一些实施例，该方法还可以包括用计算系统接收第八图像，第八图像包括不同于第一生物样本的第二生物样本的FOV；使用由经过训练的AI系统生成或更新的AI模型基于第八图像生成两个或更多个图像，这两个或更多个图像彼此不同；以及用计算系统且使用解码器解码两个或更多个图像以生成第九图像，第九图像包括第二生物样本中感兴趣对象的实例的预测标记。
在一些情况下，第一图像和第二图像可以在被计算系统接收之前被数据增强，其中第一图像和第二图像的数据增强可以包括配置为便于实例分割的弹性增强或颜色增强和/或类似物中的至少一种。在一些情况下，至少两个图像包括至少质心层图像、边界层图像和语义分割层图像，质心层图像突出显示第二图像中感兴趣对象的每个标记实例的质心，边界层图像突出显示第二图像中感兴趣对象的每个标记实例的边缘或边界，语义分割层图像包括第二图像中感兴趣对象的每个标记实例的语义分割数据。
在另一方面，一种系统可以包括计算系统，该计算系统可以包括至少一个第一处理器和通信地耦合到该至少一个第一处理器的第一非暂时性计算机可读介质。第一非暂时性计算机可读介质可在其上存储包括第一组指令的计算机软件，第一组指令在由至少一个第一处理器执行时，使计算系统：接收第一图像，第一图像包括第一生物样本的视场(“FOV”)；接收第二图像，第二图像包括对第一生物样本中感兴趣对象的实例的标记；并且训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。
在又一个方面，一种方法可以包括用计算系统接收第一图像，第一图像包括第一生物样本的视场(“FOV”)；使用由经过训练的人工智能(“AI”)系统生成或更新的AI模型基于第一图像生成两个或更多个图像，两个或更多个图像中的每个彼此不同，其中训练AI系统包括训练AI系统生成或更新AI模型以至少部分地基于根据用户注释的图像生成的多组至少两个图像来预测感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同；以及用计算系统且使用解码器解码两个或更多个图像以生成第二图像，第二图像包括第一生物样本中感兴趣对象的实例的预测标记。
在一个方面，一种方法可以包括用计算系统生成用户界面，该用户界面配置为使用生物样本图像内的感兴趣对象的完整注释或部分注释中的至少一个来收集训练数据；用计算系统并在用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像；用计算系统并经由用户界面从用户接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置；用计算系统至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法分析相应位置内或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界；以及用计算系统基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一种。
在一些实施例中，计算系统可以包括设置在工作环境中的计算系统、设置在工作环境外部并且可通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统和/或类似物中的一种。在一些情况下，工作环境可以包括实验室、诊所、医疗设施、研究设施、医疗保健设施或房间和/或类似物中的至少一种。在一些情况下，第一生物样本可以包括人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种。在一些情况下，感兴趣对象可包括正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构等中的至少一种。
在一些实施例中，该方法还可以包括用计算系统并且经由用户界面从用户接收第二用户输入，该第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置移动到新位置；以及用计算系统至少部分地基于第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置、并且至少部分地基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。
根据一些实施例，该方法还可以包括用计算系统并且经由用户界面从用户接收第三用户输入，该第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释；以及用计算系统至少部分地基于第一图像内第三用户输入的位置在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置。
在一些实施例中，该方法还可以包括用计算系统并且经由用户界面从用户接收第四用户输入，该第四用户输入指示第三多个感兴趣对象中的一个是未知的或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类；以及用计算系统至少部分地基于第一图像内第四用户输入的位置在第一图像中生成识别由第四用户输入表示的未知对象的位置的未知注释符号，或者用计算系统将第三多个感兴趣对象中的所选一个的实例类切换到第四用户输入选择的另一个实例类。
仅作为示例，在一些情况下，第一用户输入可以包括点击输入或边界区域输入中的一种，其中点击输入定义由点击输入识别的第一多个感兴趣对象中的至少一个第一对象中的每个的质心的位置，其中边界区域输入定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域，其中边界区域输入可以包括矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。第二用户输入可以包括点击和拖拽输入。第三用户输入可以包括双击输入，其中第三用户输入可以包括选择或取消选择第二多个感兴趣对象中的一个周围的边界。第四用户输入可以包括shift加鼠标点击输入或按键加鼠标点击输入和/或类似物中的一种。第四用户输入可以包括在完整注释和未知注释之间转换或来自实例类列表的实例类之间的切换中的一种。
根据一些实施例，该方法还可以包括训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于根据第二图像或注释数据集中的至少一个生成的多组至少两个图像来预测第一生物样本中感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于多组至少两个图像来预测感兴趣对象的实例可以包括：用计算系统且使用编码器对第二图像或注释数据集的至少一个进行编码以生成第三编码图像和第四编码图像，第四编码图像与第三编码图像不同；训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例；使用由AI系统生成或更新的AI模型基于第一图像生成第五图像和第六图像，第六图像与第五图像不同；以及用计算系统并使用解码器解码第五图像和第六图像以生成第七图像，第七图像包括对第一生物样本中感兴趣对象的实例的预测标记。在一些情况下，AI系统可以包括机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或全卷积网络(“FCN”)和/或类似物中的至少一种。在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于多组至少两个图像来预测感兴趣对象的实例还可以包括用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果。
在一些实施例中，第三编码图像可以包含基于第一用户输入的第一多个感兴趣对象中的每个的质心，其中第四编码图像可以包含生成的第一多个感兴趣对象中的每个的边界。根据一些实施例，对第二图像进行编码以生成第三编码图像可以包括：用计算系统计算第三编码图像中的每个像素与第一多个感兴趣对象中的每个的每个质心之间的第一距离度量；以及用计算系统计算第一函数以生成第一接近度图，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图。类似地，对第二图像进行编码以生成第四编码图像可以包括：用计算系统计算第四编码图像中的每个像素与第一多个感兴趣图像中的每个的边缘或边界的最近边缘像素之间的第二距离度量；以及用计算系统计算第二函数以生成第二接近度图，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图。
根据一些实施例，该方法还可以包括用计算系统至少部分地基于计算的每个像素的第一距离度量、第一函数或第一接近度图中的至少一种为第三编码图像中的每个像素分配第一加权像素值；并且用计算系统至少部分地基于计算的每个像素的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值。
在一些实施例中，该方法还可以包括用计算系统确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值；用计算系统确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值；用计算系统使用损失函数，基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中每个像素与第五图像中对应像素之间的第一像素损失值的乘积、以及第四编码图像中每个像素的第二加权像素值乘以第四编码图像中每个像素与第六图像中对应像素之间的第二像素损失值的乘积计算损失值；以及用AI系统通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。在一些情况下，损失函数可以包括均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。在这种情况下，生成第五图像和第六图像可以包括使用更新的AI模型基于第一图像生成第五图像和第六图像。
根据一些实施例，解码第五图像和第六图像以生成第七图像可以包括用计算系统且使用解码器，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作、或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种，来解码第五图像和第六图像以生成第七图像。在一些情况下，应用一个或多个形态学操作或一个或多个机器学习操作中的至少一种可以包括应用一个或多个形态学操作，其中该方法还可以包括在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，应用分水岭算法以生成第七图像。
在另一方面，一种系统可以包括计算系统，该计算系统可以包括至少一个第一处理器和通信地耦合到该至少一个第一处理器的第一非暂时性计算机可读介质。第一非暂时性计算机可读介质可在其上存储包括第一组指令的计算机软件，该第一组指令在由至少一个第一处理器执行时使计算系统：生成用户界面，该用户界面配置为使用生物样本图像内感兴趣对象的完整注释或部分注释中的至少一种收集训练数据；在用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像；经由用户界面从用户接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置；至少部分地基于由第一用户输入识别的第一多个对象中的每个的位置并且至少部分地基于使用算法分析相应位置中或周围的像素生成第一多个感兴趣对象中的每个感兴趣对象周围的边界；基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一种。
根据一些实施例，计算系统可以包括设置在工作环境中的计算系统、设置在工作环境外部并且可通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统和/或类似物中的一种。在一些情况下，工作环境可以包括实验室、诊所、医疗设施、研究设施、医疗保健设施或房间等中的至少一种。在一些情况下，第一生物样本可以包括人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种。在一些情况下，感兴趣对象可以包括正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。在一些情况下，第一用户输入可以包括点击输入或边界区域输入中的一种，其中点击输入定义由点击输入识别的第一多个感兴趣对象中的至少一个第一对象中的每个的质心的位置，其中边界区域输入定义标记由边界区域输入识别的第一多个感兴趣对象中的至少一个第二对象的周长的外部界限的第一图像内的区域，其中边界区域输入包括矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入中的一种。
在不脱离本发明的范围的情况下，可以对所讨论的实施例进行各种修改和添加。例如，虽然上述实施例指的是特定特征，但本发明的范围还包括具有不同特征组合的实施例和不包括所有上述特征的实施例。
具体示例性实施例
I.基于深度学习的经由回归层的分割：
在具有相似或相关对象/特征或特定类型的对象/特征(可能与其他对象/特征接触或部分重叠)的许多实例的图像中，在准确识别图像内的对象/特征方面可能会出现困难。实例分割反映了识别对象的所有实例及其相应特征(例如形状/轮廓)的挑战。这种任务的示例是显微镜图像中的细胞核分割，这是许多数字病理学程序(例如细胞核计数、细胞核分类和各种癌症分级任务等)中的主要任务。在这样的应用中，由于整个载玻片图像(“WSI”)中的大量细胞核，手动分割可能很困难或不切实际，在这种情况下，可能需要自动细胞核分割。然而，由于细胞核形状、颜色、方向、密度和其他特征的多样性、以及诸如图像质量、分辨率、组织和染色类型的差异、以及WSI的大尺寸之类的其他因素，稳健的自动细胞核分割是一项极具挑战性的任务。
在一个实施例中，对于细胞核形态的稳健编码——而不是将每个细胞编码为不同类的对象(如在语义分割中所做的)——，细胞核(即，要分割的对象)的形态可以使用两个表面编码——即到细胞核中心的距离和细胞核轮廓——进行编码。这种编码是稳健的，因为形态是使用许多像素进行编码的，并且不受单个像素错误的影响。使用两个表面来编码形态(而不是只有一个距离)是新颖的，并且可能比现有方法更稳健。
在一个实施例中，提供了加权方案的优点，其中为“重要”像素(例如，属于两个细胞核之间的共享边界的像素)指定更高的权重，因此帮助网络专注于“有风险的”像素(其中错误可能导致过度分割或欠分割)。
在一个实施例中，可以提供一种方法，该方法最小化生成用于实例分割任务的训练数据集所需的努力，该方法建立在两个主要组件上：(A)一种用于实例分割地面实况数据的新方案，包括混合两种细胞核注释-完整注释(其中完全指定了中心和完整轮廓的细胞核)和部分注释(其中只指定了中心的细胞核)；(B)一种解决实例分割问题的新方法，包括(i)使用两个表面编码地面实况数据，这些表面可以通过完全卷积双回归神经网络(可以用完整和部分注释的混合进行训练)进行稳健建模和(ii)将网络预测表面(用于测试图像)解码为实例分割(基于标记控制的分水岭算法)。
A.示例1：
1.预处理：
1.1数据集准备：用于训练模型的数据集作为在MICCAI 2018会议上举行的数字病理学挑战中的MoNuSeg H&E染色多器官细胞核分割的一部分提供。训练数据集由从WSI裁剪(以40倍放大率捕获)并从TCGA存档下载的30个1000x1000图像块组成。为保证数据集的多样性，每个图像对应一名患者，其中图像取自18家医院并且涵盖7种器官。在每个图像块中，都提供了细胞核分割(地面实况)。出于训练目的，由于未提供验证集，我们选择了11张图像进行验证(这些图像未在训练阶段使用)。
1.2数据集增强：由于用于训练的图像数量少及其多样性，我们对RGB和标签图像集使用广泛的数据增强，包括标准增强程序，例如旋转、镜像和小尺寸调整，以及如图5所示的弹性图像变换。通过使用随机位移场对RGB图像和注释标签图像进行采样来应用弹性增强。通过将位移场与具有预定义标准偏差和比例因子的高斯核进行卷积来控制失真水平。最后，分别由使用双线性插值和最近邻的位移场对RGB图像和标签图像进行采样。此外，RGB颜色变化是通过颜色反卷积直接在染色通道光密度空间中完成的。染色光密度被随机缩放和偏置，然后投影回RGB空间，如图6所示。
2.提出的模型
我们的方法由三个主要步骤组成(下文详述)：首先，将地面实况编码为一组两个表面(见下文第2.1节)；其次，基于Ronneberger等人2015年提出的UNet或U-Net架构训练完全卷积神经网络(“FCN”)以预测这些表面；最后，在后处理中，使用预测的表面来执行约束分水岭分割和预测细胞核核分割(见下文第3节)。
2.1地面实况编码：对于每个训练图像，我们将像素关联的地面实况分割成不重叠的对象(例如，细胞核)。我们进一步计算每个核的质心(见图4和图7)。我们现在为每个像素计算两个距离度量：(a)到细胞核质心的距离(以像素为单位)；(b)到最近的细胞核边缘像素的距离。按照Philipp Kainz等人的方法(Miccai 2015)，我们将这些距离从细胞核中心和边缘进行转换。此外，我们为每个像素分配权重。直观地说，我们希望为“关键”像素(其中错误预测将导致过度分割)分配更高的权重。具体来说，我们遵循与U-Net类似的加权方案，并为靠近两个不同细胞核的像素分配更高的权重。
2.2网络架构：我们用输出两个表面图的回归层替换最后的U-Net层(分类层，用于语义分类)。作为损失函数，我们使用编码地面实况和模型输出之间的平方差的加权和，如图2所示。
3.后处理：
3.1将网络预测表面解码为实例分割：为了将输出网络表面转换为细胞核分割标签图，我们首先应用几种形态学操作，例如重构开放和区域H最小值变换，以从质心表面找到前景和背景标记。最后，使用边缘表面回归层通过标记控制的分水岭算法生成预测标签图。在应用贝叶斯优化和聚合Jaccard指数(“AJI”)分数作为目标函数后，设置形态学操作的参数。
3.2性能评估：实例分割性能使用为实例分割提供准确度度量的两个指标——即AJI和Joint-Dice——进行评估。这两个指标都考虑了实例分割中的各种错误，例如错误检测到的像素(假阴性或假阳性)、过度分割的实例(其中一个实例被预测并分成两个或多个实例)以及欠分割的实例(其中两个或更多的实例被合并并预测为单个实例)等。
B.示例2：
用于细胞核分割的双回归深度神经网络：我们的方法由三个主要步骤组成(下文详述)：首先，将地面实况编码为一组两个表面(见下文第2.1节)；其次，基于Ronneberger等人2015年提出的UNet或U-Net架构训练完全卷积神经网络(“FCN”)以预测这些表面；最后，在后处理中，使用预测的表面来执行约束分水岭分割和预测细胞核分割(见下文第3节)。
地面实况编码：对于每个训练的图像，我们将像素关联的地面实况分割成不重叠的对象(例如，细胞核)。我们进一步计算每个核的质心(见图4和图7)。我们现在为每个像素计算两个距离度量：(a)到细胞核质心的距离(以像素为单位)；(b)到最近的细胞核边缘像素的距离。按照Philipp Kainz等人的方法(Miccai 2015)，我们将这些距离从细胞核中心和边缘进行转换。
网络架构：我们用试图预测表面图的两个回归层替换最后的U-Net层(分类层，用于语义分类)。作为损失函数，我们使用编码地面实况和模型输出之间的平方差的加权和。
后处理：为了将输出网络表面转换为细胞核分割标签图，我们首先应用几种形态学操作，例如重构开放和区域H最小值变换，以从质心表面找到前景和背景标记。最后，使用边缘表面回归层通过标记控制的分水岭算法生成预测标签图。在应用贝叶斯优化和聚合Jaccard指数(“AJI”)分数作为目标函数后，设置形态学操作的参数。
调整用于训练深度神经网络的部分注释：我们利用检测细胞核和跟踪它们的轮廓通道之间的固有分离，并且在训练过程期间我们在第二通道中屏蔽掉部分注释的实例。具体来说，我们在半注释细胞核周围使用边界屏蔽，因此对于那些特定的细胞核，网络不针对细胞核边界预测进行评分，而仅根据检测精度进行评分，如图3D所示。
结果：为了训练模型，我们使用了MoNuSeg H&E染色的多器官细胞核分割数据集(MICCAI 2018上举行的细胞核分割挑战)。竞赛数据集由30张1000x1000的图像组成，每个图像都是从WSI(以40倍放大率捕获)中裁剪出来的。为确保多样性，该数据集涵盖了从18家医院的不同患者采集的7种器官。在每个图像中，都提供了细胞的细胞核注释(地面实况)。我们使用上述方法作为MoNuSeg竞赛的一部分，该方法在竞赛测试集上的AJI得分为0.62。对于下面描述的评估，由于竞赛测试集尚未发布，我们从30张图像中选择了14张用作测试集(这些图像未在训练阶段使用)。为了模拟部分注释的数据，我们进行了一系列实验，不同比率为：10％-100％(3次交叉验证)，其中我们仅用细胞核中心随机替换完整注释的细胞核。
初步结果表明，仅访问50％的完全分割的核(而其他50％仅使用细胞核中心的近似位置)仅将算法性能降低2％-4％。
II.用户界面和细胞核分割部分注释：
本公开教导了一种方法，该方法将极大地减少生成用于实例分割任务的训练数据集所需的努力。本公开包括一种新颖的深度学习训练框架，该框架被专门开发以解决有效收集分割训练数据并使用它来训练也可以从部分注释的训练数据中受益的基于深度学习的细胞核分割模型的挑战。
本公开教导了一种方法，该方法通过使用用于训练允许两种类型的细胞核注释(即，完全分割的细胞核以及仅检测到的细胞核)的组合的卷积深度神经网络(“CNN”)的新颖编码方法、以及便于收集这两种类型注释的新颖用户界面，极大地最小化生成用于细胞核分割的训练数据集所需的努力。
本公开教导了一种用于实例分割地面实况数据的新方案，包括混合两种细胞核注释：完整注释(其中完全指定了中心和完整轮廓的细胞核)；和部分注释(其中仅指定中心的细胞核)。
本公开教导了一种解决实例分割问题的新方法：(i)使用两个表面编码地面实况数据，这些表面可以通过完全卷积双回归神经网络(可以使用完整和部分注释的混合进行训练)进行稳健建模和(ii)将网络预测表面(用于测试图像)解码为实例分割(基于标记控制的分水岭算法)。
本公开包括至少两个部分：便于收集完整和部分注释的用户界面以及在新的细胞核分割算法的训练过程中组合两种类型的注释的方法。本公开进一步教导了以下内容：
(a)生成训练注释的容易程度或速度：在一个实施例中，开发了一种新颖的用户界面，允许领域专家快速(通过单击鼠标)生成完整的细胞核轮廓或仅标记细胞核的近似中心。
(b)利用部分注释：一些细胞核难以精确分割，因此允许用户仅标记细胞核进行检测会增加用于训练的细胞核数量。在一个实施例中，训练方法标记轮廓和/或细胞核定位，以提供细胞核分割模型。
(c)更简单的训练过程：本公开教导了一种快速标记和/或分割视场中的所有细胞的方法，允许简单的训练过程。因此，无需在训练前对数据进行预处理或裁剪。
(d)充分利用视场(“FOV”)：特定FOV中的所有数据在一定程度上被注释(完全分割或部分分割)，并且训练方法教导部分注释。该方法不需要在数据有用之前对其进行预处理和裁剪。
(e)改进的性能：不完整的注释对于训练过程是有用的并且增加了可用训练数据的量。本公开教导完全分割仅50％的细胞核(而仅记录其余细胞核中心的大致位置)仅将算法性能降低2％-4％。
A.收集数据：
任何机器学习任务的第一步都是收集训练数据，这通常是一个乏味且耗时的过程，并且在一些情况下可能非常昂贵(通常，标记需要专家)。为此，我们教导了一种新的半监督算法和用户界面，称为“点击生长”，它使得能够快速有效地进行细胞核分割。
1.使用我们内部的整个载玻片图像分析软件，用户会被指示点击相关对象(例如细胞核)。
2.该软件应用专用的半监督对象分割算法，试图“扩展”点击并找到对象的精确边界。更具体地说，我们在多个自动生成的分割中应用投票机制来尝试识别细胞核的稳定轮廓。得到的提出的对象分割立即(实时)显示在屏幕上。
3.如果用户同意提出的分割，他或她可以继续点击另一个细胞核。在这种情况下，提出的自动生成的分割被记录，并将用作训练过程中的细胞核轮廓。另一方面，如果分割不准确，用户可以尝试通过移动(例如，拖动等)点击位置来生成新的分割，这将生成新的提出的分割。替代地，用户可以将注释标记为部分的(例如，通过双击它等)。在这种情况下，只会记录点击的位置，而不是细胞核的轮廓，这意味着用户确认对象存在而不是其轮廓。
B.编码部分分割数据以训练深度神经网络：
给定一组完全分割的细胞核，我们教导了一种新颖的深度学习分割方法，该方法将训练数据编码为一对回归通道。第一个是到细胞核中心的距离(即检测通道)，第二个是到细胞核轮廓的距离(即边界检测通道)。本公开教导如何可以扩展该方案以支持完整注释的数据和部分注释的数据以及未知对象。本公开教导利用检测细胞核和追踪它们的轮廓通道之间的分离，并在训练过程期间屏蔽第二通道中的部分注释实例。具体而言，本公开教导在半注释细胞核周围使用边界屏蔽，因此对于那些特定细胞核，网络不针对细胞核边界预测而评分，而仅根据检测准确度进行评分，如图3D中所示。此外，我们屏蔽了两个通道中未知对象的像素(即，来自中心通道和边界通道的细胞核距离变换)。
C.用于细胞核分割的双回归深度神经网络：
我们的方法由三个主要步骤组成(详述如下)：首先，将地面实况编码为一组两个表面；其次，基于Ronneberger等人2015年提出的UNet或U-Net架构训练完全卷积神经网络(“FCN”)以预测这些表面；最后，在后处理中，使用预测的表面进行约束分水岭分割和预测细胞核分割。
地面实况编码：对于每个训练的图像，我们将像素关联的地面实况分割成不重叠的对象(例如，细胞核)。我们进一步计算每个核的质心(见图4和图7)。我们现在为每个像素计算两个距离度量：(a)到细胞核质心的距离(以像素为单位)；(b)到最近细胞核边缘像素的距离。按照Philipp Kainz等人的方法(Miccai 2015)，我们将这些距离从细胞核中心和边缘进行转换。
网络架构：我们用试图预测表面图的两个回归层替换最后的U-Net层(分类层，用于语义分类)。作为损失函数，我们使用编码地面实况和模型输出之间的平方差的加权和。
后处理：为了将输出网络表面转换为细胞核分割标签图，我们首先应用几种形态学操作，例如重构开放和区域H最小值变换，以从质心表面找到前景和背景标记。最后，使用边缘表面回归层通过标记控制的分水岭算法生成预测标签图。在应用贝叶斯优化和聚合Jaccard指数(“AJI”)分数作为目标函数后，设置形态学操作的参数。
D.调整部分注释以训练深度神经网络：
我们利用检测细胞核和追踪它们的轮廓通道之间的固有分离，并在训练过程期间屏蔽掉第二通道中部分注释的实例。具体来说，我们在半注释细胞核周围使用边界屏蔽，因此对于那些特定细胞核，网络不会对细胞核边界预测进行评分，而仅对检测精度进行评分，如图3D所示。
结果：为了训练模型，我们使用了MoNuSeg H&E染色的多器官细胞核分割数据集(MICCAI 2018上举行的细胞核分割挑战)。竞赛数据集由30个1000x1000的图像组成，每个图像都是从WSI(以40倍放大率捕获)中裁剪出来的。为确保多样性，该数据集涵盖了从18家医院的不同患者采集的7种器官。在每个图像中，都提供了细胞的细胞核注释(地面实况)。我们使用上述方法作为MoNuSeg竞赛的一部分，该方法在竞赛测试集上的AJI得分为0.62。对于下面描述的评估，由于竞赛测试集尚未发布，我们从30张图像中选择了14张用作测试集(这些图像未在训练阶段使用)。为了模拟部分注释的数据，我们进行了一系列实验，不同比率为：10％-100％(3次交叉验证)，其中我们仅用细胞核中心随机替换完整注释的核。
初步结果表明，仅访问50％的完全分割的细胞核(而其他50％仅使用细胞核中心的近似位置)仅将算法性能降低2％-4％。
III.实施例如图所示：
我们现在转向如图所示的实施例。图1-图11示出了用于实现数字显微成像(例如，数字病理学或活细胞成像等)的方法、系统和装置的一些特征，并且更具体地，用于使用基于深度学习的分割(在一些情况下，通过多个回归层或其他机器学习或深度学习架构等)实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置，如上所述。图1-图11所示的方法、系统和装置涉及包括各种组件和步骤的不同实施例的示例，这些组件和步骤可以被认为是替代方案或者可以在各种实施例中彼此结合使用。对图1-图11所示的所示方法、系统和装置的描述是为了说明的目的而提供的，不应被视为限制不同实施例的范围。
参考附图，图1是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的系统100的示意图。
在图1的非限制性实施例中，系统100可以包括计算系统105a、人工智能(“AI”)系统110a、以及对于计算系统105a和/或AI系统110a是本地的数据存储或数据库115a。在一些情况下，数据库115a可以在计算系统105a的外部但通信地耦合到计算系统105a。在其他情况下，数据库115a可以集成在计算系统105a内。在一些实施例中，AI系统110a——其可包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或完全卷积网络(“FCN”)(其可以包括U-Net框架等)和/或类似物中的至少一种——可以在计算系统105a的外部但通信地耦合到计算系统105a，或者可以集成在计算系统105a内。
根据一些实施例，系统100还可以包括显示设备120，其可以允许用户125查看生物样本的视场(“FOV”)或生物样本的图像或视频。系统100还可以包括一个或多个用户设备130、一个或多个音频传感器135(可选)、相机140(可选)和显微镜145(可选)。在一些情况下，一个或多个用户设备130可以包括但不限于智能电话、移动电话、平板计算机、膝上型计算机、台式计算机、键盘、小键盘、计算机鼠标或监视器和/或类似物。在一些情况下，一个或多个音频传感器135可包括但不限于一个或多个麦克风、一个或多个语音记录器、或一个或多个录音机和/或类似物。在一些情况下，相机140可以包括但不限于一个或多个眼睛跟踪传感器、一个或多个运动传感器或一个或多个跟踪传感器和/或类似物。
根据一些实施例，一个或多个用户设备130可用于从用户125接收用户输入，该用户输入指示用户125在查看生物样本的视场时观察到的感兴趣对象的注释或标记，无论是在显示设备120的显示屏上查看或通过显微镜145的目镜观察。一个或多个音频传感器135可用于在用户125在显示设备120上或通过显微镜145的目镜查看生物样本的FOV时记录用户125的声音或口语注释。相机140可以在用户125在相机140的FOV 140a内时捕获用户125的图像或视频(在一些情况下，捕获用户125的至少一只眼睛的图像或视频)。
计算系统105a可以与AI系统110a、数据库115a、显示设备120、一个或多个用户设备130、一个或多个音频传感器135、相机140和/或显微镜145中的一个或多个通信地耦合(通过无线(如闪电符号等所描绘的)或有线连接(如连接线所描绘的))。计算系统105a、AI系统110a、数据库115a、显示设备120、一个或多个用户设备130、一个或多个音频传感器135、相机140和/或显微镜145可以设置或位于工作环境150内，工作环境150可以包括但不限于实验室、诊所、医疗设施、研究设施、医疗保健设施或房间和/或类似物中的一种。
系统100还可以包括远程计算系统105b(可选)、AI系统110b(可选)和数据库115b(可选)，它们可以通过网络155与计算系统105a和/或AI系统110a通信地耦合。在一些情况下，远程计算系统105b可以包括但不限于网络服务器、网络浏览器或云计算系统和/或类似物。远程计算系统105b、AI系统110b和数据库115b另外可能与计算系统105a、AI系统110a和数据库115a分别相似，如果不相同的话。
仅作为示例，网络155可以每个都包括局域网(“LAN”)，包括但不限于光纤网络、以太网网络、令牌环网络和/或类似物；广域网(“WAN”)；无线广域网(“WWAN”)；虚拟网络，例如虚拟专用网络(“VPN”)；互联网；内联网；外联网；公共交换电话网(“PSTN”)；红外线网络；无线网络，包括但不限于在任何IEEE802.11协议套件、本领域已知的蓝牙TM协议和/或任何其他无线协议下运行的网络；和/或这些和/或其他网络的任何组合。在特定实施例中，网络155可以每个都包括互联网服务提供商(“ISP”)的接入网络。在另一个实施例中，网络155可以每个都包括ISP的核心网络和/或互联网。
在操作中，计算系统105a、远程计算系统105b和/或AI系统110a或110b(统称为“计算系统”等)可以对第一图像和第二图像(可选)执行数据增强，第一图像包括第一生物样本的视场(“FOV”)，并且第二图像包括第一生物样本中感兴趣对象的实例的标记。在一些情况下，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，其中感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。在一些实施例中，第一图像和第二图像的数据增强可以包括但不限于弹性增强或颜色增强和/或类似物中的至少一种(在一些情况下，被配置为便于实例分割)。
虽然重点是如本文所述的生物样本，但是各种实施例不限于此，并且实例分割、系统的训练以生成或更新AI模型以预测实例分割、和/或配置为便于实例分割的用户注释的用户界面可适于应用于非生物样本，包括但不限于化学样本、人类、动物、植物、昆虫、工具、车辆、结构、地标、行星、恒星、特定的有生命物体、或特定的无生命物体、和/或类似物。在本文中，“实例分割”可以指感兴趣对象的实例(例如，细胞、组织、分子结构、人的部分、动物的部分、植物的部分、昆虫的部分、工具的部分、车辆的部分、物理结构的部分、地标的部分、行星、恒星、特定有生命物体的部分或特定无生命物体的部分等)与感兴趣对象的其他实例或彼此相邻或邻近的其他感兴趣对象的分离和/或识别。弹性增强或颜色增强用于操纵图像以突出显示或移动相邻感兴趣对象或感兴趣对象的相邻实例的相对位置或取向，从而便于此类感兴趣对象的实例分割。
计算系统可以接收(增强的)第一图像和(增强的)第二图像。计算系统可以训练AI系统110a或110b以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。在一些实施例中，至少两个图像可以包括但不限于至少突出显示第二图像中感兴趣对象的每个标记实例的质心的质心层图像和突出显示第二图像中感兴趣对象的每个标记实例的边缘或边界的边界层图像。替代地，至少两个图像可以包括但不限于至少质心层图像、边界层图像和语义分割层图像，质心层图像突出显示第二图像中感兴趣对象的每个标记实例的质心，边界层图像突出显示第二图像中感兴趣对象的每个标记实例的边缘或边界，语义分割层图像包括第二图像中感兴趣对象的每个标记实例的语义分割数据。在其他替代实施例中，至少两个图像可以包括任何数量的图像或表面，它们突出显示第一生物样本中感兴趣对象的实例的不同方面。
在一些实施例中，作为训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像等生成的多组至少两个图像来预测感兴趣对象的实例的一部分，计算系统可以使用编码器(可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独的设备(在一些情况下，专用编码器等))对(增强的)第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像不同于第三编码图像。在一些实施例中，编码第二图像以生成第三编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的质心；并且用计算系统生成第三编码图像，第三编码图像包括对感兴趣对象的每个标记实例的质心的突出显示。在一些情况下，编码第二图像以生成第四编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的边缘或边界；以及用计算系统生成第四编码图像，第四编码图像包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。
根据一些实施例，编码第二图像以生成第三编码图像还可以包括计算系统计算：第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量；以及生成第一接近度图的第一函数，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图。同样，编码第二图像以生成第四编码图像还可以包括计算系统计算：第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量；以及生成第二接近度图的第二函数，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图。在一些情况下，计算系统可以至少部分地基于为每个像素计算的第一距离度量、第一函数或第一接近度图中的至少一种为第三编码图像中的每个像素分配第一加权像素值；并且可以至少部分地基于为每个像素计算的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值。
在一些实施例中，计算系统可以确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值；并且可以确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值。计算系统可以使用损失函数基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值的乘积和第四编码图像中每个像素的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值的乘积计算损失值。在一些情况下，损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。例如，使用均方误差损失函数计算损失值可以包括将第三编码图像中的每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值的乘积和第四编码图像中的每个像素的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值的乘积相加。
在一些实施例中，AI系统可以通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。在一些情况下，一个或多个参数可以包括但不限于单个参数、两个到一百个(包括在内)之间的多个参数、一百到一千个(包括在内)之间的多个参数、一千到一百万(包括在内)之间的多个参数、或更多。计算系统可以使用更新的AI模型基于第一图像生成第五图像和第六图像。
在一些情况下，第二图像中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释(即，以其他方式表示为未知)、和/或类似物中的至少一种。在一些实施例中，计算系统可以在计算损失值之前用第四编码图像和第六图像中的对应像素中的部分注释屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例；并且可以在计算损失值之前用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。在一些情况下，对于部分注释或未知注释，屏蔽感兴趣对象的第二实例或第三实例的至少一部分可以包括屏蔽掉第三编码图像和/或第四编码图像中的圆，该圆表示距质心或距由用户输入(例如，鼠标点击等)表示的部分注释对象内的点的距离。在一些情况下，圆半径可能是预先定义的，或者可能是根据来自同一区域中对象的完整注释的信息“即时”计算的。尽管描述了圆形屏蔽，但可以适当或根据需要使用其他多边形或几何形状。替代地，屏蔽可以包括将第三编码图像中的特定像素和第五图像中的相应像素(或第四编码图像中的特定像素和第六图像中的相应像素)的权重改变为相同的值，以便它们在逐像素比较时相互抵消。
计算系统可以使用解码器(其可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用解码器等))解码第五图像和第六图像以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记，在一些情况下，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种。在一些情况下，应用一个或多个形态学操作或一个或多个机器学习操作中的至少一种可以包括应用一个或多个形态学操作，其中在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，计算系统可以应用分水岭算法以生成第七图像。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。
在一些实施例中，第一图像和第二图像(或增强的第一和第二图像)可以通过系统多次馈送(即，经过多次迭代，包括但不限于少于十次、十到一百次(包括在内)之间、一百到一千次(包括在内)之间、一千到一百万次(包括在内)在内、或更多)。每次将第三编码图像与第五图像进行比较，将第四编码图像与第六图像进行比较，并基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值并且基于第四编码图像中每个像素的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值计算损失值。计算出的损失值用于更新AI模型的一个或多个参数以生成连续的回归层，每个回归层生成第五和第六图像，这些图像逐渐或连续更接近于与相应的第三和第四编码图像相同。结果，随着每次迭代(并使用每个结果或连续回归层)，解码的图像(即，第七图像)将逐渐或连续变得更接近于与第二图像(在本文中可以称为地面实况图像)相同。
根据一些实施例，计算系统可以将第七图像与第二图像进行比较以生成实例分割评估结果。在一些情况下，生成实例分割评估结果可以包括使用一个或多个指标评估实例分割性能，这些指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标、或联合dice指标和/或类似物中的至少一种。在一些情况下，实例分割评估结果可以包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。计算系统可以在显示屏上显示生成的实例分割评估结果。在一些情况下，第七图像可能由标记控制的分水岭算法使用回归层(其可以包括边缘表面回归层等)生成。在一些情况下，可以在应用贝叶斯优化之后以实例分割评估结果(例如，AJI分数等)作为目标函数来设置用于形态学操作的参数。
在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例可以包括至少对第二图像进行编码以生成第三编码图像和第四编码图像，训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例，生成第五图像和第六图像，解码第五图像和第六图像以生成第七图像，以及将第七图像与第二图像进行比较等。尽管使用两个图像(在这种情况下，第三编码图像和第四编码图像)来训练AI系统，但是各种实施例不限于此，并且可以使用多于两个图像(或表面)。
根据一些实施例，计算系统可以接收第八图像，第八图像包括不同于第一生物样本的第二生物样本的FOV；可以使用由经过训练的AI系统生成或更新的AI模型基于第八图像生成两个或更多个图像，这两个或更多个图像彼此不同；并且可以使用解码器对两个或更多个图像进行解码以生成第九图像，第九图像包括第二生物样本中感兴趣对象的实例的预测标记。与解码第五图像和第六图像类似，解码两个或更多个图像以生成第九图像可以包括用计算系统且使用解码器，通过应用在生成第九图像之前识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码两个或更多个图像以生成第九图像的一个或多个机器学习操作中的至少一种来解码两个或更多个图像以生成第九图像。在应用一个或多个形态学操作的情况下，在通过应用识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作来解码两个或更多个图像之后，计算系统可以应用分水岭算法以生成第九图像。通过这种方式，经过训练的AI系统和/或AI模型可用于预测新生物样本中感兴趣对象的实例的标记——在没有对应于新生物样本的地面实况图像(或先前用户注释的图像)的一些情况下。
替代地或附加地，计算系统可以生成用户界面，该用户界面配置为使用生物样本图像内感兴趣对象的完整注释或部分注释中的至少一个来收集训练数据，并且可以在用户界面的显示部分内显示包括第一生物样本的FOV的第一图像。计算系统可以经由用户界面从用户(例如，病理学家、临床医生、医生、护士或实验室技术员等)接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像中包含的第一多个感兴趣对象中的每个的存在或位置。计算系统可以至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法(其可包括但不限于对象检测算法、像素识别算法、边缘检测算法和/或类似物)分析相应位置中或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界。
在一些情况下，计算系统可以经由用户界面从用户接收第二用户输入，该第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置移动到新位置，并且可以至少部分地基于由第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置，并且至少部分地基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。在一些情况下，计算系统可以经由用户界面从用户接收第三用户输入，该第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释，并且可以至少部分地基于第一图像内第三用户输入的位置在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置。在一些情况下，计算系统可以经由用户界面从用户接收第四用户输入，该第四用户输入指示第三多个感兴趣对象中的一个是未知的或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类(例如，癌症、良性等)，并且可以至少部分地基于第一图像内第四用户输入的位置在第一图像中生成识别由第四用户输入表示的未知对象的位置的未知注释符号(即，表示未知实例或对象的符号或注释等)，或者可以将第三多个感兴趣对象中的所选一个的实例类切换到第四用户输入选择的另一个实例类(例如，在癌症和良性之间切换，在完整注释和部分注释之间切换，在部分注释和未知注释之间切换，在完整注释和未知注释之间切换等)。
根据一些实施例，第一用户输入可以包括但不限于点击输入或边界区域输入中的一种。在一些情况下，点击输入可以定义由点击输入识别的第一多个感兴趣对象中的一个第一对象的质心的位置，而边界区域输入可以定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域。在一些情况下，边界区域输入可以包括但不限于矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。在一些实施例中，第二用户输入可以包括但不限于点击和拖拽输入。在一些情况下，第三用户输入可以包括但不限于双击输入，其中第三用户输入选择或取消选择第二多个感兴趣对象中的一个周围的边界。在一些情况下，第四用户输入可以包括但不限于shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中第四用户输入可以包括但不限于在完整注解和未知注释之间转换或来自实例类列表的实例类之间的切换等中的一种。然而，各种实施例不限于这些特定输入，并且这些输入可以是用于指示完整注释、部分注释和/或未知注释等的任何合适的输入。
计算系统可以基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一种。以此方式，系统提供允许用户(或注释者)以有效方式生成注释的快速且高效的UI。特别是，用户不需要打开任何菜单或遵循一组复杂的操作来与注释系统的UI交互。通过单个操作(即，使用点击输入或边界区域输入等)，可以生成完整注释(即，在由点击输入或边界区域输入等标记的位置周围生成边界)。要更改自动生成的边界，用户只需使用单个操作(即，使用单击拖动输入等)在实例或对象内移动一个点，从而使系统重新绘制或重新生成实例或对象周围的新边界。因此，用户无需浪费时间在实例或对象的边缘或边界周围手动绘制以获得完整注释。类似地，通过单个操作(即shift加鼠标点击输入、按键加鼠标点击输入、或者鼠标/键盘组合等)，可以将完整注释更改为部分注释，或者可以更改实例或对象的类。操作不绑定特定的鼠标/键盘操作；相反，可以适当或根据需要使用或定制任何组合。
在一些实施例中，计算系统可以训练AI系统110a或110b以生成或更新AI模型以至少部分地基于根据第二图像或注释数据集中的至少一个生成的多组至少两个图像预测第一生物样本中的感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于至少两个图像来预测感兴趣对象的实例可以包括：用计算系统且使用编码器(可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用编码器等))对第二图像或注释数据集中的至少一个进行编码以生成第三编码图像和第四编码图像，第四编码图像与第三编码图像不同；训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例；使用AI系统生成或更新的AI模型基于第一图像并基于训练生成第五图像和第六图像，第六图像与第五图像不同；用计算系统且使用解码器(可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用解码器等))解码第五图像和第六图像以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记；以及(可选地)用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果。第二图像的编码和AI系统110a或110b的训练也可以如下面关于图9B等所描述的那样实现。
系统100(及其组件)的这些和其他功能在下面关于图2-图9更详细地描述。
图2A-图2C(统称为“图2”)是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的各种系统200、200'和200"的系统流程图。在图2中，系统200可以包括计算系统205，该计算系统205包括编码器210、U-Net框架215或U-Net框架215的回归层(U-Net框架215是完全卷积网络(“FCN”)等的实现)、损失函数系统220、解码器225和准确度评估系统230。系统200'可不同于系统200，因为系统200'的计算系统205'可以进一步包括数据增强系统235。计算系统205或205'可以对应于图1的系统100的计算系统105a或计算系统105b等。
参考图2A的非限制性实施例，U-Net框架215可以接收第一图像240，第一图像240包括第一生物样本的视场(“FOV”)。根据一些实施例，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，而感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。编码器210可以接收第二图像245，第二图像245包括第一生物样本中感兴趣对象的实例的标记。在一些情况下，对第二图像245中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释(由用户)、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释(由用户)、或不识别质心和边缘的感兴趣对象的第三实例的未知注释(由用户)(即，以其他方式表示为未知)、和/或类似物中的至少一种。根据一些实施例，用户可以包括但不限于病理学家、临床医生、医生、护士或实验室技术员等。在一些情况下，第一图像240可以是大小为H xW(如用于明场显微镜、相位显微镜等的单色相机的情况)、H x W x RGB或H x W x N(即，高度x宽度x红色/绿色/蓝色，或高度x宽度x N等，其中N是整数值；如在光谱成像、荧光等的情况下)等的图像，而第二图像245可以是大小为H x W的图像。在一些情况下，第二图像245可被称为地面实况图像或实例分割地面实况图像等。
在一些实施例中，计算系统205或编码器210可以在计算损失值之前用第四编码图像和第六图像中的对应像素中的部分注释屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例，并且可以在计算损失值之前用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对象像素中的未知注释屏蔽感兴趣对象的第三实例。在一些情况下，对于部分注释或未知注释，屏蔽感兴趣对象的第二实例或第三实例的至少一部分可以包括屏蔽掉第三编码图像和/或第四编码图像中的圆，该圆表示距质心或距由用户输入(例如，鼠标点击等)表示的部分注释的对象内的点的距离。在一些情况下，圆半径可能是预先定义的，或者可能是根据来自同一区域中对象的完整注释的信息“即时”计算的。尽管描述了圆形屏蔽，但可以适当或根据需要使用其他多边形或几何形状。替代地，屏蔽可以包括将第三编码图像中的特定像素和第五图像中的对应像素(或第四编码图像中的特定像素和第六图像中的对应像素)的权重更改为相同的值，以便它们在逐像素比较时相互抵消。
编码器210可以计算第二图像245中感兴趣对象的每个标记实例的质心；可以计算第二图像245中感兴趣对象的每个标记实例的边缘或边界；可以生成第三编码图像250a，第三编码图像250a包括对感兴趣对象的每个标记实例的质心的突出显示；并且可以生成第四编码图像250b，第四编码图像250b包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。在一些实施例中，编码第二图像245以生成第三编码图像250a还可以包括系统200或编码器210计算：第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量；以及生成第一接近度图的第一函数，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图。类似地，编码第二图像以生成第四编码图像还可以包括系统200或编码器210计算：第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量；以及生成第二接近度图的第二函数，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图。在一些情况下，计算系统可以至少部分地基于为每个像素计算的第一距离度量、第一函数或第一接近度图中的至少一种为第三编码图像中的每个像素分配第一加权像素值(统称为“第一加权值250c”、“细胞核通道权重250c”、“质心通道权重250c”、“权重250c”等)；并且可以至少部分地基于为每个像素计算的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值(统称为“第二加权值250d”、“边缘通道权重250d”、“边缘通道权重250d”、“权重250d”等)。编码器210可以将第三编码图像250a和第四编码图像250b(统称为“编码图像250”或“变换图像250”等)输出到损失函数系统220。编码器210还可以向损失函数系统220输出分配的第三编码图像中每个像素的第一加权像素值和分配的第四编码图像中每个像素的第二加权像素值。
同时，U-Net框架215可以接收第一图像240，并且可以利用U-Net框架215的回归层或AI模型基于第一图像240、基于回归层或AI模型的一个或多个参数或对一个或多个参数的确定更新等生成第五图像260a和第六图像260b。生成的第五图像260a可以模拟包括对感兴趣对象的每个预测实例的质心的突出显示的图像(例如第三编码图像250a等)，而生成的第六图像260b可以模拟包括对感兴趣对象的每个预测实例的边缘或边界的突出显示的图像(例如作为第四编码图像250b等)。U-Net框架215可以将生成的第五图像260a和生成的第六图像260b(统称为“生成的图像260”或“预测的图像260”等)发送到解码器225并且也发送到损失函数系统220。
损失函数系统220可以确定第三编码图像250a中的每个像素与第五图像260a中的对应像素之间的第一像素损失值；并且可以确定第四编码图像250b中的每个像素与第六图像260b中的对应像素之间的第二像素损失值。损失函数系统220可以使用损失函数，基于第三编码图像250a中每个像素的第一加权像素值250c乘以第三编码图像250a中每个像素与第五图像260a中对应像素之间的第一像素损失值的乘积和第四编码图像250b中每个像素的第二加权像素值250d乘以第四编码图像250b中每个像素与第六图像260b中对应像素之间的第二像素损失值的乘积计算损失值。在一些实施例中，损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。损失函数系统220可以基于计算的损失值更新回归层或AI模型的一个或多个参数，并且可以将更新的一个或多个参数或计算的损失值255发送到U-Net框架215。系统200可以训练U-Net框架215以生成或更新AI模型以通过使用更新的一个或多个参数生成或重新生成第五图像260a和第六图像260b，至少部分地基于第三编码图像250a和第四编码图像250b来预测感兴趣对象的实例。尽管系统200使用U-Net框架215，但各种实施例不限于此，并且可以使用任何合适的AI系统，包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或完全卷积网络(“FCN”)和/或类似物中的至少一种。
解码器225可以解码第五图像260a和第六图像260b以生成第七图像265，第七图像265包括第一生物样本中感兴趣对象的实例的预测标记。在一些实施例中，解码第五图像260a和第六图像260b以生成第七图像265可以包括通过应用在生成第七图像265之前识别第五图像260a和第六图像260b中的每个中的前景和背景标记的一个或多个形态学操作或直接解码第五图像260a和第六图像260b以生成第七图像265的一个或多个机器学习操作中的至少一种来解码第五图像260a和第六图像260b以生成第七图像265。在应用一个或多个形态学操作来识别第五图像260a和第六图像260b中的每个中的前景和背景标记的情况下，在通过应用一个或多个形态学操作对第五图像260a和第六图像260b进行解码之后，解码器225可以应用分水岭算法来生成第七图像265。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。在训练期间，解码器225可以将第七图像265输出到准确度评估系统230。
在一些情况下，准确度评估系统230可以通过使用一个或多个指标评估实例分割性能来将第七图像265与增强的第二图像245'进行比较以生成实例评估结果。在一些情况下，一个或多个指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标或联合dice指标和/或类似物中的至少一种。如上所述，在一些情况下，第七图像265可以通过使用回归层(其可以包括边缘表面回归层等)的标记控制的分水岭算法生成。在一些情况下，可以在应用贝叶斯优化之后以实例分割评估结果(例如，AJI分数等)作为目标函数来设置用于形态学操作的参数。准确度评估系统230可以输出实例评估结果或比较值作为反馈值270。在一些情况下，生成的实例分割评估结果270可以显示在显示设备(例如，图1的显示设备120等)的显示屏上。在一些情况下，实例分割评估结果270可以包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。
参考图2B的非限制性实施例，第一图像240和第二图像245可以由数据增强系统235数据增强以分别生成增强的第一图像240'和增强的第二图像245'。在一些情况下，第一图像240和第二图像245的数据增强可以包括但不限于弹性增强或颜色增强(在一些情况下配置为便于实例分割)和/或类似物(例如分别如图5和图6所示)中的至少一种。U-Net框架215可以接收增强的第一图像240'，而编码器210可以接收增强的第二图像245'。图2B的编码器210、U-Net框架(或U-Net框架的回归层或AI模型)215、损失函数系统220、解码器225和准确度评估系统230可以以与图2A的编码器210、U-Net框架(或U-Net框架的回归层)215、损失函数系统220、解码器225和准确度评估系统230类似的方式作用，除了使用增强的第一图像240'和增强的第二图像245'代替第一图像240和第二图像245。
转向图2C的非限制性实施例，提供了视觉描绘以示出训练过程，如上文关于图2A所述。特别地，U-Net回归层或框架215可以接收第一图像或输入图像240，第一图像或输入图像240包括第一生物样本的视场(“FOV”)。编码器210可以接收第二图像或地面实况图像245，第二图像或地面实况图像245包括第一生物样本中感兴趣对象的实例的标记。在一些情况下，第二图像或地面实况图像245中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释(由用户)、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释(由用户)、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释(由用户)(即，以其他方式表示为未知)和/或类似物中的至少一种。在一些情况下，第一图像或输入图像240可以是大小为H x W(如用于明场显微镜、相位显微镜等的单色相机的情况)、H x W x RGB或H x W x N(即高度x宽度x红色/绿色/蓝色，或高度x宽度x N等，其中N是整数值；如在光谱成像、荧光等的情况下)等的图像，而第二图像或地面实况图像245可以是大小为H x W的图像。在一些情况下，第二图像或地面实况图像245可被称为实例分割地面实况图像等。
在一些实施例中，计算系统205或205'或编码器210可以在计算损失值之前用第四编码图像和第六图像中的对应像素中的部分注释来屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例，并且可以在计算损失值之前用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。在一些情况下，对于部分注释或未知注释，屏蔽感兴趣对象的第二实例或第三实例的至少一部分可能包括屏蔽掉第三编码图像和/或第四编码图像中的圆，该圆表示距质心或距由用户输入(例如，鼠标点击等)表示的部分注释的对象内的点的距离。在一些情况下，圆半径可能是预先定义的，或者可能是根据来自同一区域中对象的完整注释的信息“即时”计算的。尽管描述了圆形屏蔽，但可以适当或根据需要使用其他多边形或几何形状。替代地，屏蔽可以包括将第三编码图像中的特定像素和第五图像中的对应像素(或第四编码图像中的特定像素和第六图像中的对应像素)的权重更改为相同的值，以便它们在逐像素比较时相互抵消。
编码器210可以计算第二图像或地面实况图像245中感兴趣对象的每个标记实例的质心或细胞核；可以计算第二图像或地面实况图像245中感兴趣对象的每个标记实例的边缘或边界；可以生成第三编码图像或细胞核距离图像250a，第三编码图像250a包括对感兴趣对象的每个标记实例的质心的突出显示；并且可以生成第四编码图像或边缘距离图像250b，第四编码图像250b包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。在一些实施例中，编码第二图像或地面实况图像245以生成第三编码图像250a还可包括计算系统205或编码器210计算：第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量；以及生成第一接近度图的第一函数，第一函数是第一距离度量的函数，第三编码图像250a包括第一接近度图(或第一接近度得分图像)。类似地，编码第二图像或地面实况图像以生成第四编码图像还可以包括计算系统205或编码器210计算：第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量；以及生成第二接近度图的第二函数，第二函数是第二距离度量的函数，第四编码图像250b包括第二接近度图(或第二接近度得分图像)。在一些情况下，计算系统205或编码器210可以至少部分地基于为每个像素计算的第一距离度量、第一函数、或第一接近度图中的至少一个为第三编码图像中的每个像素分配第一加权像素值250c；并且可以至少部分地基于为每个像素计算的第二距离度量、第二函数或第二接近度图中的至少一个为第四编码图像中的每个像素分配第二加权像素值250d。如以上关于图2A所描述的，但是如图2C中的示例图像表示所描绘的，计算系统205或编码器210可以生成第一权重图像或细胞核通道权重图像250c，其包含用于第三编码图像250a中的每个像素的第一加权像素值，并且可以生成第二权重图像或边缘通道权重图像250d，其包含第四编码图像250b中的每个像素的第二加权像素值。编码器210可以输出第三编码图像250a和第四编码图像250b(统称为“编码图像250”或“变换图像250”等)。编码器210还可以将分配给第三编码图像中每个像素的第一加权像素值和分配给第四编码图像中每个像素的第二加权像素值输出到损失函数系统220，在一些情况下，输出作为第一权重图像或细胞核通道权重图像250c和第二权重图像或边缘通道权重图像250d(统称为“加权图像”、“权重”或“权重矩阵”等)。
同时，U-Net回归层或框架215可接收第一图像或输入图像240，并可利用U-Net回归层或框架215的回归层或AI模型基于第一图像或输入图像240、基于回归层或AI模型的一个或多个参数或对一个或多个参数的确定更新等生成第五图像260a和第六图像260b(在一些情况下，可以组合为单个输出图像，例如U-Net输出图像260(它是H x W x 2图像)等)。生成的第五图像260a可以模拟包括对感兴趣对象的每个预测实例的质心或细胞核的突出显示的图像(例如第三编码图像250a等)，而生成的第六图像260b可以模拟包括对感兴趣对象的每个预测实例的边缘或边界的突出显示的图像(例如第四编码图像250b等)。U-Net回归层或框架215可以将生成的第五图像260a和生成的第六图像260b(统称为“生成的图像260”或“预测的图像260”等)发送到解码器225并且也发送到损失函数系统220。
损失函数系统220可以确定第三编码图像250a中的每个像素与第五图像260a中的对应像素之间的第一像素损失值；并且可以确定第四编码图像250b中的每个像素与第六图像260b中的对应像素之间的第二像素损失值。损失函数系统220可以使用损失函数，基于第三编码图像250a(或第一权重图像或细胞核通道权重图像250c)中每个像素的第一加权像素值乘以第三编码图像250a中的每个像素与第五图像260a中的对应像素之间的第一像素损失值的乘积和第四编码图像250b(或第二权重图像或边缘通道权重图像250d)中每个像素的第二加权像素值乘以第四编码图像250b中的每个像素与第六图像260b中的对应像素之间的第二像素损失值的乘积计算损失值。在一些实施例中，损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。损失函数系统220可以基于计算的损失值更新回归层或AI模型的一个或多个参数，并且可以发送更新的一个或多个参数或计算的损失值255(统称为“净权重更新255”或“参数更新255”等)到U-Net回归层或框架215。计算系统205可以训练U-Net回归层或框架215以生成或更新AI模型，以通过使用更新的一个或多个参数生成或重新生成第五图像260a和第六图像260b，至少部分地基于第三编码图像250a和第四编码图像250b预测感兴趣对象的实例。尽管计算系统205使用U-Net回归层或框架215，但各种实施例不限于此，并且可以使用任何合适的AI系统，包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或完全卷积网络(“FCN”)和/或类似物中的一种。
解码器225可以解码第五图像260a和第六图像260b以生成第七图像或解码图像265，第七图像或解码图像265包括第一生物样本中感兴趣对象的实例的预测标记。在一些实施例中，解码第五图像260a和第六图像260b以生成第七图像或解码图像265可以包括通过应用在生成第七图像或解码图像265之前识别第五图像260a和第六图像260b中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码第五图像260a和第六图像260b以生成第七图像或解码图像265的一个或多个机器学习操作中的至少一种，解码第五图像260a和第六图像260b以生成第七图像或解码图像265。在应用一个或多个形态学操作以识别第五图像260a和第六图像260b中的每个中的前景和背景标记的情况下，在通过应用一个或多个形态学操作解码第五图像260a和第六图像260b之后，解码器225可以应用分水岭算法来生成第七图像或解码图像265。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换等中的至少一种。
在一些实施例中，第一图像240和第二图像245(或增强的第一和第二图像240'和245')可以通过系统多次馈送(即，经过多次迭代，包括但不限于少于十次、十至一百次(包括在内)之间、一百至一千次(包括在内)之间、一千至一百万次(包括在内)之间、或更多)。每次将第三编码图像250a与第五图像260a进行比较，将第四编码图像250b与第六图像260b进行比较，并基于第三编码图像(或第一权重图像或细胞核通道权重图像250c)中每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值并且基于第四编码图像(或第二权重图像或边缘通道权重图像250d)中每个像素的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值计算损失值。计算出的损失值用于更新AI模型的一个或多个参数255以生成连续回归层，每个回归层生成第五和第六图像，它们逐渐或连续更接近于与相应的第三和第四编码图像相同。结果，随着每次迭代(并且使用每个结果或连续回归层)，解码的图像260(即，第七图像)将逐渐或连续变得更接近于与地面实况图像245(即，第二图像)相同。尽管两个图像(在这种情况下，第三编码图像250a和第四编码图像250b)用于训练AI系统，但是各种实施例不限于此，并且可以使用多于两个图像(或表面)。
图3A-图3E(统称为“图3”)是示出根据各种实施例的用于便于生物样本内的实例分割的用户注释的用户界面的各种实施例300、300'、300"、300'"和300""的示意图。用户界面305可以配置为收集用于预测生物样本内的实例分割的训练数据。
参考图3A的非限制性实施例300，用户界面305可以显示第一生物样本的第一图像310(例如，图像或视频等)，并且在一些情况下，还可以显示第一生物样本的第一图像310的视场(“FOV”)315。计算系统(类似于图1的计算系统105a或105b或图2的计算系统205或205'等)可以从用户(例如，病理学家、临床医生、医生、护士或实验室技术员等)通过用户界面305接收第一用户输入，第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置。计算系统可以至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法(其可包括但不限于对象检测算法、像素识别算法、边缘检测算法和/或类似物)分析相应位置中或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界。
在一些情况下，计算系统可以经由用户界面从用户接收第二用户输入，第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置移动到新位置，并且可以至少部分地基于由第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置并且至少部分地基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。在一些情况下，计算系统可以经由用户界面从用户接收第三用户输入，第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释，并且可以至少部分地基于第一图像内第三用户输入的位置，在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置。在一些情况下，计算系统可以经由用户界面从用户接收第四用户输入，第四用户输入指示第三多个感兴趣对象中的一个是未知的或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类(例如，癌症、良性等)，并且可以至少部分地基于第一图像内第四用户输入的位置在第一图像中生成识别由第四用户输入表示的未知对象的位置的未知注释符号(即，表示未知实例或对象的符号或注释等)，或者可以将第三多个感兴趣对象中的所选对象的实例类切换为由第四用户输入选择的另一个实例类(例如，在癌症和良性之间切换，在完整注释和部分注释之间切换，在部分注释和未知注释之间切换，在完整注释和未知注释之间切换等)。
在一些实施例中，第一用户输入可以包括但不限于点击输入或边界区域输入中的一种。在一些情况下，点击输入可以定义由点击输入识别的第一多个感兴趣对象中的一个第一对象的质心的位置，而边界区域输入可以定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域。在一些情况下，边界区域输入可以包括但不限于矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。在一些实施例中，第二用户输入可以包括但不限于点击和拖拽输入。在一些情况下，第三用户输入可以包括但不限于双击输入，其中第三用户输入选择或取消选择第二多个感兴趣对象中的一个周围的边界。在一些情况下，第四用户输入可以包括但不限于shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中第四用户输入可以包括但不限于在完整注释和未知注释之间转换或来自实例类列表的实例类之间的切换等中的一种。然而，各种实施例不限于这些特定输入，并且这些输入可以是用于指示完整注释、部分注释和/或未知注释等的任何合适的输入。
如图3A所示，对象320对应于完整注释的感兴趣对象，而对象325对应于部分注释的感兴趣对象，并且对象330对应于未知的感兴趣对象。
转向图3B的非限制性实施例300'，用户界面305可以显示第二生物样本的第二图像310a(其可以对应于与图2中的图像240相同类型的图像等)，以及显示描绘由用户注释或标记的感兴趣对象的实例分割335的第三图像310b(其可以对应于与图2中的图像245相同类型的图像等)，显示描绘在用户界面的显示部分中显示的第三图像310b内的第一多个感兴趣对象中的每个的质心340的第四图像310c(其可以对应于与图2中的图像250a相同类型的图像等)，并且显示描绘在用户界面的显示部分中显示的第三个图像310b内包含的第一多个感兴趣对象中的每个感兴趣对象周围的边界或边界区域345的第五图像310d(其可以对应于与图2中的图像250b相同类型的图像等)。
图3C描绘了用户界面305，其中第二到第五图像310a-310d被缩小导致第二到第五图像310a′-310d′(这里，图像310c′和310d′可以对应于分别与图2中的图像250c和250d相同类型的图像等)，并且可以引入权重值(例如，权重矩阵等)以将模型注意力集中在生物样本的挑战性区域(例如，拥挤的区域等)。在一些情况下，权重值或矩阵可以由等式定义，例如但不限于：
Figure GDA0003461931710000511
其中w(x)是应用于每个像素x的加权函数，w0是加权常数，d1(x)是图像310c中的每个像素x与中心图像(例如，图像250a、图像310c等)中的第一多个感兴趣对象中的每个的每个质心或最近中心像素之间的第一距离度量，d2(x)是图像310d中的每个像素x与第一多个感兴趣对象中的每个的边缘或边界的最近(或第二最近)边缘像素之间的第二距离度量，并且σ是表示每个感兴趣对象的聚类边缘的西格玛值，并且d1(x)和d2(x)总是指同一源图像内的像素。
在图3C的非限制性示例300″中，质心权重变换可以利用例如为5的w0值和为10的σ或西格玛值，从而产生如第四图像310c′中所示的加权图像(类似于图2中的权重图像250c等)，而边缘权重变换可以利用例如为10的w0值和为3的σ或西格玛值，从而产生如第五图像310d′中所示的加权图像(类似于图2中的权重图像250d等)。替代地，权重变换可以包括将第三编码图像中的特定像素和第五图像中的对应像素(或第四编码图像中的特定像素和第六图像中的对应像素)的权重更改为相同的值，以便它们在逐像素比较时会相互抵消。尽管使用两个图像(在这种情况下，第四图像310c和第五图像310d)来训练AI系统，但不同的实施例不受此限制，并且可以使用多于两个图像(或表面)。
参考图3D的非限制性实施例300'"，用户界面305可以显示第二生物样本(不同于图3B和图3C中所示的第一生物样本)的第六图像310e，并且显示描绘由用户注释或标记的感兴趣对象(例如，完整注释对象320、部分注释对象325、未知对象330等)的实例分割335'的第七图像310f，显示描绘第一多个感兴趣对象(例如，完整注释对象320等)中的每个的质心340以及描绘在用户界面的显示部分中显示的第七图像310f内包含的第二多个感兴趣对象(例如，未知对象330，但不是部分注释对象325等)中的每个的第一屏蔽350的第八图像310g(其是质心接近度图，其可以对应于与图2中的图像250a相同类型的图像等)，并显示描绘第一多个感兴趣对象(例如，完整注释对象320等)中的每个感兴趣对象周围的边界区域345以及描绘在用户界面的显示部分中显示的第七图像310f内包含的第二多个感兴趣对象(例如，未知对象330和部分注释对象325等)中的每个的第二屏蔽355的第九图像310h(其是边缘接近度图，其可对应于与图2中的图像250b相同类型的图像等)。
转向图3E的非限制性实施例300""，用户界面305可以显示第二生物样本的第六图像310e，以及显示描绘由用户注释或标记的感兴趣对象(例如，完整注释对象320、部分注释对象325、未知对象330等)的实例分割335的第七图像310f，显示描绘前景和背景标记覆盖在该图的顶部的预测的边缘接近度得分的第十图像310i，并显示描绘在用户界面的显示部分中显示的第七图像310f内包含的第一多个感兴趣对象的预测实例分割的第十一图像310j。该系统可用于训练AI系统(例如，图1和图2的AI系统110a、110b或215等)以生成或更新AI模型以预测感兴趣对象的实例，其中AI系统的回归层生成第十图像310i，如图3E所示。第十图像310i可用作基于标记的分水岭算法的输入图像，该算法可用于生成第十一图像310j，在一些情况下，通过应用在生成第十一图像310j之前识别第十图像310i中的前景和背景标记的一个或多个形态学操作或直接解码第十图像310i以生成第十一图像310j的一个或多个机器学习操作中的至少一种。在应用一个或多个形态学操作的情况下，在通过应用识别第十图像310i中的前景和背景标记的一个或多个形态学操作来解码第十图像310i之后，计算系统可以应用分水岭算法来生成第十一图像310j。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。第十一图像310j可以包括第二生物样本中感兴趣对象的实例的预测标记。如上所述，在一些情况下，第十一图像310j可以通过使用回归层(其可以包括边缘表面回归层等)的标记控制分水岭算法生成。在一些情况下，可以在应用贝叶斯优化之后以实例分割评估结果(例如，AJI分数等)作为目标函数来设置用于形态学操作的参数。尽管使用两个图像(在这种情况下，用于创建接近度图图像310g和310h的图像(未示出))用于训练AI系统，但各种实施例不限于此，并且可以使用多于两个图像(或表面)。
图4描绘了根据各种实施例的示出第一生物样本的原始图像中感兴趣对象的注释并且示出人工智能(“AI”)系统对感兴趣对象的预测的各种图像的示例400。
参考图4的非限制性示例400，描绘了地面实况图像405和预测图像410。第一图像405a——在本文中也称为“RGB图像”等——可以包括第一生物样本的视场(“FOV”)，而第二图像405b可以包括第一生物样本中感兴趣对象的实例的标记(由用户)。根据一些实施例，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，而感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。第二图像405b——在本文中也被称为“地面实况分割图像”等——可以包括完整注释的(在第二图像405b中由中间部分没有白点的彩色形状描绘)和部分注释的感兴趣对象(在第二图像405b中由中间部分带有白点的彩色形状描绘)。第三图像405c——在本文中也称为“质心距离变换图像”等——可以包括对感兴趣对象(完整注释和部分注释的)的每个标记实例的质心的突出显示，而第四图像405d——也此处称为“边缘距离变换图像”等——可以包括对感兴趣对象的每个标记实例(对于完整注释的对象)的边缘或边界的突出显示，其中对每个部分注释的对象进行屏蔽。
第五图像410a——在本文中也被称为“预测的质心距离变换图像”等——可以包括对感兴趣对象的每个预测实例的质心的突出显示，而第六图像410b——在本文中也被称为“预测的边缘距离变换图像”等——可以包括对感兴趣对象的每个预测实例的边缘或边界的突出显示。第七图像410c可以包括前景标记(在第七图像410c中由红点等描绘)和背景标记(在第七图像410c中由绿色背景等描绘)。第八图像410d——在本文中也被称为“实例分割预测图像”或“解码图像”等——可以包括第一生物样本中感兴趣对象的实例的预测标记。在一些实施例中，除了突出显示原始注释中遗漏的细胞核之外，系统还可以突出显示弱或部分注释的细胞核或被正确分割的对象。
图5描绘了根据各种实施例的示出第一生物样本的原始图像的弹性增强和原始图像的注释图像的弹性增强的各种图像的示例500。
参考图5的非限制性示例500，第一图像505a——在本文中也称为“RGB图像”等——可以包括第一生物样本的视场(“FOV”)，而第二图像505b——在本文中也称为“实例分割图像”等——可以包括第一生物样本中感兴趣对象的实例的标记(由用户)。根据一些实施例，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，而感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。第一图像505a和第二图像505b可以各自设置有覆盖在第一生物样本的FOV或第一生物样本的注释图像上的网格线以举例说明变形，但不需要用于实例分割过程。
第三图像505c——在本文中也被称为“变形的RGB图像”等——可以包括第一图像505a的弹性增强，而第四图像505d——在本文中也被称为“变形的实例分割图像”等——可以包括第二图像505b的弹性增强。如图5所示，第三图像505c和第四图像505d中的网格线用于突出显示第一图像505a和第二图像505b的弹性增强。
图6描绘了根据各种实施例的示出第一生物样本的原始图像的颜色增强的各种图像的示例600。
参考图6的非限制性示例600，第一图像605a——在本文中也称为“RGB图像”等——可以包括第一生物样本的视场(“FOV”)，而第二图像605b、第三图像605c和第四图像605d中的每个——在本文中也称为“改变颜色的RGB图像”等——可以包括第一生物样本的FOV的颜色改变以突出显示第一生物样本的FOV内包含的不同颜色的感兴趣对象。根据一些实施例，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，而感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。
图7描绘了根据各种实施例的示出基于完全和部分分割的感兴趣对象的预测功效的各种图像的示例700。
参考图7的非限制性示例700，第一图像705a——在本文中也称为“RGB图像”等——可以包括第一生物样本的视场(“FOV”)。根据一些实施例，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，而感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。第二图像705b、第三图像705c和第四图像705d(统称为“地面实况图像”等)可以包括第一生物样本中感兴趣对象的实例的标记(由用户)。第二图像705b——在本文中也称为“地面实况质心距离变换图像”等——可以包括对感兴趣对象的每个标记实例的质心的突出显示，而第三图像705c——在本文中也称为“地面实况边缘距离变换图像”等——可以包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。第四图像705d——在本文中也被称为“地面实况实例分割图像”等——可以包括至少部分地基于第二图像705b和第三图像705c的组合的第一生物样本中感兴趣对象的实例的标记(由用户)。
第五图像710b、第六图像710c和第七图像710d(统称为“完全分割图像710”等)描绘了当训练模型用完全分割注释(即，第一生物样本中感兴趣对象的实例的100％标记(由用户))进行训练时的AI模型预测。第五图像710b——在本文中也被称为“完全分割质心距离变换图像”等——可以包括对感兴趣对象的每个标记实例的预测质心的突出显示，而第六图像710c——在本文中也被称为“完全分割边缘距离变换图像”等——可以包括对感兴趣对象的每个标记实例的预测边缘或边界的突出显示。第七图像710d——在本文中也被称为“完全分割实例分割图像”等——可以包括至少部分地基于第五图像710b和第六图像710c的组合的第一生物样本中感兴趣对象的实例的预测标记。
第八图像715b、第九图像715c和第十图像715d(统称为“50％部分分割图像715”等)描绘了当训练模型用50％分割注释(即，第一生物样本中感兴趣对象的实例的标记(由用户)包括50％的实例具有质心和边缘的地面实况，而50％的实例仅具有质心的地面实况)进行训练时的AI模型预测。第八图像715b——在本文中也被称为“50％部分分割质心距离变换图像”等——可以包括对感兴趣对象的每个标记实例的预测质心的突出显示，而第九图像715c——在本文中也被称为“50％部分分割边缘距离变换图像”等——可以包括对感兴趣对象的每个标记实例的预测边缘或边界的突出显示。第十图像715d——在本文中也被称为“50％部分分割实例分割图像”等——可以包括至少部分地基于第八图像715b和第九图像715c的组合的第一生物样本中感兴趣对象的实例的预测标记。
图8A-图8D(统称为“图8”)是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像和/或基于部分注释实现实例分割的方法800的流程图。图8A的方法800在表示为“A”的圆形标记之后继续到图8C，并且在表示为“B”的圆形标记之后从图8C返回到图8A。图8A的方法800在表示为“C”的圆形标记之后继续到图8D。
虽然出于说明的目的以特定顺序描绘和/或描述技术和过程，但是应当理解，在各种实施例的范围内可以重新排序和/或省略特定过程。此外，虽然图8所示的方法800可以由或用(并且在一些情况下，在下面关于以下项进行描述)图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的相应系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700(或其组件)实现，但也可以使用任何合适的硬件(或软件)实现来实现这样的方法。类似地，虽然图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的相应系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700(或其组件)中的每个可以根据图8所示的方法800(例如，通过执行体现在计算机可读介质上的指令)进行操作，但图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700也可以各自根据其他操作模式进行操作和/或执行其他合适的程序。
在图8A的非限制性实施例中，方法800在可选框802可以包括用计算系统对第一图像执行数据增强，第一图像包括第一生物样本的视场(“FOV”)。在可选框804，方法800可以用计算系统对第二图像执行(相同)数据增强，第二图像包括第一生物样本中感兴趣对象的实例的标记。
在一些实施例中，计算系统可以包括但不限于设置在工作环境中的计算系统、设置在工作环境外部并且可通过网络访问的远程计算系统、网络服务器、网络浏览器、或云计算系统和/或类似物中的一种。在一些情况下，工作环境可以包括但不限于实验室、诊所、医疗设施、研究设施、医疗保健设施或房间等和/或类似物中的至少一种。在一些情况下，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种。在一些情况下，感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。在一些情况下，第二图像中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、或仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、和/或类似物中的至少一种。在一些情况下，第一图像和第二图像的数据增强可以包括但不限于弹性增强或颜色增强(在一些情况下配置为便于实例分割)和/或类似物中的至少一种。
方法800可以包括接收第一图像或增强的第一图像(框806)和接收第二图像或增强的第二图像(框808)。在框810，方法800可以包括使用编码器对第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像不同于第三编码图像。方法800可以继续到框812处的过程，或者可以在图8C中在表示为“A”的圆形标记之后继续到框838处的过程。
在框812，方法800可以包括训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例。在一些实施例中，AI系统可以包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或全卷积网络(“FCN”)(可以包括U-Net框架等)和/或类似物中的至少一种。方法800还可以包括，在框814，使用AI系统或(更新的)AI模型的回归层基于第一图像生成第五图像和第六图像，第六图像不同于第五图像。方法800还可以包括用计算系统且使用解码器对第五图像和第六图像进行解码以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记(框816)；用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果(可选框818)；并用计算系统在显示屏上显示生成的实例分割评估结果(可选框820)。在一些实施例中，解码第五图像和第六图像以生成第七图像(在框816)可以包括用计算系统且使用解码器，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作解码第五图像和第六图像以生成第七图像。在应用一个或多个形态学操作的情况下，在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，方法800可以包括用计算系统应用分水岭算法以生成第七图像。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。根据一些实施例，生成实例分割评估结果(在框818)可以包括使用一个或多个指标来评估实例分割性能，该一个或多个指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标或联合dice指标和/或类似物中的至少一种。在一些情况下，实例分割评估结果可以包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。
方法800可以在表示为“C”的圆形标记之后继续到图8D中的框852处的过程。
参考图8B，对第二图像进行编码以生成第三编码图像和第四编码图像(在框810)可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的质心(框822)；并且用计算系统生成第三编码图像，第三编码图像包括对感兴趣对象的每个标记实例的质心的突出显示(框824)。在一些实施例中，对第二图像进行编码以生成第三编码图像和第四编码图像(在框810)还可以包括用计算系统计算第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量(框826)；以及用计算系统计算第一函数以生成第一接近度图，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图(框828)。替代地或附加地，对第二图像进行编码以生成第三编码图像和第四编码图像(在框810)可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的边缘或边界(框830)；并且用计算系统生成第四编码图像，第四编码图像包括对感兴趣对象的每个标记实例的边缘或边界的突出显示(框832)。在一些实施例中，对第二图像进行编码以生成第三编码图像和第四编码图像(在框810)还可以包括用计算系统计算第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量(框834)；以及用计算系统计算第二函数以生成第二接近度图，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图(框836)。
根据一些实施例，第二图像中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释和/或类似物中的至少一种。在图8C中的框838(在表示为“A”的圆形标记之后)，方法800可以包括用计算系统用第四编码图像和第六图像中的对应像素中的部分注释屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像的部分注释屏蔽感兴趣对象的第二实例，并且用计算系统用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。方法800还可以包括用计算系统至少部分地基于计算的每个像素的第一距离度量、第一函数或第一接近度图中的至少一种为第三编码图像中的每个像素分配第一加权像素值(框840)并且至少部分地基于计算的每个像素的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值(框842)。在框844，方法800可以包括用计算系统确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值。在框846，方法800可以包括用计算系统确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值。方法800还可以包括，在框848，用计算系统使用损失函数，基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值的乘积和第四编码图像中每个像素的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值的乘积计算损失值。损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。在框850，方法800可以包括用AI系统通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。方法800可以在表示为“B”的圆形标记之后返回到图8A中的框812处的过程。在一些情况下，生成第五图像和第六图像(在框814)可以包括使用AI系统的回归层或使用更新的AI模型基于第一图像生成第五图像和第六图像。
在图8D中的框852处(在表示为“C”的圆形标记之后)，方法800可以包括用计算系统接收第八图像，第八图像包括不同于第一生物样本的第二生物样本的FOV。方法800还可以包括，在框854，使用由训练的AI系统生成或更新的AI模型基于第八图像生成两个或更多个图像，这两个或更多个图像彼此不同。在框856，方法800可以包括用计算系统且使用解码器对两个或更多个图像进行解码以生成第九图像，第九图像包括第二生物样本中感兴趣对象的实例的预测标记。
在一些实施例中，解码第五图像和第六图像以生成第七图像可以包括用计算系统且使用解码器，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作或直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种解码第五图像和第六图像以生成第七图像。在应用一个或多个形态学操作的情况下，该方法可以包括，在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，应用分水岭算法以生成第七图像(图8中未显示)。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。
类似地，解码两个或更多个图像以生成第九图像可以包括用计算系统且使用解码器，通过应用在生成第九图像之前识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码两个或更多个图像以生成第九图像的一个或多个机器学习操作中的至少一种解码两个或更多个图像以生成第九图像。在应用一个或多个形态学操作的情况下，该方法可以包括，在通过应用识别两个或更多个图像中的每个中的前景和背景标记的一个或多个形态学操作来解码两个或更多个图像之后，应用分水岭算法以生成第九张图像(图8中也未显示)。
图9A-图9D(统称为“图9”)是示出根据各种实施例的用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法900的流程图。图9A的方法900在表示为“A”的圆形标记之后继续到图9B，在表示为“B”的圆形标记之后从图9B继续到图9C，并且在表示为“C”的圆形标记之后从图9C继续到图9D。
虽然出于说明的目的以特定顺序描绘和/或描述了技术和过程，但是应当理解，在各种实施例的范围内可以重新排序和/或省略特定过程。此外，虽然图9所示的方法900可以由或用(并且在一些情况下，在下面关于以下项进行描述)图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的相应系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700(或其组件)实现，但也可以使用任何合适的硬件(或软件)实现来实现这样的方法。类似地，虽然图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的相应系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700(或其组件)中的每个可以根据图9所示的方法900(例如，通过执行体现在计算机可读介质上的指令)进行操作，但图1、图2A、图2B、图2C、图3A、图3B、图3C、图3D、图3E、图4、图5、图6和图7的系统、示例或实施例100、200、200'、200"、300、300'、300"、300'"、300""、400、500、600和700也可以各自根据其他操作模式进行操作和/或执行其他合适的程序。
在图9A的非限制性实施例中，方法900在框902可以包括用计算系统生成用户界面，该用户界面配置为使用生物样本的图像内的感兴趣对象的完整注释或部分注释中的至少一种来收集训练数据。在框904，方法900可以包括用计算系统并且在用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像。
在一些实施例中，计算系统可以包括但不限于设置在工作环境中的计算系统、设置在工作环境外部并且可通过网络访问的远程计算系统、网络服务器、网络浏览器、或云计算系统和/或类似物中的一种。在一些情况下，工作环境可以包括但不限于实验室、诊所、医疗设施、研究设施、医疗保健设施或房间和/或类似物中的至少一种。在一些情况下，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种。
方法900还可以包括用计算系统经由用户界面从用户(例如，病理学家、临床医生、医生、护士或实验室技术员等)接收第一用户输入，第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置(框906)；用计算系统至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法(其可以包括但不限于对象检测算法、像素识别算法、边缘检测算法和/或类似物)分析对应位置中或周围的像素，生成第一多个感兴趣对象中的每个感兴趣对象周围的边界(框908)；用计算系统经由用户界面从用户接收第二用户输入，第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置到新位置的移动(可选框910)；用计算系统至少部分地基于由第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置并且至少部分基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界(可选框912)；用计算系统经由用户界面从用户接收第三用户输入，第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释(可选框914)；并且用计算系统至少部分地基于第一图像内第三用户输入的位置在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置(可选框916)。方法900可以在表示为“A”的圆形标记之后继续到图9B中的可选框918处的过程。
在图9B中的可选框918(在表示为“A”的圆形标记之后)，方法900可以包括用计算系统经由用户界面从用户接收第四用户输入，第四用户输入指示第三多个感兴趣对象中的一个是未知的，或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类(例如，癌症、良性等)。方法900还可以包括，在可选框920，用计算系统至少部分地基于第一图像内第四用户输入的位置在第一图像中生成未知注释符号(即，表示未知实例或对象等的符号或注释)，该未知注释符号识别由第四用户输入表示的未知对象的位置，或者可以将第三多个感兴趣对象中的选定一个的实例类切换到由第四用户输入选择的另一个实例类(例如，在癌症和良性之间切换、在完整注释到部分注释之间切换、在部分注释到未知注释之间切换、在完整注释到未知注释之间切换等)。
根据一些实施例，第一用户输入可以包括但不限于点击输入或边界区域输入中的一种。在一些情况下，点击输入可以定义由点击输入识别的第一多个感兴趣对象中的一个第一对象的质心的位置，而边界区域输入可以定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域。在一些情况下，边界区域输入可以包括但不限于矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。在一些实施例中，第二用户输入可以包括但不限于点击和拖拽输入。在一些情况下，第三用户输入可以包括但不限于双击输入，其中第三用户输入选择或取消选择第二多个感兴趣对象中的一个周围的边界。在一些情况下，第四用户输入可以包括但不限于shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中第四用户输入可以包括但不限于在完整注释和未知注释之间转换或来自实例类列表的实例类之间的切换等中的一种。然而，各种实施例不限于这些特定输入，并且这些输入可以是用于指示完整注释、部分注释和/或未知注释等的任何合适的输入。
在框922，方法900可以包括用计算系统基于第一图像生成第二图像或注释数据集中的至少一种，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一种。
在可选框924处，方法900可以包括用计算系统对第一图像和第二图像执行数据增强。在一些情况下，第一图像和第二图像的数据增强可以包括但不限于弹性增强或颜色增强(在一些情况下配置为便于实例分割)和/或类似物中的至少一种。方法900还可以包括，在可选框926，用计算系统且使用编码器对第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像不同于第三编码图像。在一些情况下，第三编码图像可以包含第一多个感兴趣对象中的每个的第一用户输入，而第四编码图像可以包含第二多个感兴趣对象中的每个的第二用户输入。
方法900还可以包括用计算系统计算第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量(可选框928)；用计算系统计算第一函数以生成第一接近度图，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图(可选框930)；用计算系统计算第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量(可选框932)；以及用计算系统计算第二函数以生成第二接近度图，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图(可选框934)。方法900可以在表示为“B”的圆形标记之后继续到图9C中的可选框939处的过程。
根据一些实施例，第二图像中感兴趣对象的实例的标记可包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释和/或类似物中的至少一种。在图9C中的可选框936(在表示为“B”的圆形标记之后)，方法900可以包括用计算系统用第四编码图像中的部分注释和第六图像中的对象像素屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例，并且用计算系统用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。方法900还可以包括用计算系统至少部分地基于计算的每个像素的第一距离度量、第一函数或第一接近度图为第三编码图像中的每个像素分配第一加权像素值(可选框938)；并且用计算系统至少部分地基于计算的每个像素的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值(可选框940)。方法900还可以包括用计算系统确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值(可选框942)；用计算系统确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值(可选框944)；用计算系统使用损失函数，基于第三编码图像中每个像素的第一加权像素值乘以第三编码图像中每个像素与第五图像中对应像素之间的第一像素损失值的乘积和第四编码图像中每个像素的第二加权像素值乘以第四编码图像中每个像素与第六图像中对应像素之间的第二像素损失值的乘积计算损失值(可选框946)。在一些情况下，损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。在可选框948，方法900可以包括用AI系统通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。方法900可以在表示为“C”的圆形标记之后返回到图9D中的框950处的过程。
在可选框950(在表示为“C”的圆形标记之后)，方法900可以包括训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像预测感兴趣对象的实例。方法900还可以包括使用AI系统或(更新的)AI模型的回归层基于第一图像生成第五图像和第六图像，第六图像不同于第五图像(可选框952)；用计算系统且使用解码器对第五图像和第六图像进行解码以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记(可选框954)；用计算系统比较第七图像和第二图像以生成实例分割评估结果(可选框956)；并且用计算系统在显示屏上显示生成的实例分割评估结果(可选框958)。根据一些实施例，生成实例分割评估结果(在框956)可以包括使用一个或多个指标来评估实例分割性能，该一个或多个指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标或联合dice指标和/或类似物中的至少一种。在一些情况下，实例分割评估结果可以包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。
示例性系统和硬件实现
图10是示出根据各种实施例的示例性计算机或系统硬件架构的框图。图10提供了服务提供商系统硬件的计算机系统1000的一个实施例的示意图，计算机系统1000可以执行由各种其他实施例提供的方法，如本文所述，和/或可以执行计算机或硬件系统(即、计算系统105a、105b、205和205'、人工智能(“AI”)系统110a和110b、显示设备120、用户设备130、编码器210、U-Net系统或架构215、损失函数系统220、解码器225、准确度评估系统230和数据增强系统235等)的功能，如上所述。应注意，图10仅意在提供各种组件的概括说明，其中可酌情使用其中的一个或多个(或不使用)。因此，图10广泛地示出了如何以相对分离或相对更集成的方式实现各个系统元素。
计算机或硬件系统1000——其可以代表计算机或硬件系统(即，计算系统105a、105b、205和205'、AI系统110a和110b、显示设备120、用户设备130、编码器210、U-Net系统或架构215、损失函数系统220、解码器225、准确度评估系统230和数据增强系统235等)的实施例，如上文关于图1-图9所述——被示出包括可以经由总线1005电耦合(或者可以以其他方式通信，视情况而定)的硬件元件。硬件元件可以包括一个或多个处理器1010，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如微处理器、数字信号处理芯片、图形加速处理器和/或类似物)；一个或多个输入设备1015，其可以包括但不限于鼠标、键盘和/或类似物；以及一个或多个输出设备1020，其可以包括但不限于显示设备、打印机和/或类似物。
计算机或硬件系统1000还可以包括(和/或与之通信)一个或多个存储设备1025，其可以包括但不限于本地和/或网络可访问存储装置，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，它们可以是可编程的、可闪存更新的，和/或类似物。这样的存储设备可以配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构和/或类似物。
计算机或硬件系统1000还可以包括通信子系统1030，其可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组(例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、WWAN设备、蜂窝通信设施等)和/或类似物。通信子系统1030可以允许与网络(例如下面描述的网络，仅举一个例子)、其他计算机或硬件系统和/或本文描述的任何其他设备交换数据。在许多实施例中，计算机或硬件系统1000将进一步包括工作存储器1035，其可以包括如上所述的RAM或ROM设备。
计算机或硬件系统1000还可以包括软件元素，显示为当前位于工作存储器1035内，包括操作系统1040、设备驱动程序、可执行库和/或其他代码，例如一个或多个应用程序1045，其可以包括由各种实施例(包括但不限于管理程序、VM等)提供的计算机程序，和/或可以被设计为实现由其他实施例提供的方法和/或配置由其他实施例提供的系统，如本文所述。仅作为示例，关于上述方法描述的一个或多个过程可以被实现为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；在一方面，则这样的代码和/或指令可用于配置和/或适配通用计算机(或其他设备)以根据所描述的方法执行一个或多个操作。
一组这些指令和/或代码可以被编码和/或存储在非暂时性计算机可读存储介质上，例如上述存储设备1025。在一些情况下，存储介质可以被并入计算机系统(例如系统1000)中。在其他实施例中，存储介质可以与计算机系统分离(即，可移除介质，例如光盘等)，和/或在安装包中提供，使得存储介质可用于对具有存储在其上的指令/代码的通用计算机进行编程、配置和/或适配。这些指令可采用可执行代码的形式，其可由计算机或硬件系统1000执行，和/或可采用源代码和/或可安装代码的形式，其在编译和/或安装在计算机或硬件系统1000上时(例如，使用各种普遍可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)然后采用可执行代码的形式。
对本领域技术人员来说显而易见的是，可以根据具体要求做出实质性的变化。例如，也可以使用定制的硬件(例如可编程逻辑控制器、现场可编程门阵列、专用集成电路和/或类似物)，和/或可以在硬件、软件(包括便携式软件，如小程序等)或两者中实现特定元素。此外，可以采用与诸如网络输入/输出设备之类的其他计算设备的连接。
如上所述，一方面，一些实施例可以采用计算机或硬件系统(例如计算机或硬件系统1000)来执行根据本发明的各种实施例的方法。根据一组实施例，这些方法的一些或全部过程由计算机或硬件系统1000响应于处理器1010执行包含在工作存储器1035中的一个或多个指令的一个或多个序列(其可并入操作系统1040和/或其他代码，例如应用程序1045)来执行。这些指令可以从另一计算机可读介质(例如一个或多个存储设备1025)读入工作存储器1035。仅作为示例，包含在工作存储器1035中的指令序列的执行可能使处理器1010执行这里描述的方法的一个或多个过程。
如这里所使用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机或硬件系统1000实现的实施例中，各种计算机可读介质可涉及向处理器1010提供指令/代码以供执行和/或可用于存储和/或携带此类指令/代码(例如，作为信号)。在许多实现中，计算机可读介质是非暂时性、物理和/或有形存储介质。在一些实施例中，计算机可读介质可以采用多种形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘和/或磁盘，例如存储设备1025。易失性介质包括但不限于动态存储器，例如工作存储器1035。在一些替代实施例中，计算机可读介质可以采用传输介质的形式，其包括但不限于同轴电缆、铜线和光纤，包括包含总线1005的电线，以及通信子系统1030(和/或通信子系统1030通过其提供与其他设备的通信的介质)的各种组件。在另一组实施例中，传输介质还可以采用波的形式(包括但不限于无线电波、声波和/或光波，例如在无线电波和红外数据通信期间产生的那些)。
物理和/或有形计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质、打孔卡、纸带、任何其他带有孔图案的物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带、下文所述的载波、或任何其他计算机可以读取指令和/或代码的介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列携带到处理器1010以供执行。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并且将指令作为信号通过传输介质发送以被计算机或硬件系统1000接收和/或执行。根据本发明的各种实施例，这些信号(可以是电磁信号、声学信号、光信号和/或类似信号的形式)都是可以在其上编码指令的载波的示例。
通信子系统1030(和/或其组件)通常将接收信号，然后总线1005可以将信号(和/或由信号携带的数据、指令等)传送到工作存储器1035，处理器1005从中取回并执行指令。工作存储器1035接收的指令可以可选地在处理器1010执行之前或之后存储在存储设备1025上。
如上所述，一组实施例包括用于实现数字显微成像的方法和系统，更具体地，涉及用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割、和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置。图11示出了可以根据一组实施例使用的系统1100的示意图。系统1100可以包括一个或多个用户计算机、用户设备或客户设备1105。用户计算机、用户设备或客户设备1105可以是运行各种商用UNIXTM或类UNIX操作系统中的任一种的通用个人计算机(包括，仅作为示例，台式计算机、平板计算机、膝上型计算机、手持计算机等，运行任何适当的操作系统，其中一些可从诸如Apple、Microsoft Corp.等供应商处获得)、云计算设备、服务器和/或工作站计算机。用户计算机、用户设备或客户设备1105还可以具有各种应用程序中的任一种，包括配置为执行由各种实施例提供的方法的一个或多个应用程序(例如，如上所述)、以及一个或多个办公应用程序、数据库客户端和/或服务器应用程序和/或网络浏览器应用程序。替代地，用户计算机、用户设备或客户设备1105可以是能够通过网络(例如，下面描述的网络1110)通信和/或显示和导航网页或其他类型的电子文档的任何其他电子设备，例如瘦客户端计算机、支持互联网的移动电话和/或个人数字助理。尽管示例性系统1100被示为具有两个用户计算机、用户设备或客户设备1105，但是可以支持任何数量的用户计算机、用户设备或客户设备。
某些实施例在联网环境(其可以包括网络1110)中操作。网络1110可以是本领域技术人员熟悉的任何类型的网络，其可以支持使用各种商用(和/或免费或专有)协议(包括但不限于TCP/IP、SNATM、IPXTM、AppleTalkTM等)的数据通信。仅作为示例，网络1110(类似于图1的网络155等)可各自包括局域网(“LAN”)，包括但不限于光纤网络、以太网网络、令牌环TM网络等；广域网(“WAN”)；无线广域网(“WWAN”)；虚拟网络，例如虚拟专用网络(“VPN”)；互联网；内联网；外联网；公共交换电话网(“PSTN”)；红外线网络；无线网络，包括但不限于在任何IEEE 802.11协议套件、本领域已知的蓝牙TM协议和/或任何其他无线协议下运行的网络；和/或这些和/或其他网络的任何组合。在特定实施例中，网络可以包括服务提供商(例如，互联网服务提供商(“ISP”))的接入网络。在另一个实施例中，网络可以包括服务提供商的核心网络和/或互联网。
实施例还可以包括一个或多个服务器计算机1115。每个服务器计算机1115可以配置有操作系统，包括但不限于上面讨论的任何操作系统，以及任何商用(或免费)可用的服务器操作系统。每个服务器1115也可以运行一个或多个应用程序，这些应用程序可以配置为向一个或多个客户端1105和/或其他服务器1115提供服务。
仅作为示例，如上所述，服务器1115之一可以是数据服务器、网络服务器、云计算设备等。数据服务器可以包括(或与之通信)网络服务器，仅作为示例，其可用于处理来自用户计算机1105的网页或其他电子文档的请求。网络服务器还可以运行各种服务器应用程序，包括HTTP服务器、FTP服务器、CGI服务器、数据库服务器、Java服务器等。在本发明的一些实施例中，网络服务器可以配置为提供可以在一个或多个用户计算机1105上的网络浏览器内操作的网页以执行本发明的方法。
在一些实施例中，服务器计算机1115可以包括一个或多个应用程序服务器，其可以配置有一个或多个应用程序，该应用程序可由在客户端计算机1105和/或其他服务器1115中的一个或多个上运行的客户端访问。仅通过示例，服务器1115可以是能够响应用户计算机1105和/或其他服务器1115而执行程序或脚本(包括但不限于网络应用程序(在一些情况下可以配置为执行由各种实施例提供的方法))的一个或多个通用计算机。仅通过示例，网络应用程序可以实现为以任何合适的编程语言(例如JavaTM、C、C#TM或C++)和/或任何脚本语言(例如Perl、Python或TCL)编写的一个或多个脚本或程序，以及任何编程和/或脚本语言的组合。应用程序服务器还可以包括数据库服务器，包括但不限于可从OracleTM、MicrosoftTM、SybaseTM、IBMTM等商购获得的数据库服务器，它们可以处理来自在用户计算机、用户设备或客户设备1105和/或另一服务器1115上运行的客户端的请求(包括，取决于配置、专用数据库客户端、API客户端、网络浏览器等)。在一些实施例中，应用程序服务器可以执行用于实现数字显微成像的过程中的一个或多个，更具体地，用于使用基于深度学习的分割实现数字显微成像、基于部分注释实现实例分割，和/或实现配置为便于生物样本内的实例分割的用户注释的用户界面的方法、系统和装置，如上面详细描述的。由应用程序服务器提供的数据可以被格式化为一个或多个网页(例如，包括HTML、JavaScript等)和/或可以经由网络服务器(例如如上所述)转发到用户计算机1105。类似地，网络服务器可以从用户计算机1105接收网页请求和/或输入数据和/或将网页请求和/或输入数据转发到应用程序服务器。在一些情况下，网络服务器可以与应用程序服务器集成在一起。
根据进一步的实施例，一个或多个服务器1115可以用作文件服务器和/或可以包括运行在用户计算机1105和/或另一个服务器1115上的应用程序并入的实现各种公开的方法所必需的一个或多个文件(例如，应用程序代码、数据文件等)。替代地，如本领域技术人员将理解的，文件服务器可以包括允许这样的应用程序被用户计算机、用户设备、或客户设备1105和/或服务器1115远程调用的所有必要的文件。
应当注意，关于本文中的各种服务器(例如，应用程序服务器、数据库服务器、网络服务器、文件服务器等)描述的功能可以由单个服务器和/或多个专用服务器来执行，取决于实现特定的需求和参数。
在某些实施例中，系统可以包括一个或多个数据库1120a-1120n(统称为“数据库1120”)。每个数据库1120的位置是任意的：仅作为示例，数据库1120a可以驻留在服务器1115a(和/或用户计算机、用户设备或客户设备1105)本地(和/或驻留在其中)的存储介质上。替代地，数据库1120n可以远离任何或所有计算机1105、1115，只要它可以与这些中的一个或多个通信(例如，通过网络1110)。在一组特定的实施例中，数据库1120可以驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。(同样，用于执行属于计算机1105、1115的功能的任何必要文件可以本地存储在相应计算机上和/或远程存储，视情况而定。)在一组实施例中，数据库1120可以是关系数据库，例如Oracle数据库，它适用于响应于SQL格式的命令存储、更新和检索数据。例如，如上所述，数据库可以由数据库服务器控制和/或维护。
根据一些实施例，系统1100还可以包括计算系统1125(类似于图1的计算系统105a等)和对应的数据库1130(类似于图1的数据库110a等)。系统1100还可以包括显示设备1135(类似于图1的显示设备120等)，其用于允许用户1140查看显示在显示设备1135上的第一生物样本的光学视图(例如，如图3A-图3E的用户界面等中所示)。用户1140可以使用一个或多个用户设备1145(类似于图1的用户设备130等；包括但不限于智能手机、移动电话、平板计算机、膝上型计算机、台式计算机、键盘、小键盘、计算机鼠标或显示器和/或类似物)。在一些实施例中，系统1100还可包括一个或多个音频传感器1150(可选；类似于图1的音频传感器135等；包括但不限于一个或多个麦克风、一个或多个语音记录器、或一个或多个录音机和/或类似物)、相机1155(可选；类似于图1的相机140等；包括但不限于一个或多个眼睛追踪传感器、一个或多个多个运动传感器、或一个或多个跟踪传感器和/或类似物)和显微镜1160(可选；类似于图1的显微镜145等)。在一些情况下，当用户在显示设备1135上或通过显微镜1160的目镜查看第一生物样本的FOV时，音频传感器1150可用于记录用户1140的声音或口头注释。当用户在显示设备1135上或通过显微镜1160的目镜查看第一生物样本的FOV时，当用户1140在相机1155的视场(“FOV”)1155a内时，相机1155可以捕获用户1140的图像(在一些情况下，捕获用户1140的至少一只眼睛的图像)。在一些情况下，计算系统1125、数据库1130、显示设备1135、用户设备1145、音频传感器1150(可选)、相机1155(可选)和/或显微镜1160(可选)中的两个或更多个可以放置在工作环境1165中，工作环境可以包括但不限于实验室、诊所、医疗设施、研究设施、医疗保健设施或房间和/或类似物中的至少一种。
作为计算系统1125和相应数据库1130的替代或附加，系统1100还可以包括远程计算系统1170(类似于图1的远程计算系统105b等)和相应的数据库1175(类似于图1的数据库110b等)。在一些实施例中，系统1100还可以包括人工智能(“AI”)系统1180。在一些实施例中，计算系统1125和/或1170可以包括但不限于设置在工作环境中的计算系统、设置在工作环境外部并可通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统和/或类似物中的一种。根据一些实施例，AI系统1180可以包括但不限于机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或全卷积神经网络(“FCN”)和/或类似物中的至少一种。
在操作中，计算系统1125、远程计算系统1170和/或AI系统1180(统称为“计算系统”等)可以对第一图像和第二图像(可选)执行数据增强，第一图像包括第一生物样本的视场(“FOV”)，第二图像包括第一生物样本中感兴趣对象的实例的标记。在一些情况下，第一生物样本可以包括但不限于人体组织样本、动物组织样本或植物组织样本和/或类似物中的一种，其中感兴趣对象可以包括但不限于正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构和/或类似物中的至少一种。在一些实施例中，第一图像和第二图像的数据增强可以包括但不限于弹性增强或颜色增强和/或类似物中的至少一种(在一些情况下配置为便于实例分割)。
计算系统可以接收(增强的)第一图像和(增强的)第二图像。计算系统可以训练AI系统1180以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。在一些实施例中，至少两个图像可以包括但不限于至少突出显示第二图像中感兴趣对象的每个标记实例的质心的质心层图像和突出显示第二图像中感兴趣对象的每个标记实例的边缘或边界的边界层图像。替代地，至少两个图像可以包括但不限于至少质心层图像、边界层图像和语义分割层图像，质心层图像突出显示第二图像中感兴趣对象的每个标记实例的质心，边界层图像突出显示第二图像中感兴趣对象的每个标记实例的边缘或边界，语义分割层图像包括第二图像中感兴趣对象的每个标记实例的语义分割数据。在其他替代实施例中，至少两个图像可以包括任何数量的图像或表面，它们突出显示第一生物样本中感兴趣对象的实例的不同方面。
在一些实施例中，作为训练AI系统的以生成或更新AI模型以至少部分地基于根据第二图像等生成的多组至少两个图像来预测感兴趣对象的实例的一部分，计算系统可以使用编码器(可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独的设备(在一些情况下，专用编码器等))，对(增强的)第二图像进行编码以生成第三编码图像和第四编码图像，第四编码图像不同于第三编码图像。在一些实施例中，对第二图像进行编码以生成第三编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的质心；并且用计算系统生成第三编码图像，第三编码图像包括对感兴趣对象的每个标记实例的质心的突出显示。在一些情况下，对第二图像进行编码以生成第四编码图像可以包括用计算系统计算第二图像中感兴趣对象的每个标记实例的边缘或边界；以及用计算系统生成第四编码图像，第四编码图像包括对感兴趣对象的每个标记实例的边缘或边界的突出显示。
根据一些实施例，对第二图像进行编码以生成第三编码图像还可以包括计算系统计算：第三编码图像中的每个像素与感兴趣对象的每个标记实例的每个质心之间的第一距离度量；以及生成第一接近度图的第一函数，第一函数是第一距离度量的函数，第三编码图像包括第一接近度图。同样，对第二图像进行编码以生成第四编码图像还可以包括计算系统计算：第四编码图像中的每个像素与感兴趣对象的每个标记实例的边缘或边界的最近边缘像素之间的第二距离度量；以及生成第二接近度图的第二函数，第二函数是第二距离度量的函数，第四编码图像包括第二接近度图。在一些情况下，计算系统可以至少部分地基于为每个像素计算的第一距离度量、第一函数或第一接近度图中的至少一种为第三编码图像中的每个像素分配第一加权像素值；并且可以至少部分地基于为每个像素计算的第二距离度量、第二函数或第二接近度图中的至少一种为第四编码图像中的每个像素分配第二加权像素值。
在一些实施例中，计算系统可以确定第三编码图像中的每个像素与第五图像中的对应像素之间的第一像素损失值；并且可以确定第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值。计算系统可以使用损失函数基于第三编码图像中的每个像素的第一加权像素值乘以第三编码图像中的每个像素与第五图像的对应像素之间的第一像素损失值的乘积和第四编码图像中的每个像素中的第二加权像素值乘以第四编码图像中的每个像素与第六图像中的对应像素之间的第二像素损失值的乘积计算损失值。在一些情况下，损失函数可以包括但不限于均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数和/或类似物中的一种。
在一些实施例中，AI系统可以通过基于计算的损失值更新AI模型的一个或多个参数来更新AI模型。在一些情况下，一个或多个参数可以包括但不限于单个参数、两个到一百个(包括在内)之间的多个参数、一百到一千个(包括在内)之间的多个参数、一千到一百万(包括在内)之间的多个参数、或更多。计算系统可以使用更新的AI模型基于第一图像生成第五图像和第六图像。
在一些情况下，第二图像中感兴趣对象的实例的标记可以包括但不限于识别感兴趣对象的第一实例的质心和边缘的感兴趣对象的第一实例的完整注释、仅识别感兴趣对象的第二实例的质心的感兴趣对象的第二实例的部分注释、或既不识别质心也不识别边缘的感兴趣对象的第三实例的未知注释(即，否则表示为未知)和/或类似物中的至少一种。在一些实施例中，计算系统可以在计算损失值之前用第四编码图像和第六图像中的对应像素中的部分注释屏蔽感兴趣对象的第二实例，而不用第三编码图像或第五图像中的部分注释屏蔽感兴趣对象的第二实例，并且可以在计算损失值之前用第三编码图像和第五图像中的对应像素以及第四编码图像和第六图像中的对应像素中的未知注释屏蔽感兴趣对象的第三实例。在一些情况下，对于部分注释或未知注释，屏蔽感兴趣对象的第二实例或第三实例的至少一部分可以包括屏蔽掉第三编码图像和/或第四编码图像中的圆，圆表示距质心或距由用户输入(例如，鼠标点击等)表示的部分注释对象内的点的距离。在一些情况下，圆半径可能是预先定义的，或者可能是根据来自同一区域中对象的完整注释的信息“即时”计算的。尽管描述了圆形屏蔽，但可以适当或根据需要使用其他多边形或几何形状。替代地，屏蔽可以包括将第三编码图像中的特定像素和第五图像中的相应像素(或第四编码图像中的特定像素和第六图像中的相应像素)的权重改变为相同的值，以便它们在逐像素比较时相互抵消。
计算系统可以使用解码器(其可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用解码器等))解码第五图像和第六图像以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记，在一些情况下，通过应用在生成第七图像之前识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作或者直接解码第五图像和第六图像以生成第七图像的一个或多个机器学习操作中的至少一种。在一些情况下，应用一个或多个形态学操作或一个或多个机器学习操作中的至少一种可以包括应用一个或多个形态学操作，其中在通过应用识别第五图像和第六图像中的每个中的前景和背景标记的一个或多个形态学操作来解码第五图像和第六图像之后，计算系统可以应用分水岭算法以生成第七图像。在一些情况下，一个或多个形态学操作可以包括但不限于重构开放变换或区域H-最小值变换和/或类似物中的至少一种。
根据一些实施例，计算系统可以将第七图像与第二图像进行比较以生成实例分割评估结果。在一些情况下，生成实例分割评估结果可以包括使用一个或多个指标评估实例分割性能，这些指标可以包括但不限于聚合Jaccard指数(“AJI”)指标、F1指标、dice指标、平均dice指标或联合dice指标和/或类似物中的至少一种。在一些情况下，实例分割评估结果可以包括但不限于实例分割评估指标、一个或多个数值形式的实例分割评估分数、或实例分割分类(包括但不限于真阳性(“TP”)、真阴性(“TN”)、假阳性(“FP”)、假阴性(“FN”)、过度分割或欠分割等)和/或类似物中的至少一种。计算系统可以在显示屏上显示生成的实例分割评估结果。
在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于根据第二图像生成的多组至少两个图像来预测感兴趣对象的实例可以包括至少对第二图像进行编码以生成第三编码图像和第四编码图像，训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例，生成第五图像和第六图像，解码第五图像和第六图像以生成第七图像，以及将第七图像与第二图像进行比较等。尽管使用两个图像(在这种情况下，第三编码图像和第四编码图像)来训练AI系统，但是各种实施例不限于此，并且可以使用多于两个图像(或表面)。
根据一些实施例，计算系统可以接收第八图像，第八图像包括不同于第一生物样本的第二生物样本的FOV；可以使用由经过训练的AI系统生成或更新的AI模型基于第八图像生成两个或更多个图像，这两个或更多个图像彼此不同；并且可以使用解码器对两个或更多个图像进行解码以生成第九图像，第九图像包括第二生物样本中感兴趣对象的实例的预测标记。通过这种方式，经过训练的AI系统和/或AI模型可用于预测新生物样本中感兴趣对象的实例的标记——在没有对应于新生物样本的地面实况图像(或先前用户注释的图像)的一些情况下。
替代地或附加地，计算系统可以生成用户界面，该用户界面配置为使用生物样本图像内感兴趣对象的完整注释或部分注释中的至少一种来收集训练数据，并且可以在用户界面的显示部分内显示包括第一生物样本的FOV的第一图像。计算系统可以经由用户界面从用户(例如，病理学家、临床医生、医生、护士或实验室技术员等)接收第一用户输入，该第一用户输入指示在用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的每个的存在或位置。计算系统可以至少部分地基于由第一用户输入识别的第一图像内的第一多个对象中的每个的位置并且至少部分地基于使用算法(其可包括但不限于对象检测算法、像素识别算法、边缘检测算法和/或类似物)分析相应位置中或周围的像素来生成第一多个感兴趣对象中的每个感兴趣对象周围的边界。
在一些情况下，计算系统可以经由用户界面从用户接收第二用户输入，该第二用户输入指示第一多个感兴趣对象中的一个感兴趣对象内的点从第一图像内的先前位置到新位置的移动，并且可以至少部分地基于由第二用户输入表示的第一图像内的第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置、并且至少部分地基于使用算法分析第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成用户界面的显示部分中显示的第一图像内包含的第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，新边界替换先前在第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。在一些情况下，计算系统可以经由用户界面从用户接收第三用户输入，该第三用户输入指示在用户界面的显示部分中显示的第一图像内包含的第二多个感兴趣对象中的一个的部分注释，并且可以至少部分地基于第一图像内第三用户输入的位置在第一图像中生成部分注释符号，该部分注释符号识别第二多个感兴趣对象中的一个的没有边界的质心的位置。在一些情况下，计算系统可以经由用户界面从用户接收第四用户输入，该第四用户输入指示第三多个感兴趣对象中的一个是未知的或者第三多个感兴趣对象中的一个的实例类应该切换到另一个实例类(例如，癌症、良性等)，并且可以至少部分地基于第一图像内第四用户输入的位置在第一图像中生成识别由第四用户输入表示的未知对象的位置的未知注释符号(即，表示未知实例或对象的符号或注释等)，或者可以将第三多个感兴趣对象中的所选对象的实例类切换为由第四个用户输入选择的另一个实例类(例如，在癌症和良性之间切换，在完整注释和部分注释之间切换，在部分注释和未知注释之间切换，在完整注释和未知注释之间切换等)。
根据一些实施例，第一用户输入可以包括但不限于点击输入或边界区域输入中的一种。在一些情况下，点击输入可以定义由点击输入识别的第一多个感兴趣对象中的一个第一对象的质心的位置，而边界区域输入可以定义标记由边界区域输入识别的第一多个感兴趣对象中的一个第二对象的边界的外部界限的第一图像内的区域。在一些情况下，边界区域输入可以包括但不限于矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入和/或类似物中的一种。在一些实施例中，第二用户输入可以包括但不限于点击和拖拽输入。在一些情况下，第三用户输入可以包括但不限于双击输入，其中第三用户输入选择或取消选择第二多个感兴趣对象中的一个周围的边界。在一些情况下，第四用户输入可以包括但不限于shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中第四用户输入可以包括但不限于在完整注释和未知注释之间转换或来自实例类列表的实例类之间的切换等。然而，各种实施例不限于这些特定输入，并且这些输入可以是用于指示完整注释、部分注释和/或未知注释等的任何合适的输入。
计算系统可以基于第一图像生成第二图像或注释数据集中的至少一个，第二图像包括关于基于接收的第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个感兴趣对象中的每个的位置的数据，注释数据集包括基于第一用户输入和生成的由接收的第一用户输入识别的第一多个感兴趣对象中的每个感兴趣对象周围的边界的、第一图像内的第一多个对象中的每个的像素位置数据或坐标数据中的至少一种。以此方式，系统提供允许用户(或注释者)以有效方式生成注释的快速且高效的UI。特别是，用户不需要打开任何菜单或遵循一组复杂的操作来与注释系统的UI交互。通过单个操作(即，使用点击输入或边界区域输入等)，可以生成完整注释(即，在由点击输入或边界区域输入标记的位置周围生成边界等)。要更改自动生成的边界，用户只需使用单个操作(即，使用单击拖动输入等)在实例或对象内移动一个点，从而使系统重新绘制或重新生成实例或对象周围的新边界。因此，用户无需浪费时间在实例或对象的边缘或边界周围手动绘制以获得完整注释。类似地，通过单个操作(即shift加鼠标点击输入、按键加鼠标点击输入、或者鼠标/键盘组合等)，可以将完整注释更改为部分注释，或者可以更改实例或对象的类。操作不绑定特定的鼠标/键盘操作；相反，可以适当或根据需要使用或定制任何组合。
在一些实施例中，计算系统可以训练AI系统1180以生成或更新AI模型以至少部分地基于根据第二图像或注释数据集中的至少一个生成的多组至少两个图像来预测第一生物样本中感兴趣对象的实例，多组至少两个图像中的至少两个图像中的每个彼此不同。在一些情况下，训练AI系统以生成或更新AI模型以至少部分地基于至少两个图像来预测感兴趣对象的实例可以包括：用计算系统且使用编码器(其可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用编码器等))对第二图像或注释数据集中的至少一个进行编码以生成第三编码图像和第四编码图像，第四编码图像与第三编码图像不同；训练AI系统以生成或更新AI模型以至少部分地基于第三编码图像和第四编码图像来预测感兴趣对象的实例；使用AI系统生成或更新的AI模型基于第一图像并基于训练生成第五图像和第六图像，第六图像与第五图像不同；用计算系统且使用解码器(它可以是计算系统的软件和/或硬件的一部分，或者可以是与计算系统等通信的单独设备(在一些情况下，专用解码器等))解码第五图像和第六图像以生成第七图像，第七图像包括第一生物样本中感兴趣对象的实例的预测标记；以及(可选地)用计算系统将第七图像与第二图像进行比较以生成实例分割评估结果。第二图像的编码和AI系统1180的训练也可以如上文关于图9B等所描述的那样实现。
系统1100(及其组件)的这些和其他功能在上文关于图1-图9更详细地描述。
虽然已经关于示例性实施例描述了某些特征和方面，但是本领域技术人员将认识到许多修改是可能的。例如，这里描述的方法和过程可以使用硬件组件、软件组件和/或其任何组合来实现。此外，虽然为了便于描述可以针对特定的结构和/或功能组件来描述这里描述的各种方法和过程，但是各种实施例提供的方法不限于任何特定的结构和/或功能架构，而是可以在任何合适的硬件、固件和/或软件配置上实现。类似地，尽管某些功能归因于某些系统组件，但是除非上下文另有说明，否则该功能可以根据若干实施例分布在各种其他系统组件中。
此外，尽管为了便于描述以特定顺序描述了本文所述的方法和处理的过程，但是除非上下文另有规定，否则可以根据各种实施例重新排序、添加和/或省略各种过程。此外，关于一种方法或处理所描述的过程可以并入其他所描述的方法或处理中；同样，根据特定结构体系结构和/或关于一个系统描述的系统组件可以在替代结构体系结构中组织和/或合并到其他描述的系统中。因此，虽然为了便于描述和说明那些实施例的示例性方面而描述了具有或不具有某些特征的各种实施例，但是可以替换、添加和/或从其他描述的实施例中减去本文中关于特定实施例描述的各种组件和/或特征，除非上下文另有说明。因此，虽然以上描述了若干示例性实施例，但应当理解，本发明旨在涵盖在所附权利要求范围内的所有修改和等同物。

Claims (20)

1.一种方法，包括：
用计算系统生成用户界面，所述用户界面配置为使用生物样本的图像内的感兴趣对象的完整注释或部分注释中的至少一种来收集训练数据；
用所述计算系统在所述用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像；
用所述计算系统并且经由所述用户界面从用户接收第一用户输入，所述第一用户输入指示在所述用户界面的所述显示部分中显示的所述第一图像内包含的第一多个感兴趣对象中的每个感兴趣对象的存在或位置；
用所述计算系统至少部分地基于由所述第一用户输入识别的所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的位置并且至少部分地基于使用算法分析相应位置中或周围的像素，生成所述第一多个感兴趣对象中的每个感兴趣对象周围的边界；和
用所述计算系统基于所述第一图像生成第二图像或注释数据集中的至少一个，所述第二图像包括关于基于接收的所述第一用户输入和生成的由接收的所述第一用户输入识别的所述第一多个感兴趣对象中的每个感兴趣对象周围的边界的、所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的位置的数据，所述注释数据集包括基于所述第一用户输入和生成的由接收的所述第一用户输入识别的所述第一多个感兴趣对象中的每个感兴趣对象周围的边界的、所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的像素位置数据或坐标数据中的至少一种。
2.根据权利要求1所述的方法，其中所述计算系统包括布置在工作环境中的计算系统、布置在所述工作环境外部并且能通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统中的一种，其中所述工作环境包括实验室、诊所、医疗设施、研究设施、医疗保健设施或房间中的至少一种。
3.根据权利要求1所述的方法，其中所述第一生物样本包括人体组织样本、动物组织样本或植物组织样本中的一种，其中所述感兴趣对象包括正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构中的至少一种。
4.根据权利要求1所述的方法，还包括：
用所述计算系统并且经由所述用户界面从用户接收第二用户输入，所述第二用户输入指示所述第一多个感兴趣对象中的一个感兴趣对象内的点从所述第一图像内的先前位置到新位置的移动；和
用所述计算系统至少部分地基于由所述第二用户输入表示的所述第一图像内的所述第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置、并且至少部分地基于使用所述算法分析所述第一多个感兴趣对象中的所述一个感兴趣对象内的点的新位置中或周围的像素，生成所述用户界面的所述显示部分中显示的所述第一图像内包含的所述第一多个感兴趣对象中的所述一个感兴趣对象周围的新边界，所述新边界替换先前在所述第一多个感兴趣对象中的所述一个感兴趣对象周围生成的边界。
5.根据权利要求4所述的方法，还包括：
用所述计算系统并且经由所述用户界面从用户接收第三用户输入，所述第三用户输入指示在所述用户界面的所述显示部分中显示的所述第一图像内包含的第二多个感兴趣对象中的一个感兴趣对象的部分注释；和
用所述计算系统至少部分地基于所述第一图像内的所述第三用户输入的位置，在所述第一图像中生成部分注释符号，所述部分注释符号识别所述第二多个感兴趣对象中的所述一个感兴趣对象的没有边界的质心的位置。
6.根据权利要求5所述的方法，还包括：
用所述计算系统并且经由所述用户界面从用户接收第四用户输入，所述第四用户输入指示所述第三多个感兴趣对象中的一个感兴趣对象是未知的或者所述第三多个感兴趣对象中的一个感兴趣对象的实例类应该切换到另一实例类；和
用所述计算系统至少部分地基于所述第一图像内的所述第四用户输入的位置，在所述第一图像中生成识别由所述第四用户输入表示的未知对象的位置的未知注释符号，或者用所述计算系统将所述第三多个感兴趣对象中的所选感兴趣对象的实例类切换到由所述第四用户输入选择的另一实例类。
7.根据权利要求6所述的方法，其中所述第一用户输入包括点击输入或边界区域输入中的一种，其中所述点击输入定义由所述点击输入识别的所述第一多个感兴趣对象中的一个第一对象的质心的位置，其中所述边界区域输入定义标记由所述边界区域输入识别的所述第一多个感兴趣对象中的一个第二对象的边界的外部界限的所述第一图像内的区域，其中所述边界区域输入包括矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入中的一种，其中所述第二用户输入包括点击和拖动输入，其中所述第三用户输入包括双击输入，其中所述第三用户输入包括选择或取消选择所述第二多个感兴趣对象中的一个感兴趣对象周围的边界，其中所述第四用户输入包括shift加鼠标点击输入或按键加鼠标点击输入中的一种，其中所述第四用户输入包括完整注释和未知注释之间的转换或来自实例类列表的实例类之间的切换中的一种。
8.根据权利要求1所述的方法，还包括：
训练人工智能(“AI”)系统以生成或更新AI模型以至少部分地基于基于根据所述第二图像或所述注释数据集中的至少一个生成的多组至少两个图像来预测所述第一生物样本中感兴趣对象的实例，所述多组至少两个图像中的至少两个图像中的每个图像彼此不同，其中训练所述AI系统以生成或更新所述AI模型以至少部分地基于所述多组至少两个图像预测感兴趣对象的实例包括：
用所述计算系统且使用编码器对所述第二图像或所述注释数据集中的至少一个进行编码以生成第三编码图像和第四编码图像，所述第四编码图像与所述第三编码图像不同；
训练所述AI系统以生成或更新所述AI模型以至少部分地基于所述第三编码图像和所述第四编码图像来预测感兴趣对象的实例；
使用由所述AI系统生成或更新的所述AI模型基于所述第一图像生成第五图像和第六图像，所述第六图像与所述第五图像不同；和
用所述计算系统且使用解码器解码所述第五图像和所述第六图像以生成第七图像，所述第七图像包括所述第一生物样本中感兴趣对象的实例的预测标记。
9.根据权利要求8所述的方法，其中所述AI系统包括机器学习系统、深度学习系统、神经网络、卷积神经网络(“CNN”)或全卷积网络(“FCN”)中的至少一种。
10.根据权利要求8所述的方法，其中训练所述AI系统以生成或更新所述AI模型以至少部分地基于所述多组至少两个图像来预测感兴趣对象的实例还包括：
用所述计算系统将所述第七图像与所述第二图像进行比较以生成实例分割评估结果。
11.根据权利要求8所述的方法，其中所述第三编码图像包含基于所述第一用户输入的所述第一多个感兴趣对象中的每个感兴趣对象的质心，其中所述第四编码图像包含生成的所述第一多个感兴趣对象中的每个感兴趣对象的边界。
12.根据权利要求11所述的方法，其中：
对所述第二图像进行编码以生成所述第三编码图像包括：
用所述计算系统计算所述第三编码图像中的每个像素与所述第一多个感兴趣对象中的每个感兴趣对象的每个质心之间的第一距离度量；和
用所述计算系统计算第一函数以生成第一接近度图，所述第一函数是所述第一距离度量的函数，所述第三编码图像包括所述第一接近度图；和
对所述第二图像进行编码以生成所述第四编码图像包括：
用所述计算系统计算所述第四编码图像中的每个像素与所述第一多个感兴趣对象中的每个感兴趣对象的边缘或边界的最近边缘像素之间的第二距离度量；和
用所述计算系统计算第二函数以生成第二接近度图，所述第二函数是所述第二距离度量的函数，所述第四编码图像包括第二接近度图。
13.根据权利要求12所述的方法，还包括：
用所述计算系统至少部分地基于计算的每个像素的所述第一距离度量、所述第一函数或所述第一接近度图中的至少一个，为所述第三编码图像中的每个像素分配第一加权像素值；和
用所述计算系统至少部分地基于计算的每个像素的所述第二距离度量、所述第二函数或所述第二接近度图中的至少一个，为所述第四编码图像中的每个像素分配第二加权像素值。
14.根据权利要求12所述的方法，还包括：
用所述计算系统确定所述第三编码图像中的每个像素与所述第五图像中的对应像素之间的第一像素损失值；
用所述计算系统确定所述第四编码图像中的每个像素与所述第六图像中的对应像素之间的第二像素损失值；
用所述计算系统使用损失函数，基于所述第三编码图像中每个像素的第一加权像素值乘以所述第三编码图像中每个像素与所述第五图像中的对应像素之间的第一像素损失值的乘积和所述第四编码图像中的每个像素的第二加权像素值乘以所述第四编码图像中的每个像素与所述第六图像中的对应像素之间的第二像素损失值的乘积计算损失值，其中所述损失函数包括均方误差损失函数、均方对数误差损失函数、平均绝对误差损失函数、Huber损失函数或平方差的加权和损失函数中的一种；和
用所述AI系统通过基于计算的损失值更新所述AI模型的一个或多个参数来更新所述AI模型；
其中生成所述第五图像和所述第六图像包括使用更新后的所述AI模型基于所述第一图像生成所述第五图像和所述第六图像。
15.根据权利要求8所述的方法，其中解码所述第五图像和所述第六图像以生成所述第七图像包括用所述计算系统且使用所述解码器，通过应用在生成所述第七图像之前识别所述第五图像和所述第六图像中的每个的前景和背景标记的一个或多个形态学操作或者直接解码所述第五图像和所述第六图像以生成所述第七图像的一个或多个机器学习操作中的至少一种，解码所述第五图像和所述第六图像以生成所述第七图像。
16.根据权利要求8所述的方法，其中应用所述一个或多个形态学操作或所述一个或多个机器学习操作中的至少一种包括应用所述一个或多个形态学操作，其中所述方法还包括：
在通过应用识别所述第五图像和所述第六图像中的每个中的前景和背景标记的所述一个或多个形态学操作来解码所述第五图像和所述第六图像之后，应用分水岭算法以生成所述第七图像。
17.一种系统，包括：
计算系统，包括：
至少一个第一处理器；和
第一非暂时性计算机可读介质，通信地耦合到所述至少一个第一处理器，所述第一非暂时性计算机可读介质具有存储在其上的计算机软件，所述计算机软件包括第一组指令，所述第一组指令在由所述至少一个第一处理器执行时，使所述计算系统：
生成用户界面，所述用户界面配置为使用生物样本的图像内的感兴趣对象的完整注释或部分注释中的至少一种来收集训练数据；
在所述用户界面的显示部分内显示包括第一生物样本的视场(“FOV”)的第一图像；
经由所述用户界面从用户接收第一用户输入，所述第一用户输入指示在所述用户界面的所述显示部分中显示的所述第一图像内包含的第一多个感兴趣对象中的每个感兴趣对象的存在或位置；
至少部分地基于由所述第一用户输入识别的所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的位置并且至少部分地基于使用算法分析相应位置中或周围的像素，生成所述第一多个感兴趣对象中的每个感兴趣对象周围的边界；和
基于所述第一图像生成第二图像或注释数据集中的至少一个，所述第二图像包括关于基于接收的所述第一用户输入和生成的由接收的所述第一用户输入识别的所述第一多个感兴趣对象中的每个感兴趣对象周围的边界的、所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的位置的数据，所述注释数据集包括基于所述第一用户输入和生成的由接收的所述第一用户输入识别的所述第一多个感兴趣对象中的每个感兴趣对象周围的边界的、所述第一图像内的所述第一多个感兴趣对象中的每个感兴趣对象的像素位置数据或坐标数据中的至少一种。
18.根据权利要求17所述的系统，其中所述计算系统包括布置在工作环境中的计算系统、布置在所述工作环境外部并且能通过网络访问的远程计算系统、网络服务器、网络浏览器或云计算系统中的一种，其中所述工作环境包括实验室、诊所、医疗设施、研究设施、医疗保健设施或房间中的至少一种。
19.根据权利要求17所述的系统，其中所述第一生物样本包括人体组织样本、动物组织样本或植物组织样本中的一种，其中所述感兴趣对象包括正常细胞、异常细胞、受损细胞、癌细胞、肿瘤、亚细胞结构或器官结构中的至少一种。
20.根据权利要求17所述的系统，其中所述第一用户输入包括点击输入或边界区域输入中的一种，其中所述点击输入定义由所述点击输入识别的所述第一多个感兴趣对象中的一个第一对象的质心的位置，其中所述边界区域输入定义标记由所述边界区域输入识别的所述第一多个感兴趣对象中的至少一个第二对象的边界的外部界限的所述第一图像内的区域，其中所述边界区域输入包括矩形边界区域输入、圆形边界区域输入、多边形放置输入或线放置输入中的一种。
CN202080028060.8A 2019-04-11 2020-04-10 配置为便于生物样本内的实例分割的用户注释的用户界面 Pending CN114041149A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962832877P 2019-04-11 2019-04-11
US62/832,877 2019-04-11
US201962832880P 2019-04-12 2019-04-12
US62/832,880 2019-04-12
PCT/US2020/027816 WO2020210734A1 (en) 2019-04-11 2020-04-10 User interface configured to facilitate user annotation for instance segmentation within biological sample

Publications (1)

Publication Number Publication Date
CN114041149A true CN114041149A (zh) 2022-02-11

Family

ID=70482859

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080028111.7A Pending CN113678142A (zh) 2019-04-11 2020-04-10 基于深度学习的经由回归层的实例分割训练
CN202080028060.8A Pending CN114041149A (zh) 2019-04-11 2020-04-10 配置为便于生物样本内的实例分割的用户注释的用户界面

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080028111.7A Pending CN113678142A (zh) 2019-04-11 2020-04-10 基于深度学习的经由回归层的实例分割训练

Country Status (8)

Country Link
US (3) US11410303B2 (zh)
EP (2) EP3953861A1 (zh)
CN (2) CN113678142A (zh)
AU (2) AU2020273186A1 (zh)
BR (2) BR112021019977A2 (zh)
CA (2) CA3136490A1 (zh)
IL (3) IL311235A (zh)
WO (2) WO2020210733A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
WO2020210733A1 (en) * 2019-04-11 2020-10-15 Agilent Technologies, Inc. Deep learning based training of instance segmentation via regression layers
CN110136809B (zh) * 2019-05-22 2022-12-27 腾讯科技（深圳）有限公司 一种医疗图像处理方法、装置、电子医疗设备和存储介质
US11977723B2 (en) * 2019-12-17 2024-05-07 Palantir Technologies Inc. Image tiling and distributive modification
US12014529B2 (en) * 2020-01-21 2024-06-18 Samsung Electronics Co., Ltd. Image processing method and apparatus using neural network
WO2022099303A1 (en) * 2020-11-06 2022-05-12 The Regents Of The University Of California Machine learning techniques for tumor identification, classification, and grading
AU2022223410A1 (en) * 2021-02-19 2023-09-07 Deepcell, Inc. Systems and methods for cell analysis
CN113159026A (zh) * 2021-03-31 2021-07-23 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
WO2023095017A1 (en) * 2021-11-23 2023-06-01 Agilent Technologies, Inc. Digital analysis of preanalytical factors in tissues used for histological staining
CN114317264A (zh) * 2021-12-09 2022-04-12 首都医科大学附属北京天坛医院 细胞培养观察设备以及信息处理系统、方法和存储介质
CN114581709A (zh) * 2022-03-02 2022-06-03 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN114550171B (zh) * 2022-04-22 2022-07-12 珠海横琴圣澳云智科技有限公司 细胞实例分割模型构建方法、细胞实例分割方法和装置
EP4312151A1 (en) * 2022-07-27 2024-01-31 Siemens Healthcare GmbH Artificial intelligence training system for medical applications and method
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム
WO2013002720A1 (en) * 2011-06-30 2013-01-03 Ge Healthcare Bio-Sciences Corp Image quality optimization of biological imaging
US20140140595A1 (en) * 2011-06-30 2014-05-22 Ge Healthcare Bio-Sciences Corp. Microscopy system and method for biological imaging
AU2014230809B2 (en) 2013-03-14 2019-05-02 Ventana Medical Systems, Inc. Whole slide image registration and cross-image annotation devices, systems and methods
US20150140558A1 (en) * 2013-09-05 2015-05-21 Brown University Methods of Identifying and Isolating Cells Using Molecular Beacons
JP2016541039A (ja) 2013-10-07 2016-12-28 ベンタナ メディカル システムズ， インコーポレイテッド 包括的なマルチアッセイ組織分析のためのシステムおよび方法
CN105849274B (zh) * 2013-10-28 2020-01-21 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
AU2015220731A1 (en) * 2014-02-21 2016-07-07 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
EP3146463B1 (en) * 2014-05-23 2020-05-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
EP4187486A1 (en) * 2014-12-30 2023-05-31 Ventana Medical Systems, Inc. Method for co-expression analysis
JP6759550B2 (ja) * 2015-03-04 2020-09-23 ソニー株式会社 情報処理装置、プログラム、情報処理方法及び観察システム
JP6660712B2 (ja) 2015-11-10 2020-03-11 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
JP6975177B2 (ja) 2016-06-03 2021-12-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 生物学的対象物の検出
CA3043352A1 (en) * 2016-11-15 2018-05-24 Magic Leap, Inc. Deep learning system for cuboid detection
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
JP6915349B2 (ja) 2017-04-04 2021-08-04 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN117054316A (zh) 2017-05-19 2023-11-14 兴盛生物科技股份有限公司 用于计数细胞的系统和方法
US10789451B2 (en) 2017-11-16 2020-09-29 Global Life Sciences Solutions Usa Llc System and method for single channel whole cell segmentation
JP7198577B2 (ja) 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
JP7076698B2 (ja) 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
KR102237288B1 (ko) 2018-02-07 2021-04-07 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
CN111699510A (zh) 2018-02-12 2020-09-22 豪夫迈·罗氏有限公司 数字病理学图像的变换
EP3766000A2 (en) 2018-03-16 2021-01-20 The United States of America as represented by the Secretary of the Department of Health and Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
WO2019191697A1 (en) 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
JP6627069B2 (ja) 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
US11403750B2 (en) * 2018-06-13 2022-08-02 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
EP3811287A2 (en) 2018-06-19 2021-04-28 MetaSystems Hard & Software GmbH System and method for detection and classification of objects of interest in microscope images by supervised machine learning
WO2020018154A1 (en) 2018-07-19 2020-01-23 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
EP3611695A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. Generating annotation data of tissue images
US10929716B2 (en) 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
US10885631B2 (en) 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging
WO2020210733A1 (en) * 2019-04-11 2020-10-15 Agilent Technologies, Inc. Deep learning based training of instance segmentation via regression layers
US11544843B2 (en) * 2019-04-26 2023-01-03 California Institute Of Technology Tracking biological objects over time and space
US20200388033A1 (en) 2019-06-10 2020-12-10 Omics Data Automation, Inc. System and method for automatic labeling of pathology images
CN110288605A (zh) 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
JP7475848B2 (ja) 2019-11-29 2024-04-30 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム
CN115176289A (zh) 2019-12-20 2022-10-11 豪夫迈·罗氏有限公司 使用卷积神经网络的细胞系发育图像表征
WO2021133847A1 (en) 2019-12-23 2021-07-01 The Regents Of The University Of California Method and system for digital staining of microscopy images using deep learning
CN111145209B (zh) 2019-12-26 2023-06-02 推想医疗科技股份有限公司 一种医学图像分割方法、装置、设备及存储介质
CN111462086B (zh) 2020-03-31 2024-04-26 推想医疗科技股份有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
US11561178B2 (en) 2020-04-20 2023-01-24 Tempus Labs, Inc. Artificial fluorescent image systems and methods

Also Published As

Publication number Publication date
US11145058B2 (en) 2021-10-12
IL287060B1 (en) 2024-04-01
US11748881B2 (en) 2023-09-05
WO2020210734A1 (en) 2020-10-15
IL287059B1 (en) 2024-04-01
IL311235A (en) 2024-05-01
US20200327667A1 (en) 2020-10-15
WO2020210733A1 (en) 2020-10-15
BR112021019996A2 (pt) 2021-12-07
IL287060A (en) 2021-12-01
US20220366564A1 (en) 2022-11-17
EP3953860A1 (en) 2022-02-16
CN113678142A (zh) 2021-11-19
AU2020273186A1 (en) 2021-12-02
CA3141859A1 (en) 2020-10-15
US11410303B2 (en) 2022-08-09
US20200327671A1 (en) 2020-10-15
IL287059A (en) 2021-12-01
CA3136490A1 (en) 2020-10-15
AU2020271905A1 (en) 2021-11-25
BR112021019977A2 (pt) 2021-12-07
EP3953861A1 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
US11748881B2 (en) Deep learning based instance segmentation via multiple regression layers
US11164316B2 (en) Image processing systems and methods for displaying multiple images of a biological specimen
JP6763781B2 (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
CA3138959C (en) Image diagnostic system, and methods of operating thereof
JP6629762B2 (ja) 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
CN113474811A (zh) 数字病理学图像中的感兴趣区域的基于神经网络的标识
KR20150095646A (ko) 바이오마커 발현의 선택 및 디스플레이
Zhu et al. A deep learning-based method for automatic assessment of stomatal index in wheat microscopic images of leaf epidermis
CN115527204A (zh) 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法
Feng et al. A knowledge-integrated deep learning framework for cellular image analysis in parasite microbiology
US20240212146A1 (en) Method and apparatus for analyzing pathological slide images
EP4369354A1 (en) Method and apparatus for analyzing pathological slide images
Nofallah et al. Automated analysis of whole slide digital skin biopsy images
Li et al. A Brief Review of Computer-aided Whole-slide Image Detection Techniques
KR20240069618A (ko) 병리 슬라이드 이미지를 분석하는 방법 및 장치
WO2024006308A1 (en) Auto high content screening using artificial intelligence for drug compound development
KR20230023568A (ko) 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination