CN111886630A - 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析 - Google Patents

用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析 Download PDF

Info

Publication number
CN111886630A
CN111886630A CN201980020865.5A CN201980020865A CN111886630A CN 111886630 A CN111886630 A CN 111886630A CN 201980020865 A CN201980020865 A CN 201980020865A CN 111886630 A CN111886630 A CN 111886630A
Authority
CN
China
Prior art keywords
labeled
cell
biological sample
nucleoli
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020865.5A
Other languages
English (en)
Inventor
伊瓦伊洛·迪诺夫
布赖恩·D·阿西
大卫·S·迪尔沃思
阿里·阿林-福耶尔
亚历山大·加里宁
亚历克斯·S·阿德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Michigan
Original Assignee
University of Michigan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Michigan filed Critical University of Michigan
Publication of CN111886630A publication Critical patent/CN111886630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

使标本收集、图像获取、数据预处理、导出的生物标志物的计算、建模、分类和分析的处理自动化的能力可以显著地影响细胞变形的临床决策和基础研究。本公开内容将通过鲁棒的光滑表面重构和对形状形态计量度量的提取将3D细胞核形状建模组合到高度并行的流水线工作流协议中，以对3D中数千个核和核仁进行端到端形态分析。该方法允许对成像数据中的细胞形状进行高效且信息丰富的评估，并且表示可以由生物医学界验证、修改和再利用的可再现的技术。这促进了结果可再现性、协作方法验证和广泛的知识传播。

Description

用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像 分析
政府条款
本发明是根据NR015331、NS091856；由国立卫生研究院所授予的DK089503和EB020406以及由国家科学基金会所授予的IIS-636840在政府支持下作出的。政府对本发明享有一定的权利。
相关申请的交叉引用
本申请要求于2019年2月15日提交的美国专利申请第16/277,128号的优先权，并且还要求于2018年2月20日提交的美国临时申请第62/632,663号的权益。以上申请的全部公开内容通过引用并入本文。
技术领域
本公开内容涉及用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析。
背景技术
组织和细胞变形由影响空间和时间形态学变化的复杂的潜在生物机制来调节。通过对细胞和亚细胞结构的大小和形状的三维变化进行定量分析来理解这些处理，不仅对于研究细胞组织是重要的，而且对于诸如癌症的病理状况的检测和治疗也很重要。然而，成像数据的维数和质量以及细胞和亚细胞形状在群体中的极大可变性对三维形状方法提出了挑战，所述三维形状方法应当允许进行准确的形态学分析、应当是可扩展的、对噪声具有鲁棒性并且同时跨群体具有足够的特异性。因此，迫切需要具有高通量能力的鲁棒的三维细胞和亚细胞形态计量技术来执行群体分析。
该部分提供了与本公开内容相关的背景信息，该背景信息不一定是现有技术。
发明内容
该部分提供了本公开内容的总体概述，而不是对其全部范围或其所有特征的全面公开。
提出了一种用于分析生物细胞的自动化方法。该方法包括：对生物样本的组成进行染色，其中，生物样本包括至少一个细胞；接收生物样本的图像数据，其中，图像数据提供生物样本的三维表示；在图像数据中标记至少一个细胞的组成；针对图像数据中每个标记的细胞核，构建限定给定的细胞核的边界的数学表示；使用细胞核的数学表示来提取针对所标记的细胞核中的每一个的特征，其中，特征是对所标记的细胞核的形状和大小的度量；针对每个标记的细胞核仁，构建限定给定的细胞核仁的边界的数学表示；使用细胞核仁的数学表示来从所标记的细胞核仁中的每一个提取特征，其中，特征是对所标记的细胞核仁的形状和大小的度量；存储用于细胞分类的两个或更多个模型；以及通过将所提取的所标记的细胞核和所标记的细胞核仁的特征与所存储的模型进行比较，来对生物样本进行分类。
可以通过共聚焦显微镜或另外类型的成像装置生成图像数据。
在一个实施方式中，使用迭代的拉普拉斯-贝尔特拉米本征投影和边界变形来构建数学表示。
在一些实施方式中，标记组成包括将图像数据分割成表示组成的体积。
从所标记的细胞核提取的特征可以包括但不限于确定下述中的一个或更多个：标记的细胞核的体积、标记的细胞核的表面面积、标记的细胞核的平均曲率、标记的细胞核的形状指数、标记的细胞核的曲度指数以及标记的细胞核的分形维数。
从所标记的细胞核仁提取的特征可以包括但不限于确定下述中的一个或更多个：相应细胞核中核仁的计数、标记的细胞核仁的体积、标记的细胞核仁的表面面积、标记的细胞核仁的平均曲率、标记细胞核仁的形状指数、标记的细胞核仁的曲度指数以及标记的细胞核仁的分形维数。
在一个实施方式中，使用随机森林分类方法对生物样本进行分类。
在其他实施方式中，使用选自包括下述的组的分类方法对生物样本进行分类：线性分类器、k最近邻方法、决策树方法、神经网络和支持向量机。
根据本文提供的描述，其他适用领域将变得明显。本概述中的描述和具体示例旨在仅用于说明的目的，而不旨在限制本公开内容的范围。
附图说明
本文描述的附图仅用于所选择的实施方式而非所有可能的实现方式的说明性目的，并且不旨在限制本公开内容的范围。
图1提供了用于形态学建模和分类的自动化方法的概况。
图2是描绘用于分割包含一个或更多个细胞的图像数据的示例方法的流程图。
图3是描绘用于执行细胞或亚细胞器或组分(例如，核、核仁)的表面重构的示例方法的流程图。
图4A至图4D分别是3D可视化的鲁棒光滑表面重构的图像：从成纤维细胞细胞图像分割的核的二进制掩模表示；在该核内分割的核仁的三个二进制掩模；核的重构光滑表面的网格表示；以及沿Z轴进行颜色编码的核仁表面的三个网格表示。
图5是描绘包括相对于局部坐标框架的每个顶点的曲率定义的2-流形的(局部)几何形状的图。
图6A和图6B示出了LONI流水线客户端接口中的示例性图形端到端工作流，其包括示出了模块的嵌套组的经验证的端到端工作流协议的概况；包括执行3D形状建模细化的模块的扩展的体积到形状组；以及包括执行形态学测量提取的模块的扩展的形态计量组。
图7A和图7B是描绘示出成纤维细胞分类结果的图。在图7A中，示出了针对各种细胞组大小的平均AUC；而在图7B中，按重要性得分示出了用于分类的前10个特征(右，核仁特征名称以Avg、Min、Max或Var开头，在针对PC3细胞的前10个中也报告过的特征名称以蓝色字体示出)。
图8A和图8B是描绘PC3分类结果的图。在图8A中，示出了针对各种细胞组大小的平均AUC；而在图8B中，按重要性得分用于分类的前10个特征(右，核仁特征名称以Avg、Min、Max或Var开头，在针对成纤维细胞的前10个中也报告过的特征名称以蓝色字体示出)。
贯穿附图的若干视图，相应的附图标记指示相应的部分。
具体实施方式
现在将参照附图更充分地描述示例实施方式。
组织和细胞形态学由与细胞分化、发育、增殖和疾病相关的复杂的潜在生物机制来调节。核形式的变化反映出染色质结构的重组与改变的功能特性例如基因调节和表达相关。同时，力学生物学的许多研究表明，几何约束和机械力作用于细胞畸形，并且反之会影响核和染色质动力学、基因和途径激活。因此，随着对染色质和DNA结构在空间和时间框架中的重组的研究——被称为4D核组(4D nucleome)——的出现，细胞或细胞器和组分的形态学定量变得具有重要意义。在4D核组的上下文中感兴趣的细胞结构不仅包括核本身，而且还包括核仁和核仁相关结构域、染色体域、拓扑相关结构域、纤层相关结构域以及转录工厂中的环状结构域。此外，通过对形态学变化进行定量分析来理解这些处理还具有许多医学意义，例如对诸如癌症的病理状况的检测、理解和治疗。在文献中，细胞形态计量术通常用于对包含细胞、细胞器、组分和其他细胞结构的大小和形状的定量测量的形式进行分析。
虽然已经进行了很多努力来开发2D或伪3D中的细胞形状特征，但是若干研究已经证明，与2D特征相比，3D形态计量度量针对核形状描述和辨别提供了更好的结果。然而，允许进行鲁棒的形态分析并且促进人类解释的3D形状描述符仍在积极研究中。另外，所获取数据的维数和量、各种图像获取条件以及细胞形状在群体中的极大可变性对3D形状分析方法提出了挑战，所述3D形状分析方法应当是可扩展的，对噪声具有鲁棒性并且同时跨细胞群体具有足够的特异性。因此，迫切需要具有高通量能力的鲁棒的3D细胞形态计量技术来执行群体分析。
本公开内容具有两个互补的目标。第一目标是评估和验证用于细胞或亚细胞器和组分形状描述的3D形态计量度量。首先，使用拉普拉斯-贝尔特拉米(Laplace-Beltrami)本征投影(eigen-projection)和拓扑保留边界变形来重构从显微数据提取的3D掩模的表面。然后，计算内在的和外在的几何度量，所述度量被用作导出的签名向量(形状生物标志物)以表征3D形状的复杂性并且在观察到的临床与表型性状之间进行区分。这些度量包括体积、表面面积、平均曲率、曲度、形状指数和分形维数。建议的建模和分析方法可以用于细胞、细胞核以及其他亚细胞器和组分的形状定量。
第二目标是开发可再现的流水线工作流，该流水线工作流实现可以定制和扩展的整个处理以对健康和疾病中3D细胞与亚细胞形状表型之间的关联进行深入探索。高通量成像(HTI)可以包括液体处理的自动化、基于显微镜的图像获取、图像处理以及统计数据分析。该工作集中在该限定的最后两个方面。实现了简化的多步骤协议，该多步骤协议依赖于各种不同的工具并且在LONI流水线工作流中无缝连接。该工作流满足用于高通量成像处理和分析的现代标准，并且大部分是自动化的，其重点是有效性和可再现性。
图1示出了端到端协议的高级视图。作为起始点，在11处使用三维图像获取技术对包括至少一个细胞的生物样本成像，该三维图像获取技术包括但不限于：显微镜例如共聚焦显微镜、多光子显微镜、光片显微镜和超分辨率显微镜；层析成像例如荧光激活细胞分选(FACS)层析成像、全息层析成像和光学相干层析成像；或者光声成像。在一个实施方式中，使用具有63xPLAN/Apochromate 1.4na DIC物镜的蔡司(Zeiss)LSM 710激光扫描共聚焦显微镜来执行3D共聚焦成像。显微镜成像生成针对生物样本的图像数据，其中图像数据提供了生物样本的三维表示。为了改善分类，生物样本优选地包括三至二十个细胞，如下面将更详细地描述的。应当理解，生物样本可以取自组织或细胞培养物。
在12处将图像数据分割成表示包括生物样本中的细胞的不同组成(即，细胞器)的单个体积。例如，在图像数据中标记细胞中核的边界。同样，在图像数据中标记在每个核中的核仁。可以针对细胞中的每个组成元素生成单独的掩模(即，二进制图像)。在示例实施方式中，将掩模转换成标准化文件格式例如神经成像信息技术倡议(NIFTI)。分割还可以包括其他过滤或信号处理，如下面将进一步描述的。
对于图像数据中的每个标记的细胞或亚细胞器和组分，在13处执行表面重构。也就是说，构建限定给定的细胞核的边界的数学表示。因此，针对每个标记的对象的边界表面由多边形网格表示。在示例实施方式中，使用迭代的拉普拉斯-贝尔特拉米本征投影和边界变形方法来构建针对给定核的表面的数学表示。关于该示例表面重构方法的其他信息由Yonggang Shi等人在"Robust Surface Reconstruction via Laplace-Beltrami Eigen-Projection and Boundary Deformation"IEEE Transactions on Medical Imaging,Vol.29,No.12,December 2010中描述，其全部内容并入本文。本公开内容还考虑了用于构建边界表面的数学表示的其他方法。
接下来，在14处根据针对细胞或亚细胞器或组分的表面边界的数学表示提取针对标记的细胞或亚细胞器或组分中的每一个的特征。所述特征是对标记的细胞或亚细胞器或组分的形状和大小的度量。例如，从标记的细胞或亚细胞器或组分提取的特征可以包括但不限于：细胞或亚细胞器或组分的体积、细胞或亚细胞器或组分的表面面积、细胞或亚细胞器或组分的平均曲率、细胞或亚细胞器或组分的形状指数、细胞或亚细胞器或组分的曲度指数以及细胞或亚细胞器或组分的分形维数。
在示例实施方式中，所述特征是对标记的细胞核的形状和大小的度量。例如，从标记的细胞核提取的特征可以包括但不限于：细胞核的体积、细胞核的表面面积、细胞核的平均曲率、细胞核的形状指数、细胞核的曲度指数以及细胞核的分形维数。还可以提取针对标记的细胞核仁中的每一个的特征。再次，所述特征是对标记的细胞核仁的形状和大小的度量。示例特征包括但不限于：标记的细胞中核仁的计数、细胞核仁的体积、细胞核仁的表面面积、细胞核仁的平均曲率、细胞核仁的形状指数、细胞核仁的曲度指数以及细胞核仁的分形维数。容易理解，可以被提取其他类型的特征并且将其用于分类。
最后，在步骤15处对生物样本中的细胞进行分类。在一个实施方式中，从细胞提取的几何形态特征可以用于在健康细胞与癌细胞之间进行区分。在成像之前，确定用于分类的两个或更多个模型。通过将提取的特征(即，以特征向量形式)与存储的模型进行比较，可以对生物中的细胞进行分类。在一个实施方式中，使用随机森林分类方法对细胞进行分类，如下面将进一步描述的。虽然参照特定的分类方法，但是下述其他分类方法也落入本公开内容的范围内，所述其他分类方法包括线性分类器、k最近邻方法、决策树方法、神经网络和支持向量机等。
下面更详细地阐述示例实施方式。在成像之前，可以对生物样本的组成进行标记(例如，染色)。在示例实施方式中，用三种不同的荧光团标记细胞：DAPI(4',6-二脒基-2-苯基吲哚)是针对核的常见染色，而纤维蛋白抗体(fibrillarin)和溴化乙锭(EtBr)两者都用于核仁染色。尽管纤维蛋白是常用的核仁标记物，但是发现由于在检测到的核仁内局部强度变化很大而导致纤维蛋白过于特定于形状建模目的，这使得掩模形状的提取成为难题。已经示出溴化乙锭可以用于染色致密的染色质、核仁和核糖体。发现溴化乙锭提供了对核仁形状的更好的整体表示。经由与溴化乙锭共定位来组合特定的纤维蛋白，以证实对核仁位置的正确检测，如下所述。
关于图2进一步描述了分割。基于标记，可以将图像数据分离成两个或更多个通道，如21处所指示的。在示例实施方式中，通道被分离并且保存为标记为分别表示DAPI、纤维蛋白、EtBr通道的c0、c1、c2的个体体积。然后将每个通道特定的体积再切片成1024×1024×Z晶格(Z＝[10，50])，其中区域子体积有助于与显微镜的原生图块大小对准。然后将所有子体积转换(无损)并且保存为多图像3D TIFF体积。
对于每个子体积，在22处从原始数据提取随附的显微镜元数据，所述显微镜元数据包括所有三个维数和分辨率的缩放比例，并且将显微镜元数据进一步传递至下游模块以解决图像各向异性。在23处还将每个子体积转换为灰度级(例如，8位分辨率)。降斑点或其他降噪方法可以应用于子体积。
在24处从所述体积分割出核和核仁。例如，通过对DAPI通道子体积应用核分割算法例如Farsight工具包中找到的一种核分割算法来执行核在DAPI通道中的自动3D分割。出于以下若干原因选择了Farsight工具包：其是专门为在2D/3D中分割DAPI染色的核而创建的CLI工具并且非常易于使用。Farsight工具包也不需要标记的训练集以及关于数据展示的稳定结果。核分割算法实现下述多个步骤，所述多个步骤包括：图割算法对子体积进行二进制化；高斯滤波器的多尺度拉普拉斯算子将核转换为斑点掩模；快速聚类以描绘核；以及使用具有阿尔法扩展的图割对核轮廓进行细化。在分割之后，将数据转换成16位3D TIFF文件。每个分割的核均表示为掩模，并且被赋予唯一的索引值。容易理解，其他核分割方法也落入本公开内容的范围内。
还使用例如Weka数据挖掘软件包执行核仁在纤维蛋白和溴化乙锭通道中的自动3D分割。在示例实施方式中，可训练的Weka分割插件与Fiji捆绑在一起，Fiji是基于ImageJ的图像处理和可视化软件包。对溴化乙锭(EtBr)和纤维蛋白染色的核仁独立地执行核内分割。可训练的Weka分割插件是ImageJ生态系统中最流行的分割工具，并且相对易于用于标记3D图像中的生物结构。DAPI核掩模用于限定EtBr和纤维蛋白通道中的分割空间，其中目的是将核内的亚核分割与对象隔离。通过使用该通道内10％的子体积的随机选择进行训练，来针对每个通道创建分类器模型。然后使用随机森林算法将模型应用于通道内的所有子体积。根据所得的概率图创建核仁掩模。然后使用“查找连接区域”ImageJ/Fiji插件来执行连接组分标记，以唯一地索引每个核仁。使用下面针对核掩模描述的质量控制协议来过滤分割伪影。最后，将EtBr和纤维蛋白分割体积两者均用作共定位算法的输入，以基于纤维蛋白的存在来验证分割的EtBr染色的核仁。容易理解，其他核仁分割方法也落入本公开内容的范围内。
染色不均匀通常导致偶尔的分割伪影，例如所得的掩模很复杂，包括“柄”、“孔”或具有奇异点的不规则边界形状。该问题通常通过应用各种拓扑固定技术来解决，如步骤25处所指示的。针对核掩模的示例性后处理步骤包括使用一组MATLAB函数进行孔填充。伪影的过滤也可以使用其他策略例如Java应用来执行，Java应用测量标识对象的球形紧密度、通过体素计数来估计其体积并且检测跨越图块边缘或连接至其他对象的对象。根据经验选择针对紧密度和体素计数的临界值以去除大部分伪像。该过滤器与孔填充校正一起有助于生成更适合于形态计量分析的掩模。该质量控制协议校正或筛选出潜在的非属零的掩模并且将其标记用于进一步细化。最后，在26处将通过质量控制的掩模转换为神经成像格式，例如NIFTI格式。这些掩模用于流水线工作流中的后续形状形态计量分析中。
用作输入至工作流的形态计量特征提取部分的数据集由来自通道c0的3D分割和唯一标记的体积的集合组成，该数据集表示二进制核掩模，伴随有来自通道c2的每个核的核仁的一组3D二进制掩模，通过与c1的共定位过程来过滤，如上所述。以压缩的NIFTI格式(.nii.gz)分割的、质量受控的核和核仁体积从体素掩模转换成三角形状的流形，并且使用开发的工作流自动处理。
为了对细胞核和核仁的3D形状进行建模，将从显微数据提取的细胞核和核仁的3D形状的3D掩模的边界建模为二维流形(与2球体S2同胚)，其使用迭代的拉普拉斯-贝尔特拉米本征投影和拓扑保留边界变形算法作为三角化表面嵌入
Figure BDA0002692420490000081
中。关于图3进一步描述了该方法。
在从分割处理接收的输出中限定对象。对于每个对象，在33处从对象的二进制掩模的边界构建网格表示。如在32处所指示的，在构建网格表示之前，使掩模二进制化。边界被投影至其拉普拉斯-贝尔特拉米本征函数的子空间上，这允许通过计算本征投影中的度量失真来自动定位伪特征的位置。拉普拉斯-贝尔特拉米本征函数是内在限定的，并且可以从边界表面容易地计算出而无需任何参数化。它们也是等距不变的，并且因此对边界表面的锯齿状特性具有鲁棒性，这是生物医学形状分析所期望的。拉普拉斯-贝尔特拉米算子的本征值的大小直观地对应于傅里叶分析中的频率，因此它提供了方便的机制来控制重构表面的光滑度。
使用该信息，下一步骤是步骤34处的掩模变形处理，该掩模变形处理去除伪特征，同时使掩模的其余部分保持完整，从而防止非预期的体积收缩。该变形是拓扑保留和良好构成的，使得掩模的边界表面是流形。如35处所指示的重复步骤33和34，直到收敛为止。最后，在36处该方法生成作为掩模边界的本征投影的最终表面，该最终表面是具有属零拓扑的光滑表面。只要形状拓扑与球体同胚，这种区域细胞器边界的流形表示就有助于对所有形状例如包括月牙形、多叶形和折叠形的算法理解。该步骤的示例性结果在图4中呈现。以这种方式，使用迭代掩模过滤处理从它们的分割掩模中将细胞核和核仁表面的鲁棒重构作为属零二维流形来执行。关于该处理的其他细节由YG Shen等人在“Robust SurfaceReconstruction via Laplace-Beltrami Eigen-Projection and BoundaryDeformation”IEEE Transactions on Medical Imaging 2010中描述，其全部内容并入本文。
在示例实施方式中，使用六个形状度量作为量化3D表面的几何特征的特征。为了计算这些度量，使用表示属零实体的边界的三角化表面模型来计算主(最小和最大)曲率(κ1≤κ2)。然后，可以用下述主曲率表示形状形态计量度量：平均曲率、形状指数和曲度。平均曲率被限定为
Figure BDA0002692420490000091
Figure BDA0002692420490000092
形状指数被限定为
Figure BDA0002692420490000093
并且曲度被限定为
Figure BDA0002692420490000094
Figure BDA0002692420490000095
表面的主曲率是黑塞(hessian)矩阵(第二基本形式)的本征值，它求解k[H-kI]＝0，其中I是标识矩阵。如果S是具有第二基本形式H(X,Y)的表面，p∈M是固定点，并且表示正交基、在p处切向量的u,v，则主曲率是对称的黑塞矩阵的本征值，
Figure BDA0002692420490000096
Figure BDA0002692420490000097
亦称形状张量。令r＝r(u,v)为表面
Figure BDA0002692420490000098
的参数化，表示相对于u和v具有用ru和rv表示的偏导数的两个变量的光滑向量值函数，如图5所示。然后，在参数u,v平面中的给定点(p)处的黑塞系数Hi,j由在该点处r的第二偏导数到
Figure BDA0002692420490000099
的法线上的投影给出，并且该黑塞系数Hi,j可以使用点积算子来计算：Hu,u＝ru,u·n,Hu,v＝Hu,v＝ru,v·n,Hv,v＝rv,v·n。
另外三个形状度量是体积、表面面积和分形维数。体积是由封闭的边界表面包围的3D空间的量，并且可以表示为
Figure BDA0002692420490000101
其中ID(x,y.z)表示感兴趣区域(D)的指标函数。如果r(u,v)是连续可微分函数，并且到参数u,v平面中的适当区域D上的表面的法线向量由
Figure BDA0002692420490000102
Figure BDA0002692420490000103
表示，则SΩ:r＝r(u,v),(u.v)∈Ω是区域边界的参数表面表示。然后，表面面积可以表示为
Figure BDA0002692420490000104
分形维数计算基于分形比例缩小率ρ和替换部分的数目N。这些度量的准确离散近似用于在网格表示的表面上计算它们，如由M.Meyer等人的“Discrete Differential-Geometry Operators forTriangulated 2-Manifolds”Visualization and Mathematics III,Berlin,Heidelberg:Springer Berlin Heidelberg；2003,pps.35-57；以及由A.Jagannathan的“Segmentationand Recognition of 3D Point Clouds within Graph-theoretic and thermodynamicframeworks”a thesis.Thesis(Ph D),Northeastern University,2005描述的。
提取的3D形态计量度量用作针对特征向量的特征。在一个实施方式中，特征向量包括针对每个核的度量。具体地，针对每个核的特征包括核的体积、核的表面面积、核的平均曲率、核的形状指数、核的曲度指数以及核的分形维数。特征向量进而用于训练许多机器学习分类器，例如使用开源Python包scikit-learn 0.17.0。为了改善分类算法的行为，数据预处理包括下述标准步骤：对零均值和单位方差进行变量标准化；以及用于将个体样本缩放为单一范数的归一化，这是在交叉验证的每个步骤处分别根据训练集计算的。
在示例实施方式中，将核仁数据与针对每个核的形态计量度量进行聚合。例如，检测到的每个核中核仁数目被包括为特征向量的个体特征。研究了用于合并核仁水平特征的不同方法，包括定制的核仁水平差异度量和多实例学习框架。最好的结果是通过估计每个形态计量度量的密度来聚合每个核内的核仁数据而得到的。对于每个核，针对跨核仁内的每个形态计量度量计算样本统计数据(例如，平均、最小、最大和更高的矩)。使用这些统计数据用于增强相应父核的签名特征向量，使得所有特征向量具有相同的长度。相应地，不具有任何自动检测到的内部定位核仁的核被排出在进一步分析之外，使得对于每个核，存在至少一个核仁。通常，由于观察到的细胞表型的显著群体异质性，因此对每个单个细胞的正确分类(类型、阶段、治疗等)是挑战性的任务。例如，同一样本可能包含交织的“癌性”和“非癌性”细胞表型的紧密混合物，或者这两种类型可能包括表现出相似形状或大小的凋亡细胞。鉴于细胞样本的性质、培养、制备和收集，考虑了细胞组的分类而不是单个细胞。这背后的基本原理是基于以下观察的：即使算法对样本中的几个细胞进行了错误分类，只要对大多数细胞进行了正确分类，则最终(细胞组)标记物仍将被正确分配。使用该策略，优选地对每组从3到19个细胞的小细胞组执行分类。在内部交叉验证的每次折叠期间，这些小细胞组通过自举过程随机重复1000次。
虽然LONI流水线是神经成像和生物信息学中的流行工具，但是迄今为止，它已被细胞生物图像分析界所忽视。在本公开内容中，LONI流水线用于实现简化的多步骤协议，该多步骤协议依赖于在LONI流水线工作流中无缝连接的各种不同的工具和解决方案，如图6所示。从高层次的角度来看，数据处理和分析协议的每个步骤被包装为工作流中的个体模块，该个体模块提供允许流水线自动连接和管理这些原子模块的输入规范和输出规范。因此，对该协议的分布式、大规模并行实现使得能够同时容易地处理数千个核和核仁。工作流不取决于3D对象的总数、生物条件或大量运行实例，这是因为一旦包括作业调度和资源分配的工作流配置固定，工作流配置的执行就完全自动化。在执行期间，工作流为研究人员提供有关于进度的实时信息，允许在每个个体步骤处查看中间结果，并且容易地检查和重新启动失败的模块或特定实例。该实现方式也非常灵活，并且不仅限于工作流中包括的特定工具。可以通过调整参数和替换个体模块将该实现方式重新用于各种不同的实验，同时保留高通量能力。
工作流以这样的方式配置：其可以以用于共享它的格式消耗数据，即三个通道中作为16位3D TIFF文件的1024×1024×Z 3D体积。每个体积都以并行方式独立处理，使得工作流自动限定分析所有输入数据所需的处理。此外，工作流的并行化会根据需要自动分支出去并折叠。例如，从预处理到分割，工作流执行启动M个处理，其中M是多个输入量。由于分割产生多个输出，因此在该步骤之后，工作流自动启动M×[N1,N2,…,NM]个处理，其中NX是来自输入体积X的多个分割对象(例如，核)。在后处理步骤处，一些分割对象被策展模块过滤掉，并且排出在进一步分析之外。工作流将多个处理自动减少至通过策展的掩模数目，对个体掩模独立地执行3D形状建模和形态计量特征提取，这使得人们能够在实验期间同时在集群上运行最多达1200个工作，从而有效地减少了计算时间。最后，工作流从每个个体掩模收集形态计量信息，并且将它们组合在结果表中，该结果表被进一步用作分类算法的输入。该能力允许利用现代计算资源，减轻研究人员的低级配置负担，使其更易于控制执行处理，并且改善端到端处理的可再现性。
为了验证形状形态计量度量，首先将度量应用于合成生成的3D掩模。Scikit图像Python库用于创建表示立方体、八面体、球体、椭圆体以及具有线性对准中心的三个交叠球体的3D实体。对所有这些对象进行处理，并且比较所得到的形状形态计量度量。具体地，期望证实使用相应的形状参数(例如，半径、大小)计算的体积和表面面积的(预期的)分析导出的测量与由处理流水线工作流所报告的它们的计算导出的对应物之间的密切关系。结果表明，对于核状的形状例如球体和椭圆体，计算误差在2％以内。对于更多几何对象例如立方体和八面体，计算误差在6％以内。在后一种情况下增加的误差可以通过在形状顶点处应用网格平滑解决奇异点(例如，平滑但不可微分的表面边界)来解释。为了证明对不同类型的3D对象之间的形状差异的检测，将交叠球体与外接椭圆体进行比较。如所预期的，与椭圆体相比，针对球体的平均曲率和曲度测量的平均值较低，而形状指数值较高。在比较球体、椭球体和交叠球体时，观察到渐进的单调形状形态计量度量趋势。该仿真证实了能够准确测量3D对象的大小和形状特征的能力，这形成了基于边界形状的基于机器学习的对象分类的基础。
为了评估所选择的形状形态计量度量作为鉴别特征，将它们与SPHARM系数进行比较，以进行单个成纤维细胞细胞核分类。成纤维细胞(新生雄性)购自ATCC(BJ成纤维细胞CRL-2522正常)并且经受G0/G1血清饥饿协议。该协议提供了下述条件或表型的图像：通过血清饥饿(SS)和增殖(PROLIF)同步的细胞周期。因此，通过下述两种方法成功地处理了962个核掩模：466个PROLIF和496个SS。
为了进行方法比较，提取了核二进制掩模。发明人如上所述计算了形状形态计量度量。为了获得SPHARM系数，使用了流行的SPHARM-MAT工具箱，该SPHARM-MAT工具箱使用CALD算法来实现表面重构和球形参数化，接着将对象表面扩展为度数l＝13(默认设置)的完整的一组球谐基函数，并且最后，通过SHREC方法使相应表面部分之间的均方距离最小化，如由L.Shen等人在“Spherical mapping for processing of 3D closed surfaces”中描述的计算SPHARM形状描述符，并且将其用作针对分类的特征向量。
采用开源Python包Scikit-learn 0.17.0在导出特征向量上测试许多常用的机器学习分类方法，其中每种方法具有默认参数并且在适用时具有相同的随机种子。使用5倍交叉验证技术和在接收器操作特性曲线(AUC)下的面积作为度量来比较性能。如下面的表1所示，3D形状形态计量度量不仅证明了可与SPHARM系数比较的判别性能，而且使用所有测试算法均优于它们。
表1-针对单个细胞成纤维细胞核分类的SPHARM系数与形状形态计量描述符的比较
Figure BDA0002692420490000131
如上所述，在对核和核仁两者进行了分割和形态计量特征提取之后，针对成纤维细胞分类的完整数据集由总共965个核(498个SS和470个PROLIF)和2181个核仁(1151个SS和1030个PROLIF)组成。使用具有1500个基学习器、最大树深度8、学习率0.01、子采样率0.5和叶节点3处的最小样本数的随机梯度增强分类器来实现单个分类器的最佳结果。通过交叉验证的网格搜索对超参数进行了微调。为了评估这些分类结果，在10次随机重复的7倍内部统计交叉验证中测量了准确度、精度、灵敏度和AUC，这在针对单个细胞和9-细胞组分类的表2中呈现。
表2-成纤维细胞单个细胞和9-细胞组的分类准确度
Figure BDA0002692420490000141
图7A示出了从3到19个细胞的组大小的平均AUC值。当对具有9个细胞的组进行分类时，达到95％的准确度，而对于具有15个或更多个细胞的组进行分类时，达到98％的准确度。梯度增强分类器还计算并报告交叉验证的特征重要性，如图7B所示。这些使得人们能够评估在两种细胞条件之间哪些测量显著不同，并且潜在地提出可以使用前瞻性数据进行测试的新颖的研究假设。据报告，核(前3个)和核仁(前10个中的5个)的形态计量特征两者对于区分SS成纤维细胞与PROLIF具有高度重要性。在特征选择期间，从特征列表消除核仁形状形态计量的较高矩统计，这是因为它们对分类的贡献不大，这可能是由于样本大小较小——大多数细胞每个核仅具有1至3个核仁。
在发展为转移的整个过程中，恶性癌细胞在由纯上皮和纯间充质所界定的中间表型状态之间经历一系列可逆转变。前列腺癌的这些转变与核结构的定量变化相关联。显微镜载玻片或前列腺癌细胞系P3以上皮(EPI)和间充质转变(EMT)表型状态培养。导出的数据集由458个核(310个EPI和148个EMT)和1101个核仁(649个EPI和452个EMT)掩模组成。随机均匀的子采样用于解决2类之间较大的样本大小不平衡。在7倍交叉验证处理的每倍中，训练集中有约250个细胞，而测试数据中有另外约40个细胞。
在这种情况下，单个分类器的最佳分类是应用随机森林模型的结果(1000棵树、最大树深度12、最佳分割的最大特征数为40％)。超参数微调、准确度度量和交叉验证过程与先前的成纤维细胞实验中报告的相同。类似地，对于成纤维细胞细胞分类，对9个细胞的组进行分类达到95.4％的平均准确度，对于15个或更多个细胞的组，平均准确度增加至98％(参见表3)。图8A报告了针对不同组大小的AUC，以示出分类准确度如何随细胞组大小而增加，并且对于13个细胞的组达到98％。在该实验中，还检查了分类器报告的特征重要性。该分类中的前10个重要特征包括核(前10个中有3个，3个中的2个也是成纤维细胞)和核仁(前5个)的形状形态计量特征。
表3：PC3单个细胞和9-细胞组的分类准确度
Figure BDA0002692420490000151
在本公开内容中，呈现了提供用于3D建模、形态特征提取以及细胞类型或治疗条件的分类的高通量、大部分自动化(“人在环路中”)的解决方案的协议。与使用2D投影的其他研究相比，该方法在3D空间中本机地操作并且利用了更能表示真实的、基本的核和核仁几何形状并且使得能够易于人类解释的外在的和内在的形态计量度量。鲁棒的表面重构允许对在合成数据上验证的3D对象边界的准确接近。建议的形状形态计量度量优于另一流行的方法，并且证明了它们跨不同细胞类型、条件以及甚至域结构的通用性。
最终的端到端协议是高度并行的，该端到端协议的通量实际上受计算节点的数目的限制，因此它可以同时处理数千个对象，而需要最少的人工干预。该流水线工作流利用了生物图像分析软件的多样性，并且集成了用于数据处理和分析的不同步骤的许多开源工具。工作流的模块化实现了高度可重用性和易于修改。这允许使用相同的工作流或对其进行定制和扩展(例如，新数据集的规范、特定原子模块的交换)以用于需要分析各种细胞、核或其他研究的其他目的。经由LONI流水线的现场演示证明了并行数据处理的使用简单性和高效率。
针对已公开共享的2个细胞系生产3D成像数据，以促进结果可再现性，促进开放式科学开发并且实现协作验证。该3D图像数据集是该类型最大的公开可用数据集之一(包括具有约1500个核标记和约2700个核仁标记的3通道原始数据)。关于这些数据的分类结果比较了上皮细胞对间充质人类前列腺癌细胞系以及血清饥饿对增殖的成纤维细胞系，证明了使用3D形态计量进行细胞类型预测的准确度高，尤其是在应用于细胞组时。尽管不同的分类算法似乎对于不同的实验是最佳的，但是观察到核和核仁的形态计量度量两者都是用于区分治疗条件或细胞表型的重要特征。在成纤维细胞分类的情况下，结果表明核形态计量、每个核的核仁数目以及各种内部核仁形态计量度量的重要性。对于PC3细胞，最重要的分类特征是各种核仁形态计量度量以及核大小和形状的分布的矩。有趣的是，对于这两个细胞系，在前10个最重要的特征中存在三个共同的形态计量特征。这证实了先前报告的观察结果，并且证明了该方法从细胞形式提取相关信息以使用标准的组合成功地对细胞进行了分类。
所提出的方法是可扩展的，并且能够处理各种复杂的大3D成像数据，并且不限于核形状和核仁形状。通过一些变化，它可以应用于感兴趣的其他细胞和核组分。只要其拓扑是球状的，就可以将鲁棒的平滑表面重构直接应用于任何3D形状。与分子水平技术例如Hi-C一起，该3D形状形态计量工作流可以形成强大的组合以用于研究4D核组的空间和时间框架中的DNA结构。该工作流未来可能应用的一个示例是研究非对称细胞分裂。干细胞和祖细胞的特征在于它们自我更新和产生分化后代的能力。这些处理之间的平衡是通过受控的非对称分裂来实现的，并且在发育期间生成细胞多样性并且维持成人组织的动态平衡是必须的。该平衡的破坏可能导致干细胞/祖细胞池过早耗尽或异常生长。在许多组织中，失调的非对称分裂与癌症相关联。非对称细胞分裂缺陷与癌症引发之间是否存在偶然的关系是未知的。可以预见的是，形状分析流水线将有助于研究形态发生和癌症引发的4D核组拓扑。
使标本收集、图像获取、数据预处理、导出的生物标志物的计算、建模、分类和分析的处理自动化的能力可以显著地影响细胞变形的临床决策和基础研究。这似乎是首次尝试通过鲁棒的光滑表面重构和对形状形态计量度量的提取将3D细胞核形状建模组合到高度并行的流水线工作流协议中，以对3D中数千个核和核仁进行端到端形态分析。该方法允许对成像数据中的细胞形状进行高效且信息丰富的评估，并且表示可以由生物医学界验证、修改和再利用的可再现的技术。这促进了结果可再现性、协作方法验证和广泛的知识传播。
本文描述的技术的一部分可以通过由一个或更多个处理器执行的一个或更多个计算机程序来实现。计算机程序包括存储在非暂态有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括存储的数据。非暂态有形计算机可读介质的非限制性示例是非易失性存储器、磁存储装置和光学存储装置。
以上描述的一些部分在对信息的操作的算法和符号表示方面呈现本文描述的技术。这些算法描述和表示是数据处理领域的技术人员用于将技术人员的工作实质最有效地传达给本领域的其他技术人员的手段。这些操作虽然在功能上或逻辑上进行了描述，但是应当理解为由计算机程序实现。此外，已经证明，在不失一般性的情况下，有时将操作的这些布置称为模块或者以功能命名很方便。
除非另有根据以上讨论而明显的特别说明，否则应当理解，在整个说明书中，使用术语例如“处理”或“运算”或“计算”或“确定”或“显示”等的讨论指代计算机系统或类似的电子计算装置的动作和处理，所述计算机系统或类似的电子计算装置在计算机系统存储器或寄存器或者其他这样的信息存储装置、传输装置或显示装置内操纵和转换被表示为物理(电子)量的数据。
所描述的技术的某些方面包括本文以算法形式描述的处理步骤和指令。应当注意，所描述的处理步骤和指令可以以软件、固件或硬件体现，并且当以软件体现时，可以被下载以驻留在实时网络操作系统使用的不同平台上并且由该不同平台来操作。
本公开内容还涉及用于执行本文的操作的装置。该装置可以被特别地构建用于所需目的，或者该装置可以包括由存储在计算机可读介质上的计算机程序选择性地激活或重新配置的计算机，该计算机可读介质可以被计算机访问。这样的计算机程序可以存储在有形的计算机可读存储介质中，例如但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或适用于存储电子指令且各自耦接至计算机系统总线的任何类型的介质。此外，说明书中提及的计算机可以包括单个处理器或者可以是采用多个处理器设计以提高计算能力的架构。
本文提出的算法和操作并非固有地与任何特定的计算机或其他装置相关。各种系统还可以与根据本文的教导的程序一起使用，或者其可以证明便于构建更专用的装置来执行所需的方法步骤。各种这些系统所需的结构以及等同的变型对于本领域技术人员将是明显的。另外，并未参照任何特定的编程语言来描述本公开内容。应当理解，可以使用各种编程语言来实现如本文所述的本公开内容的教导。
出于说明和描述的目的，已经提供了对实施方式的前述描述。这并不旨在穷举或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式，而是在适用的情况下是可互换的，并且即使没有具体示出或描述也可以在所选择的实施方式中使用。特定实施方式的各个元件或特征还可以以许多方式变化。这样的变型不被视为脱离本公开内容，并且所有这样的修改旨在被包括在本公开内容的范围内。

Claims (21)

1.一种用于分析生物组织和细胞的自动化方法，包括：
对生物样本的组成进行染色，其中，所述生物样本包括包含至少一个细胞的组织或细胞培养物；
接收所述生物样本的图像数据，其中，所述图像数据提供所述生物样本的三维表示；
在所述图像数据中标记所述至少一个细胞的组成；
针对所述图像数据中每个标记的组织生物标志物或细胞或亚细胞器或组分，构建限定给定的细胞核的边界的数学表示，包括按染色体域、拓扑相关结构域(TAD)、纤层相关结构域(LAD)或端粒边界；
使用所述组织生物标志物或所述细胞或所述亚细胞器或所述组分的所述数学表示，提取针对所标记的组织生物标志物或细胞或亚细胞器或组分中的每一个的特征，其中，所述特征是对所标记的组织生物标志物或细胞或亚细胞器或组分的形状和大小的度量；
存储用于细胞分类的两个或更多个模型；以及
通过将所提取的所标记的组织生物标志物或细胞或亚细胞器或组分的特征与所存储的模型进行比较，来对所述生物样本进行分类。
2.根据权利要求1所述的方法，还包括使用三维图像获取技术来生成所述图像数据。
3.根据权利要求1所述的方法，其中，标记组成还包括将所述图像数据分割成表示所述组成的体积。
4.根据权利要求1所述的方法，其中，构建数学表示还包括使用迭代的拉普拉斯-贝尔特拉米本征投影和边界变形。
5.根据权利要求1所述的方法，其中，从所标记的组织生物标志物或细胞或亚细胞器或组分提取的所述特征包括确定下述中的一个或更多个：标记的组织生物标志物或细胞或亚细胞器或组分的体积、标记的组织生物标志物或细胞或亚细胞器或组分的表面面积、标记的组织生物标志物或细胞或亚细胞器或组分的平均曲率、标记的组织生物标志物或细胞或亚细胞器或组分的形状指数、标记的组织生物标志物或细胞或亚细胞器或组分的曲度指数以及标记的组织生物标志物或细胞或亚细胞器或组分的分形维数。
6.根据权利要求1所述的方法，还包括使用随机森林分类方法对所述生物样本进行分类。
7.根据权利要求1所述的方法，还包括使用选自包括下述的组的分类方法对所述生物样本进行分类：线性分类器、k最近邻方法、决策树方法、神经网络和支持向量机。
8.根据权利要求1所述的方法，还包括仅在所述生物样本包含多于三个细胞时才对所述生物样本进行分类。
9.根据权利要求1所述的方法，其中，使用用于组织生物标志物或细胞或亚细胞器或组分的标记物对所述生物样本的组成进行染色，所述标记物例如为纤维蛋白抗体、溴化乙锭和4',6-二脒基-2-苯基吲哚。
10.根据权利要求1所述的方法，其中，所述生物样本来自细胞培养物或细胞组织。
11.一种用于分析生物细胞的自动化方法，包括：
对生物样本的组成进行染色，其中，所述生物样本包括至少一个细胞；
接收所述生物样本的图像数据，其中，所述图像数据提供所述生物样本的三维表示；
在所述图像数据中标记所述至少一个细胞的组成；
针对所述图像数据中每个标记的细胞核，构建限定给定的细胞核的边界的数学表示；
使用所述细胞核的所述数学表示来提取针对所标记的细胞核中的每一个的特征，其中，所述特征是对所标记的细胞核的形状和大小的度量；
针对每个标记的细胞核仁，构建限定给定的细胞核仁的边界的数学表示；
使用所述细胞核仁的所述数学表示来从所标记的细胞核仁中的每一个提取特征，其中，所述特征是对所标记的细胞核仁的形状和大小的度量；
存储用于细胞分类的两个或更多个模型；以及
通过将所提取的所标记的细胞核和所标记的细胞核仁的特征与所存储的模型进行比较，来对所述生物样本进行分类。
12.根据权利要求11所述的方法，还包括使用共聚焦显微镜来生成所述图像数据。
13.根据权利要求11所述的方法，其中，标记组成还包括将所述图像数据分割成表示所述组成的体积。
14.根据权利要求11所述的方法，其中，构建数学表示还包括使用迭代的拉普拉斯-贝尔特拉米本征投影和边界变形。
15.根据权利要求11所述的方法，其中，从所标记的细胞核提取的所述特征包括确定下述中的一个或更多个：标记的细胞核的体积、标记的细胞核的表面面积、标记的细胞核的平均曲率、标记的细胞核的形状指数、标记的细胞核的曲度指数以及标记的细胞核的分形维数。
16.根据权利要求15所述的方法，其中，从所标记的细胞核仁提取的所述特征包括确定下述中的一个或更多个：相应细胞核中核仁的计数、标记的细胞核仁的体积、标记的细胞核仁的表面面积、标记的细胞核仁的平均曲率、标记的细胞核仁的形状指数、标记的细胞核仁的曲度指数以及标记的细胞核仁的分形维数。
17.根据权利要求11所述的方法，还包括使用随机森林分类方法对所述生物样本进行分类。
18.根据权利要求11所述的方法，还包括使用选自包括下述的组的分类方法对所述生物样本进行分类：线性分类器、k最近邻方法、决策树方法、神经网络和支持向量机。
19.根据权利要求11所述的方法，还包括仅在所述生物样本包含多于三个细胞时才对所述生物样本进行分类。
20.根据权利要求11所述的方法，其中，使用纤维蛋白抗体、溴化乙锭和4',6-二脒基-2-苯基吲哚对所述生物样本的组成进行染色。
21.根据权利要求11所述的方法，其中，所述生物样本来自细胞培养物。
CN201980020865.5A 2018-02-20 2019-02-19 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析 Pending CN111886630A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862632663P 2018-02-20 2018-02-20
US62/632,663 2018-02-20
US16/277,128 2019-02-15
US16/277,128 US10915729B2 (en) 2018-02-20 2019-02-15 Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification
PCT/US2019/018617 WO2019164850A1 (en) 2018-02-20 2019-02-19 Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification

Publications (1)

Publication Number Publication Date
CN111886630A true CN111886630A (zh) 2020-11-03

Family

ID=67616867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020865.5A Pending CN111886630A (zh) 2018-02-20 2019-02-19 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析

Country Status (8)

Country Link
US (1) US10915729B2 (zh)
EP (1) EP3756167A4 (zh)
JP (1) JP7336806B2 (zh)
CN (1) CN111886630A (zh)
AU (1) AU2019223959B2 (zh)
CA (1) CA3091935A1 (zh)
SG (1) SG11202007982VA (zh)
WO (1) WO2019164850A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN116704503A (zh) * 2023-08-01 2023-09-05 昕传生物科技(北京)有限公司 一种基于机器学习的三维肺切片细胞分类和蛋白定量方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020092590A1 (en) * 2018-10-30 2020-05-07 Allen Institute Segmenting 3d intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions
CN116665210B (zh) * 2023-07-28 2023-10-17 珠海横琴圣澳云智科技有限公司 基于多通道信息融合的细胞分类方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070071755A1 (en) * 2005-09-27 2007-03-29 David Balasundaram Novel nucleolar GTPases and method for controlling proliferation of cells
JP6161146B2 (ja) 2013-01-11 2017-07-12 国立大学法人東京工業大学 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム
EP2772882A1 (en) 2013-03-01 2014-09-03 Universite D'angers Automatic measurement of lesions on medical images
EP3108218A4 (en) 2014-02-21 2017-11-15 Massachusetts Institute Of Technology Expansion microscopy
US9784666B2 (en) * 2014-09-11 2017-10-10 3D Signatures Holdings Inc. Methods for assessing cancer cells using granulometry
JP6628969B2 (ja) 2015-03-06 2020-01-15 シスメックス株式会社 細胞分析装置、細胞分析装置の制御方法およびプログラム
US10059990B2 (en) 2015-04-14 2018-08-28 Massachusetts Institute Of Technology In situ nucleic acid sequencing of expanded biological samples
US10545145B2 (en) 2015-04-14 2020-01-28 Massachusetts Institute Of Technology Stochastic arrangement of reagents in clusters—STARC
US11408890B2 (en) 2015-04-14 2022-08-09 Massachusetts Institute Of Technology Iterative expansion microscopy
EP3115766A1 (en) 2015-07-10 2017-01-11 3Scan Inc. Spatial multiplexing of histological stains
WO2017027368A1 (en) 2015-08-07 2017-02-16 Massachusetts Institute Of Technology Protein retention expansion microscopy
US11214661B2 (en) 2015-09-17 2022-01-04 Massachusetts Institute Of Technology Three-dimensional nanofabrication by patterning of hydrogels
JP6597316B2 (ja) * 2016-01-06 2019-10-30 コニカミノルタ株式会社 画像処理装置及びプログラム
ES2959835T3 (es) * 2016-05-03 2024-02-28 Univ Bruxelles Evaluación y manipulación de estructura nucleolar
US10360434B2 (en) 2016-07-25 2019-07-23 Case Western Reserve University Multi-pass adaptive voting for nuclei detection in histopathological images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359056A (zh) * 2022-10-19 2022-11-18 浙江华诺康科技有限公司 分裂细胞检测方法、装置和计算机设备
CN116704503A (zh) * 2023-08-01 2023-09-05 昕传生物科技(北京)有限公司 一种基于机器学习的三维肺切片细胞分类和蛋白定量方法
CN116704503B (zh) * 2023-08-01 2023-10-13 昕传生物科技(北京)有限公司 一种基于机器学习的三维肺切片细胞分类和蛋白定量方法

Also Published As

Publication number Publication date
AU2019223959A1 (en) 2020-09-17
AU2019223959B2 (en) 2024-03-14
EP3756167A4 (en) 2022-07-06
US10915729B2 (en) 2021-02-09
CA3091935A1 (en) 2019-08-29
JP7336806B2 (ja) 2023-09-01
SG11202007982VA (en) 2020-09-29
JP2021514468A (ja) 2021-06-10
US20190258846A1 (en) 2019-08-22
WO2019164850A1 (en) 2019-08-29
EP3756167A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
Das et al. Computer-aided histopathological image analysis techniques for automated nuclear atypia scoring of breast cancer: a review
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
CN106570505B (zh) 对组织病理图像进行分析的方法和系统
EP2987142B1 (en) Systems and methods for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
AU2019223959B2 (en) Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification
Roullier et al. Multi-resolution graph-based analysis of histopathological whole slide images: Application to mitotic cell extraction and visualization
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
Perez et al. A workflow for the automatic segmentation of organelles in electron microscopy image stacks
CN107133651B (zh) 基于超网络判别子图的功能磁共振影像数据分类方法
US20090161928A1 (en) System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using nir fluorscence
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Bredies et al. An active-contour based algorithm for the automated segmentation of dense yeast populations on transmission microscopy images
JP2015533434A (ja) 教師あり形状ランク付けに基づく生物学的単位の識別
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
JP2023539830A (ja) 空間分解したデータセットからクロスモーダル特徴を特定するための方法
Kheradmand et al. Inner cell mass segmentation in human hmc embryo images using fully convolutional network
Ferlaino et al. Towards deep cellular phenotyping in placental histology
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
Han et al. Learning generative models of tissue organization with supervised GANs
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Agus et al. Shape analysis of 3D nanoscale reconstructions of brain cell nuclear envelopes by implicit and explicit parametric representations
Mosaliganti et al. Tensor classification of N-point correlation function features for histology tissue segmentation
Yosifov Extraction and quantification of features in XCT datasets of fibre reinforced polymers using machine learning techniques
Zanotelli et al. A flexible image segmentation pipeline for heterogeneous multiplexed tissue images based on pixel classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40034289

Country of ref document: HK