CN111448582A - 用于单通道全细胞分割的系统和方法 - Google Patents
用于单通道全细胞分割的系统和方法 Download PDFInfo
- Publication number
- CN111448582A CN111448582A CN201880074274.1A CN201880074274A CN111448582A CN 111448582 A CN111448582 A CN 111448582A CN 201880074274 A CN201880074274 A CN 201880074274A CN 111448582 A CN111448582 A CN 111448582A
- Authority
- CN
- China
- Prior art keywords
- nuclear
- image
- processor
- cell
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000000523 sample Substances 0.000 claims abstract description 85
- 239000012472 biological sample Substances 0.000 claims abstract description 31
- 230000001086 cytosolic effect Effects 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 200
- 238000012549 training Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 24
- 230000001413 cellular effect Effects 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 13
- 210000003855 cell nucleus Anatomy 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 description 26
- 210000004940 nucleus Anatomy 0.000 description 25
- 238000002474 experimental method Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 210000001519 tissue Anatomy 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 239000003086 colorant Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000002790 cross-validation Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010859 live-cell imaging Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000003908 quality control method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 210000000805 cytoplasm Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 239000012620 biological material Substances 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 210000005056 cell body Anatomy 0.000 description 3
- 239000002771 cell marker Substances 0.000 description 3
- 238000003711 image thresholding Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101000891579 Homo sapiens Microtubule-associated protein tau Proteins 0.000 description 2
- 102100040243 Microtubule-associated protein tau Human genes 0.000 description 2
- 108091093105 Nuclear DNA Proteins 0.000 description 2
- 238000010420 art technique Methods 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- MPLHNVLQVRSVEE-UHFFFAOYSA-N texas red Chemical compound [O-]S(=O)(=O)C1=CC(S(Cl)(=O)=O)=CC=C1C(C1=CC=2CCCN3CCCC(C=23)=C1O1)=C2C1=C(CCC1)C3=[N+]1CCCC3=C2 MPLHNVLQVRSVEE-UHFFFAOYSA-N 0.000 description 2
- 231100000331 toxic Toxicity 0.000 description 2
- 230000002588 toxic effect Effects 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- AFDXODALSZRGIH-QPJJXVBHSA-N (E)-3-(4-methoxyphenyl)prop-2-enoic acid Chemical compound COC1=CC=C(\C=C\C(O)=O)C=C1 AFDXODALSZRGIH-QPJJXVBHSA-N 0.000 description 1
- 102100026693 FAS-associated death domain protein Human genes 0.000 description 1
- 102100031181 Glyceraldehyde-3-phosphate dehydrogenase Human genes 0.000 description 1
- 101000911074 Homo sapiens FAS-associated death domain protein Proteins 0.000 description 1
- 101000936731 Homo sapiens Sarcoplasmic/endoplasmic reticulum calcium ATPase 1 Proteins 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 101100110224 Oreochromis mossambicus atp2b2 gene Proteins 0.000 description 1
- 102100027697 Sarcoplasmic/endoplasmic reticulum calcium ATPase 1 Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 108020004445 glyceraldehyde-3-phosphate dehydrogenase Proteins 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010249 in-situ analysis Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 210000003470 mitochondria Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- -1 specimen Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及用于生物样本的样本图像的单通道全细胞分割的计算机实现系统及其关联方法。可利用一个或多个非核细胞标记着色剂对生物样本染色，以及该系统和方法配置成将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像，所述被分割的图像具有一个或多个细胞，所述一个或多个细胞具有所描绘的核区域和细胞质区域。
Description
技术领域
本文所公开的主题一般涉及生物样本的图像的全细胞分割，以及更特别地涉及利用一个或多个非核细胞标记着色剂所染色的生物样本的图像的单通道全细胞分割。
背景技术
细胞是全部活体中基本结构、功能和生物单位。另外，细胞包含若干亚细胞区室(例如核、细胞质和膜)和细胞器(例如线粒体)。用来对细胞进行成像、分割和研究的能力对于研究和临床研究是主要的。一个示例是用来了解正常和病理条件中的细胞动力学的研究。另一个示例是药物发现，其中测量不同药物治疗条件对细胞的影响是重要的。另一个示例是用于使用时移显微镜检查来研究活细胞的细胞动力学的活细胞成像。高分辨率荧光显微镜检查中的最近进步为细胞及其亚细胞结构的详尽可视化作好准备。显微镜检查中的进步伴随着计算能力的进步以及用于图像分割的计算机视觉和图像处理方面的技术的发展，这准许准确和高吞吐量的细胞分析。
细胞分割以及特别是全细胞分割在过去数十年内一直是许多研究的焦点。如本文所使用的，术语分割表示生物单位(例如细胞)的边界的识别。例如，在全细胞分割中，在样本图像内描绘细胞的边界和细胞的亚亚细胞区室(例如核、细胞质和/或膜)。通过全细胞分割过程，样本图像被变换成具有所描绘的区域的被分割的图像。可使用显微镜(例如荧光显微镜)来得到样本图像。实现准确分割通常因样本图像的复杂度以及没有明显边界的组织结构的高密度而可能具有挑战性的。在某些分析技术中，分割用来识别用于生物标记定量和特征提取(例如形态特征和表型)的区域和/或单位。例如，细胞分析工作流程可涉及细胞分割、细胞水平定量和数据分析。细胞分割步骤可使用多个结构标记来分割不同亚细胞区室，并且然后在全细胞分割中描绘细胞边界。在第二步骤中，在细胞水平(例如用于每个细胞的平均或总强度)和亚细胞水平来定量每个生物标记。然后，通常在数据分析阶段的开始在图像或主体水平来合计这些细胞水平测量。虽然全细胞分割促进执行详尽细胞水平定量，但是现有细胞分析工作流程具有某些缺点。例如，来自细胞分割步骤的误差可引起定量误差。另外，图像的详尽细胞分割和细胞水平定量可能是费时的，其中处理时间可根据图像中的细胞的数量和组织特性在图像之间改变。另外，通常要求细胞分割的手动审核，这也是费时的。
通常使用细胞分割的若干技术。用于全细胞分割的现有技术通常依靠用于执行分割的仪器(例如显微镜)的两个或更多个通道，并且在本文中称作“二通道全细胞分割”或者“多通道全细胞分割”。例如，许多现有技术依靠将核细胞标记(该核细胞标记特别对第一通道中的核进行染色)以及第二通道(该第二通道与第一通道是不同的)中的一个或多个非核细胞标记用于全细胞分割。与核细胞标记相反，非核细胞标记表示没有特别对核进行染色的细胞标记，例如膜和/或细胞质标记。相应地，这类二通道或多通道全细胞分割技术要求两个或更多个通道，其中第一通道被保留以用于核细胞标记，而第二和/或另外的通道用于非核细胞标记。
但是，给定大多数显微镜的有限数量的通道，非常经常期望仅将单个通道用于分割，使得通道的其余部分可以可用于用来研究不同生物现象的其它分析生物标记。此外，特别是在活细胞成像中，通常存在用来使用仪器(例如显微镜)的单个通道来执行全细胞分割(本文中称作“单通道全细胞分割”)，并且避免使用核细胞标记的期望，由于核细胞标记对细胞所具有的毒性作用以及可从其使用中所产生的形态中的变化，所述核细胞标记特别对核(例如DAPI(4',6-二脒基-2-苯基吲哚))进行染色。
一些现有单通道细胞分割技术依靠图像特征(例如强度和/或形态)。例如，分水岭变换是一种图像处理技术，该图像处理技术已用于分离接触/重叠细胞或核以及用于分割细胞的图像。利用分水岭变换，样本图像可被建模为三维拓扑表面，其中图像中的像素(例如亮度或灰度级)的值表示地理高度。已用于分割细胞的图像的其它图像处理技术包括基于形态的技术，例如假定细胞或核的斑点状形状的基于斑点的检测。还使用了主动轮廓模型和/或蛇形算法。但是，这些现有技术因与细胞关联的变化而不准许准确的全细胞分割。
例如，由于不同组织类型的组织学中的变化，分割在没有特定组织类型应用的显著适配和优化的情况下可能不产生准确的分割。已经注意到，分割技术可使图像过度分割(例如表现为单个细胞的图像实际上可能只是细胞的一部分)或者欠分割(例如表现为单个细胞的图像实际上可能是组合的若干不同细胞)。此外，用于图像的一个区域的适当分割参数在相同图像的其它区域中不可能良好的工作。因此，现有技术对于具有许多形态变化的较大数量的细胞的分割可能不是足够健壮的。另外，细胞通常利用不同标记来染色并且在不同放大率下被成像，这可能导致细胞形状和外观中的高可变性，因而导致不良分割结果。
最近，基于深度学习的技术在生物医学图像分析领域中获得显著兴趣。这些机器学习技术(例如像素分类)也适用于细胞分割。例如，深度学习模型用来从三个通道来识别不同类的细胞。但是，没有执行细胞边界的实际分割。
因此，高度期望开发用于执行生物样本的图像的单通道全细胞分割(更特别是利用非核细胞标记所染色的生物样本的图像的单通道全细胞分割)的改进系统和方法。
发明内容
下面概述在范围方面与最初要求保护主题相称的某些实施例。这些实施例不是意在限制要求保护主题的范围，这些实施例而是仅意在提供可能实施例的简要概述。实际上，本公开可包括可与下面阐述的实施例类似或不同的多种形式。
在一个实施例中，提供一种计算机实现方法，所述计算机实现方法用于将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。该方法包括：(a)提供计算机系统，所述计算机系统具有：处理器，所述处理器配置成执行指令；以及存储器或存储装置，所述存储器或存储装置在操作上耦合到处理器，其中存储器和存储装置中的至少一个配置成存储：从包括生物样本的多个训练图像的训练数据所生成的模型，训练图像包括被识别为核、细胞和背景中的至少一个的区域；利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像；以及处理器可执行指令；(b)在存储器或存储装置中访问模型以及利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像；(c)通过将模型应用于样本图像来生成包括预测核区域的核概率图以及包括预测细胞区域的细胞概率图；(d)由处理器从核概率图中提取二元核掩膜；(e)由处理器从二元核掩膜中提取核种子图，核种子图包括通过所描绘的核区域所分离的所提取单独核种子；(f)由处理器将所提取核种子应用于样本图像；以及(g)将样本图像变换为被分割的图像，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。
在另一个实施例中，提供一种用于将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像的计算机系统，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。该计算机系统包括：处理器，所述处理器配置成执行指令；存储器或存储装置，所述存储器或存储装置在操作上耦合到处理器，存储器和存储装置中的一个或两者配置成存储：从包括生物样本的多个训练图像的训练数据所生成的模型，训练图像包括被识别为核、细胞和背景中的至少一个的区域；利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像；以及处理器可执行指令，所述处理器可执行指令在由处理器执行时使包括下列的动作被执行：(a)在存储器或存储装置中访问模型以及利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像；(b)通过将模型应用于样本图像来生成包括预测核区域的核概率图以及包括预测细胞区域的细胞概率图；(c)由处理器从核概率图中提取二元核掩膜；(d)由处理器从二元核掩膜中提取核种子图，核种子图包括通过所描绘的核区域所分离的所提取单独核种子；(f)由处理器将所提取核种子应用于样本图像；以及(g)将样本图像变换为被分割的图像，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。
附图说明
在参照附图阅读以下详细描述时，本公开的这些及其它特征、方面和优点将变得更好理解，在附图中，相似字符通篇表示相似部件，其中：
图1是按照本公开的实施例的成像系统的示意表示；
图2图示按照本公开的实施例的计算设备的框图；
图3图示按照本公开的实施例的深度学习网络架构；
图4图示按照本公开的实施例所构建的用于核、细胞和背景标签的训练或预测模型的结果；
图5图示按照本公开的实施例的单通道全细胞分割工作流程；
图6图示按照本公开的实施例、与图5对应的利用示范输入和所变换图像的单通道全细胞分割工作流程；
图7是按照本公开的实施例的示出将样本图像变换为细胞概率图和核概率图的步骤的框图；
图8是按照本公开的实施例的示出从核概率图中提取二元核掩膜的步骤的框图；
图9是按照本公开的实施例的示出从二元核掩膜中提取具有通过所描绘的核区域所分离的单独核种子的核种子图的步骤的框图；
图10是按照本公开的实施例的示出将所提取核种子应用于样本图像的步骤的框图；
图11图示按照本公开的实施例的用于计算细胞分割质量得分的算法；
图12A-12D图示以不同放大率所拍摄并且利用各种非核细胞标记所染色的样本图像的示例。在图12A中，样本图像以10x放大率来拍摄并且利用dsRed来染色。在图12B中，样本图像以10x放大率来拍摄并且利用TexasRed来染色。在图12C中，样本图像以20x放大率来拍摄并且利用Cy5来染色。在图12D中，样本图像以20x放大率来拍摄并且利用dsRed来染色；
图13A-13D示出用于表2的示例的分割结果。图13A示出使用半自动地面实况（groundtruth）分割的分割结果；图13B示出使用按照本公开的实施例的基于深度学习的方式的分割结果；图13C和图13D分别示出图13A和图13B的白线框中的区域的特写。
图14A-D示出用于表2的另一个示例的分割结果。图14A示出使用半自动地面实况分割的分割结果；图14B示出使用按照本公开的实施例的基于深度学习的方式的分割结果；图14C和图14D分别示出图14A和图14B的白线框中的区域的特写。
图15A-15D示出用于表2的又一个示例的分割结果。图15A示出使用半自动地面实况分割的分割结果；图15B示出使用按照本公开的实施例的基于深度学习的方式的分割结果；图15C和图15D分别示出图15A和图15B的白线框中的区域的特写。
图16示出按照本公开的实施例的来自表2的实验1的总共1666个被分割的细胞的细胞水平质量得分的直方图的结果；
图17示出按照本公开的实施例的基于深度学习的方式的交叉验证实验的结果；以及
图18A-18D图示半自动地面实况分割结果(图18A)与使用按照本公开的实施例的基于深度学习的方式的分割的结果(图18B)之间的比较的示例；图18C和图18D分别示出图18A和图18B的白线框中的区域的特写。
具体实施方式
本公开的实施例可原位执行，包括例如在完整器官或组织中或者在器官或组织的代表段中执行。原位分析可包括从各种来源(包括有机体、器官、组织样本或细胞培养)所得到的细胞。其分析可提供标本数据，如果细胞从其生物环境被去除，则所述标本数据难以得到。如果标本内的细胞从其自然组织环境被干扰，则获取这类标本数据也许不是可能的。
本公开的全细胞分割解决由现有分割技术面临的许多挑战。本公开的系统和方法的有益效果包括但不限于它：(a)将单个通道用于分割；(b)可适用于利用不同标记染色并且在不同放大率下被成像而无需定制单独样本的参数的样本；(c)提供全细胞分割，其具有所分离的聚类细胞以及明确描绘的细胞边界；以及具有与地面实况分割可相当的精度。
系统概述
本技术提供用于图像分析的系统和方法。在某些实施例中，设想本技术可与先前获取的图像(例如数字存储的图像)结合用于回顾性研究中。在其它实施例中，可从物理样本来获取图像。在这类实施例中，本技术可与图像获取系统结合使用。能够按照本技术进行操作的示范成像系统10在图1中被描绘。通常，成像系统10包括成像器12，该成像器12检测信号，并且将信号转换成数据，所述数据可由下游处理器来处理。成像器12可按照各种物理原理进行操作以用于创建图像数据，并且可包括荧光显微镜、明视野显微镜或者适于适当成像形态的装置。但是通常，成像器12在常规介质(例如胶片)中或者在数字介质中创建指示包括细胞14的群体的生物样本的图像数据，所述细胞14在这里示为组织微阵列上的多个样本。如本文所使用的，术语“标本”、“生物标本”、“生物材料”或“生物样本”表示从生物主体所得到或者位于生物主体中的材料，包括从主体所得到的生物组织或流体，包括但不限于体液(例如血液、血浆、血清或尿液)、器官、组织、活检、片断（fraction）以及与任何生物系统(例如哺乳动物)所隔离或者位于其中的细胞。标本、生物标本、生物样本和/或生物材料还可包括生物样本、标本或者包括组织的材料的部分(例如器官或组织的截面部分)，并且还可包括来自生物样本的提取物，例如来自生物流体(例如血液或尿液)的抗原。标本、生物标本、生物样本和/或生物材料可作为载片的组成部分来成像。
成像器12在系统控制电路系统16的控制下进行操作。系统控制电路16可包括大范围的电路，例如照明源控制电路、定时电路、用于协调与样本移动相结合的数据获取的电路、用于控制光源和检测器的位置的电路等。在本上下文中，系统控制电路系统16还可包括计算机可读存储器元件，例如磁、电子或光存储介质，其用于存储由系统控制电路系统16或者由系统10的关联组件所执行的程序和例程。所存储程序或例程可包括用于执行本技术的全部或部分的程序或例程。
由成像器12所获取的图像数据可由成像器12来处理以用于多种目的(例如用来将所获取数据或信号转换成数字值)，并且提供给数据获取电路系统18。数据获取电路系统18可根据需要执行大范围处理功能，例如数字动态范围的调整、数据的平滑或锐化以及数据流和文件的编译。
数据获取电路系统18还可将所获取图像数据传递给数据处理电路系统20，其中可执行附加处理和分析。因此，数据处理电路系统20可执行图像数据的实质分析，包括但不限于排序、锐化、平滑、特征识别等。另外，数据处理电路系统20可接收用于一个或多个样本来源(例如多孔板的多个孔)的数据。经处理的图像数据可存储在短期或长期存储装置(例如图片存档通信系统)中，所述短期或长期存储装置可位于成像系统10内或者远离成像系统10，和/或被重构并且例如在操作员工作站22为操作员显示。
除了显示重构图像之外，操作员工作站22还可通常经由与系统控制电路16的接口来控制成像系统10的上述操作和功能。操作员工作站22可包括一个或多个基于处理器的组件，例如通用或专用计算机24。除了基于处理器的组件之外，计算机24还可包括各种存储器和/或存储组件，包括磁和光大容量存储装置、内部存储器(例如RAM芯片)。存储器和/或存储组件可用于存储执行本文所述技术的程序和例程，所述程序和例程由操作员工作站22或者由系统10的关联组件来执行。备选地，程序和例程可存储在远离操作员工作站22、但是通过网络和/或存在于计算机24的通信接口可访问的计算机可访问存储装置和/或存储器上。计算机24还可包括各种输入/输出(I/O)接口以及各种网络或通信接口。各种I/O接口可允许与用户接口装置(例如显示器26、键盘28、鼠标30和打印机32)的通信，所述用户接口装置可用于查看和输入配置信息和/或用于操作成像系统10。各种网络和通信接口可允许到局域和广域内联网和存储网络以及因特网的连接。各种I/O和通信接口可适当地或者根据需要来利用导线、线路或者适当的无线接口(包括WIFI、蓝牙或蜂窝电话接口)。
可为成像系统10提供多于单个操作员工作站22。例如，成像扫描仪或台可包括操作员工作站22，该操作员工作站22准许图像数据获取规程中涉及的参数的调节，而可提供不同操作员工作站22，以用于操纵、增强和查看结果以及重构图像。因此，本文所述的图像处理、分割和/或增强技术可远离成像系统执行，如在完全分开和无关的工作站上执行，所述工作站访问原始、经处理或者部分处理的图像数据，并且执行本文所述的步骤和功能，以改进图像输出或者提供附加类型的输出(例如原始数据、强度值、细胞剖面)。
此外，应当理解，所公开输出也可经由系统10来提供。例如，系统10可基于所公开技术来生成度量或值，并且可经由系统10来显示或提供这类值的其它指示。
在所公开实施例的至少一个方面中，本文所公开的系统和方法可由一个或多个计算机或者基于处理器的组件在一个或多个程序的控制下执行，所述程序存储在计算机可读介质(例如非暂时计算机可读介质)上。图2示出可用来实施本公开的方面的示范计算设备40的框图。在至少一个示范方面中，系统控制电路系统16、数据获取电路系统18、数据处理电路系统20、操作员工作站22和其它所公开装置、组件及系统可使用计算设备40的实例或复制来实现，或者可在计算设备40的任何数量的实例或复制之间来组合或分布。
计算设备40可包括至少一个计算机可读介质44上存储的机器可读可执行指令、计算机可读程序代码或者处理器可执行指令(例如固件或软件)，它们在被执行时配置成实行和执行本文所述的过程和方法，包括本公开的实施例的全部或部分。计算机可读介质44可以是计算设备40的(一个或多个)存储器装置。(一个或多个)存储器装置可包括易失性存储器(例如随机存取存储器(RAM))和/或非易失性存储器(例如只读存储器(ROM))。(一个或多个)存储器装置可存储多种信息，并且可用于各种目的。在备选方面中，计算机可读程序代码可存储在设备40外部或者远离设备40的存储器中。存储器可包括磁介质、半导体介质、光介质或者可以是由计算机可读和可执行的任何介质。计算设备40还可包括(一个或多个)存储装置46(例如非易失性存储装置)，例如ROM、闪速存储器、硬盘驱动或者任何其它适当的光、磁或固态存储介质。(一个或多个)存储装置46可存储数据(例如输入数据、处理结果等)、指令(例如用于处理数据的软件或固件等)等。计算设备40还可包括存储器或其它计算机可读介质44和/或(一个或多个)存储装置46在操作上耦合到的一个或多个处理器42，它们用于执行存储器中或者至少一个计算机可读介质44上存储的计算机可读程序代码。在至少一个方面中，计算设备40可包括一个或多个输入或输出装置，其用来允许示范成像系统10的组件之中的通信，所述一个或多个输入或输出装置包括例如可通常称为用户接口48的装置，例如上述操作员工作站22，其可操作成像系统10中包括的其它组件或者来往于成像系统10的其它组件提供来自计算设备40的输入或输出。
训练模型的开发
按照本公开的某些实施例，训练模型被开发并且用于单通道全细胞分割工作流程中。训练模型可以是深度学习模型，所述深度学习模型可在深度学习框架上构建。深度学习框架的网络架构可以是卷积神经网络，所述卷积神经网络使用卷积和去卷积层的级联来学习能够用来预测图像或像素标签的图像特征的分级结构(低水平-高水平)。Mxnet资料库和U-net架构可用来计算深度学习框架中的多个类或标签的像素级预测。
在某些实施例中，全细胞分割中的深度学习模型可使用mxnet通过python实现，而核种子图以及具有所描绘的区域的细胞分割可使用ITK通过phthon和C++来开发。可使用nvidia图形卡Tesla K80基于Ubuntu在amazon云环境(AWS)上训练深度学习模型。在每交叉验证折大约6小时内，深度学习模型的训练可花费每期大约11-13分钟，其中期是全训练集的一遍。对新图像应用训练模型和后处理步骤可花费每图像大约4-6秒。
图3图示按照本公开的实施例的深度学习网络架构，其中使用U-net架构。深度学习训练模型使用160×160像素的图像块来生成，以预测3个不同标签，包括核、细胞和背景标签。如图3中所示，从160×160像素的输入图像块，应用一系列5个卷积和池化步骤。卷积内核大小为3×3，以及5个层的过滤器的数量分别为32、64、128、128和256。因此，最低层采用5×5个图像来产生。
训练迭代地继续进行，其中迭代/期数根据经验设置成大约30-50的范围。在每个训练迭代中，目标是要估计网络权重，使得损失函数为最小。更特别地， 如下等式(1)所示，ln、lc和lb分别表示训练数据集中的核、细胞和背景标签，以及pn、pc和pb分别表示核、细胞和背景的深度学习架构的预测。损失函数f(x)则可定义为预测和所表示标签的均方根偏差(RSMD)。损失函数可包括如等式(1)中的不同标签之间的关系的约束：
其中，wn、wc、wb和w表示与不同标签关联的权重。权重可等于一。
图4图示按照本公开的实施例所构建的核、细胞和背景标签的训练或预测模型403(例如深度学习模型)的结果。三个标签的每个具有其自己的支配特性，并且特性用来构建深度学习模型。例如，核与细胞体相比可具有更低的强度信号。通常，用于核的强度范围与图像背景的强度范围接近。更亮细胞体(即，细胞质)的纹理图案可基于所使用标记从一个图像到另一个图像地改变。如图4中所图示的采用标签402所标记的训练图像401可用作后续图像处理的训练集(即，训练数据)。
在某些实施例中，可预先处理用于训练的图像。作为示例，可抑制图像背景，以校正不均匀照明。例如，可采用200×200的内核大小来应用顶帽过滤。为了计及（accountfor）图像放大率(以及因而像素大小)的差，图像可被下取样为大约处于10x(例如像素大小＝0.65×0.65 µm)。此后，输入图像可分成176×176像素的重叠块（patch），其具有离每侧8个像素的重叠。因此，只有内部160×160像素对于每个块是唯一的。可通过将原始块旋转90度来扩大训练数据。另外并且可选地，可在训练数据中包括左-右翻转块。所生成的训练模型可保存到文件中，并且存储在计算设备40的存储器或存储装置中，以便用于后续步骤中，例如如本说明书中稍后描述的步骤501或601。
单通道全细胞分割工作流程
图5图示按照本公开的实施例的单通道全细胞分割工作流程。图6图示按照本公开的实施例、与图5对应的利用示范输入和所变换图像的单通道全细胞分割工作流程。
图7图示用于将样本图像变换为细胞概率图和核概率图的框图，所述框图示出分别在如图5和图6中图示为步骤501/601的深度学习变换步骤中涉及的步骤。在步骤701中，可选地可经预先处理的样本图像(例如图5和图6中的样本图像51/61)被提供给处理器，例如计算设备40的处理器42。在步骤702中，样本图像分成块，例如在实施例中，样本图像分成176×176块。样本图像可分成适于其预计应用的块的其它大小。在步骤703中，基于所应用训练/预测模型为块的每个像素指配预测标签。标签可从包括但不限于核、细胞和背景标签的一组标签中选取。在步骤704中，拼接包括所指配标签的块，以形成具有所指配的相应标签的全预测图像。在步骤705中，处理器基于所指配的预测标签来提取核概率图(例如分别为图5和图6的核概率图52/62)和细胞概率图(例如分别为图5和图6的53/63)。
如图5和图6中所图示，所生成的核概率图52/62可在图像中与其它细胞区域相比将核示为更亮的区域，如由紧邻核概率图52/62和细胞概率图53/63的概率比例尺所指示。核概率图的更亮区域中的像素又可称作具有作为核的更高概率的像素。相应地，可通过具有核概率图中的更高概率的这些像素来定义核。在后续核二元化变换步骤502/602中，从核概率图中提取二元核掩膜54/64。在一些实施例中，核概率图的图像阈值化可足以提取核掩膜(例如高于0.5的概率)。但是，图像阈值化方式可能具有缺点。首先，使用图像阈值化可因被错误分类为核的图像伪影而产生误报。其次，相邻细胞的核可形成包括多个核的大连接成分。因此，本公开中设想一种用来为处理器提供用于从核概率图中提取二元核掩膜的改进功能性的方法。
图8图示用于从核概率图中提取二元核掩膜的框图，所述框图示出图5和图6的核二元化变换步骤502/602中涉及的步骤。
在步骤801中，向处理器提供从先前步骤501/601所生成的核概率图52/62。核概率图包括多个像素，其中每个像素具有作为核的所指配概率。核概率图中的像素的概率是从0-100%的连续概率尺度中选取的值。相应地，核概率图可称作“连续尺度核概率图”。如本文所使用的，“连续尺度”表示一种尺度，由此该尺度具有最小和最大数，以及连续尺度上的值能够取最小与最大数之间的任何值。例如，连续概率尺度可具有0-100%的值，以及像素的概率被指配沿0-100%的尺度的任何位置的数值。
在步骤802中，处理器配置成识别核概率图上具有不同大小的核。在某些实施例中，执行斑点检测。如本文所使用的，“斑点检测”表示图像或数字对象中包含斑点状核的区域的识别。例如，为了检测具有不同大小的核，识别核概率图中包含斑点状核的区域。执行斑点检测可进一步包括高斯拉普拉斯(LoG)斑点检测器的使用。在一个实施例中，在多个尺度应用多级(或者多尺度)高斯拉普拉斯(LoG)斑点检测器，以增强包含斑点状核的所识别区域。高斯拉普拉斯斑点检测器考虑预计形态以及预测核的强度分布。在多个尺度应用高斯拉普拉斯过滤器改进具有不同大小的核的检测。给定2-D图像I，在尺度σ在任何像素(x,y)的高斯拉普拉斯(LoG)如等式(2)中所示的那样公式化：
通过首先由高斯过滤器在尺度σ卷积图像I，之后接着对高斯过滤图像计算拉普拉斯微分算子来实现上述函数。
在步骤803中，处理器将多级阈值化(例如多级Otsu阈值化)应用于具有不同大小的核的所识别区域。可自动地或者利用用户输入来执行多级阈值化。在将多级阈值化应用于具有不同大小的核的所识别区域中，可指配三级，每级分别定义图像背景、暗核(斑点)和亮核(斑点)。
在步骤804中，处理器对分别具有在步骤803中所定义的图像背景、暗核和亮核的所指配水平的每个像素指配二元值。每个像素的二元值是从二元尺度中选取的值。如本文所使用的，“二元尺度”表示一种尺度，由此该尺度仅具有一对离散二元位数(例如一对“0”和“1”、一对“1”和“2”、一对“+”和“-”或者一对“通”和“断”等)，以及二元值只能够选择为二元尺度上的两个二元位数中的一个。要领会，二元位数的表示的示例只是为了说明的目的而给出，以及可使用多种其它对离散二元位数，其知识是本领域的技术人员已知的。在一些实施例中，暗和亮核可被组合并且被指配一个二元值。例如，背景像素可被指配二元值“0”，而暗和亮核可被组合并且被指配二元值“1”。
在步骤805中，处理器基于被指配给核概率图的像素的二元值从连续尺度核概率图52/62中提取二元核掩膜54/64。与其中像素具有落入0-100%的连续尺度内的任何位置的概率值的核概率图不同，所提取二元核掩膜54/64中的像素仅具有选择为二元尺度上的两个二元位数中的一个的概率值。因此，所提取二元核掩膜又称作“二元尺度核掩膜”。连续尺度核概率图52/62到二元尺度核掩膜54/64中的变换使处理器能够按照显著更有效方式来执行图像处理，从而允许要快许多的图像处理。总体上，当前技术可在大约几秒钟中处理大图像。对于其中所研究的细胞可在成像(例如活细胞成像)期间经历快速且动态变化的应用，这些改进是特别重要的。
返回参照图5和图6，在后续核分离变换步骤503/603中，处理器还将所提取二元核掩膜54/64变换为核种子图55/65。从步骤502/602所得到的所提取二元核掩膜54/64包含与图像背景所分离的核。但是，二元核掩膜还可包含形成大多核连接成分的接触核。在工作流程的后续步骤中使用这些多核连接成分作为用于细胞分割的核种子将引起相邻细胞的不合需要合并。因此，按照本公开的实施例，还从二元核掩膜中提取核种子图55/65，所述核种子图具有通过所描绘的核区域所分离的单独核种子。
图9图示框图，所述框图示出二元核掩膜到具有通过所描绘的核区域所分离的单独核种子的核种子图中的变换中涉及的步骤(例如图5和图6的步骤503/603)。要理解，虽然为了说明的目的而在图9中示出基于形状的分水岭分割方式，但是按照本公开的实施例，可使用其它方式。在步骤901中，确定二元核掩膜的距离变换，以生成距离图图像，其中在二元核掩膜中的每个像素处的值等于像素离背景的欧几里德距离。然后在步骤902中，对距离图图像应用扩展h最小值变换。这开始于在水平h应用H最小值变换，以抑制距离图图像中其深度小于值h的全部区域最小值。在步骤903中，处理器提取具有被抑制区域最小值的所得到的图像的区域最小值。参数h可由用户或计算机来设置，并且其缺省值为大约3 µm。在步骤904中，种子分水岭变换应用在逆距离变换上，并且使用在步骤903中所提取的区域最小值作为核种子。步骤904的结果是核种子图，所述核种子图具有通过所描绘的核区域所分离的单独核种子。
返回参照图5和图6，细胞增强变换步骤504/604和细胞描绘变换步骤505/605图示将样本图像变换为被分割的图像57/67的工作流程中的最终步骤，所述被分割的图像57/67具有一个或多个细胞，所述一个或多个细胞具有所描绘的核区域和细胞质区域。
要理解，细胞增强变换步骤(例如图5和图6的步骤504/604)是可选步骤。在步骤504/604中，样本图像51/61经由细胞增强变换过程来变换为增强样本图像56/66。在图5和图6的深度学习变换步骤502/602中从样本图像所生成的细胞概率图53/63现在在细胞增强变换步骤504/604中又再应用于样本图像。在一个实施例中，执行细胞概率图53/63与样本图像51/61之间的像素级加权。例如，处理器可使用细胞概率图中的像素值作为权重，以便将像素级加权应用于样本图像强度，并且生成增强样本图像。样本图像51/61或者增强样本图像56/66还由处理器用于细胞描绘变换步骤(例如图5和图6的步骤505/605)中。
要注意，单独使用细胞概率图不足以允许处理器将样本图像变换为具有利用所描绘的区域所识别的一个或多个细胞的被分割的图像。为了改进处理器的能力并且允许处理器对样本图像或增强样本图像执行单通道全细胞分割，向处理器提供在图5和图6的步骤503/603中提取的核种子图。处理器可按照图5和图6的步骤504/604来提取具有单独核种子的核种子图，并且在图5和图6的步骤505/605期间将所提取核种子应用于样本图像或增强样本图像。因此，样本图像或增强样本图像被变换为被分割的图像，所述被分割的图像具有一个或多个细胞，所述一个或多个细胞具有所描绘的细胞和/或亚细胞区域(包括但不限于核和细胞质区域)。如图6中的示范图像67所图示，描绘细胞和亚细胞区室的边界。要理解，虽然图像中的细胞和/或亚细胞区室的边界在黑白线图中示出，但是在某些实施例中，边界可按照不同颜色来描绘，以表示不同细胞轮廓。
图10是示出图5和图6的步骤504/604中涉及的变换步骤的一个实施例的框图。在可选步骤1001中，由处理器例如通过降噪、校正背景照明(例如不均匀背景照明)或者重新缩放(例如对数空间中的重新缩放)或者它们的任何组合来预先处理样本图像，以用于强度调整。
在可选步骤1002中，处理器使用细胞概率图中的像素值作为权重，以便将像素级加权应用于样本图像强度，并且将样本图像变换为增强样本图像。
在步骤1003中，处理器确定图像背景，并且基于全部细胞的预计面积来指配背景标签。处理器将所提取核种子应用于样本图像或增强样本图像。细胞的预计面积可基于核种子图中的所提取核种子的数量来确定，以及每个细胞的平均预计面积基于关于一个核种子对应于一个细胞的假设来确定。多级阈值化(例如多级Otsu阈值化)也可应用于图像。最佳Otsu阈值被选择成对应于估计为最接近预计细胞面积的面积。不是对应于预计细胞面积的区域被指配背景标签。
在步骤1004中，来自步骤1003的所指配背景标签连同包括通过所描绘的核区域所分离的单独核种子的所提取核种子图一起用于图像的种子分水岭分割中。这种方式允许细胞的识别和分离。对于图像中的每个核，该方式将识别对应细胞。
按照本公开的实施例的单通道全细胞分割工作流程为处理器提供利用现有技术可不容易得到的改进能力，例如处理器将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像的图像处理能力，所述被分割的图像具有利用所描绘的核区域和细胞质区域所识别的一个或多个单独细胞。另外，本公开的技术成功解决了由现有技术面临的多个技术挑战。例如，本公开的技术为处理器提供用来使用显微镜的单个通道来执行单通道全细胞分割的能力。这与使用两个或更多个通道的分割技术(其中通道中的一个被保留以便与核特定细胞标记着色剂一起使用)形成对照。
按照本公开的实施例，仅利用(一个或多个)非核细胞标记着色剂(所述非核细胞标记着色剂没有特别对细胞核进行染色)对样本染色，因而消除对核特定细胞标记着色剂的保留通道的需要，并且使大多数仪器的有限数量的通道的使用最大化。此外，通过消除使用核特定细胞标记着色剂的需要，本技术提供各种技术领域中的显著技术改进，包括但不限于活细胞成像，其中现在能够避免核细胞标记着色剂对细胞(特别是经历活细胞成像的细胞)的潜在有害毒性作用。
如本文所注意的并且在本公开中通篇所使用，术语“核特定细胞标记着色剂”又可称作“核细胞标记着色剂”、“核标记着色剂”或者“核着色剂”，它们可特别对细胞核染色。在一些实施例中，核细胞标记着色剂是DAPI着色剂。在一些实施例中，核细胞标记着色剂可包括核特定染料或着色剂，例如对于核DNA特定的荧光染料。在一些实施例中，核细胞标记着色剂可包括核细胞标记抗体，所述核细胞标记抗体检测特定于细胞的核的细胞标记蛋白质，并且能够帮助核的形态和动力学及其结构的研究。特定于核的细胞标记蛋白质可包括但不限于ASH2L、ATP2A2、CALR、CD3EAP、CENPA、COL1A1、DDIT3、EIF6、ESR1、ESR2、GAPDH、H2AFX、H2AFZ、HIF1A、HIST1H4A、Ki67、LaminA/C、MYC、NOP2、NOS2、NR3C1、NUP98、pCREB、SIRT1、SRSF2、或TNF或者它们的任何组合。
如本文所注意并且在本公开中通篇所使用，术语“非核细胞标记着色剂”又可称作“非核标记着色剂”或者“非核着色剂”。在按照本公开的一些实施例中，核细胞标记着色剂是DAPI着色剂，以及非核细胞标记着色剂是一种不是DAPI的着色剂(即，非DAPI着色剂)。在一些实施例中，非核细胞标记着色剂可包括染料或着色剂，例如不是对于核DNA特定的荧光染料。在一些实施例中，非核细胞标记着色剂还可包括非核细胞标记抗体，所述非核细胞标记抗体检测非核细胞标记，例如不是特定于细胞的核的非核细胞标记蛋白质。在一些实施例中，(一个或多个)非核细胞标记包括结构标记，例如任何质膜标记(包括但不限于NaKATPase、PMCA、附蛋白、CD98、CD45、ATP2A2、C3、CD40L、CD27、CD40、ESR1、CD95、DIg4、Grb2、FADD、GAPDH、LCK、MAPT、IL6、Membrin、NOS3、RYR1、P4HB、RAIDD、CALR等)和任何细胞质标记(包括但不限于ACTB、AHR、CALR、DDIT3、DLg4、ESR1、GAPDH、HIF1A、HSPA1A、NOS2、NOS3T、NR3C1、MAPT、RYR1等)。(一个或多个)非核细胞标记的其它非限制性示例包括但不限于ACTC1、ACTC2、HSPB1、KRT17、MAP1LC3B、NFATC2、TNNT2、TUBA1A、TUBB3、FP3、S6、pS6、CFP4、Glul、CFP5、pS6235、CFP6、CFP7、FOXO3a、CFPS、pAkt、CFP9、pGSK3beta、谱角蛋白等以及它预计用于的对于某个应用特定的任何其它非核细胞标记。要理解，如果一个单独非核细胞标记着色剂没有对全细胞区室染色，则非核细胞标记着色剂的组合可在同一通道中用来提供均匀着色剂。还要理解，大量的(一个或多个)非核细胞标记着色剂是本领域的技术人员已知的，并且预计处于按照本公开的(一个或多个)非核细胞标记着色剂的范围之内。
通过本公开所提供的附加有益效果包括例如技术可适用于各种细胞类型和样本。此外，如以下示例小节所示并且按照本公开的实施例，利用大量非核细胞标记着色剂所染色并且利用各种放大率所成像的样本可经过同一全细胞分割工作流程，而无需对工作流程的附加修改。定制修改的消除使处理器能够按照要快许多并且更有效方式来执行图像处理，这对诸如其中细胞在成像过程期间经历快速且动态变化的应用之类的应用是重要的。
分割结果的评估
在某些实施例中，可执行分割结果的评估。计算设备40包括评估单元，以及评估单元配置成执行质量控制(QC)评估，并且采取质量得分的形式来提供QC评估结果。QC评估可基于度量(例如相似性度量)。相似性度量可包括例如细胞分割相似性度量，该细胞分割相似性度量定义为用来将细胞分割结果与黄金标准(或地面实况)细胞分割结果进行比较的度量。地面实况细胞分割可以是如以下示例小节所述的自动或半自动地面实况细胞分割。在一些实施例中，细胞分割相似性度量应用于被分割的图像，以评估细胞分割的质量或良好性，并且生成细胞分割质量得分。在其中被分割的图像包含一个或几个被分割的对象的一些实施例中，可使用二元相似性度量(例如Dice重叠比度量)。在其中被分割的图像包含大量被分割的对象(例如数百或数千个被分割的细胞)的某些实施例中，二元相似性度量可能不是充分的，以及通过图11中的算法所定义的细胞分割相似性度量可用于QC评估。
示例
数据集
下表2示出示例小节中使用的数据集和实验条件的细节。数据集用于训练按照本公开的方面的模型，或者用于测试按照本公开的实施例的分割方法。
在表2中，使用包括来自六个板(板#1-6)的数据的数据集，每个板包含经过96孔微板(为了简洁起见而称作“板”)中的多个测定的样本的图像。利用与非核细胞标记着色剂不同的荧光染料对样本染色，以识别细胞体/细胞质。在表2中，使用荧光染料，例如dsRed、Cy5、TexasRed。但是，在其它应用中，可使用适于那些特定应用的非核细胞标记着色剂。按照其预计应用的适当细胞标记着色剂的选择处于本领域的技术人员的知识之内。使用GE的INCell Analyzer系统来获取图像。以包括10x(像素大小0.65×0.65)和20x(像素大小0.325×0.325)的各种放大率来扫描板。可使用其它放大率，包括但不限于40x和60x(数据未示出)。与放大率无关，每个图像的大小为2048×2048像素。实验中仅使用每个板的孔的小子集(例如每个板的一行或二行)。表2的实验1-3各自具有总共123个图像。要理解，可使用其它数量的图像。图像的数量的选择以及按照其预计应用的数据集的选择处于本领域的技术人员的知识之内。图12A-12D图示利用各种非核细胞标记着色剂所染色并且以不同放大率所成像的样本图像的示例：(A) 10x，dsRed通道；(B) 10x，TexasRed通道；(C) 20x，Cy5通道；以及(D) 20x，dsRed通道。
为了生成训练模型(例如基于深度学习的模型)，使用被分割的图像的集合(称作地面实况分割)。生成训练模型的过程可称作“训练模型”。地面实况分割可用来训练模型，以及评估使用训练模型来评估分割的结果。理想地，人类专业人员将会创建这种地面实况分割。但是，这是非常费时的，因为图像可包含数百个细胞。为了克服这个局限性，使用自动得到的次最佳分割(称作“自动地面实况分割”)来训练按照本公开的方面的模型。在一些实施例中，利用核特定标记着色剂和非核细胞标记着色剂所染色的样本图像经过以前开发的二通道细胞分割技术，以生成二通道分割，以便用作训练模型中的自动地面实况分割。
在某些实施例中，除了自动生成的地面实况分割之外，图像还可由专业人员半自动地分割(称作“半自动地面实况分割)，并且用来验证自动分割结果。对于半自动地面实况分割，专业人员可使用软件(例如CellProfiler，一种开源软件)来生成初始次最佳分割。然后，专业人员可使用软件来通过分离、合并、添加和去除细胞来手动细化/编辑分割结果。
表2概括三个实验(实验1-3)。在全部三个实验中，自动二通道地面实况分割用于训练深度学习模型。数据集可按不同方式分成用于训练的数据集(即，训练集)、用于测试的数据集(即，测试集)以及用于验证每个相应实验的分割结果的数据集。
实验1：分割
在实验1中，使用表2中的板#1-5，从而产生总共108个样本图像。在108个图像之中，10个图像用作测试集，以及其余98个图像进一步分成训练集(88个图像)和验证集(10个图像)。测试集的10个图像的分割结果通过将它们与半自动地面实况分割进行比较来评估。图13A-13D示出表2的实验1的一个样本的分割结果。图13A(左上列)图示经过半自动地面实况分割的图像的分割结果。图13B(右上列)图示经过按照本公开的实施例的分割技术的图像的分割结果。图13C和图13D(底部行)分别示出图13A和图13B的白线框中的区域的特写。对两个分割结果观察高相似性。
图14A-14D示出表2的实验1的另一个示例的分割结果。图14A(左上列)图示经过半自动地面实况分割的图像的分割结果。图14B(右上列)图示经过按照本公开的实施例的分割的图像的分割结果。图14C和图14D(底部行)分别示出图14A和图14B的白线框中的区域的特写。
图15A-15D示出表2的实验1的又一个示例的分割结果。图15A(左上列)图示经过半自动地面实况分割的图像的分割结果。图15B(右上列)图示经过按照本公开的实施例的分割的图像的分割结果。图15C和图15D(底部行)分别示出图15A和图15B的白线框中的区域的特写。
为了进一步评估细胞分割结果的质量，细胞分割相似性度量可应用于被分割的图像，以便将按照本公开的实施例的单通道全细胞分割结果与地面实况分割结果(包括自动地面实况分割和/或半自动地面实况分割结果)定量地比较。细胞分割相似性度量可通过图11的算法来定义。在实验1中，10个测试图像经过半自动地面实况分割。全部图像中总共1666个细胞经过按照本公开的实施例的单通道全细胞分割。然后通过将单独细胞的分割结果与同一细胞的对应地面实况分割进行比较，对1666个细胞的每个单独细胞来确定分割质量得分。
图16示出实验1的样本图像中的细胞的细胞水平分割质量得分的直方图。发现总(平均)细胞水平分割质量得分为大约0.87。通过将分割结果与二通道分割结果进行比较的总细胞水平得分产生大约0.86的平均得分。对于比较，将二通道分割结果与半自动地面实况分割进行比较产生大约0.93的平均得分。
除了细胞水平分割质量得分之外，还通过按照图11所述的工作流程在图像水平求平均来确定图像水平质量得分。图像水平分割质量评估的结果在表3中示出。
表3示出按照本公开的实施例的实验1中的样本的分割结果。如表3中所示，选择10个图像(图像ID #1-10)，并且执行三个分割比较。通过由专业人员所执行的半自动分割来形成第一分割结果集，其中专业人员使用软件来手动编辑或修改分割。这在表3中称作“地面实况分割”。第二分割结果集通过应用以前开发的二通道分割技术来自动生成，并且在表3中称作“二通道分割”。第三分割结果集通过按照本公开的实施例的单通道全细胞分割技术来形成，并且在表3中称作“深度学习分割”。将深度学习分割的结果与二通道分割(左列“深度学习-二通道相似性”)以及与半自动地面实况分割(中间列“深度学习-地面实况相似性”)进行比较，其中平均图像水平质量得分分别为0.85和0.86。对于比较，将二通道分割的结果(所述结果用来训练单通道全细胞分割中使用的模型)与半自动地面实况分割结果(表3中的右列“二通道-地面实况相似性”)进行比较。该比较产生0.93的平均图像水平得分。
实验2：交叉验证
图17示出表2中的交叉验证实验—实验2的结果。在这个实验中，执行10折交叉验证，以构建接收者操作曲线(ROC)。交叉验证然后用来评估核概率图和细胞概率图的曲线下面积(AUC)和精度(ACC)。交叉验证使用取自表2(实验2)中的前5个板#1-5的108个单独样本图像。在每个交叉验证迭代中，图像被分为图像的三个不重叠集合：训练集(88个图像)、验证集(10个图像)和测试集(10个图像)。
表4示出图17的接收者操作曲线的曲线下面积(“AUC”)和精度(“ACC”)的结果。核和细胞两者的AUC大于0.95，以及ACC对核和细胞分别为大约0.915和0.878。使用0.50的阈值来确定ACC值。要注意，对二元核掩膜来确定AUC和ACC，假定全部核被指配一个二元值，以及细胞的其余部分被指配另一二元值。
表5示出不同数据集(板)的分割精度的概括。四个数据集的总精度被计算为大约0.84。
实验3：模型或网络训练
来自表2的板#1-5的总共108个图像用来训练模型/网络(例如深度学习模型)。实验3的108个图像分为作为训练集的98个图像以及作为验证集的10个图像。然后使用来自表2的板#6的15个图像作为测试集来测试模型/网络。由于没有半自动地面实况分割可用于测试数据集，所以二通道分割被生成，并且用作由专业人员进行的定性评估之后的地面实况分割。应用如先前小节所述的实验1所图示的过程，总细胞水平分割质量得分被确定为大约0.84。然后通过使用如图11所示算法中定义的相似性度量对每个图像的细胞水平质量得分求平均来确定图像水平分割质量得分。
表6示出来自第六板的15个图像的图像水平分割质量得分的结果。图像水平分割质量得分的大多数的范围在大约0.8与大约0.9之间，以及平均图像水平分割质量得分为大约0.84，这与同一板#6的总细胞水平分割质量得分相似。结果由专业人员来审核和批准。
图18A-18D图示表2的实验3的示例的半自动地面实况分割与按照本公开的方面的全细胞分割的比较。图18A(左上列)图示经过半自动地面实况分割的图像的分割结果。图18B(右上列)图示经过按照本公开的实施例的分割的图像的分割结果。图18C和图18D(底部行)分别示出图18A和图18B的白线框中的区域的特写。
示例小节的定性和定量结果均证明，按照本公开的实施例的分割技术提供与地面实况分割相当的精度，其中具有将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像(所述被分割图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞)、从而利用单个通道来实现分割的附加有益效果。因此，本公开所示的技术无疑提供改进技术解决方案，并且解决包括但不限于研究细胞的领域中的现有技术面临的挑战。
本书面描述使用包括最佳模式的示例作为本公开的一部分，并且还使本领域的任何技术人员能够实施本实现，包括制作和使用任何装置或系统，以及执行任何结合方法。可取得专利范围由权利要求书来限定，并且可包括本领域的技术人员想到的其它示例。如果这类其它示例具有与权利要求的文字语言完全相同的结构元素，或者如果它们包括具有与权利要求的文字语言的非实质差异的等效结构元素，则预计它们处于权利要求的范围之内。
Claims (16)
1.一种将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像的计算机实现方法，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞，所述方法包括：
(a)提供计算机系统，所述计算机系统具有：
处理器，所述处理器配置成执行指令；以及
存储器或存储装置，所述存储器或存储装置在操作上耦合到所述处理器，其中所述存储器和所述存储装置中的至少一个配置成存储：
从包括生物样本的多个训练图像的训练数据所生成的模型，所述训练图像包括被识别为核、细胞和背景中的至少一个的区域；
利用所述一个或多个非核细胞标记着色剂所染色的所述生物样本的所述样本图像；以及
处理器可执行指令，
(b)在所述存储器或所述存储装置中访问所述模型以及利用所述一个或多个非核细胞标记着色剂所染色的所述生物样本的所述样本图像；
(c)通过将所述模型应用于所述样本图像来生成包括预测核区域的核概率图以及包括预测细胞区域的细胞概率图；
(d)由所述处理器从所述核概率图中提取二元核掩膜；
(e)由所述处理器从所述二元核掩膜中提取核种子图，所述核种子图包括通过所描绘的核区域所分离的所提取单独核种子；
(f)由所述处理器将所提取核种子应用于所述样本图像；以及
(g)将所述样本图像变换为所述被分割的图像，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。
2.如权利要求1所述的方法，其中所述样本图像包括多个像素，以及步骤(c)还包括确定作为背景像素、细胞像素或核像素的所述多个像素的每个像素的概率尺度。
3.如权利要求2所述的方法，其中所述概率尺度是连续尺度。
4.如权利要求1所述的方法，其中步骤(d)还包括执行斑点检测和多级阈值化中的至少一个。
5.如权利要求4所述的方法，还包括：
识别所述核概率图上具有不同大小的核的区域；
对核的所识别区域应用多级阈值化；
将二元值指配给所述核概率图中的多个像素的每个像素；以及
从所述核概率图中提取所述二元核掩膜。
6.如权利要求1所述的方法，其中步骤(e)还包括执行基于形状的分水岭分割。
7.如权利要求6所述的方法，还包括：
由所述处理器确定所述二元核掩膜的逆距离变换；
由所述处理器将扩展h最小值变换应用于所确定的逆距离变换；
由所述处理器从所述二元核掩膜中提取区域最小值；以及
由所述处理器使用作为种子的所述区域最小值将种子分水岭变换应用于所确定的逆距离变换。
8.如权利要求7所述的方法，其中应用所述扩展h最小值变换包括在深度h应用H最小值变换，以抑制具有小于h的深度的区域最小值，并且从具有被抑制的区域最小值的所得到的图像中提取所述区域最小值。
9.如权利要求8所述的方法，其中所述深度h是用户定义值。
10. 如权利要求8所述的方法，其中所述深度h具有3 µm的缺省值。
11.如权利要求1所述的方法，其中预先处理所述样本图像以用于强度调整，所述预先处理包括由所述处理器执行下列步骤中的至少一个：
所述样本图像的降噪；
所述样本图像的背景照明校正；以及
所述样本图像的重新缩放。
12.如权利要求1所述的方法，其中所述样本图像是通过将像素级加权应用于所述样本图像所生成的增强样本图像。
13.如权利要求1所述的方法，其中步骤(g)还包括确定所述图像背景，并且基于多级阈值化来指配背景标签。
14. 如权利要求13所述的方法，其中所述多级阈值化通过下列来执行：
由所述处理器识别所述核概率图中的核区域的数量和所述细胞概率图中的细胞区域的预计面积，以及
由所述处理器选择产生被估计为最接近所述细胞区域的所述预计面积的面积的阈值。
15.如权利要求12所述的方法，其中步骤(g)还包括使用所指配的背景标签以及包括通过所描绘的核区域所分离的单独核种子的所提取核种子来执行种子分水岭分割。
16.一种用于将利用一个或多个非核细胞标记着色剂所染色的生物样本的样本图像变换为被分割的图像的计算机系统，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞，所述计算机系统包括：
处理器，所述处理器配置成执行指令；
存储器或存储装置，所述存储器或存储装置在操作上耦合到所述处理器，所述存储器和所述存储装置中的一个或两者配置成存储：
从包括生物样本的多个训练图像的训练数据所生成的模型，所述训练图像包括被识别为核、细胞和背景中的至少一个的区域；
利用所述一个或多个非核细胞标记着色剂所染色的所述生物样本的所述样本图像；以及
处理器可执行指令，所述处理器可执行指令在由所述处理器执行时使包括下列的动作被执行：
(a)在所述存储器或所述存储装置中访问所述模型以及利用所述一个或多个非核细胞标记着色剂所染色的所述生物样本的所述样本图像；
(b)通过将所述模型应用于所述样本图像来生成包括预测核区域的核概率图以及包括预测细胞区域的细胞概率图；
(c)由所述处理器从所述核概率图中提取二元核掩膜；
(d)由所述处理器从所述二元核掩膜中提取核种子图，所述核种子图包括通过所描绘的核区域所分离的所提取单独核种子；
(f)由所述处理器将所提取核种子应用于所述样本图像；以及
(g)将所述样本图像变换为所述被分割的图像，所述被分割的图像包括具有所描绘的核区域和细胞质区域的一个或多个细胞。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/814,511 US10789451B2 (en) | 2017-11-16 | 2017-11-16 | System and method for single channel whole cell segmentation |
| US15/814511 | 2017-11-16 | ||
| PCT/US2018/061242 WO2019099641A1 (en) | 2017-11-16 | 2018-11-15 | System and method for single channel whole cell segmentation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111448582A true CN111448582A (zh) | 2020-07-24 |
| CN111448582B CN111448582B (zh) | 2024-06-25 |
Family
ID=65041854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880074274.1A Active CN111448582B (zh) | 2017-11-16 | 2018-11-15 | 用于单通道全细胞分割的系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10789451B2 (zh) |
| EP (1) | EP3711020A1 (zh) |
| JP (1) | JP7201681B2 (zh) |
| CN (1) | CN111448582B (zh) |
| WO (1) | WO2019099641A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184696A (zh) * | 2020-10-14 | 2021-01-05 | 中国科学院近代物理研究所 | 一种细胞核和细胞器计数及其面积计算方法与系统 |
| CN117934516A (zh) * | 2024-03-18 | 2024-04-26 | 广东医科大学附属医院 | 一种线粒体荧光图像自动分割方法及系统 |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019143633A1 (en) * | 2018-01-18 | 2019-07-25 | Nantomics, Llc | Real-time whole slide pathology image cell counting |
| US11024025B2 (en) * | 2018-03-07 | 2021-06-01 | University Of Virginia Patent Foundation | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy |
| US11538261B2 (en) * | 2018-12-13 | 2022-12-27 | Verily Life Sciences Llc | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy |
| IL287059B2 (en) | 2019-04-11 | 2024-08-01 | Agilent Technologies Inc | A user interface that allows user markers for local segmentation in a biological sample |
| CA3138959C (en) * | 2019-05-03 | 2023-09-26 | Huron Technologies International Inc. | Image diagnostic system, and methods of operating thereof |
| JP7195220B2 (ja) * | 2019-06-17 | 2022-12-23 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、および学習装置の作動プログラム |
| JP7195233B2 (ja) * | 2019-07-18 | 2022-12-23 | 富士フイルム株式会社 | 機械学習モデルの運用装置とその作動方法および作動プログラム、並びに機械学習モデルの学習装置とその作動方法および作動プログラム |
| JP7530709B2 (ja) * | 2019-10-11 | 2024-08-08 | 株式会社島津製作所 | 細胞画像解析方法及び細胞解析装置 |
| CN110794569B (zh) * | 2019-11-14 | 2021-01-26 | 武汉兰丁智能医学股份有限公司 | 细胞微型显微图像采集装置及图像识别方法 |
| CN113966522A (zh) * | 2019-11-25 | 2022-01-21 | Essenlix 公司 | 基于成像的测定的有效训练和准确度改进 |
| CN111145209B (zh) * | 2019-12-26 | 2023-06-02 | 推想医疗科技股份有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
| US20210217173A1 (en) * | 2020-01-15 | 2021-07-15 | Ricoh Company, Ltd. | Normalization and enhancement of mri brain images using multiscale filtering |
| CN111369615B (zh) * | 2020-02-21 | 2023-05-23 | 苏州优纳医疗器械有限公司 | 一种基于多任务卷积神经网络的细胞核中心点检测方法 |
| CN111429468B (zh) * | 2020-03-18 | 2024-06-25 | 合肥凯碧尔高新技术有限公司 | 细胞核分割方法、装置、设备及存储介质 |
| US11741371B2 (en) * | 2020-03-20 | 2023-08-29 | International Business Machines Corporation | Automatically generating diverse text |
| CN111951221B (zh) * | 2020-07-13 | 2023-10-31 | 清影医疗科技（深圳）有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
| US11663838B2 (en) | 2020-10-29 | 2023-05-30 | PAIGE.AI, Inc. | Systems and methods for processing images to determine image-based computational biomarkers from liquid specimens |
| CN112446892A (zh) * | 2020-11-18 | 2021-03-05 | 黑龙江机智通智能科技有限公司 | 一种基于注意力学习的细胞核分割方法 |
| CN113160109B (zh) * | 2020-12-15 | 2023-11-07 | 宁波大学 | 反背景差分的细胞图像分割方法 |
| GB202106025D0 (en) * | 2021-04-27 | 2021-06-09 | Imperial College Innovations Ltd | Method & apparatus for processing microscope images of cells and tissue structures |
| CN113192047A (zh) * | 2021-05-14 | 2021-07-30 | 杭州迪英加科技有限公司 | 一种基于深度学习的自动判读ki67病理切片的方法 |
| CN113450363B (zh) * | 2021-06-10 | 2023-05-02 | 西安交通大学 | 一种基于标签校正的元学习细胞核分割系统及方法 |
| JPWO2023008526A1 (zh) * | 2021-07-29 | 2023-02-02 | ||
| CN114764789B (zh) * | 2022-03-30 | 2024-05-21 | 广州锟元方青医疗科技有限公司 | 病理细胞的量化方法、系统、装置及存储介质 |
| CN117710969B (zh) * | 2024-02-05 | 2024-06-04 | 安徽大学 | 一种基于深度神经网络的细胞核分割和分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050136549A1 (en) * | 2003-10-30 | 2005-06-23 | Bioimagene, Inc. | Method and system for automatically determining diagnostic saliency of digital images |
| CN105122308A (zh) * | 2013-04-17 | 2015-12-02 | 通用电气公司 | 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法 |
| US20170169567A1 (en) * | 2014-05-23 | 2017-06-15 | Ventana Medical Systems, Inc. | Systems and methods for detection of structures and/or patterns in images |
| US20170213067A1 (en) * | 2016-01-26 | 2017-07-27 | Ge Healthcare Bio-Sciences Corp. | Automated cell segmentation quality control |
| US20170249548A1 (en) * | 2016-02-26 | 2017-08-31 | Google Inc. | Processing cell images using neural networks |
| CN107256558A (zh) * | 2017-05-18 | 2017-10-17 | 深思考人工智能机器人科技（北京）有限公司 | 一种无监督式的宫颈细胞图像自动分割方法及系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8280134B2 (en) * | 2008-09-22 | 2012-10-02 | Cambridge Research & Instrumentation, Inc. | Multi-spectral imaging including at least one common stain |
| US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
| US8175369B2 (en) * | 2008-12-12 | 2012-05-08 | Molecular Devices, Llc | Multi-nucleated cell classification and micronuclei scoring |
| JP5706131B2 (ja) * | 2010-11-05 | 2015-04-22 | グローリー株式会社 | 被写体検出方法および被写体検出装置 |
| JP5995215B2 (ja) * | 2012-05-14 | 2016-09-21 | 学校法人東京理科大学 | 癌細胞領域抽出装置、方法、及びプログラム |
| US10176579B2 (en) | 2013-03-15 | 2019-01-08 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
| JP6725646B2 (ja) * | 2015-09-02 | 2020-07-22 | ベンタナ メディカル システムズ， インコーポレイテッド | 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析 |
| US20170091948A1 (en) | 2015-09-30 | 2017-03-30 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for automated analysis of cell images |
| US9613254B1 (en) | 2015-09-30 | 2017-04-04 | General Electric Company | Quantitative in situ characterization of heterogeneity in biological samples |
| US10049770B2 (en) * | 2015-12-30 | 2018-08-14 | Case Western Reserve University | Prediction of recurrence of non-small cell lung cancer |
| CN106296712B (zh) | 2016-08-23 | 2018-09-21 | 四川木牛流马智能科技有限公司 | 全自动神经嵴细胞显微图像分割系统及方法 |
-
2017
- 2017-11-16 US US15/814,511 patent/US10789451B2/en active Active
-
2018
- 2018-11-15 WO PCT/US2018/061242 patent/WO2019099641A1/en unknown
- 2018-11-15 CN CN201880074274.1A patent/CN111448582B/zh active Active
- 2018-11-15 EP EP18836693.4A patent/EP3711020A1/en active Pending
- 2018-11-15 JP JP2020527819A patent/JP7201681B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050136549A1 (en) * | 2003-10-30 | 2005-06-23 | Bioimagene, Inc. | Method and system for automatically determining diagnostic saliency of digital images |
| CN105122308A (zh) * | 2013-04-17 | 2015-12-02 | 通用电气公司 | 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法 |
| US20170169567A1 (en) * | 2014-05-23 | 2017-06-15 | Ventana Medical Systems, Inc. | Systems and methods for detection of structures and/or patterns in images |
| US20170213067A1 (en) * | 2016-01-26 | 2017-07-27 | Ge Healthcare Bio-Sciences Corp. | Automated cell segmentation quality control |
| US20170249548A1 (en) * | 2016-02-26 | 2017-08-31 | Google Inc. | Processing cell images using neural networks |
| CN107256558A (zh) * | 2017-05-18 | 2017-10-17 | 深思考人工智能机器人科技（北京）有限公司 | 一种无监督式的宫颈细胞图像自动分割方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| FUYONG XING等: "An Automatic Learning-Based Framework for Robust Nucleus Segmentation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, pages 550 - 566 * |
| NEERAJ KUMAR等: "A Dataset and a Technique for Generalized Nuclear Segmentation for Computational Pathology", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, pages 1550 - 1560 * |
| S.P.K. KARRI等: "Learning Scale-space Representation of Nucleus for Accurate Localization and Segmentation of Epithelial Squamous Nuclei in Cervical Smears", 《IEEE-EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL AND HEALTH INFORMATICS》, pages 772 - 775 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184696A (zh) * | 2020-10-14 | 2021-01-05 | 中国科学院近代物理研究所 | 一种细胞核和细胞器计数及其面积计算方法与系统 |
| CN112184696B (zh) * | 2020-10-14 | 2023-12-29 | 中国科学院近代物理研究所 | 一种细胞核和细胞器计数及其面积计算方法与系统 |
| CN117934516A (zh) * | 2024-03-18 | 2024-04-26 | 广东医科大学附属医院 | 一种线粒体荧光图像自动分割方法及系统 |
| CN117934516B (zh) * | 2024-03-18 | 2024-06-28 | 广东医科大学附属医院 | 一种线粒体荧光图像自动分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3711020A1 (en) | 2020-09-23 |
| JP2021503666A (ja) | 2021-02-12 |
| WO2019099641A1 (en) | 2019-05-23 |
| US20190147215A1 (en) | 2019-05-16 |
| CN111448582B (zh) | 2024-06-25 |
| US10789451B2 (en) | 2020-09-29 |
| JP7201681B2 (ja) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111448582B (zh) | 用于单通道全细胞分割的系统和方法 | |
| US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
| US12073948B1 (en) | Systems and methods for training a model to predict survival time for a patient | |
| US11164316B2 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
| US10706535B2 (en) | Tissue staining quality determination | |
| EP3486836B1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| US10275880B2 (en) | Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains | |
| US10109052B2 (en) | Systems and methods for detection of structures and/or patterns in images | |
| CA3138959C (en) | Image diagnostic system, and methods of operating thereof | |
| CA2966555C (en) | Systems and methods for co-expression analysis in immunoscore computation | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| Sommer et al. | Learning-based mitotic cell detection in histopathological images | |
| US20150186755A1 (en) | Systems and Methods for Object Identification | |
| Hoque et al. | Retinex model based stain normalization technique for whole slide image analysis | |
| Nurzynska et al. | CAS: Cell annotation software–research on neuronal tissue has never been so transparent | |
| US20230306606A1 (en) | Methods and systems for providing training data sets for training a machine-learned segmentation algorithm for use in digital pathology | |
| Delpiano et al. | Automated detection of fluorescent cells in in‐resin fluorescence sections for integrated light and electron microscopy | |
| KR20240012738A (ko) | 인공지능 기술에 기반한 전립선암 조직의 세포 핵의 클러스터 분석 시스템 및 방법 | |
| JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
| Arganda-Carreras et al. | Designing image analysis pipelines in light microscopy: a rational approach | |
| KR20240006599A (ko) | 전자 이미지의 속성을 조정하기 위해 전자 이미지를 처리하는 시스템 및 방법 | |
| Mabaso | Automatic Approach for Spot Detection in Microscopy Imaging Based on Image Processing and Statistical Analysis | |
| NELSON | Mathematical morphology for quantification in biological & medical image analysis | |
| CN118679501A (zh) | 用于检测图像中的伪影像素的机器学习技术 | |
| Lihavainen | Image Analysis Methods for the Characterization of Mitochondrial Morphology and Dynamics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210907 Address after: California, USA Applicant after: MOLECULAR DEVICES, LLC Address before: New York State, USA Applicant before: Globegroup life technology consulting America Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |