CN111091568B - 用于分割细胞图像的方法和装置 - Google Patents

用于分割细胞图像的方法和装置 Download PDF

Info

Publication number
CN111091568B
CN111091568B CN201911006412.5A CN201911006412A CN111091568B CN 111091568 B CN111091568 B CN 111091568B CN 201911006412 A CN201911006412 A CN 201911006412A CN 111091568 B CN111091568 B CN 111091568B
Authority
CN
China
Prior art keywords
image
region
cell
enhanced
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911006412.5A
Other languages
English (en)
Other versions
CN111091568A (zh
Inventor
陈耀樑
赵铭鹏
黎汉汇
李天照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Publication of CN111091568A publication Critical patent/CN111091568A/zh
Application granted granted Critical
Publication of CN111091568B publication Critical patent/CN111091568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

公开了用于分割细胞图像的方法和装置。该方法的一个具体实施方式包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。

Description

用于分割细胞图像的方法和装置
技术领域
本公开涉及计算机技术领域，具体地涉及图像处理领域，并且更具体地涉及用于分割细胞图像的方法和装置。
背景技术
在体外受精(IVF)中，可能由于受精卵的内在特性，仅少数体外生成的胚胎具有植入和给予活产妊娠的能力。为了增加成功植入的可能性，移植具有高植入潜力的单个胚胎将是理想的策略。鉴定具有高植入潜力的胚胎仍然是IVF中的一个挑战，且为此已采用了不同的方法。用于选择可利用胚胎的受到最广泛支持的策略是在胚胎移植时依靠胚胎的等级。此外，一些国家的法律限制阻止了使用用于胚胎选择的方法，因此，鉴定可能存活的胚胎仅限于受精前的卵母细胞或原核阶段的受精卵。
由于人类胚胎遵循特定的发育时间线，在此期间，在以特性形态特征为代表的发育里程碑以相应顺序出现，受精卵的集中于胚胎发育的形态和动态学的特征已被提出作为胚胎存活能力的指标。在已开发出的受精卵评分系统中，所有这些系统均存在对卵母细胞或受精卵的主观显微镜观察。通常，优质胚胎的选择尤其受原核形态、细胞质和透明带的外观的影响。例如，具有不规则厚度的透明带的胚胎的植入率可能低于具有均匀厚度的透明带的胚胎的植入率。
尽管透明带厚度与IVF成功率之间存在关系，但是由于在显微镜下区分透明带的边界方面存在实际困难，因此该参数并不经常用于选择用于移植的最优质的胚胎。
然而，传统的方法由于其粗糙且模糊的边缘而无法用于透明带和细胞核分割。再者，胚胎学家逐一检查透明带是非常耗时的。例如，原核外的形态模式很难被标准化。对于人类的视觉来说，受精卵中的其他变化可能是困难和繁琐的。
发明内容
根据本公开的一个方面，提供了一种用于分割细胞图像的方法，该方法包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。
根据本公开的另一方面，提供了一种用于分割细胞图像的装置，该装置包括：至少一个处理器；以及存储指令的存储器，所述指令在由至少一个处理器执行时使该至少一个处理器执行操作，所述操作包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。
根据本公开的又一方面，提供了一种存储计算机程序的非暂时性计算机存储介质，该计算机程序在由一个或多个处理器执行时使该一个或多个处理器执行操作，该操作包括：获取细胞图像；使用生成式对抗网络增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。
附图说明
通过以下参考附图的描述，本公开的这些和其他特征将变得更加明显，在附图中：
图1示出了根据本公开实施方式的用于分割细胞图像的方法的流程图；
图2示出了根据本公开实施方式的用于训练生成式对抗网络的方法的流程图；
图3示出了根据本公开实施方式的用于训练分层全卷积网络的方法的流程图；
图4A示出了根据本公开的实施方式的分割的细胞质区域；
图4B示出了根据本公开的实施方式的分割的透明带区域；
图4C示出了根据本公开的实施方式的分割的细胞核区域；
图5示出了根据本公开实施方式的用于分割细胞图像的装置的示意性结构图；以及
图6示出了适于实现本公开实施方式的电子设备的计算机系统的示意性结构图。
具体实施方式
鉴于用于区分卵母细胞或受精卵的形态特征的现有方法的不足，本公开提供了一种用于细胞图像分割的改进方法。
现在将详细参考本公开的一些具体实施方式。这些具体实施方式的示例在附图中示出。尽管结合这些具体实施方式描述了本公开，但是将理解，其并不旨在将本公开限制为所描述的实施方式。相反，其旨在涵盖可以包括在由所附权利要求限定的本公开的精神和范围内的替代、修改和等同。在以下描述中，阐述了许多具体细节以便提供对本公开的透彻理解。可以在没有一些或所有这些具体细节的情况下实践本公开。在其他情况下，未详细描述公知的处理操作，以免不必要地模糊本公开。
卵母细胞或受精卵识别涉及卵母细胞或受精卵图像的增强和分割技术。图像增强是在卵母细胞或受精卵的图像中使感兴趣区域的边缘去噪并被突出显示，而图像分割是识别细胞质、透明带或细胞核(针对受精卵)的区域。图像增强和分割技术两者都有助于卵母细胞或受精卵的进一步人工处理。
图像增强涉及图像平滑和边缘增强。图像平滑是去除图像的高频信息，这可以通过诸如高斯滤波、中值滤波和双边滤波的方法来实现。另一方面，边缘增强需要检测高频和大梯度幅度的区域，并且其传统解决方案基于诸如Sobel算子、Laplacian算子和Canny算子的差分运算。
图像分割方法包括监督方法和非监督方法。非监督方法不需要人工标记的训练数据。代替地，使用针对分割的初始条件的启发式知识，诸如阈值方法、聚类方法、区域增长方法和水平集方法。另一方面，监督方法需要带有标记的目标区域的图像以形成训练数据集。传统的监督方法基于图割理论，包括马尔可夫随机场和条件随机场。
本公开描述了用于细胞图像处理(特别是用于卵母细胞或受精卵图像处理)的神经网络的修改。
本公开中公开的技术方案增强了细胞图像，例如卵母细胞和受精卵图像，并且自适应地分割了细胞质区域、透明带区域和细胞核(仅针对受精卵)区域。本公开进一步增强和分割细胞图像，以用于形态评估的详细定量分析。
参考图1，示出了根据本公开的用于分割细胞图像的方法的实施方式的流程。用于分割细胞图像的方法包括以下步骤101至步骤103。
步骤101，获取细胞图像。
在实施方式中，细胞图像可以是卵母细胞图像和受精卵图像之一。
步骤102，使用生成式对抗网络来增强细胞图像以获得增强的细胞图像。
在实施方式中，可以如图2中所示那样训练生成式对抗网络，并且这包括以下步骤201至步骤204。
步骤201，收集细胞图像(例如卵母细胞或受精卵图像)的数据集。
在实施方式中，细胞图像(例如卵母细胞或受精卵图像)可以从延时成像中获得。这些图像以统一的比例固定并转换为灰度图像。
具体地，将包含卵母细胞或受精卵的N个图像的数据集标记为X＝{X1,X2,...XN}。对于任何图像Xn，其大小均被调整为H×W，其中H和W分别表示图像的高度和宽度。对于RGB图像，使用加权平均方法将它们转换为灰度图像。
步骤202，使用细胞图像(例如卵母细胞或受精卵图像)的数据集中标记的图像来构建用于神经网络训练的数据集。
在实施方式中，标记的图像可以包括卵母细胞图像的细胞质区域和透明带区域，或者标记的图像可以包括受精卵图像的细胞质区域、透明带区域和细胞核区域。标记的区域可以是封闭的，即，所述区域用封闭的边界标记。
在实施方式中，通过满足特定边界(细胞质、透明带或细胞核)内的区域来对图像的每个像素进行分类。例如，Zn∈{0,1,2,3}H×W被设置为像素类别的标签，其中0表示背景区域，1表示细胞核区域，2表示细胞质区域，3表示透明带区域。
步骤203，增强细胞质区域和细胞核区域的平滑度和边缘以获得增强的训练数据集。
在实施方式中，对于细胞核区域和细胞质区域，增强其平滑度和边缘以获得增强的训练数据集。
在实施方式中，具有不同平滑系数的双边滤波被用于使输入的细胞图像(例如卵母细胞或受精卵图像)平滑和去噪。由专家从结果集中选择最佳的平滑结果。
具体地，以下双边滤波算法用于平滑。
Figure BDA0002242911950000051
Ip表示像素p的灰度值。
Φ表示归一化项。
G表示通过平滑强度约束σI和空间约束σs的参数确定的高斯核。σs和σI是分别通过默认设置在[λa,λb]和[λc,λd]范围内统一选择的值，然后从双边滤波算法获取图像。从关于Xn生成的增强图像，选择K个最优结果作为H×W×K的图像的数据集中的实例，以用于后续处理。增强的训练数据集被标记为Y＝{Y1,Y2,...YK}。
步骤204，使用增强的训练数据集训练生成式对抗网络。
在实施方式中，对于输入的卵母细胞或受精卵图像，生成式对抗网络用于生成若干增强图像。这里的生成式对抗网络的结构例如为但不限于通过Adam算法训练的cycleGAN。
在训练生成式对抗网络期间，输入图像是单个卵母细胞或受精卵图像，而相应的输出图像是高分辨且增强的。
具体地，针对原始图像数据集X与增强图像数据集Y之间的映射关系(FG:X→Y)，训练生成式对抗网络。此训练通过生成式对抗网络模型cycleGAN中的一个完成。
假设FG':Y→X是用于图像增强的逆变换，在该训练中用于优化的目标函数定义为LGAN(X,Y,DY,FG)+LGAN(Y,X,DX,FG')+Lcycle(X,Y,FG,FG')，
其中DX(X)表示判断图像X是否为未经处理(raw)的图像的分类器，而DY(X)是判断图像Y是否为增强图像的分类器。
项
Figure BDA0002242911950000061
和
Figure BDA0002242911950000062
用于近似原始图像X和增强图像Y的分布，而项/>
Figure BDA0002242911950000063
用于增加映射的可逆性。上面讨论的目标函数是通过Adam算法优化的。
在实施方式中，可以如图3中所示那样训练分层全卷积网络，并且这包括以下步骤301至步骤302。
步骤301，使用生成式对抗网络增强细胞图像(例如卵母细胞或受精卵图像)的数据集，以获得图像分割训练数据集。
步骤302，使用图像分割训练数据集训练分层全卷积网络。
在该网络中，输入是增强图像，而输出是每个像素属于整个图像的背景、细胞质区域、透明带区域和细胞核(针对受精卵)区域的概率。该网络的主要特征是其分层过程。它首先预测细胞质区域，然后分别将透明带区域和细胞核区域(针对受精卵)划分到细胞质区域外部和细胞质区域内部。
具体地，针对增强图像数据集Y到其像素分类数据集Z的映射关系(FD:Y→Z)训练分层全卷积网络。
细胞质区域满足两个特征。两个特征中的一个是：细胞质区域的边缘比其他两个感兴趣区域(细胞核和透明带)更明显。两个特征中的另一个是：由于生物学性质，细胞核位于细胞质内部，而透明带位于细胞质外部。因此，此分层全卷积网络首先训练细胞质的分割。
细胞质分割的损失函数被定义为交叉熵
Ls(FD(Y),Z)＝-∑p(Z)logq(FD(Y))，
其中p(Z)表示Z的概率分布，并且FD(Y)表示映射结果的概率分布。通过Adam算法最小化Ls(FD(Y),Z)来实现细胞质分割训练。在这之后，约束分割的细胞质区域内部的细胞核区域和分割的细胞质区域外部的透明带区域。透明带区域和细胞核区域(针对受精卵)可在受约束条件下通过上文介绍的损失函数进行分割。
步骤103，使用用于图像分割的分层全卷积网络对增强的细胞图像进行分割，从而获得细胞图像中的细胞质区域和透明带区域。
在实施方式中，当细胞图像是卵母细胞图像时，可以通过使用分层全卷积网络分割增强的细胞图像来获得细胞图像中的细胞质区域和透明带区域。当细胞图像是受精卵图像时，可通过使用分层全卷积网络分割增强的细胞图像来获得细胞图像中的细胞质区域、透明带区域和细胞核区域。增强的细胞图像是高分辨且增强的。
在实施方式中，首先分割细胞质区域，接下来分割细胞质区域外部的透明带区域，然后分割细胞质区域内部的细胞核区域。作为示例，图4A示出了根据本公开的实施方式的具有封闭边界的分割后的细胞质区域，图4B示出了根据本公开的实施方式的分割后的透明带区域，图4C示出了根据本公开的实施方式的分割后的细胞核区域。
根据本公开的一个实施方式，分析了来自5名患者的24个卵母细胞或受精卵的1080个细胞图像。具体地，对1080个细胞图像进行标记以用于细胞质识别，对597个细胞图像进行标记以用于原核识别，以及对672个细胞图像进行标记以用于透明带识别。
细胞质识别结果如下：
试验 训练实例 训练准确性 测试实例 测试准确性
1 933 97.28±1.26％ 285 97.21±1.12％
2 987 97.06±1.37％ 231 96.64±1.34％
3 975 97.09±1.45％ 243 97.34±1.56％
4 995 97.47±1.67％ 223 96.28±1.78％
5 982 97.24±1.89％ 236 97.57±1.34％
平均 974.4 97.23±1.43％ 243.6 97.01±1.33％
原核识别结果如下：
试验 训练实例 训练准确性 测试实例 测试准确性
1 586 77.84±8.96％ 96 78.68±12.25％
2 543 78.63±8.45％ 139 70.74±13.30％
3 461 73.33±10.57％ 221 77.05±7.19％
4 542 80.44±7.38％ 140 66.83±13.61％
5 596 79.12±8.50％ 86 71.50±10.35％
平均 545.6 77.87±8.77％ 136.4 72.96±11.34％
透明带识别结果如下：
试验 训练实例 训练准确性 测试实例 测试准确性
1 235 73.16±6.09％ 173 69.48±5.45％
2 342 76.21±5.71％ 66 71.67±6.04％
3 335 76.61±5.63％ 73 68.28±6.30％
4 342 76.50±5.29％ 66 76.67±5.55％
5 378 76.97±5.33％ 30 67.52±5.91％
平均 326.4 75.89±5.61％ 81.6 70.72±5.85％
从以上公开中可以看出，传统的图像分割方法容易受到细胞图像(例如卵母细胞或受精卵图像)噪声的影响，并且这些图像中的细胞核区域和透明带区域的边缘是模糊的，这对于传统方法来说很难处理。相反，本公开首先通过生成式对抗网络来增强图像。因此，那些图像被去噪并且增加了感兴趣区域的边缘的像素梯度。该过程降低了后续分割过程的难度。分层全卷积网络利用了不同的待分割区域之间的空间关系，即，透明带位于细胞质外部，而细胞核位于细胞质内部。首先分割细胞质区域，然后分割透明带和细胞核(针对受精卵)区域。该过程减少了不同区域的干扰并提高了分割精度。
进一步参考图5，作为上述附图中示出的方法的实现方式，本公开提供了一种用于分割细胞图像的装置的实施方式。该装置实施方式与图1至图3中所示的方法实施方式对应，并且该装置可以具体地应用于各种电子设备。
如图5中所示，本实施方式的用于分割细胞图像的装置包括：至少一个处理器501；以及存储指令的存储器502，该指令在由至少一个处理器执行时使至少一个处理器执行操作，所述操作包括：获取细胞图像；使用生成式对抗网络来增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。
在本实施方式的一些替代实现方式中，细胞图像是卵母细胞图像和受精卵图像中的一个。
在本实施方式的一些替代实现方式中，当细胞图像是受精卵图像时，使用分层全卷积网络对增强的细胞图像进行分割以获得细胞图像中的细胞质区域和透明带区域包括：使用分层全卷积网络分割增强的细胞图像以获得细胞图像中的细胞质区域、透明带区域和细胞核区域。
在本实施方式的一些替代实现方式中，首先分割细胞质区域，接下来分割细胞质区域外部的透明带区域，然后分割细胞质区域内部的细胞核区域。
在本实施方式的一些替代实现方式中，通过以下方式训练生成式对抗网络：收集细胞图像的数据集；使用细胞图像数据集中标记的图像构建用于神经网络训练的数据集，标记的图像包括针对卵母细胞图像的细胞质和透明带区域，或者标记的图像包括针对受精卵图像的细胞质区域、透明带区域和细胞核区域；增强细胞质区域和细胞核区域的平滑度和边缘，以获得增强的训练数据集；以及使用增强的训练数据集训练生成式对抗网络。
在本实施方式的一些替代实现方式中，通过以下步骤来训练分层全卷积网络：使用生成式对抗网络来增强细胞图像的数据集以获得图像分割训练数据集；以及使用图像分割训练数据集训练分层全卷积网络。
在本实施方式的一些替代实现方式中，在训练生成式对抗网络期间，输入图像是单个卵母细胞或受精卵图像，而对应的输出图像是高分辨且增强的。
在本实施方式的一些替代实现方式中，增强的细胞图像是高分辨且增强的。
根据本公开提供的用于分割细胞图像的方法和装置，使用两种类型的神经网络。一种是用于增强细胞图像(例如卵母细胞或受精卵图像)的生成式对抗网络；另一种是用于分割增强的细胞图像(例如卵母细胞或受精卵图像)的分层全卷积网络。生成式对抗网络能够在细胞图像(例如卵母细胞或受精卵图像)中对感兴趣区域进行去噪并突出显示该感兴趣区域，从而降低了后续程序的难度。分层全卷积网络在分割期间限制了感兴趣区域之间的空间关系，且因此提高了分割的准确性。
本文所使用的术语仅出于描述特定实施方式的目的，并且不旨在限制本公开。如本文中所用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用术语“包括”和/或“包括有”时，其表示所述特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
还应理解，如果存在，诸如第一和第二等的关系术语的使用仅被用于将一个实体、物品或动作与另一实体、物品或动作区分开，而不必要求或暗示这些实体、物品或动作之间的任何实际的此类关系或顺序。
所附权利要求中的所有装置或步骤加上功能元件的对应结构、材料、动作和等同旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或动作。
已经出于说明和描述的目的给出了对本公开的描述，但并不旨在是详尽的或将本公开限于所公开的形式。在不脱离本公开的范围和精神的情况下，许多修改和变型对于本领域普通技术人员来说将是显而易见的。选择和描述实施方式是为了最佳地解释本公开的原理和实际应用，并使本领域的其他普通技术人员能够理解本公开的各种实施方式，这些实施方式具有适于所设想的特定用途的各种修改。
参照图6，示出了适于实现本公开实施方式的电子设备的计算机系统600的结构示意图。该电子设备可以包括本公开的用于分割细胞图像的装置。图6中示出的电子设备仅是示例，并且不应对本公开的实施方式的功能和使用范围带来任何限制。
如图6中所示，计算机系统600包括中央处理单元(CPU)601，中央处理单元601可以根据存储在只读存储器(ROM)602中的程序或从存储部608加载到随机存取存储器(RAM)603中的程序来执行各种适当的动作和处理。RAM 603还存储系统600的操作所需的各种程序和数据。CPU 601、ROM 602和RAM 603通过总线604彼此连接。输入/输出(I/O)接口605也连接到总线604。
以下组件连接到I/O接口605：包括键盘、鼠标等的输入部606；包括阴极射线管(CRT)，液晶显示设备(LCD)、扬声器等的输出部607；包括硬盘等的存储部608；以及包括诸如LAN卡的网络接口卡和调制解调器的通信部609。通信部609经由诸如因特网的网络执行通信处理。根据需要，驱动器610也连接到I/O接口605。诸如磁盘、光盘、磁光盘和半导体存储器的可移动介质611可以安装在驱动器610上，以便于从可移动介质611中检索计算机程序，并且根据需要将其安装在存储部608上。
具体地，根据本公开的实施方式，以上参考流程图描述的过程可以在计算机软件程序中实现。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地嵌入在机器可读介质中的计算机程序。该计算机程序包括用于执行如流程图中所示的方法的程序代码。在这样的实施方式中，计算机程序可以经由通信部609从网络下载并安装，和/或可以从可移动介质611安装。当计算机程序由中央处理单元(CPU)601执行时，计算机程序实现如本公开的方法所定义的上述功能。
应注意，本公开中的计算机可读介质可以是计算机可读信号介质或计算机可读存储介质或以上两者的任意组合。计算机可读存储介质的示例可以包括但不限于：电、磁、光、电磁、红外或半导体系统、装置、元件或以上任意者的组合。计算机可读存储介质的更具体的示例可以包括但不限于：与一条或多条布线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储器、磁存储器或上述的任何合适组合。在本公开中，计算机可读存储介质可以是包含或存储可由命令执行系统、装置或元件使用或结合到其中的程序的任何物理介质。在本公开中，计算机可读信号介质可以包括处于基带中或作为载波的一部分传播的数据信号，其中，载波携带计算机可读程序代码。传播信号可以采取各种形式，包括但不限于：电磁信号、光信号或上述任何适当的组合。可以由计算机读取的信号介质可以是除计算机可读存储介质以外的任何计算机可读介质。计算机可读介质能够传输、传播或传递由命令执行系统、装置或元件使用或与之结合使用的程序。包含在计算机可读介质上的程序代码可以与任何适当的介质一起传输，介质包括但不限于：无线介质、有线介质、光缆介质、RF介质等，或者上述任何适当的组合。
附图中的流程图和框图示出了可以根据本公开的各个实施方式的系统、方法和计算机程序产品来实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以代表模块、程序段或代码部分，所述模块、程序段或代码部分包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实现方式中，由框表示的功能可以以与图中所示的顺序不同的顺序发生。例如，取决于所涉及的功能，连续呈现的任何两个框可以基本上并行地被执行，或者它们有时可以以相反的顺序执行。还应当注意，框图和/或流程图中的每个框以及框的组合可以使用执行指定功能或操作的基于专用硬件的系统来实现，或者通过专用硬件和计算机指令的组合来实现。
另一方面，本公开还提供了一种存储计算机程序的非暂时性计算机存储介质，该计算机程序在由一个或多个处理器执行时使一个或多个处理器执行操作，所述操作包括：获取细胞图像；使用生成式对抗网络来增强细胞图像以获得增强的细胞图像；以及使用用于图像分割的分层全卷积网络分割增强的细胞图像，以获得细胞图像中的细胞质区域和透明带区域。
以上描述仅提供对本公开的优选实施方式和所使用的技术原理的解释。本领域技术人员应当理解，本公开的发明范围不限于由上述技术特征的特定组合形成的技术方案。在不脱离本公开的构思的情况下，本发明的范围还应当涵盖由上述技术特征或其等同特征的任何组合形成的其他技术方案。通过将上述特征与(但不限于)本公开中公开的具有类似功能的技术特征互换而形成的技术方案也是示例。

Claims (11)

1.用于分割细胞图像的方法，所述方法包括：
获取细胞图像；
使用生成式对抗网络增强所述细胞图像以获得增强的细胞图像，其中，所述细胞图像是受精卵图像；以及
使用用于图像分割的分层全卷积网络分割所述增强的细胞图像，以获得所述细胞图像中的细胞质区域、透明带区域和细胞核区域，其中，首先分割所述细胞质区域，接下来分割所述细胞质区域外部的所述透明带区域，然后分割所述细胞质区域内部的所述细胞核区域。
2.根据权利要求1所述的方法，其中，所述生成式对抗网络通过以下步骤训练：
收集细胞图像的数据集；
使用所述细胞图像的数据集中标记的图像构建用于神经网络训练的数据集，所述标记的图像包括针对卵母细胞图像的细胞质区域和透明带区域，或者所述标记的图像包括针对受精卵图像的细胞质区域、透明带区域和细胞核区域；
增强细胞质区域和细胞核区域的平滑度和边缘，以获得增强的训练数据集；以及
使用所述增强的训练数据集训练所述生成式对抗网络。
3. 根据权利要求2所述的方法，其中，所述分层全卷积网络通过以下步骤训练：
使用所述生成式对抗网络增强所述细胞图像的数据集以获得图像分割训练数据集；以及
使用所述图像分割训练数据集训练所述分层全卷积网络。
4.根据权利要求2所述的方法，其中，在训练所述生成式对抗网络期间，输入图像是单个卵母细胞图像或受精卵图像，而相应的输出图像是高分辨且增强的。
5.根据权利要求1所述的方法，其中，所述增强的细胞图像是高分辨且增强的。
6. 用于分割细胞图像的装置，所述装置包括：
至少一个处理器；以及
存储器，存储指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行操作，所述操作包括：
获取细胞图像；
使用生成式对抗网络增强所述细胞图像以获得增强的细胞图像，其中，所述细胞图像是受精卵图像；以及
使用用于图像分割的分层全卷积网络分割所述增强的细胞图像，以获得所述细胞图像中的细胞质区域、透明带区域和细胞核区域，其中，首先分割所述细胞质区域，接下来分割所述细胞质区域外部的所述透明带区域，然后分割所述细胞质区域内部的所述细胞核区域。
7.根据权利要求6所述的装置，其中，所述生成式对抗网络通过以下步骤训练：
收集细胞图像的数据集；
使用所述细胞图像的数据集中标记的图像构建用于神经网络训练的数据集，所述标记的图像包括针对卵母细胞图像的细胞质区域和透明带区域，或者所述标记的图像包括针对受精卵图像的细胞质区域、透明带区域和细胞核区域；
增强细胞质区域和细胞核区域的平滑度和边缘，以获得增强的训练数据集；以及
使用所述增强的训练数据集训练所述生成式对抗网络。
8. 根据权利要求7所述的装置，其中，所述分层全卷积网络通过以下步骤训练：
使用所述生成式对抗网络增强所述细胞图像的数据集以获得图像分割训练数据集；以及
使用所述图像分割训练数据集训练所述分层全卷积网络。
9.根据权利要求7所述的装置，其中，在训练所述生成式对抗网络期间，输入图像是单个卵母细胞图像或受精卵图像，而相应的输出图像是高分辨且增强的。
10.根据权利要求6所述的装置，其中，所述增强的细胞图像是高分辨且增强的。
11.一种存储计算机程序的非暂时性计算机存储介质，所述计算机程序在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
获取细胞图像；
使用生成式对抗网络增强所述细胞图像以获得增强的细胞图像，其中，所述细胞图像是受精卵图像；以及
使用用于图像分割的分层全卷积网络分割所述增强的细胞图像，以获得所述细胞图像中的细胞质区域、透明带区域和细胞核区域，其中，首先分割所述细胞质区域，接下来分割所述细胞质区域外部的所述透明带区域，然后分割所述细胞质区域内部的所述细胞核区域。
CN201911006412.5A 2018-10-23 2019-10-22 用于分割细胞图像的方法和装置 Active CN111091568B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862749349P 2018-10-23 2018-10-23
US62/749,349 2018-10-23

Publications (2)

Publication Number Publication Date
CN111091568A CN111091568A (zh) 2020-05-01
CN111091568B true CN111091568B (zh) 2023-06-02

Family

ID=68296231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911006412.5A Active CN111091568B (zh) 2018-10-23 2019-10-22 用于分割细胞图像的方法和装置

Country Status (3)

Country Link
US (1) US11210494B2 (zh)
EP (1) EP3644228B1 (zh)
CN (1) CN111091568B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11868437B1 (en) * 2019-09-30 2024-01-09 Sighthound, Inc. Training set enhancement for neural networks
US11455733B2 (en) * 2020-06-16 2022-09-27 Xue Feng System and method to improve model-based organ segmentation with image post-processing
CN112102276B (zh) * 2020-09-10 2023-03-28 西安电子科技大学 基于迁移学习图像增强的低场强mr胃部分割方法
US20220383497A1 (en) * 2021-05-28 2022-12-01 Daniel Needleman Automated analysis and selection of human embryos
CN114862765B (zh) * 2022-04-13 2024-04-16 湖南科技大学 一种细胞分层图像处理方法
CN116758539B (zh) * 2023-08-17 2023-10-31 武汉互创联合科技有限公司 一种基于数据增强的胚胎图像卵裂球识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017132674A1 (en) * 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
CN107256558A (zh) * 2017-05-18 2017-10-17 深思考人工智能机器人科技（北京）有限公司 一种无监督式的宫颈细胞图像自动分割方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2430454B1 (en) * 2009-08-22 2013-01-23 The Board Of Trustees Of The University Of the Leland Stanford Junior University Imaging and evaluating embryos, oocytes, and stem cells
EP2777074A4 (en) * 2011-11-11 2015-08-19 Cold Spring Harbor Lab An Education Corp Of The State Of New York DRUG SCREENING PROCESSES AND APPLICATIONS THEREOF
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
EP3669227B8 (en) * 2017-08-15 2024-02-28 Siemens Healthineers AG Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
US11030744B2 (en) * 2018-06-26 2021-06-08 Astrazeneca Computational Pathology Gmbh Deep learning method for tumor cell scoring on cancer biopsies
CN109614921B (zh) * 2018-12-07 2022-09-30 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109726644A (zh) * 2018-12-14 2019-05-07 重庆邮电大学 一种基于生成对抗网络的细胞核分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017132674A1 (en) * 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
CN107256558A (zh) * 2017-05-18 2017-10-17 深思考人工智能机器人科技（北京）有限公司 一种无监督式的宫颈细胞图像自动分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMS-NET_Stain-aware_multi-scale_network_for_instance-based_nuclei_segmentation_in_histology_images;S.Graham;《IEEE》;20180407;全文 *
基于全卷积网络和条件随机场的宫颈癌细胞学图像的细胞核分割;刘一鸣;《计算机应用》;20180606;全文 *

Also Published As

Publication number Publication date
EP3644228B1 (en) 2024-08-14
EP3644228A1 (en) 2020-04-29
US20200125818A1 (en) 2020-04-23
US11210494B2 (en) 2021-12-28
CN111091568A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111091568B (zh) 用于分割细胞图像的方法和装置
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
Versari et al. Long-term tracking of budding yeast cells in brightfield microscopy: CellStar and the Evaluation Platform
US8139831B2 (en) System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence
Tosta et al. Segmentation methods of H&E-stained histological images of lymphoma: A review
CN104463804B (zh) 一种基于直觉模糊集的图像增强方法
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN112150477B (zh) 脑影像动脉全自动分割方法及装置
WO2018176189A1 (zh) 图像分割的方法及系统
Gopalakrishnan et al. Active contour with modified Otsu method for automatic detection of polycystic ovary syndrome from ultrasound image of ovary
Saien et al. A unified methodology based on sparse field level sets and boosting algorithms for false positives reduction in lung nodules detection
Gómez et al. Evolutionary pulse-coupled neural network for segmenting breast lesions on ultrasonography
Padmavathy et al. Performance analysis of pre-cancerous mammographic image enhancement feature using non-subsampled shearlet transform
Ismael et al. Nature Inspired Algorithms multi-objective histogram equalization for Grey image enhancement
Jalab et al. A new medical image enhancement algorithm based on fractional calculus
Singh et al. Computerized detection of breast cancer in digital mammograms
Kumar et al. Development of an enhanced U-Net model for brain tumor segmentation with optimized architecture
CN114240990B (zh) Sar图像点目标分割方法
Remya et al. Preprocessing G-banded metaphase: towards the design of automated karyotyping
Singh et al. Detection and classification of brain tumor using hybrid feature extraction technique
Nirmaladevi et al. A review of image processing methods and segmentations for brain tumour analysis
Senyukova et al. Automated atlas-based segmentation of NISSL-stained mouse brain sections using supervised learning
Dannemiller et al. A new method for the segmentation of algae images using retinex and support vector machine
Senthilkumaran Automated Brain Tumor Detection and Classification in MRI Images: A Hybrid Image Processing Techniques.
Sun et al. Bounded asymmetric Gaussian mixture model with spatial constraint for image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018235

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant