CN108364288B - 用于乳腺癌病理图像的分割方法和装置 - Google Patents

用于乳腺癌病理图像的分割方法和装置 Download PDF

Info

Publication number
CN108364288B
CN108364288B CN201810171145.6A CN201810171145A CN108364288B CN 108364288 B CN108364288 B CN 108364288B CN 201810171145 A CN201810171145 A CN 201810171145A CN 108364288 B CN108364288 B CN 108364288B
Authority
CN
China
Prior art keywords
breast cancer
image
cell nucleus
pathological image
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810171145.6A
Other languages
English (en)
Other versions
CN108364288A (zh
Inventor
万涛
秦曾昌
赵磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810171145.6A priority Critical patent/CN108364288B/zh
Publication of CN108364288A publication Critical patent/CN108364288A/zh
Application granted granted Critical
Publication of CN108364288B publication Critical patent/CN108364288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于乳腺癌病理图像的分割方法,主要包括三大模块:数据的预处理、细胞核检测和细胞核边界精细分割。病理专家首先对细胞核边界进行人工标定。对病理图像进行标准化处理,消除染色差异。制作基于细胞核像素、细胞核边界像素和背景像素的训练样本,训练卷积神经网络分类器,实现基于Patch小块图像中心像素的分类器。将训练好的卷积神经网络模型在整张病理图像上检测,输出概率图,经过后处理算法产生二值图像作为主动轮廓模型的初始化形状轮廓,采用主动轮廓模型对细胞核边界进行精细化分割。本发明是一种具有较高分割准确率,可实现对乳腺癌病理图像中的重叠细胞进行分割的算法。本发明还公开了一种用于乳腺癌病理图像的分割装置。

Description

用于乳腺癌病理图像的分割方法和装置
技术领域
本发明涉及生物医学信息技术领域,特别是涉及一种用于乳腺癌病理图像的分割方法和装置。
背景技术
为了解决传统组织病理学分析遇到的实际困难,数字病理学近年来得到了飞速的发展。数字病理学是一个新的、发展迅速的医学成像领域。组织切片被扫描仪以超高分辨率扫描后数字化,再应用计算机对得到的图像自动进行高精度多视野无缝隙拼接和处理,获得优质的可视化数据以应用于病理学的各个领域。数字化病理系统的应用最早始于1985年,20世纪90年代在美国开始被应用于商业领域,从2000年开始在医学院校逐步取代传统显微镜。此后,美国以及全世界范围内有50%的医学院校都已经或正在筹备引进数字化病理系统。病理图像分析系统的应用,极大地丰富了病理科研工作的方法,使得病理工作人员的思路开阔了许多,使得一些原来不可能的工作如:腺体形态计算、DNA计算、AGNOR计算变得简单起来。数字病理能够自动地分析、分割、检测感兴趣区域,能够定量地评估病变区域地恶性程度、结果相比于人工分析具有较高的可重复性。
细胞核分割在病理图像辅助诊断系统中都是首要步骤,细胞核的形态、结构、空间分布对癌症的分期是重要的参考指标。要实现病理分期首先需要对病理图像中的细胞核进行准确的分割。但是由于病理图像中细胞核的重叠、细胞核结构的不一致性、背景的复杂性以及染色方式的差异等因素造成了细胞核分割非常困难。传统的分割算法,如自适应阈值分割、分水岭、区域生长算法对病理图像的分割效果较为有限,对重叠细胞核的分割能力也不足。近年来,主动轮廓模型分割算法在图像分割领域得到了广泛的应用,特别是在病理图像分割方面。
主动轮廓模型算法虽然对重叠细胞的分割效果较好,对弱细胞边界的分割也较为有效,但是,主动轮廓模型在分割开始的时候需要以初始化的形状轮廓为初始化轮廓,以此轮廓为初始点对目标进行边界分割。所以,初始化形状轮廓的选取对最终的分割效果起到很大影响,准确的初始化轮廓有助于得到准确的细胞边界。同时,如果初始化形状选择不合适,将会造成过分割现象,造成对非细胞核区域错误分割。
深度学习近年来在计算机视觉特别是图像分类、图像检测和图像分割领域取得了优于传统方法的效果。深度学习在图像领域取得的进展在医疗图像领域也得到了应用,基于深度学习医疗图像分类、病灶检测和分割取得了优于传统方法的效果。相比于传统的机器学习算法,深度学习方法是一个端到端的系统,向网络输入图像之后能自动提取多种低级和高等级特征,自动对提取的特征进行有效组合,实现高准确率的分类。相比于传统的机器学习人工设计特征的种类,人工提取特征,深度学习算法不必人工设计特征,免除了特征工程的麻烦。所以,深度学习提取的特征能对不同的数据都能取得不错的效果,而传统机器学习算法针对不同的数据需要设计不同的特征种类,设计出的特征往往对特定的任务有效,对不同的数据泛化能力较差。
深度学习是一个数据驱动的算法,深度神经网络能从海量数据中提取出丰富的特征,增加了特征提取的丰富度,增加了分类的准确率。而海量的数字化后的数字病理图像为深度神经网络模型的训练提供了大量的数据。
近年来,基于学习的深度学习方法在细胞核检测任务中取得了不错的进展,特别在组织病理图像的分类、检测、分割任务中取得了比传统方法更加准确的结果。相比于非学习类型的方法,深度学习方法是数据驱动的,深度神经网络模型可以高效地自动的提取特征,免除了人工手动设计特定数据类型的特征的负担,能加快算法的开发周期,提高效率。深度学习神经网络模型通过卷积操作对输入图像进行低阶特征抽取,然后随着网络层数的增加,神经网络将前几层提取到的低阶特征组合成高阶特征,这些经过组合之后抽取的高阶特征相比于前几层的低阶特征能更好的表示物体的语义特征。相比于计算机视觉中对图像特征抽取常用的灰度、SIFT、HoG等特征,深度卷积神经网络提取的特征类型更加丰富,正是由于这些高阶的抽象的特征,提升了深度神经网络对图像的分类、检测、分割效果。但是,这些高阶特征相比于计算机视觉中的常规特征,缺乏直观的解释。
深度学习神经网络一般是指卷积神经网络和循环神经网络,卷积神经网络常常用在图像的分类、目标检测和识别以及图像分割等任务上。卷积神经网络一般包括三大部分:卷积层(Convolutional Layer)池化层(Pooling Layer)和全连接层(Fully ConnectedLayer)。卷积层是卷积神经网络中最重要的结构,是网络对图像进行特征提取的关键结构。常用的池化层有最大池化(Max Pooling)和平均池化(Average Pooling),池化层对卷积层输出的特征图进行维度缩减,在一定程度上可以避免过拟合现象的发生。全连接层是常规的全连接神经网络加上Sigmoid激活函数,实现对不同类别的分类。卷积神经网络具有的局部感受野和权值共享特点,使卷积神经网络比全连接神经网络具有更好的泛化能力,网络参数极大减少,更加容易训练。权值共享的特点使卷积神经网络对特征的提取更加丰富,能够提取在计算机视觉中所不存在的特征,使卷积神经网络具有较好的性能,而且权值共享也使网络的连接参数极大较少,更加容易训练。
初始化水平集函数对主动轮廓的最终分割效果的影响很大,主动轮廓模型对初始轮廓较为敏感,准确的初始轮廓将会提高分割的效果。传统的初始化轮廓都是采用大津法或者分水岭方法作粗分割,粗分割的结果的二值图像作为主动轮廓的初始化轮廓。但是,大津法在组织病理图像中的分割效果很差,往往导致了初始化轮廓结果较差。而分水岭方法虽然比大津法提升了分割效果,但是分水岭方法容易造成过分割现象,用分水岭方法分割结果做初始化轮廓将会分割出非细胞区域,造成分割出一些背景区域像素。
为了解决主动轮廓对初始轮廓选取较为敏感的问题,可以使用准确率较高的细胞核检测算法输出的概率图经过二值化后作为细胞核的初始轮廓作为零水平集加入分割算法的能量函数中,最小化能量函数,得到细胞核的边界。于是,采用深度学习方法,首先检测出组织病理图像上的细胞核的准确位置和大致边界,将深度学习的检测结果经过二值化输出二值图像作为混合主动轮廓的初始化轮廓,加入能量函数中。这样的过程保证了主动轮廓模型在进行细胞核分割时采用的主动跟轮廓是较为准确的,不会对非细胞核区域进行误分割。这样的处理一方面可以减少过分割现象的出现,另一方面,可以减少主动模型的计算消耗。
发明内容
基于此,有必要针对传统病理图像细胞核分割方法中存在的问题,提供一种用于乳腺癌病理图像的分割方法和装置。具体的,提供一种基于深度学习和主动轮廓模型的乳腺癌病理图像分割方法和装置。将深度学习模型进行细胞核检测的结果作为主动轮廓的初始化形状轮廓为后续分割模型提供了细胞核的准确位置,同时减轻了主动轮廓模型的计算复杂度,对重叠细胞也能做到很好的分割,为数字化病理图像分析提供了一个可靠的分割算法。深度学习算法与传统分割算法相结合,弥补了主动轮廓模型分割算法对初始化轮廓选取较为敏感的缺点。
第一方面,本发明实施例提供了一种用于乳腺癌病理图像的分割方法,所述方法包括:对乳腺癌病理图像通过标定与预处理操作生成训练样本;根据所述训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成所述乳腺癌病理图像中细胞核的检测操作;通过后处理算法将CNN模型在整张所述乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将所述二值图像定义为主动轮廓模型的初始化形状轮廓;通过所述主动轮廓模型对细胞核的边界进行分割。
在其中一个实施例中,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,包括:基于细胞核像素、细胞核边界像素以及所述乳腺癌病理图像背景像素对所述乳腺癌病理图像通过标定与预处理操作,生成所述训练样本。
在其中一个实施例中,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:选取特定细胞核使用病理图像标注软件对所述乳腺癌病理图像中的细胞核边界进行部分标定;基于标定的细胞核进行正负样本采集。
在其中一个实施例中,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:使用线性变换方法在Lab颜色空间对数据库中所有的所述乳腺癌病理图像进行颜色标准化处理;从数据库中随机挑选一张所述乳腺癌病理图像作为参考图像,并对剩余的所述乳腺癌病理图像运用标准化算法;其中,所述线性变换方法为:将RGB颜色空间的待处理的H&E染色的所述乳腺癌病理图像转化到特定的CIELab颜色空间,对Lab通道中的每一个像素进行一个线性转化,且线性转化公式为:
Figure GDA0001685872870000061
其中,
Figure GDA0001685872870000062
Figure GDA0001685872870000063
分别表示L通道所有像素的均值和方差。
在其中一个实施例中,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:在被标注的细胞核边界内部取正样本像素点,并以所述正样本像素点为中心生成64*64像素大小的Patch作为正样本;将被标注的细胞核边界做三个像素的形态学腐蚀操作,并在所述三个像素宽的边界区域取像素点,以所述像素点为中心取64*64像素大小的Patch,获得边界Patches;对所述乳腺癌病理图像做去卷积操作,获取所述乳腺癌病理图像中不同的染色成分,并解析出所述乳腺癌病理图像的背景像素和前景像素;采用直方图均衡化算法对所述背景像素和所述前景像素进行强化操作;随机采集所述背景像素中的背景像素点,以所述背景像素点为中心取64*64像素大小的Patches,并将背景样本和边界Patches一起定义为负样本;将所述正样本和所述负样本一起定义为所述生成训练样本。
在其中一个实施例中,所述卷积神经网络分类模型为基于AlexNet卷积神经网络模型改造后的7层卷积神经网络结构,其中,改造后的所述7层卷积神经网络结构中全连接层更改为卷积层,去掉池化层,改造后的所述7层卷积神经网络结构中的网络中采用3*3的小卷积。
在其中一个实施例中,所述通过后处理算法将CNN模型在整张所述乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,包括:在整张所述乳腺癌病理图像上做划窗预测,以64*64大小的窗口遍历整张所述乳腺癌病理图像中的每一个像素;输出所述乳腺癌病理图像中每一个像素属于细胞核像素的概率,产生基于像素点的所述概率图。
在其中一个实施例中,所述通过所述主动轮廓模型对细胞核的边界进行分割,还包括:所述主动轮廓模型将所述乳腺癌病理图像的区域以及边界信息结合到所述主动轮廓模型的能量函数中,其中,混合主动轮廓模型以最小化所述能量函数:
Figure GDA0001685872870000071
其中,φ是零水平集嵌入函数,代表了主动轮廓Ω={x|φ(x)=0},z是待分割图像,H(φ)是Heaviside阶跃函数,ω代表了图像域,
Figure GDA0001685872870000072
是图像梯度,α和β是预先定义的平衡加号两边的系数,第一项是图像的区域信息项,第二项是水平集公式中的测地主动轮廓函数。
第二方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的用于乳腺癌病理图像的分割方法。
第三方面,本发明实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面所述的方法。
第四方面,本发明实施例还提供了一种用于乳腺癌病理图像的分割装置,所述装置包括:训练样本生成模块,用于对乳腺癌病理图像通过标定与预处理操作生成训练样本;检测模块,用于根据所述训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成所述乳腺癌病理图像中细胞核的检测操作;初始化形状轮廓生成模块,用于通过后处理算法将CNN模型在整张所述乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将所述二值图像定义为主动轮廓模型的初始化形状轮廓;分割模块,用于通过所述主动轮廓模型对细胞核的边界进行分割。
本发明提供的一种用于乳腺癌病理图像的分割方法和装置,具体的,公开了一种基于深度学习和主动轮廓模型的乳腺癌病理图像分割方法和装置,实现了对乳腺癌病理图像中细胞核的分割特别是对重叠细胞核的分割,具有较好的分割性能。算法主要包括三大模块:数据的预处理、细胞核检测和细胞核边界精细分割。算法的第一步是数据的标定和预处理:病理专家对细胞核边界进行人工标定。然后对病理图像进行标准化处理,消除染色差异。制作基于细胞核像素、细胞核边界像素和背景像素生成训练样本,训练卷积神经网络分类器,实现基于Patch小块图像中心像素的分类器。将训练好的卷积神经网络模型在整张病理图像上检测,输出概率图,经过后处理算法产生二值图像作为主动轮廓模型的初始化形状轮廓,采用主动轮廓模型对细胞核边界进行精细化分割。量化分析评价表明了本发明是一种具有较高分割准确率的算法,可以实现对乳腺癌病理图像中的重叠细胞进行较好的分割。
附图说明
图1为本发明一个实施例中的一种用于乳腺癌病理图像的分割方法的步骤流程示意图;
图2为本发明一个实施例中的一种用于乳腺癌病理图像的分割方法的整体框架示意图;
图3为图2所示的卷积神经网络结构示意图;
图4为图2中训练集和测试集的制作框架示意图;
图5为图2中主动轮廓模型分割流程示意图;
图6为本发明一个实施例中的一种用于乳腺癌病理图像的分割装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下通过实施例,并结合附图,对本发明用于乳腺癌病理图像的分割方法和装置的具体实施方式进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明涉及生物医学信息技术领域,特别是病理图像分割算法研究领域。提出了一种用于乳腺癌病理图像的分割方法和装置。具体的,提供一种基于深度学习和主动轮廓模型的乳腺癌病理图像分割方法和装置。
结合图1-图5所示,图1为本发明一个实施例中的一种用于乳腺癌病理图像的分割方法的步骤流程示意图;图2为本发明一个实施例中的一种用于乳腺癌病理图像的分割方法的整体框架示意图;图3为图2所示的卷积神经网络结构示意图;图4为图2中训练集和测试集的制作框架示意图;图5为图2中主动轮廓模型分割流程示意图。如图1所示,为一个实施例中的一种用于乳腺癌病理图像的分割方法的流程示意图。具体包括以下步骤:
步骤102,对乳腺癌病理图像通过标定与预处理操作生成训练样本。
本实施例中,对乳腺癌病理图像通过标定与预处理操作生成训练样本,包括:基于细胞核像素、细胞核边界像素以及乳腺癌病理图像背景像素对乳腺癌病理图像通过标定与预处理操作,生成训练样本。
进一步地,对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:选取特定细胞核使用病理图像标注软件对乳腺癌病理图像中的细胞核边界进行部分标定;基于标定的细胞核进行正负样本采集。
更进一步地,对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:使用线性变换方法在Lab颜色空间对数据库中所有的所述乳腺癌病理图像进行颜色标准化处理;从数据库中随机挑选一张所述乳腺癌病理图像作为参考图像,并对剩余的所述乳腺癌病理图像运用标准化算法;其中,线性变换方法为:将RGB颜色空间的待处理的H&E染色的所述乳腺癌病理图像转化到特定的CIELab颜色空间,对Lab通道中的每一个像素进行一个线性转化,且线性转化公式为:
Figure GDA0001685872870000101
其中,
Figure GDA0001685872870000102
Figure GDA0001685872870000103
分别表示L通道所有像素的均值和方差。
可以理解为:对乳腺癌病理图像通过标定与预处理操作生成训练样本中的数据的标定是指病理医生专家对细胞核的边界进行人工标注,以病理医生专家的标注信息生成训练样本训练卷积神经网络分类器。
现阶段基于监督学习的深度神经网络还是主流方式,虽然非监督学习方式取得了不错的结果,但是取得的效果仍然没有基于监督学习的效果好。基于监督学习方式的神经网络的缺点是,需要足够的高质量的标注数据。在医疗图像领域,获得高质量的标注数据往往需要专业的医生来进行标注。在本发明中,实现对病理图像上的所有细胞核进行全部标注是不可能完成的任务,所以本发明采用部分标记的方法,选取有代表性的细胞核使用病理图像标注软件对乳腺癌病理图像中的细胞核边界进行部分标定。然后基于这些标注的细胞核进行正负样本采集。
在病理切片数字化过程中由于染色不均匀、数字成像、数字扫描设备不同等因素,会导致获得的数字化病理图像颜色差异问题。这种差异会对随后的细胞检测、分割带来不利的影响,使用线性变换的方法在Lab颜色空间对数据库中所有的图像进行颜色标准化处理。从数据库中随机挑选一张图像作为参考图像,然后对剩余的图像都运用标准化算法。该方法首先将RGB颜色空间的待处理的H&E染色的病理图像转化到特定的CIELab颜色空间,对Lab通道中的每一个像素进行一个如下式的线性转化;
Figure GDA0001685872870000111
其中,
Figure GDA0001685872870000112
Figure GDA0001685872870000113
分别表示L通道所有像素的均值和方差。
此外,在训练样本的生成,具体包括:
在病理医生专家标注的细胞核边界内部取正样本像素点,以此像素点为中心,生成64*64像素大小的Patch作为正样本;
将病理医生专家标注的细胞核边界做三个像素的形态学腐蚀操作,在三个像素宽的边界区域取像素点,以这些像素点为中心取64*64像素大小的Patch,获得边界Patches;
这些边界样本丰富了卷积神经网络分类器学习到的信息特别是对细胞核边界的学习,提升了卷积神经网络对细胞核边界的检测性能;
对图像做去卷积操作,获得病理图像中不同的染色成分,从而获得背景像素和前景像素,然后采用直方图均衡化算法强化前景和背景。随机采集背景像素点,以这些背景像素点为中心取64*64像素大小的Patches。将背景样本和边界Patches一起作为负样本。将正负样本一起作为训练集来训练卷积神经网络分类器。
步骤104,根据训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成乳腺癌病理图像中细胞核的检测操作。
本实施例中,卷积神经网络分类模型为基于AlexNet卷积神经网络模型改造后的7层卷积神经网络结构,其中,改造后的7层卷积神经网络结构中全连接层更改为卷积层,去掉池化层,改造后的7层卷积神经网络结构中的网络中采用3*3的小卷积。
可以理解的是,卷积神经网络分类器是基于经典的AlexNet卷积神经网络模型改造后的7层卷积神经网络结构,将全连接层改为卷积层,去掉池化层。同时,网络中采用3*3的小卷积。这样的改变使卷积神经网络的参数数量极大减少的同时也增加了网络的容量,增加了网络的非线性变化,使网络具有更强的分类能力;
本发明以AlexNet分类模型为基础,将网络的结构进行适当的改进以便更好地适用于细胞核检测任务。经典的AlexNet模型包括了三个卷积层以及两个全连接层和一个SoftMax层,有1000个输出,对应于自然图像的1000分类任务。本课题中需要对细胞核和非细胞核区域进行分类,所以SoftMax的输出应该为两类。同时,为了更好的将AlexNet模型更好地应用到病理图像的分类任务中,我们修改了卷积层中卷积核的大小,以及全连接层神经元的个数。在全连接层中,我们将采用Dropout技术,避免模型产生过拟合现象。为了避免梯度消失现象,卷积层和全连接层的激活函数均采用ReLu激活函数。
步骤106,通过后处理算法将CNN模型在整张乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将二值图像定义为主动轮廓模型的初始化形状轮廓。
本实施例中,通过后处理算法将CNN模型在整张乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,包括:在整张乳腺癌病理图像上做划窗预测,以64*64大小的窗口遍历整张乳腺癌病理图像中的每一个像素;输出乳腺癌病理图像中每一个像素属于细胞核像素的概率,产生基于像素点的概率图。
可以理解的是,训练好卷积神经网络模型之后,在整张的病理图像上做划窗预测,以64*64大小的窗口遍历图像中的每一个像素,输出图像中每一个像素属于细胞核像素的概率,产生基于像素点的概率图。采用H-minima变换找到细胞核的中心点作为Markers,然后采以这些Markers作为起始点,用区域融合算法产生更加准确的细胞核形状边界。将此闭合形状轮廓作为主动轮廓模型的初始化形状轮廓,最小化主动轮廓能量函数,对细胞核边界进行精细化分割。将检测后的初始化形状加入主动轮廓模型中一方面解决了主动轮廓模型对初始化轮廓敏感的缺点,容易造成过分割,另一方面,解决了主动轮廓模型分割过程中计算复杂的缺点,极大减少了主动轮廓模型计算时间。
步骤108,通过主动轮廓模型对细胞核的边界进行分割。
本实施例中,通过主动轮廓模型对细胞核的边界进行分割,还包括:主动轮廓模型将乳腺癌病理图像的区域以及边界信息结合到主动轮廓模型的能量函数中,其中,混合主动轮廓模型以最小化能量函数:
Figure GDA0001685872870000131
其中,φ是零水平集嵌入函数,代表了主动轮廓Ω={x|φ(x)=0},z是待分割图像,H(φ)是Heaviside阶跃函数,ω代表了图像域,
Figure GDA0001685872870000132
是图像梯度,α和β是预先定义的平衡加号两边的系数,第一项是图像的区域信息项,第二项是水平集公式中的测地主动轮廓函数。
需要说明的是,通过主动轮廓模型对细胞核的边界进行分割,包括:采用H-minima变换检测细胞核的中心点作为标记点Markers,并以标记点Markers作为起始点,用区域融合算法生成细胞核形状边界。可以理解的是,主动轮廓模型将图像的区域以及边界信息结合到主动轮廓模型的能量函数中,很好的解决了基于区域的或者基于边界的主动轮廓模型在分割弱边界、差异性大的病理图像中存在的分割结果差的问题。混合主动轮廓模型以最小化下面的能量函数为目标。
本发明提供的一种用于乳腺癌病理图像的分割方法,具体的,公开了一种基于深度学习和主动轮廓模型的乳腺癌病理图像分割方法,方法包括:数据的标定以及预处理;训练基于图像Patch中心像素的卷积神经网络分类模型,实现病理图像中细胞核的检测;采用后处理算法,将CNN模型在整张病理图像对细胞核的检测结果的概率图转换成二值图像作为主动轮廓模型的初始化形状轮廓;采用混合主动轮廓模型对细胞核的边界进行精细化分割。实现了对乳腺癌病理图像中细胞核的分割特别是对重叠细胞核的分割,具有较好的分割性能。算法主要包括三大模块:数据的预处理、细胞核检测和细胞核边界精细分割。算法的第一步是数据的标定和预处理:病理专家对细胞核边界进行人工标定。然后对病理图像进行标准化处理,消除染色差异。制作基于细胞核像素、细胞核边界像素和背景像素生成训练样本,训练卷积神经网络分类器,实现基于Patch小块图像中心像素的分类器。将训练好的卷积神经网络模型在整张病理图像上检测,输出概率图,经过后处理算法产生二值图像作为主动轮廓模型的初始化形状轮廓,采用主动轮廓模型对细胞核边界进行精细化分割。量化分析评价表明了本发明是一种具有较高分割准确率的算法,可以实现对乳腺癌病理图像中的重叠细胞进行较好的分割。
基于同一发明构思,还提供了一种用于乳腺癌病理图像的分割装置。由于此装置解决问题的原理与前述一种用于乳腺癌病理图像的分割方法相似,因此,该装置的实施可以按照前述方法的具体步骤时限,重复之处不再赘述。
如图6所示,为一个实施例中的一种用于乳腺癌病理图像的分割装置的结构示意图。该用于乳腺癌病理图像的分割装置10包括:训练样本生成模块100、检测模块200、初始化形状轮廓生成模块300和分割模块400。
其中,训练样本生成模块100用于对乳腺癌病理图像通过标定与预处理操作生成训练样本;检测模块200用于根据训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成乳腺癌病理图像中细胞核的检测操作;初始化形状轮廓生成模块300用于通过后处理算法将CNN模型在整张乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将二值图像定义为主动轮廓模型的初始化形状轮廓;分割模块400用于通过主动轮廓模型对细胞核的边界进行分割。
本发明提供的一种用于乳腺癌病理图像的分割装置,训练样本生成模块100用于对乳腺癌病理图像通过标定与预处理操作生成训练样本;检测模块200用于根据训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成乳腺癌病理图像中细胞核的检测操作;初始化形状轮廓生成模块300用于通过后处理算法将CNN模型在整张乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将二值图像定义为主动轮廓模型的初始化形状轮廓;分割模块400用于通过主动轮廓模型对细胞核的边界进行分割。该装置具有较高分割准确率,可以实现对乳腺癌病理图像中的重叠细胞进行较好的分割。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,该程序被图1、图2或图5中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行上述图1、图2或图5的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种用于乳腺癌病理图像的分割方法,其特征在于,所述方法包括:
对乳腺癌病理图像通过标定与预处理操作生成训练样本;
根据所述训练样本训练基于图像Patch中心像素的卷积神经网络分类模型,以完成所述乳腺癌病理图像中细胞核的检测操作;
通过后处理算法将CNN模型在整张所述乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,并将所述二值图像定义为主动轮廓模型的初始化形状轮廓;
通过所述主动轮廓模型对细胞核的边界进行分割;
其中,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:
使用线性变换方法在Lab颜色空间对数据库中所有的所述乳腺癌病理图像进行颜色标准化处理;
从数据库中随机挑选一张所述乳腺癌病理图像作为参考图像,并对剩余的所述乳腺癌病理图像运用标准化算法;
其中,所述线性变换方法为:将RGB颜色空间的待处理的H&E染色的所述乳腺癌病理图像转化到特定的CIELab颜色空间,对Lab通道中的每一个像素进行一个线性转化,且线性转化公式为:
Figure FDA0003242455680000011
其中,
Figure FDA0003242455680000012
Figure FDA0003242455680000013
分别表示L通道所有像素的均值和方差;
其中,所述卷积神经网络分类模型为基于AlexNet卷积神经网络模型改造后的7层卷积神经网络结构,其中,改造后的所述7层卷积神经网络结构中全连接层更改为卷积层,去掉池化层,改造后的所述7层卷积神经网络结构中的网络中采用3*3的小卷积;
其中,所述通过后处理算法将CNN模型在整张所述乳腺癌病理图像对细胞核的检测结果的概率图进行转换,生成二值图像,包括:在整张所述乳腺癌病理图像上做划窗预测,以64*64大小的窗口遍历整张所述乳腺癌病理图像中的每一个像素;
输出所述乳腺癌病理图像中每一个像素属于细胞核像素的概率,产生基于像素点的所述概率图。
2.根据权利要求1所述的方法,其特征在于,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,包括:基于细胞核像素、细胞核边界像素以及所述乳腺癌病理图像背景像素对所述乳腺癌病理图像通过标定与预处理操作,生成所述训练样本。
3.根据权利要求1所述的方法,其特征在于,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:选取特定细胞核使用病理图像标注软件对所述乳腺癌病理图像中的细胞核边界进行部分标定;
基于标定的细胞核进行正负样本采集。
4.根据权利要求1所述的方法,其特征在于,所述对乳腺癌病理图像通过标定与预处理操作生成训练样本,还包括:
在被标注的细胞核边界内部取正样本像素点,并以所述正样本像素点为中心生成64*64像素大小的Patch作为正样本;
将被标注的细胞核边界做三个像素的形态学腐蚀操作,并在所述三个像素宽的边界区域取像素点,以所述像素点为中心取64*64像素大小的Patch,获得边界Patches;
对所述乳腺癌病理图像做去卷积操作,获取所述乳腺癌病理图像中不同的染色成分,并解析出所述乳腺癌病理图像的背景像素和前景像素;
采用直方图均衡化算法对所述背景像素和所述前景像素进行强化操作;
随机采集所述背景像素中的背景像素点,以所述背景像素点为中心取64*64像素大小的Patches,并将背景样本和边界Patches一起定义为负样本;
将所述正样本和所述负样本一起定义为所述生成训练样本。
5.根据权利要求1所述的方法,其特征在于,所述通过所述主动轮廓模型对细胞核的边界进行分割,还包括:所述主动轮廓模型将所述乳腺癌病理图像的区域以及边界信息结合到所述主动轮廓模型的能量函数中,其中,混合主动轮廓模型以最小化所述能量函数:
Figure FDA0003242455680000031
其中,φ是零水平集嵌入函数,代表了主动轮廓Ω={x|φ(x)=0},z是待分割图像,H(φ)是Heaviside阶跃函数,ω代表了图像域,
Figure FDA0003242455680000032
是图像梯度,α和β是预先定义的平衡加号两边的系数,第一项是图像的区域信息项,第二项是水平集公式中的测地主动轮廓函数。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
CN201810171145.6A 2018-03-01 2018-03-01 用于乳腺癌病理图像的分割方法和装置 Active CN108364288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810171145.6A CN108364288B (zh) 2018-03-01 2018-03-01 用于乳腺癌病理图像的分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810171145.6A CN108364288B (zh) 2018-03-01 2018-03-01 用于乳腺癌病理图像的分割方法和装置

Publications (2)

Publication Number Publication Date
CN108364288A CN108364288A (zh) 2018-08-03
CN108364288B true CN108364288B (zh) 2022-04-05

Family

ID=63003073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810171145.6A Active CN108364288B (zh) 2018-03-01 2018-03-01 用于乳腺癌病理图像的分割方法和装置

Country Status (1)

Country Link
CN (1) CN108364288B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272492B (zh) * 2018-08-24 2022-02-15 深思考人工智能机器人科技(北京)有限公司 一种细胞病理涂片的处理方法及系统
CN109378052B (zh) * 2018-08-31 2019-07-30 透彻影像(北京)科技有限公司 图像标注的预处理方法及系统
CN109410167B (zh) * 2018-08-31 2021-11-09 深圳大学 一种3d乳腺图像的分析方法及系统、介质
CN109360646B (zh) * 2018-08-31 2019-08-06 透彻影像(北京)科技有限公司 基于人工智能的病理辅助诊断系统
CN109299679A (zh) * 2018-09-11 2019-02-01 东北大学 基于狭长型条件随机场的宫颈癌组织病理图像诊断方法
CN109543758A (zh) * 2018-11-26 2019-03-29 东北大学 基于共轭蝶形条件随机场的宫颈癌组织病理图像诊断方法
CN109829371B (zh) * 2018-12-26 2022-04-26 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN109740669B (zh) * 2018-12-29 2022-12-06 大连大学 一种基于深度特征聚合的乳腺癌病理图像分类方法
CN109859224B (zh) * 2019-01-31 2023-01-24 东北大学 一种传送带矿岩颗粒图像分割方法
CN109859187B (zh) * 2019-01-31 2023-04-07 东北大学 一种爆堆矿岩颗粒图像分割方法
CN109886179B (zh) * 2019-02-18 2023-03-28 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN110490212B (zh) * 2019-02-26 2022-11-08 腾讯科技(深圳)有限公司 钼靶影像处理设备、方法和装置
CN109975196B (zh) * 2019-03-01 2021-10-08 深圳大学 一种网织红细胞检测方法及其系统
CN109978894A (zh) * 2019-03-26 2019-07-05 成都迭迦科技有限公司 一种基于三维乳腺彩超的病变区域标注方法及系统
CN110060246B (zh) * 2019-04-15 2021-08-24 上海商汤智能科技有限公司 一种图像处理方法、设备及存储介质
CN110060245A (zh) * 2019-04-15 2019-07-26 青岛大学 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN110163884B (zh) * 2019-05-17 2023-04-07 温州大学 一种基于全连接深度学习神经网络的单个图像分割方法
CN110443254B (zh) * 2019-08-02 2023-06-20 上海联影医疗科技股份有限公司 图像中金属区域的检测方法、装置、设备和存储介质
CN110826560B (zh) * 2019-11-06 2023-10-27 山东省计算中心(国家超级计算济南中心) 一种食管癌病理图像标注方法
CN111062956B (zh) * 2019-11-08 2023-05-23 哈尔滨工业大学(深圳) 钼靶x线乳腺影像肿块目标分割方法及装置
CN110880182B (zh) * 2019-11-18 2022-08-26 东声(苏州)智能科技有限公司 图像分割模型训练方法、图像分割方法、装置及电子设备
CN111126162A (zh) * 2019-11-28 2020-05-08 东软集团股份有限公司 一种识别图像中炎症细胞的方法、装置及存储介质
CN111079579B (zh) * 2019-12-02 2023-07-25 英华达(上海)科技有限公司 细胞图像的识别方法、装置以及系统
CN111145209B (zh) * 2019-12-26 2023-06-02 推想医疗科技股份有限公司 一种医学图像分割方法、装置、设备及存储介质
CN111353987A (zh) * 2020-03-02 2020-06-30 中国科学技术大学 一种细胞核分割方法及装置
CN111429468B (zh) * 2020-03-18 2024-06-25 合肥凯碧尔高新技术有限公司 细胞核分割方法、装置、设备及存储介质
CN111462086B (zh) * 2020-03-31 2024-04-26 推想医疗科技股份有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111986148B (zh) * 2020-07-15 2024-03-08 万达信息股份有限公司 一种前列腺数字病理图像的快速Gleason评分系统
CN111968147B (zh) * 2020-08-06 2022-03-15 电子科技大学 一种基于关键点检测的乳腺癌病理图像综合分析系统
CN112085067B (zh) * 2020-08-17 2022-07-12 浙江大学 一种高通量筛选dna损伤反应抑制剂的方法
CN112200801B (zh) * 2020-10-30 2022-06-17 四川大学华西医院 数字病理图像的细胞核自动检测方法
CN112381839B (zh) * 2020-11-14 2022-08-02 四川大学华西医院 一种基于深度学习的乳腺癌病理图像he癌巢分割方法
CN112446892A (zh) * 2020-11-18 2021-03-05 黑龙江机智通智能科技有限公司 一种基于注意力学习的细胞核分割方法
CN112396583B (zh) * 2020-11-18 2024-01-26 深思考人工智能机器人科技(北京)有限公司 一种基于巴氏染色方式的dna倍体定量分析的方法及系统
CN112508860B (zh) * 2020-11-19 2022-09-30 湖南兰茜生物科技有限公司 一种免疫组化图像核阳性的人工智能判读方法及系统
CN112767325B (zh) * 2021-01-05 2024-06-28 清华大学 一种癌症病理图像自动检测方法及系统
CN113393443B (zh) * 2021-06-17 2023-02-14 华南理工大学 一种he病理图像细胞核分割方法及系统
CN113536968B (zh) * 2021-06-25 2022-08-16 天津中科智能识别产业技术研究院有限公司 一种自动获取虹膜内外圆边界坐标的方法
CN113643302B (zh) * 2021-07-21 2023-10-27 上海交通大学 基于主动轮廓模型的无监督医学图像分割方法和系统
CN113762395B (zh) * 2021-09-09 2022-08-19 深圳大学 一种胰胆管型壶腹癌分类模型生成方法及图像分类方法
CN113763371B (zh) * 2021-09-15 2023-08-18 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN114187334B (zh) * 2021-10-12 2022-09-13 武汉兰丁云医学检验实验室有限公司 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法
CN114862877B (zh) * 2022-05-27 2024-03-22 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置
CN114973244B (zh) * 2022-06-12 2023-04-11 桂林电子科技大学 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法
CN116385475B (zh) * 2023-06-06 2023-08-18 四川腾盾科技有限公司 一种针对大型固定翼无人机自主着陆的跑道识别分割方法
CN116580216B (zh) * 2023-07-12 2023-09-22 北京大学 病理图像匹配方法、装置、设备及存储介质
CN117557557B (zh) * 2024-01-09 2024-04-26 广州锟元方青医疗科技有限公司 一种基于细胞核分割模型的甲状腺病理切片细胞检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236065A (zh) * 2013-05-09 2013-08-07 中南大学 基于主动轮廓模型和细胞神经网络的生物芯片分析方法
CN104809723A (zh) * 2015-04-13 2015-07-29 北京工业大学 基于超体素和图割算法的三维肝脏ct图像自动分割方法
CN104966085A (zh) * 2015-06-16 2015-10-07 北京师范大学 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN105931226A (zh) * 2016-04-14 2016-09-07 南京信息工程大学 基于深度学习的自适应椭圆拟合细胞自动检测分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236065A (zh) * 2013-05-09 2013-08-07 中南大学 基于主动轮廓模型和细胞神经网络的生物芯片分析方法
CN104809723A (zh) * 2015-04-13 2015-07-29 北京工业大学 基于超体素和图割算法的三维肝脏ct图像自动分割方法
CN104966085A (zh) * 2015-06-16 2015-10-07 北京师范大学 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN105931226A (zh) * 2016-04-14 2016-09-07 南京信息工程大学 基于深度学习的自适应椭圆拟合细胞自动检测分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Adaptive Estimation of Active Contour";Assaf Hoogi,∗Arjun Subramaniam, Rishi Veerapaneni, and Daniel L;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20170331;第36卷(第3期);全文 *

Also Published As

Publication number Publication date
CN108364288A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
CN107274386B (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
Kang et al. Stainnet: a fast and robust stain normalization network
US12033743B2 (en) Image diagnostic system, and methods of operating thereof
Kromp et al. Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110472676A (zh) 基于深度神经网络的胃早癌组织学图像分类系统
CN107256558A (zh) 一种无监督式的宫颈细胞图像自动分割方法及系统
Ta et al. Graph-based tools for microscopic cellular image segmentation
CN105894490A (zh) 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置
He et al. A review: The detection of cancer cells in histopathology based on machine vision
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
Nateghi et al. Maximized inter-class weighted mean for fast and accurate mitosis cells detection in breast cancer histopathology images
Song et al. Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
Lv et al. Nuclei R-CNN: improve mask R-CNN for nuclei segmentation
He et al. Local and global Gaussian mixture models for hematoxylin and eosin stained histology image segmentation
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
Sheeba et al. Microscopic image analysis in breast cancer detection using ensemble deep learning architectures integrated with web of things
Zhang et al. Histopathological image recognition of breast cancer based on three-channel reconstructed color slice feature fusion
Saha et al. SRM superpixel merging framework for precise segmentation of cervical nucleus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant