CN113256577A - 基于he染色病理图像的癌症辅助分析系统、装置 - Google Patents

基于he染色病理图像的癌症辅助分析系统、装置 Download PDF

Info

Publication number
CN113256577A
CN113256577A CN202110541309.1A CN202110541309A CN113256577A CN 113256577 A CN113256577 A CN 113256577A CN 202110541309 A CN202110541309 A CN 202110541309A CN 113256577 A CN113256577 A CN 113256577A
Authority
CN
China
Prior art keywords
image
convolution
module
segmentation
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110541309.1A
Other languages
English (en)
Other versions
CN113256577B (zh
Inventor
王晓乔
张在其
尹辉明
阳大庆
唐娜萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Medicine
Original Assignee
Hunan University of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Medicine filed Critical Hunan University of Medicine
Priority to CN202110541309.1A priority Critical patent/CN113256577B/zh
Publication of CN113256577A publication Critical patent/CN113256577A/zh
Application granted granted Critical
Publication of CN113256577B publication Critical patent/CN113256577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

基于HE染色病理图像的癌症辅助分析系统、装置，属于医疗影像技术领域。为了解决现有的细胞分割神经网络模型不能对细胞质进行准确分割的问题。本发明所述的系统包括用于获取HE染色的染色切片图像的染色切片图像获取模块，调取细胞核分割网络模型对图像块进行细胞核分割细胞核分割模块，对细胞核进行掩蔽的细胞核掩蔽模块，以及调取细胞质分割网络模型对细胞核掩蔽模块掩蔽后的图像进行细胞质分割的细胞质分割模块，所述系统还包括将细胞质、细胞核分割模块分割的结果映射在同一图像块中的细胞整体单元确定模块，以及提供辅助分析的癌症辅助分析模块。主要用于为癌症识别提供辅助分析。

Description

基于HE染色病理图像的癌症辅助分析系统、装置
技术领域
本发明涉及一种癌症辅助分析系统及装置，属于医疗影像技术领域。
背景技术
目前很多的癌症进一步的判断和分析，基本都是依赖于对癌症的切片染色图像进行分析，对于切片染色过程而言，苏木精-伊红(HE)染色法是一种普遍使用的染色法。由于HE 染色操作和程序上的区别，导致了染色效果不尽相同，所以基于HE染色病理图像判断准确率也存在着差异。
同时随着人工智能领域的发展，深度学习技术已经成为多个应用领域的主流技术或者研究方向，而且已经在诸多领域取得了非常好的识别和检测效果。目前也有很多科研人员和学者将深度学习技术用于癌细胞的识别，从而辅助医生对癌症进行诊断和分析，减少医生的工作量。现有的利用深度学习技术进行癌细胞的识别的方法有的从提高染色效果入手，辅以一些常规神经网络来进行识别，有的是从细胞形态学入手，对神经网络进行改进从而提高癌细胞的识别效果。虽然现有技术已经取得不错的识别效果，但是依然存在以下问题：
现有的基于深度学习技术的癌细胞识别方法都是先对细胞的染色图像进行处理得到特征图，然后针对特征图进行分割和识别，但是目前的神经网络对特征图进行分割的过程中或存在细胞边缘分割不准确的问题，这样会在一定程度上影响分割效果，造成检测准确率降低或/和误检率升高的问题。
更为重要的是，相对于细胞分割或细胞质分割而言，细胞核的分割更加容易实现且分割准确率相对较高，所以现有的分割方法大都是针对于细胞核的分割，而细胞分割或细胞质分割效果却不尽人意，主要是由于：针对于癌细胞的检测，常见的是组织染色方式，常用的染色包括苏木素伊红染色法、巴氏染色法、邵氏染色法等。苏木素伊红染色方法，简称HE染色法，是组织学、胚胎学、病理学中使用最为广泛的技术方法。HE染色是将组织切片或细胞涂片等分别浸入苏木素染色液和伊红染色液中，经过适当的时间和处理，使组织、细胞及其他成分染上不同深浅的颜色，产生不同的折射率，从而便于光学显微镜下进行观察和研究。目前，HE染色存在层次不分明，细胞核、质区分不明显，染色液不稳定(尤其是伊红染色液稳定性差)等问题，尤其是细胞质和胞外间隙的界限不明显，而且二者的层次也不是非常清晰，虽然可以用肉眼进行分辨，但是相应的图像却很难被现有的分割网络/识别网络进行分割/识别，即使能够分割或识别，准确性也并不高，效果并不理想。这样就导致了利用深度学习技术很难获得与细胞质相关的特征，例如核质比等，从而间接的影响了癌症的分析准确率。所以如何对细胞质进行准确的分割一方面受到神经网络模型的分割或识别的准确率影响，一方面还受到切片染色效果的影响，如果想要充分发挥神经网络模型的自动分割或识别的优势，必须要保证两方面的问题都得到解决。
发明内容
本发明是为了解决现有的细胞分割神经网络模型不能对细胞质进行准确分割的问题。
一种基于HE染色病理图像的癌症辅助分析系统，包括：
染色切片图像获取模块，用于获取HE染色的染色切片图像，并将图像进行图像块分割；
细胞核分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；
细胞核掩蔽模块，复制染色切片图像对应的图像块，记为复制图像；将细胞核分割模块分割的结果映射在对应的复制图像中，在复制图像中形成细胞核轮廓；然后提取细胞核轮廓外围区域像素的RGB值，所述的细胞核轮廓外围区域为按照细胞核轮廓向外侧扩展2-3个像素宽度所形成的区域；将细胞核轮廓外围区域所有像素的RGB值取均值作为掩蔽像素；将复制图像中的细胞核轮廓及内部的像素替换为掩蔽像素；
细胞质分割模块，调取细胞质分割网络模型对细胞核掩蔽模块掩蔽后的图像进行细胞质分割。
进一步地，所述系统还包括：
细胞整体单元确定模块，针对于染色切片图像对应的图像块，将细胞质分割模块分割的结果映射在对应的图像块中，同时将细胞核分割模块分割的结果映射在同一图像块中，最终形成染色切片图像的分割图像。
进一步地，所述系统还包括：
癌症辅助分析模块，基于利用专家库对细胞整体单元确定模块的结果进行癌变细胞的识别和分类；识别和分类过程采用专家库的方式进行，所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征。
进一步地，所述的的细胞核分割网络模型结构如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
进一步地，所述的细胞质分割网络模型与细胞核分割网络模型结构相同。
进一步地，所述的细胞核分割网络模型的激活函数为RELU；
所述的细胞质分割网络模型的激活函数为
Figure RE-GDA0003153989270000031
一种基于HE染色病理图像的癌症辅助分析装置，用于存储和/或运行一种基于HE染色病理图像的癌症辅助分析系统。
本发明包含以下有益效果：
利用本发明不仅能够实现细胞质的分割，而且还能够基于细胞核和细胞质分割效果的映射得到最终形成染色切片图像的分割图像。不仅细胞核分割网络模型和细胞质分割网络模型本身就可以兼顾特征图的细节特征和整体特征的提取，保证了模型结构的分割准确性；而且依靠HE染色的图像能够实现细胞核分割网络模型和细胞质分割网络模型的训练，从而得到更加有效的网络模型参数，从而保证了两个分割模型整体的分割准确性，同时细胞核掩蔽模块不仅可以进一步保证细胞质分割网络模型的分割效果和分割结果的准确率，还可以保证细胞整体单元确定模块最终的分割结果，所以本发明可以针对复杂且不易划分的图像进行细胞的分割，并且具有良好的分割准确性和准确率。
附图说明
图1为细胞核分割网络模型结构示意图；
图2为一张染色图像的局部细胞核分割结果图；
图3为图2图像对应的细胞质分割结果图；
图4为映射细胞核、细胞质分割模块分割的结果形成的染色切片图像的分割图像；
图5为染色切片的效果图。
具体实施方式
具体实施方式一：
现有的细胞分割方式不能对细胞质进行准确分割，一方面是由于现有的分割网络模型本身就不能够对细胞质进行准确的分割，即针对复杂且不易划分的图像，网络模型本身的分割结果就存在不准确的问题；另一方面是由于目前HE染色导致层次不够分明，细胞核、质区分不明显，细胞质和胞外间隙的层次更不够分明，区分更不明显，进一步降低了神经网络的染色图像处理准确性。
本实施方式为一种基于HE染色病理图像的癌症辅助分析系统，包括：
染色切片图像获取模块，用于获取HE染色的染色切片图像，并将图像进行图像块分割；
细胞核分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；细胞核分割网络模型使用的激活函数采用RELU；
借鉴FPN和UNET分割网络，如图1所示，本发明的细胞核分割网络模型结构如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；实际上每个卷积组的输入为x，一条路径(第一卷积模块至第三卷积模块)处理的数据为F(x)，另一条路径处理的数据为 x，两条处理路径的输出进行加和后的输出为x'＝F(x)+x，然后送入送入激活函数层处理。
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
本发明经过对不同结构的卷积单元处理的特征进行分析和实验后发现，本发明的分割网络的第一编码单元的感受野不仅适合对细胞的特征进行捕捉，而且后续的感受野更容易提取到细节特征；同时经过研究和实验发现，由于第一编码单元的感受野比较大，不宜将该感受野中的特征送入解码器，所以本发明将第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元进行处理。本发明通过第二编码单元至第五编码单元中每个卷积组的两条处理路径最大程度上保留了上一级特征图的特征，还能够提取更多的细节特征，从而提高后续的分割效果，并配合其他网络结构上的设计还能够最大程度上避免梯度发散，使得整个模型的训练过程更容易收敛。
细胞核分割网络模型的训练过程包括以下步骤：
1、收集癌症的切片染色图像构建图像集，并将图像集分为训练集、测试集。
该过程针对某种癌症的切片染色图像进行收集，该过程的切片染色图像采用实际工作中制作的染色切片获得。考虑到收集图像及标注的工作量和难度，本实施方式针仅对宫颈癌的图像进行识别并进行相应的模型训练，该过程中训练集的标注为细胞核边缘；实际上切片染色图像是经过，经过切片、染色、扫描等过程后得到的，其中染色过程可以是任意的有效的染色方式即可，由于本实施方式中的切片染色图像是宫颈癌的图像，本实施方式中通过改进返蓝操作、伊红染色试剂以及酒精脱水等步骤的染色方式，经过实验研究发现此种染色方式可以显著改善细胞核、细胞质的染色效果，层次分明、对比清晰，可以提高图像的效果，进而提高识别的效果。
本实施方式选择染色切片40X效果图。
本实施方式中的训练集、测试集的病理切片数量比为8：2。
2、将图像进行图像块分割，每个图像块的大小为n*n，优选为224*224，不仅可以被后续的神经网络模型有效处理，而且保证了整个图像被处理的合理性，能够通过每个图像块的处理效率和有效性保证整个图像的处理效率和有效性；
3、利用步骤2划分的图像块训练细胞核分割网络模型；损失函数选择交叉熵损失函数，根据损失函数进行误差反向传播，经过迭代训练直至交叉熵损失逐渐收敛，获得训练好的深度学习模型。本实施方式选择Adam优化器进行优化。
利用训练好的细胞核分割网络模型进行细胞核分割，如图2所示。
细胞核掩蔽模块，复制染色切片图像对应的图像块，记为复制图像；将细胞核分割模块分割的结果映射在对应的复制图像中，在复制图像中形成细胞核轮廓；然后提取细胞核轮廓外围区域像素的RGB值，所述的细胞核轮廓外围区域为按照细胞核轮廓向外侧扩展2-3个像素宽度所形成的区域；将细胞核轮廓外围区域所有像素的RGB值取均值作为掩蔽像素；将复制图像中的细胞核轮廓及内部的像素替换为掩蔽像素；这种掩蔽的方式可以提高细胞质分割网络模型的分割效果和分割结果的准确率，同时也可以保证细胞整体单元确定模块最终的分割结果。
细胞质分割模块，调取细胞质分割网络模型对细胞核掩蔽模块掩蔽后的图像进行细胞质分割。
经过研究发现由于HE染色的细胞质颜色相对于细胞核相对浅，且细胞质对应的图像情况更加复杂，所以目前的神经网络模型用于细胞核的分割结果还相对准确，但是针对于细胞质分割则分割效果并不理想。由于本发明的细胞核分割网络模型的模型本身具有更好的分割效果，针对于细胞质分割的细胞质分割网络模型采用与细胞核分割网络模型相同的结构，但是将激活函数进行修改，细胞质分割网络模型使用的激活函数采用
Figure RE-GDA0003153989270000071
这样使得对细胞质的分割效果更加优秀，主要是由于ex/2-1 控制着激活函数x为负值部分的饱和情况，函数曲线小于等于0的部分的软饱能够让ELU 对输入变化或噪声更鲁棒；线性部分使得激活函数能够缓解梯度消失；同时激活函数使得训练过程中的收敛速度更快。尤其是针对于通过改进返蓝操作、伊红染色试剂以及酒精脱水等步骤的染色方式细胞质成像效果，采用该激活函数的效果更加明显，主要是由于通过改进返蓝操作、伊红染色试剂以及酒精脱水等步骤的染色方式对于细胞质染色更加清晰，颜色鲜艳，与背景区分更明显，该部分对应特征图效果更加适用于经过卷积计算后的特征图。由于对HE染色的改进，使得对于细胞质的分割成为可能，同时由于细胞质的层次更加分明，所以使得细胞质分割模型的训练过程成为显示，这是使用神经网络模型进行分割非常基础且非常重要的步骤，也是使神经网络模型能够进行细胞质分割的关键。
实际上采用现有HE的染色方式对应的效果图也可以采用上述方式进行，但是由于现有HE的染色方式对于细胞核和细胞质的层次区分并不十分明显，或者细胞质和胞外间隙层次区分并不十分明显，使得效果并不理想，不过本发明依然可以对其进行分割，这是现有的分割模型所不能实现的，即使不采用本发明中提到的改进的染色方法染色，而采用其他染色方式获得的染色图像，只要能够保证细胞核、细胞质和胞外间隙层析分明，本发明依然可以发挥强大的细胞分割能力。本发明对于细胞重叠的部分的分割效果仍然有待于提高，由于本发明并不是将识别结果作为癌症的分析结果，而是将疑似对象提交给医生进一步分析和确认，是一种癌症辅助分析系统，所以针对细胞重叠部分的分割效果并不会影响到本发明的应用，同时相比其他算法本发明的算法简单，代码执行效率高，且对于硬件的要求较低，可以很好的为医生对癌症的分析和识别提供帮助。
细胞质分割网络模型的训练过程与细胞核分割网络模型的训练过程相同，只不过细胞质分割网络模型训练过程中训练集的标注为包含细胞核区域的细胞质整体边缘。利用训练好的细胞质分割网络模型进行细胞核分割，如图3所示；
具体实施方式二：
本实施方式为一种基于HE染色病理图像的癌症辅助分析系统，还包括：
细胞整体单元确定模块，针对于染色切片图像对应的图像块，将细胞质分割模块分割的结果映射在对应的图像块中，同时将细胞核分割模块分割的结果映射在同一图像块中，最终形成染色切片图像的分割图像，如图4所示。
实际上将细胞质分割模块分割的结果映射在对应的图像块中，同时将细胞核分割模块分割的结果映射在同一图像块中的过程中有时会出现多个细胞核映射在同一细胞质划分区域中，这种情况只要出现在细胞堆积或者发生癌变的情况，但是这样的效果并不会影响到癌症辅助分析，可以在癌症辅助分析模块中添加细胞核或细胞的排列状态参考因素，从而提供辅助分析。
具体实施方式三：
本实施方式为一种基于HE染色病理图像的癌症辅助分析系统，还包括：
癌症辅助分析模块，基于利用专家库对细胞整体单元确定模块的结果进行癌变细胞的识别和分类。识别和分类过程采用专家库的方式进行，所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征，例如细胞核或细胞的排列状态(是否紊乱，成团成片等)、细胞核大小状态(每个细胞核的尺寸，以及多个细胞核是否大小不一等)、细胞核形状等等，本实施方式的特点在于还可以包括与细胞质相关的形态学特征，例如核质比等，这样能够提升癌症辅助分析的准确性。
实际上也可以采用神经网络模型对细胞整体单元确定模块的结果进行识别，只不过需要额外搭建和训练细胞识别网络模型。
具体实施方式四：
本实施方式为一种基于HE染色病理图像的癌症辅助分析装置，用于存储和/或运行具体实施方式一至三之一的基于HE染色病理图像的癌症辅助分析系统。本实施方式包括但不限于存储设备、移动设备、pc机、服务器、工作站，以及用于专门开发的用于癌症辅助分析的单片机等。
具体实施方式五：
本实施方式为一种组织染色方法，是一种对现有的HE染色方法的改进染色方法，是具体实施方式一至具体实施方式三中获得染色切片图像的基础，即一种基于HE染色病理图像的癌症辅助分析系统中染色切片图像获取模块获取的染色切片图像对应的染色切片染色过程，包括以下步骤：
步骤一、将组织切片进行脱蜡、梯度酒精水洗，然后采用苏木素染液染色1～3min；
步骤二、将上一步染色后切片进行水洗，分化，水洗，采用pH为8.1、浓度为0.05mol/L Tris-HCl缓冲液返蓝0.5～1min，重复返蓝1～2次，再酒精梯度脱水，取伊红染色液染色5～15s，梯度酒精脱水，透明后，封固，即完成所述的组织染色方法；所述的伊红染色液染色前的酒精梯度脱水操作如下：
依次采用pH值为6.5～7.0、体积浓度为75％的乙醇、体积浓度为85％的乙醇、体积浓度为90％的乙醇、体积浓度为100％的乙醇和体积浓度为100％的乙醇进行脱水。
苏木素染液中含有3g的苏木素、20g硫酸铝钾、0.5g碘酸钠、60～100mL浓度为29wt％的硫酸亚铁溶液、200～400mL的乙二醇、10～30mL冰醋酸和500～800mL的蒸馏水。
所述的伊红染色液是由伊红、焰红与体积百分含量为85～95％的酒精按照质量比为1：0.2～0.5：90～100的比例混合而成的pH值为4.5的溶液。
利用本发明的组织染色方法的染色效果如图5所示。
上述染色过程之所以能够保证可以提供很好的训练样本能够实现细胞质分割网络模型的训练，以及可以提供用于实际分割的图像，主要是在返蓝操作中采用pH为8.1、浓度为0.05mol/L Tris-HCl缓冲液进行返蓝，此缓冲液能避免采用氨水的过度返蓝问题，使细胞核染色更清晰。在伊红染色前，进行酒精梯度脱水，酒精梯度脱水前，将初始酒精pH值调解成弱酸环境，能够有效去除苏木素在胞浆或核浆的染料，且利于后续分化操作的可控。脱水中前期染料去除更彻底，再进行伊红染色，能有效节省伊红染色时间。所加入的硫酸亚铁作为媒染剂，增强染色效果。本发明采用伊红或者伊红、焰红作为细胞质染色剂，染色效果理想，染色层次分明且色彩鲜艳，着色强。伊红染色液的pH值设定，可以使得伊红染色液更加稳定。
实施例
通过实施例来说明一下本发明的效果，本实施例包括两方面内容，一方面是对组织进行染色的过程，一方面是对染色组织进行分割的过程。
对组织进行染色的过程，它是按照以下步骤进行的：
步骤一、将宫颈癌组织切片进行脱蜡、梯度酒精水洗，然后采用苏木素染液染色1～3min；
步骤二、将上一步染色后切片进行水洗，分化，水洗，采用pH为8.1、浓度为0.05mol/L Tris-HCl缓冲液返蓝0.5～1min，重复返蓝1～2次，再酒精梯度脱水，取伊红染色液染色5～15s，梯度酒精脱水，透明后，封固，即完成所述的组织染色方法；依次采用pH值为6.5、体积浓度为75％的乙醇脱水10s、体积浓度为85％的乙醇脱水12s、体积浓度为90％的乙醇脱水 30s、体积浓度为100％的乙醇进行脱水1min和体积浓度为100％的乙醇脱水1min。
苏木素染液中含有3g的苏木素、20g硫酸铝钾、0.5g碘酸钠、100mL浓度为29wt％的硫酸亚铁溶液、400mL的乙二醇、30mL冰醋酸和600mL的蒸馏水。
所述的伊红染色液是由1g伊红、0.5g焰红与90g体积百分含量为85％的酒精混合而成的pH值为4.5的溶液。
所述的二甲苯透明次数为2次，第一次二甲苯透明时间为5min，第二次二甲苯透明时间为10min。
所述的浸蜡是将组织依次放入四缸盛装的石蜡中进行浸蜡，第一和第二缸浸蜡时间均为4min，第三和第四缸浸蜡时间均为10min。
对照例
采用的苏木素染液中含有3g的苏木素、20g硫酸铝钾、0.5g碘酸钠、400mL的乙二醇、 30mL冰醋酸和600mL的蒸馏水。
所述的伊红染色液是由1g伊红与90g体积百分含量为85％的酒精混合而成。
取与实施例1相同的宫颈癌组织进行染色处理：取组织蜡片，二甲苯脱蜡，三道，每道30min，无水乙醇脱水，两道，每道5min，95％乙醇脱水，两道，每道5min，80％乙醇脱水5min，70％乙醇脱水5min，50％乙醇脱水5min，蒸馏水洗3min，苏木素染液染色5min，浸水，水洗蓝化，50％乙醇5min，70％乙醇5min，80％乙醇5min，伊红染色液染色60s， 95％乙醇脱水，两道，每道5min，无水乙醇脱水，两道，每道5min，乙醇+二甲苯(1:1)处理5min，二甲苯，三道，每道5min，封片。
染色切片的效果图如图5所示，经过上述实施例以及对照例染色的结果如下：
Figure RE-GDA0003153989270000101
基于染色组织的染色切片图像进行分割的过程与具体实施方式一和具体实施方式整体方案相同。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，包括：
染色切片图像获取模块，用于获取HE染色的染色切片图像，并将图像进行图像块分割；
细胞核分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；
细胞核掩蔽模块，复制染色切片图像对应的图像块，记为复制图像；将细胞核分割模块分割的结果映射在对应的复制图像中，在复制图像中形成细胞核轮廓；然后提取细胞核轮廓外围区域像素的RGB值，所述的细胞核轮廓外围区域为按照细胞核轮廓向外侧扩展2-3个像素宽度所形成的区域；将细胞核轮廓外围区域所有像素的RGB值取均值作为掩蔽像素；将复制图像中的细胞核轮廓及内部的像素替换为掩蔽像素；
细胞质分割模块，调取细胞质分割网络模型对细胞核掩蔽模块掩蔽后的图像进行细胞质分割。
2.根据权利1所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述系统还包括：
细胞整体单元确定模块，针对于染色切片图像对应的图像块，将细胞质分割模块分割的结果映射在对应的图像块中，同时将细胞核分割模块分割的结果映射在同一图像块中，最终形成染色切片图像的分割图像。
3.根据权利2所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述系统还包括：
癌症辅助分析模块，基于利用专家库对细胞整体单元确定模块的结果进行癌变细胞的识别和分类；识别和分类过程采用专家库的方式进行，所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征。
4.根据权利1、2或3所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述的的细胞核分割网络模型结构如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
5.根据权利4所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述的细胞质分割网络模型与细胞核分割网络模型结构相同。
6.根据权利5所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述的细胞核分割网络模型的激活函数为RELU。
7.根据权利6所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，所述的细胞质分割网络模型的激活函数为
Figure FDA0003071673980000021
8.根据权利7所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，染色切片图像获取模块对图像进行图像块分割时每个图像块的大小为224*224。
9.根据权利8所述的一种基于HE染色病理图像的癌症辅助分析系统，其特征在于，染色切片图像获取模块获取的染色切片图像为染色切片40倍效果图。
10.一种基于HE染色病理图像的癌症辅助分析装置，其特征在于，所述装置用于存储和/或运行权利1至9之一所述的一种基于HE染色病理图像的癌症辅助分析系统。
CN202110541309.1A 2021-05-18 2021-05-18 基于he染色病理图像的癌症辅助分析系统、装置 Active CN113256577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541309.1A CN113256577B (zh) 2021-05-18 2021-05-18 基于he染色病理图像的癌症辅助分析系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541309.1A CN113256577B (zh) 2021-05-18 2021-05-18 基于he染色病理图像的癌症辅助分析系统、装置

Publications (2)

Publication Number Publication Date
CN113256577A true CN113256577A (zh) 2021-08-13
CN113256577B CN113256577B (zh) 2022-06-28

Family

ID=77183341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541309.1A Active CN113256577B (zh) 2021-05-18 2021-05-18 基于he染色病理图像的癌症辅助分析系统、装置

Country Status (1)

Country Link
CN (1) CN113256577B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240938A (zh) * 2022-02-24 2022-03-25 浙江大学 一种h&e染色切片图像中异常组织的分割方法和装置
CN114511514A (zh) * 2022-01-14 2022-05-17 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN116309497A (zh) * 2023-03-26 2023-06-23 湖南医药学院 基于图像识别的癌细胞计数及预后预测的辅助分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274386A (zh) * 2017-05-18 2017-10-20 深思考人工智能机器人科技（北京）有限公司 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统
CN111640128A (zh) * 2020-05-29 2020-09-08 哈尔滨理工大学 一种基于U-Net网络的细胞图像分割方法
CN111951221A (zh) * 2020-07-13 2020-11-17 清影医疗科技（深圳）有限公司 一种基于深度神经网络的肾小球细胞图像识别方法
CN112717045A (zh) * 2021-01-25 2021-04-30 上海长征医院 一种治疗难治性胃食管反流的中药复方组合物

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274386A (zh) * 2017-05-18 2017-10-20 深思考人工智能机器人科技（北京）有限公司 一种宫颈细胞液基涂片人工智能辅助阅片系统
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统
CN111640128A (zh) * 2020-05-29 2020-09-08 哈尔滨理工大学 一种基于U-Net网络的细胞图像分割方法
CN111951221A (zh) * 2020-07-13 2020-11-17 清影医疗科技（深圳）有限公司 一种基于深度神经网络的肾小球细胞图像识别方法
CN112717045A (zh) * 2021-01-25 2021-04-30 上海长征医院 一种治疗难治性胃食管反流的中药复方组合物

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511514A (zh) * 2022-01-14 2022-05-17 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN114511514B (zh) * 2022-01-14 2023-07-21 兰州大学 一种基于he染色图像的细胞分割方法及装置
CN114240938A (zh) * 2022-02-24 2022-03-25 浙江大学 一种h&e染色切片图像中异常组织的分割方法和装置
CN116309497A (zh) * 2023-03-26 2023-06-23 湖南医药学院 基于图像识别的癌细胞计数及预后预测的辅助分析方法
CN116309497B (zh) * 2023-03-26 2023-10-03 湖南医药学院 基于图像识别的癌细胞计数及预后预测的辅助分析方法

Also Published As

Publication number Publication date
CN113256577B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN113256577B (zh) 基于he染色病理图像的癌症辅助分析系统、装置
CN109272492B (zh) 一种细胞病理涂片的处理方法及系统
CN112070772B (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN109903284B (zh) 一种her2免疫组化图像自动判别方法及系统
CN110472616A (zh) 图像识别方法、装置、计算机设备及存储介质
CN109815888B (zh) 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法
CN109544507A (zh) 一种病理图像处理方法及系统、设备、存储介质
CN110533583B (zh) 一种基于宫颈液基细胞的自适应图像增广系统
CN116524226A (zh) 一种基于深度学习的乳腺癌病理图像分类装置及方法
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN109886346A (zh) 一种心肌mri图像分类系统
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN110148126A (zh) 基于颜色分量组合和轮廓拟合的血液白细胞分割方法
CN112233085A (zh) 一种基于像素预测增强的宫颈细胞图像分割方法
CN111476794A (zh) 一种基于unet的宫颈病理组织分割方法
CN113222944B (zh) 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置
CN111326238A (zh) 基于滑动窗的癌细胞检测装置
CN114678121A (zh) 一种hp球形变诊断模型及其构建方法
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
Shang et al. Identifying rumen protozoa in microscopic images of ruminant with improved YOLACT instance segmentation
CN112508860B (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
CN113724235A (zh) 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法
CN117670794A (zh) 一种基于深度学习的tls病理检测方法、装置及介质
CN110363762A (zh) 细胞检测方法、装置、智能显微镜系统和可读存储介质
CN113689950B (zh) 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant