CN113222944B - 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置 - Google Patents

细胞核分割方法及基于病理图像的癌症辅助分析系统、装置 Download PDF

Info

Publication number
CN113222944B
CN113222944B CN202110541342.4A CN202110541342A CN113222944B CN 113222944 B CN113222944 B CN 113222944B CN 202110541342 A CN202110541342 A CN 202110541342A CN 113222944 B CN113222944 B CN 113222944B
Authority
CN
China
Prior art keywords
convolution
layer
segmentation
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110541342.4A
Other languages
English (en)
Other versions
CN113222944A (zh
Inventor
王晓乔
张在其
尹辉明
阳大庆
唐娜萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Medicine
Original Assignee
Hunan University of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Medicine filed Critical Hunan University of Medicine
Priority to CN202110541342.4A priority Critical patent/CN113222944B/zh
Publication of CN113222944A publication Critical patent/CN113222944A/zh
Application granted granted Critical
Publication of CN113222944B publication Critical patent/CN113222944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

细胞核分割方法、系统、装置及基于病理图像的癌症辅助分析系统、装置，属于医疗影像技术领域。为了解决目前的神经网络对特征图进行分割的过程中存在边缘分割准确性有待于提高的问题。本发明所述的一种细胞核分割方法，针对于待检测的样本，制备切片并染色，获得切片染色图像；对切片染色图像进行图像块分割；然后利用细胞核分割网络模型对待检测样本的切片染色图像对应的图像块进行细胞核分割，得到细胞核边界分割图像。本发明的基于病理图像的癌症辅助分析系统在细胞核分割的基础上增加了癌症辅助分析模块，基于专家库对图像分割模块的分割结果进行癌变细胞的识别和分类，从而实现癌症的辅助分析。主要用于细胞核的分割及癌症的辅助分析。

Description

细胞核分割方法及基于病理图像的癌症辅助分析系统、装置
技术领域
本发明涉及一种细胞核分割方法、系统及癌症辅助分析系统，属于医疗影像技术领域。
背景技术
随着深度学习技术的发展和成熟，深度学习技术已经成为多个应用领域的主流技术或者研究方向，而且已经在诸多领域取得了非常好的识别和检测效果。
目前也有很多科研人员和学者将深度学习技术用于癌细胞的分割及识别，从而辅助医生对癌症进行诊断和分析，减少医生的工作量。现有的利用深度学习技术进行癌细胞的识别的方法有的从提高染色效果入手，辅以一些常规神经网络来进行识别，有的是从细胞形态学入手，对神经网络进行改进从而提高癌细胞的识别效果。虽然现有技术已经取得不错的识别效果，但是依然存在以下问题：
现有的基于深度学习技术的癌细胞识别方法都是先对细胞的染色图像进行处理得到特征图，然后针对特征图进行分割和识别，但是目前的神经网络对特征图进行分割的过程中存在边缘分割准确性有待于进一步的问题，这样会在一定程度上影响分割效果，造成检测准确率降低或/和误检率升高的问题。
发明内容
本发明是为了解决目前的神经网络对特征图进行分割的过程中存在边缘分割准确性有待于提高的问题。
一种细胞核分割方法，包括以下步骤：
针对于待检测的样本，制备切片并染色，获得切片染色图像；对切片染色图像进行图像块分割；
然后利用细胞核分割网络模型对待检测样本的切片染色图像对应的图像块进行细胞核分割，得到细胞核边界分割图像；
所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
一种细胞核分割系统，所述系统包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；
所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
一种细胞核分割装置，所述装置用于存储和/或运行一种细胞核分割系统。
一种基于病理图像的癌症辅助分析系统，包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；所述图像分割模块与一种细胞核分割系统中的图像分割模块相同；
癌症辅助分析模块，基于专家库对图像分割模块的分割结果进行癌变细胞的识别和分类；所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征。
一种基于病理图像的癌症辅助分析装置，用于存储和/或运行一种基于病理图像的癌症辅助分析系统。
有益效果：
本发明的细胞核分割方法、系统或者基于病理图像的癌症辅助分析系统中的使用细胞核分割网络模型对细胞核进行分割，由于本发明细胞核分割网络模型采用的主体结构为UNET结构，可以很好地对细胞核这种图像进行分割，同时本发明还改进了UNET结构，分割网络的第一编码单元的感受野不仅适合对细胞的特征进行捕捉，而且后续的感受野更容易提取到细节特征；同时经过研究和实验发现，由于第一编码单元的感受野比较大，不宜将该感受野中的特征送入解码器，所以本发明将第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元进行处理。本发明通过第二编码单元至第五编码单元中每个卷积组的两条处理路径最大程度上保留了上一级特征图的特征，还能够提取更多的细节特征，从而可以对细胞核边缘进行更加精细的分割，如图2所示，弥补了现有的UNET结构对细胞核边缘分割准确度有待于提高的问题，尤其是针对于细胞核距离非常近时细胞核边缘不易分割的情况，本发明可以实现较高的分割。
附图说明
图1为细胞核分割网络模型结构示意图；
图2为本发明对细胞核分割图像的具备分割细节图。
具体实施方式
具体实施方式一：
本实施方式为一种细胞核分割方法，包括以下步骤：
1、收集癌症的切片染色图像构建图像集，并将图像集分为训练集、测试集。
该过程针对某种癌症的切片染色图像进行收集，该过程的切片染色图像采用实际工作中制作的染色切片获得。考虑到收集图像及标注的工作量和难度，本实施方式针对宫颈癌的图像进行识别并进行相应的模型训练；实际上切片染色图像是经过，经过切片、染色、扫描等过程后得到的，其中染色过程可以是任意的有效的染色方式即可，本实施方式中的切片染色图像是宫颈癌的图像，选择染色切片40X效果图。
本实施方式中的训练集、测试集的病理切片数量比为8：2。
2、将图像进行图像块分割，每个图像块的大小为n*n，优选为224*224，不仅可以被后续的神经网络模型有效处理，而且保证了整个图像被处理的合理性，能够通过每个图像块的处理效率和有效性保证整个图像的处理效率和有效性；
3、搭建细胞核分割网络模型：
本发明基于UNET分割网络进行改进，所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；实际上每个卷积组的输入为x，一条路径(第一卷积模块至第三卷积模块)处理的数据为F(x)，另一条路径处理的数据为x，两条处理路径的输出进行加和后的输出为x'＝F(x)+x，然后送入激活函数层处理。
第一编码单元至第五编码单元的激活函数层一般可以采用RELU等。
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
本发明经过对不同结构的卷积单元处理的特征进行分析和实验后发现，本发明的分割网络的第一编码单元的感受野不仅适合对细胞的特征进行捕捉，而且后续的感受野更容易提取到细节特征；同时经过研究和实验发现，由于第一编码单元的感受野比较大，不宜将该感受野中的特征送入解码器，所以本发明将第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元进行处理。本发明通过第二编码单元至第五编码单元中每个卷积组的两条处理路径最大程度上保留了上一级特征图的特征，还能够提取更多的细节特征，从而提高后续的分割效果，并配合其他网络结构上的设计还能够最大程度上避免梯度发散，使得整个模型的训练过程更容易收敛。
4、利用训练集中经过步骤2划分的图像块训练细胞核分割网络模型；损失函数选择交叉熵损失函数，根据损失函数进行误差反向传播，经过迭代训练直至交叉熵损失逐渐收敛，获得训练好的深度学习模型。本实施方式选择Adam优化器进行优化。
然后利用测试集中经过步骤2划分的图像块测试细胞核分割网络模型，如果达到测试标准即得到最终的训练好的细胞核分割网络模型，否则重新划分训练集和测试中的样本，重新训练细胞核分割网络模型。
5、针对于待检测的样本，制备切片并染色，获得切片染色图像；对切片染色图像进行图像块分割。
然后利用细胞核分割网络模型对待检测样本的切片染色图像对应的图像块进行细胞核分割，得到细胞核边界分割图像。
利用本发明可以对细胞核的边界进行比较精细的分割，如图2所示。
具体实施方式二：
本实施方式为一种细胞核分割系统，所述系统包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；
所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；实际上每个卷积组的输入为x，一条路径(第一卷积模块至第三卷积模块)处理的数据为F(x)，另一条路径处理的数据为x，两条处理路径的输出进行加和后的输出为x'＝F(x)+x，然后送入激活函数层处理。
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
具体实施方式三：
本实施方式为一种细胞核分割装置，所述装置用于存储和/或运行一种细胞核分割系统。本实施方式所述的装置包括但不限于存储介质、计算机、服务器、移动设备等。
具体实施方式四：
本实施方式为一种基于病理图像的癌症辅助分析系统，包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；所述
癌症辅助分析模块，基于专家库对图像分割模块的分割结果进行癌变细胞的识别和分类。识别和分类过程采用专家库的方式进行，所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征，例如细胞核或细胞的排列状态(是否紊乱，成团成片等)、细胞核大小状态(每个细胞核的尺寸，以及多个细胞核是否大小不一等)、细胞核形状等等，该专家库中可以根据判断技术的进步进行规则的选取和确定。
分析结果反馈单元，将癌症辅助分析模块的分析结果以界面显示(包括对分割结果的显示和局部放大信息)的方式提供给医生，为医生提供参考，从而辅助医生实现癌症的识别和诊断。
本实施方式所述的染色切片图像获取模块和图像分割模块与具体实施方式二所述的一种细胞核分割系统中的染色切片图像获取模块和图像分割模块相同；实际上本实施方式所述的一种基于病理图像的癌症辅助分析系统，为一种细胞核分割系统加上一个癌症辅助分析模块。
本发明不仅可以极大地减少医生的工作量，而且分割结果更加准确，从而更好地服务于医生。
具体实施方式五：
本实施方式为一种基于病理图像的癌症辅助分析装置，用于存储和/或运行一种基于病理图像的癌症辅助分析系统，本实施方式所述的装置包括但不限于存储介质、计算机、服务器、移动设备等。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种细胞核分割方法，其特征在于，包括以下步骤：
针对于待检测的样本，制备切片并染色，获得切片染色图像；对切片染色图像进行图像块分割；
然后利用细胞核分割网络模型对待检测样本的切片染色图像对应的图像块进行细胞核分割，得到细胞核边界分割图像；
所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元为2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
2.根据权利要求1所述的一种细胞核分割方法，其特征在于，对切片染色图像进行图像块分割过程中图像块大小为224*224。
3.一种细胞核分割系统，其特征在于，所述系统包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；
所述的细胞核分割网络模型采用编码器-解码器网络结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，图像块依次经过第一编码单元至第五编码单元进行处理；其中，
第一编码单元包括1个5*5卷积、1个BN层、1个激活函数层和1个池化层；
第二编码单元至第五编码单元分别包括3个卷积组、4个卷积组、4个卷积组、3个卷积组，每个卷积组的网络结构相同，以一个卷积组的结构为例进行说明，一个卷积组的输入经过两条处理路径处理：
一条路径包括三个卷积模块和一个激活函数层；
第一卷积模块：1*1卷积层+BN层+激活函数层；
第二卷积模块：3*3卷积层+BN层+激活函数层；
第三卷积模块：1*1卷积层+BN层；
另一条路径：1*1卷积层+BN层；
然后两条处理路径的输出进行加和后送入激活函数层；
所述的解码器包括四个解码单元和四个反卷积单元，即第一解码单元至第四解码单元，以及第一反卷积单元至第四反卷积单元；其中，
第一反卷积单元至第四反卷积单元为2*2的反卷积层；
第一解码单元至第三解码单元分别4个卷积组、4个卷积组、3个卷积组；
每个卷积组包括三个卷积模块和一个激活函数层；所述的三个卷积模块如下：
第四卷积模块：1*1卷积层+BN层+激活函数层；
第五卷积模块：3*3卷积层+BN层+激活函数层；
第六卷积模块：1*1卷积层+BN层+激活函数层；
第四解码单元包括：1个5*5卷积、1个BN层、1个激活函数层和一个1*1卷积层；
第五编码单元输出的特征图经过第一反卷积单元之后与第四编码单元输出的特征图在通道上叠加，然后送入第一解码单元；
第一解码单元输出的特征图经过第二反卷积单元之后与第三编码单元输出的特征图在通道上叠加，然后送入第二解码单元；
第二解码单元输出的特征图经过第三反卷积单元之后与第二编码单元输出的特征图在通道上叠加，然后送入第三解码单元；
第三解码单元输出的特征图经过第四反卷积单元之后送入第四解码单元，第四解码单元输出分割图。
4.一种细胞核分割装置，其特征在于，所述装置用于存储和/或运行权利要求3所述的一种细胞核分割系统。
5.一种基于病理图像的癌症辅助分析系统，其特征在于，包括：
染色切片图像获取模块，用于获取染色切片图像，并将图像进行图像块分割；
图像分割模块，调取细胞核分割网络模型对图像块进行细胞核分割；所述图像分割模块与权利要求4所述的一种细胞核分割系统中的图像分割模块相同；
癌症辅助分析模块，基于专家库对图像分割模块的分割结果进行癌变细胞的识别和分类；所述专家库中存储有癌变细胞的判断规则，癌变细胞的判断规则为专家基于病理图像大数据确定的癌变细胞形态学特征。
6.根据权利要求5所述的一种基于病理图像的癌症辅助分析系统，其特征在于，所述的癌变细胞形态学特征包括：细胞核或细胞的排列状态、细胞核大小状态、细胞核形状。
7.一种基于病理图像的癌症辅助分析装置，其特征在于，用于存储和/或运行权利要求5或6所述的一种基于病理图像的癌症辅助分析系统。
CN202110541342.4A 2021-05-18 2021-05-18 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置 Active CN113222944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541342.4A CN113222944B (zh) 2021-05-18 2021-05-18 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541342.4A CN113222944B (zh) 2021-05-18 2021-05-18 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置

Publications (2)

Publication Number Publication Date
CN113222944A CN113222944A (zh) 2021-08-06
CN113222944B true CN113222944B (zh) 2022-10-14

Family

ID=77092706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541342.4A Active CN113222944B (zh) 2021-05-18 2021-05-18 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置

Country Status (1)

Country Link
CN (1) CN113222944B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410050B (zh) * 2022-11-02 2023-02-03 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002200A (zh) * 2020-08-10 2020-11-27 湖南医药学院 一种口腔颌面部间隙感染切开引流虚拟训练方法
WO2021003821A1 (zh) * 2019-07-11 2021-01-14 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170504B2 (en) * 2019-05-02 2021-11-09 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及系统
CN111145209B (zh) * 2019-12-26 2023-06-02 推想医疗科技股份有限公司 一种医学图像分割方法、装置、设备及存储介质
CN111462122B (zh) * 2020-03-26 2022-07-22 中国科学技术大学 宫颈细胞核自动分割方法及系统
CN111951221B (zh) * 2020-07-13 2023-10-31 清影医疗科技（深圳）有限公司 一种基于深度神经网络的肾小球细胞图像识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021003821A1 (zh) * 2019-07-11 2021-01-14 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN112002200A (zh) * 2020-08-10 2020-11-27 湖南医药学院 一种口腔颌面部间隙感染切开引流虚拟训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MultiResUNet:Rethinking the U-Net architecture for multimodal biomedical image segmentation;Nabil lbtehaz,et al.;《Neural Networks》;20200131;74-87 *
改进U型卷积网络的细胞核分割方法;姜慧明 等;《西安大学学报》;20191231;100-107 *

Also Published As

Publication number Publication date
CN113222944A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN112070772B (zh) 基于UNet++和ResNet的血液白细胞图像分割方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN113222944B (zh) 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN110827242A (zh) 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN113393443B (zh) 一种he病理图像细胞核分割方法及系统
CN113256577B (zh) 基于he染色病理图像的癌症辅助分析系统、装置
CN112419452B (zh) 一种胃癌pd-l1数字病理切片图像快速合并系统及方法
CN113674292B (zh) 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN111862136A (zh) 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN112784767A (zh) 基于白细胞显微图像的细胞实例分割算法
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN109886346A (zh) 一种心肌mri图像分类系统
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
Albayrak et al. A hybrid method of superpixel segmentation algorithm and deep learning method in histopathological image segmentation
CN113012129A (zh) 一种脑切片图像的区域定位及标记神经细胞计数系统及装置
CN113902669A (zh) 一种尿脱落细胞液基涂片的阅片方法及系统
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
CN110991374A (zh) 一种基于rcnn的指纹奇异点检测方法
CN107590806A (zh) 一种基于大脑医学成像的检测方法和系统
CN110765908A (zh) 基于深度学习的级联式癌细胞检测系统
CN116862836A (zh) 一种泛器官淋巴结转移癌检测系统及计算机设备
Yan et al. Two and multiple categorization of breast pathological images by transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant