CN113393443A - 一种he病理图像细胞核分割方法及系统 - Google Patents
一种he病理图像细胞核分割方法及系统 Download PDFInfo
- Publication number
- CN113393443A CN113393443A CN202110670248.9A CN202110670248A CN113393443A CN 113393443 A CN113393443 A CN 113393443A CN 202110670248 A CN202110670248 A CN 202110670248A CN 113393443 A CN113393443 A CN 113393443A
- Authority
- CN
- China
- Prior art keywords
- image
- cell nucleus
- nucleus segmentation
- shaped network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003855 cell nucleus Anatomy 0.000 title claims abstract description 128
- 230000011218 segmentation Effects 0.000 title claims abstract description 114
- 230000001575 pathological effect Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 210000004940 nucleus Anatomy 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 230000007170 pathology Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 108010077544 Chromatin Proteins 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种HE病理图像细胞核分割方法及系统，该方法的步骤包括：将HE病理图像划分标签类别；对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；构建采用双U型网络的结构的细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；第一U型网络和第二U型网络之间设有信息融合模块，将两个U型网络在相邻尺度的特征进行信息融合；基于模型不变元学习的机制训练细胞核分割模型；将预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。本发明提高了检测细胞核边界的精确度，解决了对细胞核边界难以检测的问题。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种HE病理图像细胞核分割方法及系统。
背景技术
病理图像蕴藏着极为丰富的生物信息，是判断患者患病与否的一个重要依据。而病理图像中细胞核的形态，大小等信息更是与癌变预后密切相关。细胞核的形态，大小等信息可以为医生提供关键的诊断信息。
细胞核分割是病理图像分析中的一个基础步骤，一个自动细胞核分割方法可以减少医生的工作量和为临床研究提供较为精确的免疫微环境量化信息。目前已有一些技术在一定程度上实现了病理图像中的细胞核分割，比如Dcan网络采用全卷积网络检测细胞核和细胞核边界。BES网络在U型网络的上采样阶段加入一个细胞核边界检测任务。CIA网络在上采样阶段包含边界检测任务的同时，加入了信息融合模块。而Hovernet则在分割细胞核任务中引入了细胞核内部的距离信息。
虽然现有技术中存在利用深度学习的方法实现对病理图像中细胞核分割，但是现有的方法仍然存在一些不足：Dcan采用全卷积网络检测细胞核和细胞核边界，但是全卷积网络在细胞核分割的任务中难以识别形状较小的目标，而且没有针对细胞核边界检测引入特定的网络段，细胞核边界分割效果不理想，细胞核与细胞核边界难以检测。BES网络虽然采用了U型网络结构，而且有针对细胞核边界的网络段，但是细胞核边界分割任务和细胞核分割任务没有过多的信息交互。Hovernet引入了细胞核的距离信息，但是却没有考虑到网络的泛化能力。因此目前病理图像多组织细胞核分割任务中仍存在细胞核边界难以检测和一般模型的泛化性能不够的技术问题。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种HE病理图像细胞核分割方法及系统，通过细胞核分割模型确定图像中的细胞核，在两个U型网络之间通过信息融合模块进行网络之间的信息交互，提高了检测细胞核边界的精确度，解决了对细胞核边界难以检测的问题。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种HE病理图像细胞核分割方法，包括下述步骤：
图像预处理：将HE病理图像划分标签类别；
对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；
构建细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；
所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
作为优选的技术方案，所述标签类别包括：细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域。
作为优选的技术方案，所述对病理图像进行颜色归一化，具体步骤包括：
对病理图像进行非负矩阵分解，计算出最大的两个特征向量，将数据投影到两个特征向量组成的平面，计算每个点与第一个向量的角度，计算权重乘到原始数据当中，将图像乘以颜色解卷积参考矩阵，得到归一化图像。
作为优选的技术方案，所述密集连接卷积模块由32、64、96、128个特征图连接而成，将128个特征图通过1*1的卷积降到32个特征图，输入到U型网络下一个尺度的卷积操作中。
作为优选的技术方案，所述特征图在输入到下一个尺度的卷积操作前，先进行步长为2的卷积或者逆卷积操作，使得特征图的尺寸大小符合下一阶段卷积操作的要求。
作为优选的技术方案，每个U型网络的同一个尺度的下采样阶段和上采样阶段设有跳跃连接。
作为优选的技术方案，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合，具体步骤包括：先对两个U型网络在每个尺度的输出进行3*3的卷积，然后将特征图拼接起来，再对拼接的特征图进行3*3的卷积，最后用两个3*3的卷积分别对卷积后的拼接图进行卷积，再分别拼接到两个U型网络之中。
作为优选的技术方案，所述基于模型不变元学习的机制训练细胞核分割模型，具体步骤包括：
将输入图像划分为训练集和测试集，其中又将训练集根据元学习子任务划分为多组图像子集，从每组图像子集中选取第一预设数量的图像样本作为元学习子任务的训练集，抽出第二预设数量的图像样本作为元学习子任务的验证集。
作为优选的技术方案，在元训练样本的训练过程中加入关于元测试样本损失的梯度信息。
本发明还提供一种HE病理图像细胞核分割系统，包括：图像预处理模块、颜色归一化模块、图像切分模块、细胞核分割模型构建模块、细胞核分割模型训练模块和图像拼接输出模块；
所述图像预处理模块用于进行图像预处理，将HE病理图像划分标签类别；
所述颜色归一化模块用于对病理图像进行颜色归一化；
所述图像切分模块用于按照预设的像素尺寸将颜色归一化后的病理图像切分为统一大小的图像块；
所述细胞核分割模型构建模块用于构建细胞核分割模型；
所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
所述细胞核分割模型训练模块用于训练细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象，基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
所述图像拼接输出模块用于将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明通过细胞核分割模型确定图像中的细胞核，该细胞核分割模型采用双U型网络结构，其中一个U型网络用于预测细胞核区域，另一个U型网络用于预测细胞核边界区域，在两个U型网络之间通过信息融合模块进行网络之间的信息交互，提高了检测细胞核边界的精确度，解决了对细胞核边界难以检测的问题，本发明基于细胞核分割模型自动分割出病理图像中的细胞核，可以辅助医生进行疾病诊断，降低劳动成本。
(2)本发明在分割训练模型进行训练的过程中引入模型不变元学习机制，利用模型不变元学习机制将训练数据分为元训练数据和元测试数据，在拟合元训练数据时引入对与测试数据的损失，从而可以提高模型的泛化能力。
附图说明
图1为本发明HE病理图像细胞核分割方法的流程示意图；
图2为本发明双U型网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种HE病理图像细胞核分割方法，具体包括下述步骤：
S1：图像预处理，将HE病理图像划分标签类别；
S11：对肿瘤患者的组织进行切片，采用苏木精-伊红染色法将细胞核内的染色质与胞质内的核酸染成紫蓝色，将细胞质和细胞外基质中的成分染成红色；
S12：制作标签区域：在训练细胞核分割模型的时候需要输入标签作为拟合对象，此处将整张病理图像分为3个类别，一个类别是细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域；
S2：对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；
S21：颜色归一化：对病理图像进行非负矩阵分解，计算出最大的两个特征向量，将数据投影到两个特征向量组成的平面，计算每个点与第一个向量的角度，然后计算权重乘到原始数据当中，最后将图像乘以颜色解卷积参考矩阵，此矩阵的参数为[0.5626，0.2159；0.7201，0.8012；0.4062，0.5581]，便可得到归一化图像。此外本领域技术人员可根据实际情况调整该颜色解卷积参考矩阵的参数，在此不做限定。
S22：提取图像小块：因为输入到细胞核分割模型的图像最好是固定的大小，所以本实施例将病理图像切分为一定数量的256像素*256像素的图像块。
S3：构建细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；
如图2所示，本实施例的细胞核分割模型采用双U型网络的结构，第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，两个U型网络在每个尺度上的模块均是密集连接卷积模块，每个密集连接卷积模块都是由32、64、96、128个特征图连接而成，即每次的连接会增加32个卷积核，最后会将128个特征图通过1*1的卷积降到32个特征图，输入到U型网络下一个尺度的卷积操作中。
特征图在输入到下一个尺度的卷积操作前，先进行步长为2的卷积或者逆卷积操作，使得特征图的尺寸大小符合下一阶段卷积操作的要求。每个U型网络的同一个尺度的下采样阶段和上采样阶段设有跳跃连接，与此同时，在两个U型网络之间设有信息融合模块，信息融合模块将两个U型网络在相邻尺度的特征进行信息融合。
在本实施例中，信息融合模块的组成为：先对两个U型网络在每个尺度的输出进行3*3的卷积，然后将特征图拼接起来，再对拼接的特征图进行3*3的卷积，最后用两个3*3的卷积分别对卷积后的拼接图进行卷积，再分别拼接到两个U型网络之中。本实施例双U型网络的输入分别为RGB图像和HSV图像。
在本实施例中，采用双U型网络的结构的细胞核分割模型训练方法为：
在图像输入到细胞核分割模型之前，先进行图像增强操作，包括水平转置，垂直转置，多角度旋转和弹性形变的预处理操作；
将输入图像划分为训练集和测试集，其中又将训练集根据元学习子任务划分为多组图像子集，从每组图像子集中选取第一预设数量的图像样本作为元学习子任务的训练集，抽出第二预设数量的图像样本作为元学习子任务的验证集。在本实施中，第一预设数量设置为2个，第二预设数量设置为1个，本领域技术人员可根据实际情况设置为其他值。在元训练样本的训练过程中融入关于元测试样本损失的梯度信息，使得模型在遇到新的训练数据时可以迅速地拟合，提高模型地泛化能力，其中，元测试样本属于训练集的一部分。
在本实施例中，训练过程表示为：
(1)
(2)
其中，θ为模型参数，θ’为中间辅助变量，Dtr元训练样本，Dte为元测试样本。
在训练过程中，两个任务的损失函数都是DICE函数，先求预测区域与标签的和，再去除预测区域和标签的交集。
S4：模型验证：在得到了最终的预测模型之后，需要评价模型的表现能力。首先也将测试集的病理图像切分为256*256的图像块，截取图像块时的步长与训练时的图像大小保持一致。
利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度，当验证准确度达到预设准确度阈值时，将分割训练模型作为细胞核分割模型，结束训练；当验证准确度未达到预设准确度阈值时，重复模型训练步骤。
S5：输出细胞核分割结果：将步骤S4中预测出的每个图像块的结果按照切分时的顺序重新拼接起来，得到最终的病理图像多组织细胞核分割的结果图。
本发明在训练细胞核分割模型的时候引入了模型不变元学习的机制，将图像分成多个子任务，从每个子任务中抽出2个样本作为元学习子任务的训练集，抽出1个样本作为元学习子任务的验证集，元学习机制将训练数据分为元训练数据和元测试数据，在元训练样本的训练过程中融入关于原测试样本损失的梯度信息，使得模型在遇到新的训练数据时可以迅速地拟合，提高模型地泛化能力。
实施例2
本实施例提供一种HE病理图像细胞核分割系统，包括：图像预处理模块、颜色归一化模块、图像切分模块、细胞核分割模型构建模块、细胞核分割模型训练模块和图像拼接输出模块；
在本实施例中，图像预处理模块用于进行图像预处理，将HE病理图像划分标签类别；
在本实施例中，颜色归一化模块用于对病理图像进行颜色归一化；
在本实施例中，图像切分模块用于按照预设的像素尺寸将颜色归一化后的病理图像切分为统一大小的图像块；
在本实施例中，细胞核分割模型构建模块用于构建细胞核分割模型；
在本实施例中，细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
在本实施例中，第一U型网络和第二U型网络之间设有信息融合模块，信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
在本实施例中，细胞核分割模型训练模块用于训练细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象，基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
在本实施例中，图像拼接输出模块用于将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种HE病理图像细胞核分割方法，其特征在于，包括下述步骤：
图像预处理：将HE病理图像划分标签类别；
对病理图像进行颜色归一化，并按照预设的像素尺寸切分为统一大小的图像块；
构建细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象；
所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
2.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述标签类别包括：细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域。
3.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述对病理图像进行颜色归一化，具体步骤包括：
对病理图像进行非负矩阵分解，计算出最大的两个特征向量，将数据投影到两个特征向量组成的平面，计算每个点与第一个向量的角度，计算权重乘到原始数据当中，将图像乘以颜色解卷积参考矩阵，得到归一化图像。
4.根据权利要求1所述的HE病理图像细胞核分割方法，其特征在于，所述密集连接卷积模块由32、64、96、128个特征图连接而成，将128个特征图通过1*1的卷积降到32个特征图，输入到U型网络下一个尺度的卷积操作中。
5.根据权利要求4所述HE病理图像细胞核分割方法，其特征在于，所述特征图在输入到下一个尺度的卷积操作前，先进行步长为2的卷积或者逆卷积操作，使得特征图的尺寸大小符合下一阶段卷积操作的要求。
6.根据权利要求1所述HE病理图像细胞核分割方法，其特征在于，每个U型网络的同一个尺度的下采样阶段和上采样阶段设有跳跃连接。
7.根据权利要求1所述HE病理图像细胞核分割方法，其特征在于，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合，具体步骤包括：先对两个U型网络在每个尺度的输出进行3*3的卷积，然后将特征图拼接起来，再对拼接的特征图进行3*3的卷积，最后用两个3*3的卷积分别对卷积后的拼接图进行卷积，再分别拼接到两个U型网络之中。
8.根据权利要求1所述HE病理图像细胞核分割方法，其特征在于，所述基于模型不变元学习的机制训练细胞核分割模型，具体步骤包括：
将输入图像划分为训练集和测试集，其中又将训练集根据元学习子任务划分为多组图像子集，从每组图像子集中选取第一预设数量的图像样本作为元学习子任务的训练集，抽出第二预设数量的图像样本作为元学习子任务的验证集。
9.根据权利要求1或8所述HE病理图像细胞核分割方法，其特征在于，在元训练样本的训练过程中加入关于元测试样本损失的梯度信息。
10.一种HE病理图像细胞核分割系统，其特征在于，包括：图像预处理模块、颜色归一化模块、图像切分模块、细胞核分割模型构建模块、细胞核分割模型训练模块和图像拼接输出模块；
所述图像预处理模块用于进行图像预处理，将HE病理图像划分标签类别；
所述颜色归一化模块用于对病理图像进行颜色归一化；
所述图像切分模块用于按照预设的像素尺寸将颜色归一化后的病理图像切分为统一大小的图像块；
所述细胞核分割模型构建模块用于构建细胞核分割模型；
所述细胞核分割模型采用双U型网络的结构，包括第一U型网络和第二U型网络，所述第一U型网络和第二U型网络的输入分别为RGB图像和HSV图像，所述第一U型网络用于预测细胞核边界，第二U型网络用于预测细胞核区域部分，所述第一U型网络和第二U型网络在每个尺度上的模块均为密集连接卷积模块；
所述第一U型网络和第二U型网络之间设有信息融合模块，所述信息融合模块将两个U型网络在相邻尺度的特征进行信息融合；
所述细胞核分割模型训练模块用于训练细胞核分割模型，将切分后的图像块输入细胞核分割模型中进行细胞核分割训练，将标签类别输入细胞核分割模型作为拟合对象，基于模型不变元学习的机制训练细胞核分割模型，利用数据的验证集对细胞核分割模型进行验证，根据验证准确度判断训练进度；
所述图像拼接输出模块用于将细胞核分割模型输出的预测结果按照切分时的顺序重新拼接，得到最终的病理图像多组织细胞核分割的结果图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110670248.9A CN113393443B (zh) | 2021-06-17 | 2021-06-17 | 一种he病理图像细胞核分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110670248.9A CN113393443B (zh) | 2021-06-17 | 2021-06-17 | 一种he病理图像细胞核分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113393443A true CN113393443A (zh) | 2021-09-14 |
| CN113393443B CN113393443B (zh) | 2023-02-14 |
Family
ID=77621838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110670248.9A Active CN113393443B (zh) | 2021-06-17 | 2021-06-17 | 一种he病理图像细胞核分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113393443B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115223165A (zh) * | 2022-09-20 | 2022-10-21 | 珠海横琴圣澳云智科技有限公司 | 待判读细胞图像的获取方法和装置 |
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
| CN116342628A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
| CN117523205A (zh) * | 2024-01-03 | 2024-02-06 | 广州锟元方青医疗科技有限公司 | 少样本ki67多类别细胞核的分割识别方法 |
| CN117670895A (zh) * | 2024-02-01 | 2024-03-08 | 华南理工大学 | 基于切片重染色技术的免疫组化病理图像细胞分割方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288265A (zh) * | 2018-01-09 | 2018-07-17 | 东北大学 | 一种面向hcc病理图像细胞核的分割与分类方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109685811A (zh) * | 2018-12-24 | 2019-04-26 | 北京大学第三医院 | 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法 |
| CN110298361A (zh) * | 2019-05-22 | 2019-10-01 | 浙江省北大信息技术高等研究院 | 一种rgb-d图像的语义分割方法和系统 |
| CN110335276A (zh) * | 2019-07-10 | 2019-10-15 | 四川大学 | 医学图像分割模型、方法、存储介质及电子设备 |
| CN111462086A (zh) * | 2020-03-31 | 2020-07-28 | 北京推想科技有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
| CN112132843A (zh) * | 2020-09-30 | 2020-12-25 | 福建师范大学 | 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 |
| CN112446892A (zh) * | 2020-11-18 | 2021-03-05 | 黑龙江机智通智能科技有限公司 | 一种基于注意力学习的细胞核分割方法 |
| CN112508900A (zh) * | 2020-11-30 | 2021-03-16 | 上海交通大学 | 细胞病理图像分割方法及装置 |
-
2021
- 2021-06-17 CN CN202110670248.9A patent/CN113393443B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288265A (zh) * | 2018-01-09 | 2018-07-17 | 东北大学 | 一种面向hcc病理图像细胞核的分割与分类方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109685811A (zh) * | 2018-12-24 | 2019-04-26 | 北京大学第三医院 | 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法 |
| CN110298361A (zh) * | 2019-05-22 | 2019-10-01 | 浙江省北大信息技术高等研究院 | 一种rgb-d图像的语义分割方法和系统 |
| CN110335276A (zh) * | 2019-07-10 | 2019-10-15 | 四川大学 | 医学图像分割模型、方法、存储介质及电子设备 |
| CN111462086A (zh) * | 2020-03-31 | 2020-07-28 | 北京推想科技有限公司 | 图像分割方法及装置、神经网络模型的训练方法及装置 |
| CN112132843A (zh) * | 2020-09-30 | 2020-12-25 | 福建师范大学 | 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 |
| CN112446892A (zh) * | 2020-11-18 | 2021-03-05 | 黑龙江机智通智能科技有限公司 | 一种基于注意力学习的细胞核分割方法 |
| CN112508900A (zh) * | 2020-11-30 | 2021-03-16 | 上海交通大学 | 细胞病理图像分割方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| CHELSEA FINN ET AL: "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks", 《ARXIV》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115223165A (zh) * | 2022-09-20 | 2022-10-21 | 珠海横琴圣澳云智科技有限公司 | 待判读细胞图像的获取方法和装置 |
| CN115223165B (zh) * | 2022-09-20 | 2022-12-27 | 珠海横琴圣澳云智科技有限公司 | 待判读细胞图像的获取方法和装置 |
| CN116152574A (zh) * | 2023-04-17 | 2023-05-23 | 厦门大学 | 一种基于多阶段信息抽取和记忆的病理图像分类方法 |
| CN116342628A (zh) * | 2023-05-31 | 2023-06-27 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
| CN116342628B (zh) * | 2023-05-31 | 2023-08-08 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
| CN117523205A (zh) * | 2024-01-03 | 2024-02-06 | 广州锟元方青医疗科技有限公司 | 少样本ki67多类别细胞核的分割识别方法 |
| CN117523205B (zh) * | 2024-01-03 | 2024-03-29 | 广州锟元方青医疗科技有限公司 | 少样本ki67多类别细胞核的分割识别方法 |
| CN117670895A (zh) * | 2024-02-01 | 2024-03-08 | 华南理工大学 | 基于切片重染色技术的免疫组化病理图像细胞分割方法 |
| CN117670895B (zh) * | 2024-02-01 | 2024-04-19 | 华南理工大学 | 基于切片重染色技术的免疫组化病理图像细胞分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113393443B (zh) | 2023-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113393443B (zh) | 一种he病理图像细胞核分割方法及系统 | |
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
| EP3486836B1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN111242961B (zh) | 一种用于pd-l1抗体染色切片的自动读片方法及其系统 | |
| CN114730463A (zh) | 用于组织图像分类的多实例学习器 | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| US20170076448A1 (en) | Identification of inflammation in tissue images | |
| CN109102498B (zh) | 一种宫颈涂片图像中簇型细胞核分割的方法 | |
| CN110705403A (zh) | 细胞分类方法、装置、介质及电子设备 | |
| US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
| CN113574534A (zh) | 使用基于距离的相似性标签的机器学习 | |
| CN109815974A (zh) | 一种细胞病理玻片分类方法、系统、设备、存储介质 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN114782372B (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
| CN113658174A (zh) | 基于深度学习和图像处理算法的微核组学图像检测方法 | |
| Malmsten et al. | Automated cell division classification in early mouse and human embryos using convolutional neural networks | |
| CN115359264A (zh) | 一种密集型分布的粘连细胞深度学习识别方法 | |
| CN114580501A (zh) | 骨髓细胞分类方法、系统、计算机设备及存储介质 | |
| KR20200136004A (ko) | 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법 | |
| CN113888636B (zh) | 基于多尺度深度特征的蛋白质亚细胞定位方法 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| Al-khuzaie et al. | Developing an efficient VGG19-based model and transfer learning for detecting acute lymphoblastic leukemia (ALL) | |
| CN114898866A (zh) | 一种甲状腺细胞辅助诊断方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |