CN116309280A - 一种淋巴细胞标注方法和系统 - Google Patents
一种淋巴细胞标注方法和系统 Download PDFInfo
- Publication number
- CN116309280A CN116309280A CN202211624949.XA CN202211624949A CN116309280A CN 116309280 A CN116309280 A CN 116309280A CN 202211624949 A CN202211624949 A CN 202211624949A CN 116309280 A CN116309280 A CN 116309280A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- lymphocyte
- lymphocytes
- labeling
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004698 lymphocyte Anatomy 0.000 title claims abstract description 170
- 238000002372 labelling Methods 0.000 title claims abstract description 76
- 230000011218 segmentation Effects 0.000 claims abstract description 122
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 210000004027 cell Anatomy 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 38
- 230000005856 abnormality Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000007547 defect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000586605 Parlatoria proteus Species 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000379 polymerizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种淋巴细胞标注方法和系统，将待分割标注预测的WSI淋巴细胞图切分成多个图像块；通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；对分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；合并各个经过分割标注预测的图像块。本发明使用Swin‑Transformer对Hovernet网络进行改进后对淋巴细胞进行分割标注预测，再通过膨胀分割确定淋巴细胞的先验轮廓后得到最终轮廓，弥补了训练模型在细胞密集区域的不足，缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况，从很大程度上提升了对淋巴细胞分割标注的效果。
Description
技术领域
本发明涉及病理学图像领域，特别涉及一种淋巴细胞标注方法；此外，本发明还涉及一种淋巴细胞标注系统。
背景技术
由于淋巴细胞标注难度大、时间成本高，目前淋巴细胞数据集一般采用点标注方式，即病理学家仅在淋巴细胞内部靠近中心的位置直接做一个标记点。但常用的图像分割方面的深度学习模型都是针对区域级别的标注数据，难以针对单个像素级别的点状数据进行学习。现有的方法对细胞密集区域的分割效果不足，预测的淋巴细胞轮廓容易发生粘连的情况。此外，现有的方法中对数据集敏感，模型效果不够稳定，还容易出现细胞被遗漏，细胞未被分割的情况。
发明内容
为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种淋巴细胞标注方法，缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况，从很大程度上提升了对淋巴细胞分割标注的效果。为此，本发明的至少一个实施例还提供了一种淋巴细胞标注系统。
第一方面，本发明实施例提出一种淋巴细胞标注方法，所述方法包括以下步骤：
步骤1，将待分割标注预测的WSI淋巴细胞图切分成多个图像块；
步骤2，通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；
步骤3，查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；
步骤4，对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；
步骤5，合并各个经过分割标注预测的图像块。
在一些实施例中，所述步骤1中，通过线性差值方式对所述WSI淋巴细胞图进行缩放，再通过滑动窗口方式对其进行切分。
在一些实施例中，所述步骤3中，通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
在一些实施例中，所述步骤4中，对所述分割异常位置的淋巴细胞进行膨胀分割包括以下步骤：
步骤4.1，根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓；
步骤4.2，在所述先验轮廓的基础上通过DRLSE水平集算法迭代多次得到淋巴细胞的初步轮廓；
步骤4.3，在所述初步轮廓的基础上通过CV水平集算法迭代多次得到淋巴细胞的最终轮廓。
在一些实施例中，确定淋巴细胞的先验轮廓包括以下步骤：
步骤4.1.1，计算当前淋巴细胞与其它淋巴细胞的最小距离；
步骤4.1.2，根据所述最小距离判定所述先验轮廓的形状以及大小。
在一些实施例中，所述淋巴细胞分割模型通过Swin-Hovernet网络进行训练生成；在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及对细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器。
在一些实施例中，构建Swin-Hovernet网络时包括聚合细胞每一个像素附近的灰度梯度信息。
第二方面，本发明实施例还提供了一种淋巴细胞标注系统，包括：
原始图像切分模块，用于将待分割标注预测的WSI淋巴细胞图切分成多个图像块；
分割标注预测模块，用于通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；
异常查找模块，用于查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；
膨胀分割模块，用于对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；
合并模块，用于合并各个经过分割标注预测的图像块。
在一些实施例中，所述分割标注预测模块包括：
Swin-Hovernet网络构建模块，用于构建Swin-Hovernet网络，在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器；
淋巴细胞分割模型生成模块，用于通过Swin-Hovernet网络进行训练生成淋巴细胞分割模型。
在一些实施例中，所述Swin-Hovernet网络构建模块包括：
聚合模块，用于聚合细胞每一个像素附近的灰度梯度信息。
在一些实施例中，所述异常查找模块包括：
异常判断模块，用于通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
在一些实施例中，所述膨胀分割模块包括：
先验轮廓确定模块，用于根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓；
初步轮廓生成模块，用于在所述先验轮廓的基础上通过DRLSE水平集算法迭代多次得到淋巴细胞的初步轮廓；
最终轮廓生成模块，用于在所述初步轮廓的基础上通过CV水平集算法迭代多次得到淋巴细胞的最终轮廓。
在一些实施例中，所述先验轮廓确定模块包括：
先验轮廓计算模块，用于计算当前淋巴细胞与其它淋巴细胞的最小距离，并且根据所述最小距离判定所述先验轮廓的形状以及大小。
第三方面，本发明实施例还提供一种淋巴细胞标注装置，包括至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，所述可执行指令在被所述至少一个处理器执行时使得实现如上第一方面的任一项所述方法的步骤。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中方法的步骤。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第一方面中方法的步骤。
第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面的任一项所述方法的步骤。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第一方面中方法的步骤。
可见，本发明实施例的一种淋巴细胞标注方法和系统，使用Swin-Transformer对Hovernet网络进行改进后对淋巴细胞进行分割标注预测，再通过膨胀分割确定淋巴细胞的先验轮廓后得到最终轮廓，弥补了训练模型在细胞密集区域的不足，缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况，从很大程度上提升了对淋巴细胞分割标注的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明实施例中一种淋巴细胞标注方法的流程图；
图2显示为本发明实施例中Swin-Hovernet的结构示意图；
图3显示为本发明实施例中Swin-Transformer blocks的框架示意图；
图4显示为现有技术中采用活动轮廓模型后的的效果图；
图5显示为本发明实施例中经过步骤4后的效果图；
图6显示为本发明实施例中一种淋巴细胞标注系统的框架示意图。
具体实施方案
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本方案发明人发现，在现有技术中，对细胞密集区域的分割效果不足，容易出现淋巴细胞被遗漏未被分割、淋巴细胞轮廓发生粘连的情况。本发明实施例提供如下方案：
如图1所示，第一方面，本发明实施例提供一种淋巴细胞标注方法，方法包括以下步骤：
步骤1，将待分割标注预测的WSI淋巴细胞图切分成多个图像块。使用线性插值将WSI淋巴细胞图缩放到0.138mpp(micron per pixel)，并将WSI淋巴细胞图切割成较小的图像块。设置一个大小为256*256的窗口，按照步长为256在WSI淋巴细胞图上按照从左往右，从上往下的方式进行滑动。将WSI淋巴细胞图切割成256*256大小的多个图像块，保存各个图像块，并记录图像块左上角顶点在WSI淋巴细胞图中的位置信息。在窗口滑动的过程中，如果窗口超过了WSI淋巴细胞图右边缘x个像素点，超过WSI淋巴细胞图下边缘y个像素点，则将窗口在水平方向往后回退x个像素点，在垂直方向回退y个像素点。
步骤2，通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测。淋巴细胞分割模型通过Swin-Hovernet网络进行训练生成，训练样本和测试样本均采用PanNuke数据集。该数据集由481个视野组成，其中312个视野是从多个数据源中以不同放大倍数从超过20K的全切片图像中随机采样的。该数据集总共包含205343个标记的核，每个核都有一个实例分割掩码。
这里将使用Swin-Transformer对Hovernet网络进行改进后的网络称之为Swin-Hovernet。在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及对细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器。构建Swin-Hovernet网络时还包括通过聚合算法聚合细胞每一个像素附近的灰度梯度信息。
Swin-Hovernet在Hovernet的基础上进行了改进，将Hovernet中的resnet block和densenet block替换为了Swin-Transformer block，Swin-Transformer block通过自注意力机制可以更好的捕捉远距离像素点间的联系，实现更高的精度。Swin-Hovernet模型结构如图2所示，模型由一个编码器与两个解码器组成。
对于编码器，首先经过Patch Partition模块将相邻的4*4像素拼接在最后一个维度上,此时最后一个维度的尺寸为3*4*4＝48。之后通过Patch embedding模块将最后一个维度映射至128维。在每一个子编码器中首先输入Patch Merging模块，其主要负责下采样与增加维度，其中主要包含两步，首先将w*h*c尺度的输入映射至(w/2)*(h/2)*(c*4)，之后再通过一个linear将最后一个维度减半，最终的尺寸为(w/2)*(h/2)*(c*2)。之后经过堆叠的Swin-Transformer block进行特征提取，在经过每一个模块后的尺度分别为H/4*W/4*128、H/8*W/8*256、H/16*W/16*512、H/32*W/32*1024，到此为止编码器的特征提取结束，模型中使用了四个编码器子模块，其中Swin-Transformer的堆叠数目分别为[2,2,18,2]。
对于解码器，定义了两个解码器，分别为CLS Decoder和Shape Decoder，两个解码器分别负责学习细胞的分类标注以及细胞形态识别，并在反向传播的时候共同训练编码器。解码器为编码器的对称，首先将数据输入Swin-Transformer block进行上采样，之后输入Patch expanding模块以恢复原先尺寸，在输入本模块时尺寸为h*w*c，首先通过一个linear将c放大为2*c，再将最后一个维度上的四个相连权重编排在h与w维度上，最终输出的维度为(h*2)*(w*2)*(c/2)。模型中使用了四个解码器子模块，其中Swin-Transformer的堆叠数目分别为[2,18,2,2]。并且在每一个子模块中拼接上编码器对应层的输出以填补采样时带来的信息丢失。对于模型损失函数上的选择，针对CLS Decoder选用类别对应的Cross enreopy loss，针对shape decoder我们计算到细胞中心的水平竖直距离的Crossentropy loss。于此同时，也引入了图像梯度的计算模块，使用7*7尺寸的kernel聚合每一个像素附近的梯度信息并加以学习。
针对整个模型中使用到的Swin-Transformer blocks，其结构如图3所示。在输入模块时先通过Layer Norm，之后输入W-MSA中，利用MSA提取相关特征，之后做resnet的操作加上输入，之后的网络为Layer-norm与MLP构成的FFN。第二个模块与第一个相似，差异是替换W-MSA为SW-MSA，让不同切片之间进行一定的消息传递以相互关联。
步骤3，查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置。通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，异常指标判断有三项指标：
第一，一个分割区域内是否存在两个及两个以上的点状标注；
第二，点状标注是否不在任何细胞分割区域内；
第三，被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
步骤4，对分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞。对分割异常位置的淋巴细胞进行膨胀分割包括以下步骤：
步骤4.1，根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓，确定淋巴细胞的先验轮廓包括以下步骤：
步骤4.1.1，计算当前淋巴细胞与其它淋巴细胞的最小距离；
步骤4.1.2，根据最小距离判定所述先验轮廓的形状以及大小。
假设上述最小距离设为d，单位为像素。如果d≥39，则先验轮廓为12像素大小半径的圆形；如果39>d≥13，则先验轮廓为d*0.309大小半径的圆形，如果d＜13则先验轮廓为3像素大小半径的圆形。
步骤4.2，在所述先验轮廓的基础上通过DRLSE水平集算法(DRLSE，distanceregularized level set evolution，基于距离正则化水平集演化)迭代多次得到淋巴细胞的初步轮廓，例如通过DRLSE水平集算法迭代40次；
步骤4.3，在所述初步轮廓的基础上通过CV水平集算法(CV，Chan-Vese)迭代多次得到淋巴细胞的最终轮廓，最终轮廓相对精准，例如通过CV水平集算法迭代400次。
根据步骤3中所记载的分割异常的淋巴细胞的位置信息，剔除Swin-Hovernet的图像块预测结果中异常的淋巴细胞，生成相对更正确的Swin-Hovernet的图像块预测矩阵。将矩阵加上步骤4中膨胀分割矩阵，得到Swin-Hovernet与经过膨胀分割的图像块的合并结果。
如图4所示，为现有技术中采用活动轮廓模型后的的效果图；如图5所示，该图为经过步骤4后的效果图，从图上箭头可以看到与图5所示的效果相比，很大程度上缓解了预测的细胞轮廓容易发生粘连的情况。
步骤5，合并各个经过分割标注预测的图像块。初始化一张与WSI淋巴细胞图相同长宽的全0初始矩阵，根据步骤1中所记载的每一个图像块左上角顶点的坐标信息，将每一个图像块的预测结果填入初始矩阵的相应位置，得到合并矩阵。最后将合并矩阵转换为png格式的图片，并保存。
如图6所示，第二方面，本发明实施例还提供一种淋巴细胞标注系统，包括原始图像切分模块、分割标注预测模块、异常查找模块、膨胀分割模块和合并模块。原始图像切分模块用于将待分割标注预测的WSI淋巴细胞图切分成多个图像块；分割标注预测模块用于通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；异常查找模块用于查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；膨胀分割模块用于对分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；合并模块，用于合并各个经过分割标注预测的图像块。
分割标注预测模块包括Swin-Hovernet网络构建模块和淋巴细胞分割模型生成模块。Swin-Hovernet网络构建模块用于构建Swin-Hovernet网络，在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器；淋巴细胞分割模型生成模块用于通过Swin-Hovernet网络进行训练生成淋巴细胞分割模型。Swin-Hovernet网络构建模块包括聚合模块，聚合模块用于通过聚合算法聚合细胞每一个像素附近的灰度梯度信息。
异常查找模块包括异常判断模块。异常判断模块用于通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
膨胀分割模块包括先验轮廓确定模块、初步轮廓生成模块和最终轮廓生成模块。先验轮廓确定模块用于根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓；初步轮廓生成模块用于在先验轮廓的基础上通过DRLSE水平集算法迭代多次得到淋巴细胞的初步轮廓；最终轮廓生成模块用于在初步轮廓的基础上通过CV水平集算法迭代多次得到淋巴细胞的最终轮廓。
先验轮廓确定模块包括先验轮廓计算模块。先验轮廓计算模块用于计算当前淋巴细胞与其它淋巴细胞的最小距离，并且根据所述最小距离判定所述先验轮廓的形状以及大小。
第三方面，本发明实施例还提供一种淋巴细胞标注装置，包括：
至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明第一方面的方法步骤。
本发明实施例提供的一种淋巴细胞标注装置，处理器和存储器可以单独设置，也可以集成在一起。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器(Central Processing Unit，CPU)等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM(Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM(ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM(SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
第四方面，本发明实施例还提供一种芯片，用于执行上述第一方面中的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述第一方面中的方法。
第五方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明第一方面的方法的步骤。
例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。
第六方面，本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第一方面中的方法。
综上所述，本发明实施例的一种淋巴细胞标注方法和系统，使用Swin-Transformer对Hovernet网络进行改进后对淋巴细胞进行分割标注预测，再通过膨胀分割确定淋巴细胞的先验轮廓后得到最终轮廓，弥补了训练模型在细胞密集区域的不足，缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况，从很大程度上提升了对淋巴细胞分割标注的效果。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。
Claims (16)
1.一种淋巴细胞标注方法，其特征在于，所述方法包括以下步骤：
步骤1，将待分割标注预测的WSI淋巴细胞图切分成多个图像块；
步骤2，通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；
步骤3，查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；
步骤4，对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；
步骤5，合并各个经过分割标注预测的图像块。
2.根据权利要求1所述的一种淋巴细胞标注方法，其特征在于：所述步骤1中，通过线性差值方式对所述WSI淋巴细胞图进行缩放，再通过滑动窗口方式对其进行切分。
3.根据权利要求1所述的一种淋巴细胞标注方法，其特征在于：所述步骤3中，通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
4.根据权利要求1所述的一种淋巴细胞标注方法，其特征在于：所述步骤4中，对所述分割异常位置的淋巴细胞进行膨胀分割包括以下步骤：
步骤4.1，根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓；
步骤4.2，在所述先验轮廓的基础上通过DRLSE水平集算法迭代多次得到淋巴细胞的初步轮廓；
步骤4.3，在所述初步轮廓的基础上通过CV水平集算法迭代多次得到淋巴细胞的最终轮廓。
5.根据权利要求4所述的一种淋巴细胞标注方法，其特征在于：确定淋巴细胞的先验轮廓包括以下步骤：
步骤4.1.1，计算当前淋巴细胞与其它淋巴细胞的最小距离；
步骤4.1.2，根据所述最小距离判定所述先验轮廓的形状以及大小。
6.根据权利要求1所述的一种淋巴细胞标注方法，其特征在于：所述淋巴细胞分割模型通过Swin-Hovernet网络进行训练生成；在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及对细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器。
7.根据权利要求6所述的一种淋巴细胞标注方法，其特征在于：构建Swin-Hovernet网络时包括聚合细胞每一个像素附近的灰度梯度信息。
8.一种淋巴细胞标注系统，其特征在于，包括：
原始图像切分模块，用于将待分割标注预测的WSI淋巴细胞图切分成多个图像块；
分割标注预测模块，用于通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测；
异常查找模块，用于查找分割标注预测结果中存在分割异常的淋巴细胞，并且记录分割异常位置；
膨胀分割模块，用于对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞；
合并模块，用于合并各个经过分割标注预测的图像块。
9.根据权利要求8所述的一种淋巴细胞标注系统，其特征在于，所述分割标注预测模块包括：
Swin-Hovernet网络构建模块，用于构建Swin-Hovernet网络，在构建Swin-Hovernet网络时，通过基于Swin-Transformer的编码器进行对淋巴细胞特征的的提取，通过基于Swin-Transformer的两个解码器分别对细胞的类别预测以及细胞的形态识别，两个解码器在前向传播和反向传播阶段均共用同一个编码器；
淋巴细胞分割模型生成模块，用于通过Swin-Hovernet网络进行训练生成淋巴细胞分割模型。
10.根据权利要求9所述的一种淋巴细胞标注系统，其特征在于，所述Swin-Hovernet网络构建模块包括：
聚合模块，用于聚合细胞每一个像素附近的灰度梯度信息。
11.根据权利要求8所述的一种淋巴细胞标注系统，其特征在于，所述异常查找模块包括：
异常判断模块，用于通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞，所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
12.根据权利要求8所述的一种淋巴细胞标注系统，其特征在于，所述膨胀分割模块包括：
先验轮廓确定模块，用于根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓；
初步轮廓生成模块，用于在所述先验轮廓的基础上通过DRLSE水平集算法迭代多次得到淋巴细胞的初步轮廓；
最终轮廓生成模块，用于在所述初步轮廓的基础上通过CV水平集算法迭代多次得到淋巴细胞的最终轮廓。
13.根据权利要求12所述的一种淋巴细胞标注系统，其特征在于，所述先验轮廓确定模块包括：
先验轮廓计算模块，用于计算当前淋巴细胞与其它淋巴细胞的最小距离，并且根据所述最小距离判定所述先验轮廓的形状以及大小。
14.一种淋巴细胞标注装置，包括至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其特征在于：所述可执行指令在被所述至少一个处理器执行时使得实现根据权利要求1至7中任一项所述方法的步骤。
15.一种芯片，其特征在于：包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至7中任一项所述方法的步骤。
16.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624949.XA CN116309280A (zh) | 2022-12-16 | 2022-12-16 | 一种淋巴细胞标注方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624949.XA CN116309280A (zh) | 2022-12-16 | 2022-12-16 | 一种淋巴细胞标注方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309280A true CN116309280A (zh) | 2023-06-23 |
Family
ID=86813794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211624949.XA Pending CN116309280A (zh) | 2022-12-16 | 2022-12-16 | 一种淋巴细胞标注方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309280A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108319958A (zh) * | 2018-03-16 | 2018-07-24 | 福州大学 | 一种基于特征融合匹配的行驶证检测和识别方法 |
| CN109130955A (zh) * | 2018-09-29 | 2019-01-04 | 武汉理工大学 | 一种补偿接触线磨耗影响的高速铁路吊弦预配方法 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109269416A (zh) * | 2017-07-17 | 2019-01-25 | 成都唐源电气股份有限公司 | 一种接触网导线磨耗测量方法及装置 |
| CN109269403A (zh) * | 2017-07-17 | 2019-01-25 | 成都唐源电气股份有限公司 | 一种基于机器视觉的接触网导线磨耗测量方法及装置 |
| CN112070722A (zh) * | 2020-08-14 | 2020-12-11 | 厦门骁科码生物科技有限公司 | 一种荧光原位杂交细胞核分割方法及系统 |
| CN113160185A (zh) * | 2021-04-27 | 2021-07-23 | 哈尔滨理工大学 | 一种利用生成边界位置指导宫颈细胞分割的方法 |
| CN113487543A (zh) * | 2021-06-16 | 2021-10-08 | 成都唐源电气股份有限公司 | 接触网燃弧灼烧检测方法、装置、计算机设备和存储介质 |
| CN113744241A (zh) * | 2021-09-03 | 2021-12-03 | 安徽理工大学 | 基于改进slic算法的细胞图像分割方法 |
| CN113902751A (zh) * | 2021-11-10 | 2022-01-07 | 南京大学 | 一种基于Swin-Unet算法的肠神经元发育异常识别方法 |
| CN113989294A (zh) * | 2021-12-29 | 2022-01-28 | 北京航空航天大学 | 基于机器学习的细胞分割和分型方法、装置、设备及介质 |
| CN114693619A (zh) * | 2022-03-18 | 2022-07-01 | 杭州申昊科技股份有限公司 | 刚性接触网磨耗检测方法、设备和存储介质 |
-
2022
- 2022-12-16 CN CN202211624949.XA patent/CN116309280A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109269416A (zh) * | 2017-07-17 | 2019-01-25 | 成都唐源电气股份有限公司 | 一种接触网导线磨耗测量方法及装置 |
| CN109269403A (zh) * | 2017-07-17 | 2019-01-25 | 成都唐源电气股份有限公司 | 一种基于机器视觉的接触网导线磨耗测量方法及装置 |
| CN108319958A (zh) * | 2018-03-16 | 2018-07-24 | 福州大学 | 一种基于特征融合匹配的行驶证检测和识别方法 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109130955A (zh) * | 2018-09-29 | 2019-01-04 | 武汉理工大学 | 一种补偿接触线磨耗影响的高速铁路吊弦预配方法 |
| CN112070722A (zh) * | 2020-08-14 | 2020-12-11 | 厦门骁科码生物科技有限公司 | 一种荧光原位杂交细胞核分割方法及系统 |
| CN113160185A (zh) * | 2021-04-27 | 2021-07-23 | 哈尔滨理工大学 | 一种利用生成边界位置指导宫颈细胞分割的方法 |
| CN113487543A (zh) * | 2021-06-16 | 2021-10-08 | 成都唐源电气股份有限公司 | 接触网燃弧灼烧检测方法、装置、计算机设备和存储介质 |
| CN113744241A (zh) * | 2021-09-03 | 2021-12-03 | 安徽理工大学 | 基于改进slic算法的细胞图像分割方法 |
| CN113902751A (zh) * | 2021-11-10 | 2022-01-07 | 南京大学 | 一种基于Swin-Unet算法的肠神经元发育异常识别方法 |
| CN113989294A (zh) * | 2021-12-29 | 2022-01-28 | 北京航空航天大学 | 基于机器学习的细胞分割和分型方法、装置、设备及介质 |
| CN114693619A (zh) * | 2022-03-18 | 2022-07-01 | 杭州申昊科技股份有限公司 | 刚性接触网磨耗检测方法、设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIACHEN LI ET AL.: "ConvNeXt-backbone HoVerNet for Nuclei Segmentation and Classification", 《ARXIV.ORG》, 29 March 2022 (2022-03-29), pages 1 - 5 * |
| 侯晓晓: "基于改进水平集的眼底图像血管分割算法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)》, no. 09, 15 September 2021 (2021-09-15), pages 35 * |
| 黄辰等: "《医学实验研究概论》", 31 July 2014, 西安交通大学出版社, pages: 359 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117848B (zh) | 一种文本行字符识别方法、装置、介质和电子设备 | |
| CN111507335B (zh) | 自动标注利用于深度学习网络的训练图像的方法和装置 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN111369581B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111709929B (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN111091123A (zh) | 文本区域检测方法及设备 | |
| US10373022B1 (en) | Text image processing using stroke-aware max-min pooling for OCR system employing artificial neural network | |
| CN116311310A (zh) | 一种结合语义分割和序列预测的通用表格识别方法和装置 | |
| CN110879972A (zh) | 一种人脸检测方法及装置 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN111639607A (zh) | 模型训练、图像识别方法和装置、电子设备及存储介质 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| CN114266794A (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN114782355A (zh) | 基于改进vgg16网络的胃癌数字病理切片检测方法 | |
| CN114037720A (zh) | 基于半监督学习的病理图像分割与分类的方法及装置 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
| CN113591746A (zh) | 一种文档表格结构检测方法及装置 | |
| CN116309280A (zh) | 一种淋巴细胞标注方法和系统 | |
| CN110826488B (zh) | 一种针对电子文档的图像识别方法、装置及存储设备 | |
| CN114511862A (zh) | 表格识别方法、装置及电子设备 | |
| CN108475339B (zh) | 用于对图像中的对象分类的方法和系统 | |
| CN114241470A (zh) | 一种基于注意力机制的自然场景文字检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |