CN115527031B - 骨髓细胞图像分割方法、计算机设备以及可读存储介质 - Google Patents
骨髓细胞图像分割方法、计算机设备以及可读存储介质 Download PDFInfo
- Publication number
- CN115527031B CN115527031B CN202211168478.6A CN202211168478A CN115527031B CN 115527031 B CN115527031 B CN 115527031B CN 202211168478 A CN202211168478 A CN 202211168478A CN 115527031 B CN115527031 B CN 115527031B
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- convolution module
- semi
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 210000002798 bone marrow cell Anatomy 0.000 title claims abstract description 61
- 238000003709 image segmentation Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 93
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 230000009977 dual effect Effects 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 6
- 210000004027 cell Anatomy 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 206010000830 Acute leukaemia Diseases 0.000 description 5
- 210000001185 bone marrow Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 208000032839 leukemia Diseases 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000001464 adherent effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000021164 cell adhesion Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- WHHGLZMJPXIBIX-UHFFFAOYSA-N decabromodiphenyl ether Chemical compound BrC1=C(Br)C(Br)=C(Br)C(Br)=C1OC1=C(Br)C(Br)=C(Br)C(Br)=C1Br WHHGLZMJPXIBIX-UHFFFAOYSA-N 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003394 haemopoietic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于对抗训练的半监督双分支骨髓细胞图像分割方法、计算机设备以及可读存储介质。该方法首先设计包含浅层和深层双分支架构的分割网络，其中，深层分支采用简化的Efficientnetv2网络来提取全局特征，浅层分支采用宽通道的卷积块来提取细节特征；将高分辨率的细节特征和低分辨率的全局特征进行多尺度融合，实现细节特征和全局特征的互补；其次判别网络对分割预测结果和真实标签进行有效区分，通过对抗训练使分割预测结果更接近真实标签，还利用判别网络进行半监督学习，推测出无标签图像分割预测结果中的可靠区域，将其作为伪标签监督分割网络。本发明减少了训练过程中对有标签图像的依赖，仅利用少量有标签图像实现对骨髓细胞的精确分割。
Description
技术领域
本发明属于医学图像分析技术领域，特别涉及一种基于对抗训练的半监督双分支骨髓细胞图像分割方法、计算机设备以及可读存储介质。
背景技术
白血病是一种高发病率和死亡率的恶性肿瘤疾病。白血病起源于骨髓，由于骨髓中未成熟的白细胞发生异常增殖，会抑制骨髓的造血功能，从而引发白血病。白血病可以分为非急性白血病和急性白血病。其中，非急性白血病会随着时间的推移不断恶化，急性白血病恶化速度快、死亡率高，如果不及时治疗，癌细胞会迅速扩散到血液中和人体器官中，几周的时间就可以严重威胁患者的生命。因此及时发现并诊断治疗对恢复急性白血病患者的健康尤为重要。传统诊断方式由病理学专家观察骨髓涂片进行筛查，通常会耗时、耗力，容易造成人工错误。因此研究骨髓细胞的自动化分割是很有必要的，以促进一些相关疾病的诊断。
研究人员开发了一些用于骨髓细胞分割的计算机辅助方法。例如，传统的图像处理方法和基于机器学习的处理方法。其中，传统的图像处理方法包括基于阈值的分割方法、基于分水岭的分割方法、基于数字形态学的分割方法以及基于活动轮廓模型的分割方法等等，这些传统的图像处理方法是基于灰度、颜色或纹理的特征对骨髓细胞进行分割。而机器学习方法则包括K-means聚类、支持向量机(SVM)和神经网络等方式，由于机器学习的方法，对初始参数的设置要求高，受噪声影响严重，容易造成细胞图像分割精度不高。此外，由于细胞粘连、染色杂质干扰、以及不同染色条件下的图像外观差异等原因，利用传统的图像处理方法以及基于机器学习的处理方法，通常难以实现对骨髓细胞图像的自动和精确分割。
深度学习技术在计算机视觉领域中得到了广泛应用，在医学图像分割方面也相继出现了一些基于深度学习的方法，典型的例如U型卷积神经网络U-Net。深度神经网络模型可以将图像的低层特征和高层特征进行融合，在一定程度上提高了图像分割的性能。然而，训练全监督的神经网络模型需要大量经过标注、有标签的样本，这对于骨髓细胞图像分割通常是难以满足的。骨髓细胞图像数量有限，进行像素级标注更是费时费力，因此，难以获得足够的有标签的样本来训练分割模型，从而造成神经网络分割模型过拟合、泛化能力下降。
发明内容
本发明的目在于提出一种基于对抗训练的半监督双分支骨髓细胞图像分割方法，以减少训练过程中对有标签图像的依赖，仅利用少量有标签图像实现对骨髓细胞的精确分割。
本发明为了实现上述目的，采用如下技术方案：
基于对抗训练的半监督双分支骨髓细胞图像分割方法，包括如下步骤：
步骤1.收集骨髓细胞图像，将骨髓细胞图像划分为训练集、验证集和测试集；在训练过程中，将训练集数据随机分为有标签图像和无标签图像两部分；
步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型；
其中，搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络；
分割网络包括双分支结构、特征聚合模块以及第一上采样模块；
双分支结构包括一个深层分支和一个浅层分支；
深层分支包括第一卷积模块、FMBConv模块、MBConv模块和自适应平均池化模块；第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接；
浅层分支由第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块组成；其中，第二卷积模块、第三卷积模块以及第四卷积模块依次连接；
FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连；
自适应平均池化模块与第五卷积模块的输出端分别连接至特征聚合模块；
特征聚合模块、第一上采样模块以及判别器网络依次相连；判别网络采用全卷积神经网络，其输入为分割网络预测结果或经过one-hot编码的真实标签，输出为置信度图；
步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练；
首先使用有标签图像进行监督训练，基于对抗训练的半监督双分支骨髓细胞图像分割模型由交叉熵损失和对抗损失来训练，分割网络和判别网络参数联合更新；
然后使用无标签图像进行半监督训练，利用判别网络发现无标签分割预测结果的可靠区域，并将其作为伪标签来监督分割网络，完成半监督学习过程；
步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割，得到图像分割结果。
此外，本发明还提出了一种与上述基于对抗训练的半监督双分支骨髓细胞图像分割方法相对应的计算机设备，该计算机设备包括存储器和一个或多个处理器。
所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上面述及的基于对抗训练的半监督双分支骨髓细胞图像分割方法。
此外，本发明还提出了一种与上述基于对抗训练的半监督双分支骨髓细胞图像分割方法相对应的计算机可读存储介质，其上存储有程序。
该程序被处理器执行时，用于实现上面述及的半监督双分支骨髓细胞图像分割方法。
本发明具有如下优点：
如上所述，本发明述及了一种基于对抗训练的半监督双分支骨髓细胞图像分割方法，该方法基于生成对抗网络架构实现，其中，分割网络设计了一种同时包含浅层分支和深层分支的双分支架构，深层分支采用简化的Efficientnetv2网络来提取全局特征，而浅层分支采用宽通道的卷积块来提取细节特征；通过将高分辨率的细节特征和低分辨率的全局特征进行多尺度融合，从而实现细节特征和全局特征的互补，判别网络则采用一种全卷积神经网络，对分割网络预测结果和真实标签图像进行有效区分，此外，还通过判别网络进行半监督训练，利用判别网络发现无标签图像分割结果中的可靠信息，将其作为伪标签协助分割网络训练，从而提升骨髓细胞图像分割精度，通过将无标签图像应用到训练过程中，减少了对像素级标签的依赖。此外，本发明还进行了实验，证实了本发明方法相对于现有方法的优越性。
附图说明
图1为本发明实施例中搭建的半监督双分支骨髓细胞图像分割模型架构图。
图2为本发明实施例中FMBConv模块的结构图。
图3为本发明实施例中MB Conv模块的结构图。
图4为本发明实施例中特征聚合模块的结构示意图。
图5为本发明具体实例中1/4有标签图像的累计分布曲线图。
图6为本发明具体实例中1/2有标签图像的累计分布曲线图。
图7为本发明具体实例中3/4有标签图像的累计分布曲线图。
图8为本发明具体实例中1/4有标签图像的定性分割结果比较图。
图9为本发明具体实例中1/2有标签图像的定性分割结果比较图。
图10为本发明具体实例中3/4有标签图像的定性分割结果比较图。
其中，1-第一卷积模块，2-FMBConv模块，3-MBConv模块，4-自适应平均池化模块，5-第二卷积模块，6-第三卷积模块，7-第四卷积模块，8-第五卷积模块，9-特征聚合模块，10-第一上采样模块，11-第六卷积模块，12-第七卷积模块；13-第八卷积模块；
14-第一SE模块，15-第十卷积模块，16-第一深度卷积模块，17-第二SE模块，18-第二深度卷积模块，19-第十一卷积模块，20-第三深度卷积模块，21-第十二卷积模块，22-第十三卷积模块，23-平均池化模块，24-第二上采样模块，25-第十四卷积模块，26-第一乘法模块，27-第二乘法模块，28-SUM模块，29-第九卷积模块，30-第十五卷积模块。
具体实施方式
本发明述及了一种基于对抗训练的半监督双分支骨髓细胞图像分割方法，该方法基于生成对抗网络架构实现，具体包括分割网络和判别网络两部分。其中，分割网络设计了一个包含浅层分支和深层分支的双分支结构，判别网络采用一种全卷积神经网络，通过将高分辨率的浅层分支特征和低分辨率的深层分支特征进行多尺度融合，实现浅层特征和深度特征互补，从而提高骨髓细胞图像的分割精度。此外，本发明采用有标签图像和无标签图像进行半监督训练，使用判别网络来有效区分骨髓细胞分割预测结果和真实标签，分割网络和判别网络进行对抗训练，最终使分割预测结果接近真实标签。另外，本发明还利用判别网络进行半监督学习，预测出无标签图像分割结果的可靠区域，并将其作为伪标签来监督分割网络。
下面结合附图以及具体实施方式对本发明作进一步详细说明：
如图1所示，基于对抗训练的半监督双分支骨髓细胞图像分割方法，包括如下步骤：
步骤1.收集骨髓细胞图像，并将图像按照7:1:2的比例将图像划分为训练集、验证集和测试集，在训练过程中按预设比例将训练集数据随机分为有标签图像和无标签图像两部分。
此处，预设比例是指不同比例的数据，例如1/4有标签、1/2有标签、或3/4有标签数据。
步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型。
本发明搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络两部分。
其中，分割网络包括双分支结构、特征聚合模块以及第一上采样模块。
双分支结构包括一个深层分支和一个浅层分支。
深层分支采用简化的轻量级Efficientnetv2网络为基础架构，用于提取高级语义信息，其包括第一卷积模块1、FMBConv模块2、MBConv模块3和自适应平均池化模块4。
第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接。
输入图像在深层分支的处理过程为：
输入图像通过第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块，完成深层分支的全局上下文特征提取，深层分支的输出图像尺寸变为原来输入图像的1/32。
浅层分支采用宽通道的卷积块来提取图像的细节特征。
浅层分支由第二卷积模块5、第三卷积模块6、第四卷积模块7以及第五卷积模块8组成；其中，第二卷积模块5、第三卷积模块6以及第四卷积模块7依次连接。
其中，浅层分支上前三个卷积块用于下采样，最后一个卷积模块调节通道大小。
FMBConv模块2的输出与第四卷积模块7的输出相加后与第五卷积模块的输入端相连。
浅层分支中各个卷积模块都由3×3卷积、BN和ReLU激活函数堆叠组成，第二卷积模块5、第三卷积模块6、第四卷积模块7都进行一次下采样。经过3次下采样，图像尺度变为输入图像的1/8。第五卷积模块8不改变图像的尺度，只改变通道数。
FMBConv模块2的输出与第四卷积模块7的输出相加，将深层分支三次下采样之后的特征和浅层分支三次下采样后的特征相加，能够将低级特征互补，丰富了图像的空间细节特征。
自适应平均池化模块4与第五卷积模块8的输出端分别连接至特征聚合模块9。
特征聚合模块9、第一上采样模块10以及判别器网络依次相连。
其中，第一上采样模块10为8倍上采样，用于恢复原始图像尺寸。
输入图像在分割网络中的处理过程为：
在深层分支，输入图像依次通过第一卷积模块1、FMBConv模块2、MBConv模块3以及自适应平均池化模块4，完成深层分支的全局上下文特征提取。
在浅层分支，输入图像依次经过第二卷积模块5、第三卷积模块6和第四卷积模块7，第四卷积模块7的输出与FMBConv模块2的输出相加，丰富了图像的空间细节特征。
相加后的特征输入至第五卷积模块8，从而完成浅层分支的特征提取，通过特征聚合模块9来融合深层分支和相加后的浅层分支的互补信息，捕获多尺度的特征信息。
最后，通过第一上采样模块10的上采样操作将特征图映射到原始图像尺寸。
下面对FMBConv模块2、MBConv模块3和自适应平均池化模块4进行详细说明：
如图2所示，本实施例中FMBConv模块2包括第六卷积模块11、第七卷积模块12、第八卷积模块13以及第一SE模块14。其中：
第六卷积模块11、第一SE模块14以及第七卷积模块12依次连接。
第六卷积模块11和第八卷积模块13的输入端与FMBConv模块2的输入端相连。第七卷积模块12的输出与第八卷积模块13的输出相加后作为FMBConv模块2的输出。
第六卷积模块和第八卷积模块采用3×3的卷积核，第七卷积模块采用1×1的卷积核。
本实施例中FMBConv模块2采用先升维后降维的方式来提取深层分支中较浅层特征，将3×3的卷积融入跳跃连接过程中，以增强提取特征的能力。
如图3所示，MBConv模块3由带深度可分离卷积的注意力倒残差块组成，其包括第九卷积模块29、第十卷积模块15、第一深度卷积模块16以及第二SE模块17。
第九卷积模块29、第一深度卷积模块16、第二SE模块17和第十卷积模块15依次连接。第九卷积模块和第十卷积模块采用1×1的卷积核，第一深度卷积模块采用3×3的卷积核。
其中，第九卷积模块29的输入端与MBConv模块3的输入端相连，第九卷积模块29的输入与第十卷积模块15的输出相加后作为MBConv模块3的输出。
输入特征在MBConv模块3中的处理过程为：首先采用1×1的卷积升维，其次通过深度卷积和注意力SE模块来提取特征，最后通过1×1逐点卷积降维。
深度卷积在每个通道内进行单独卷积运算，最后将所用通道的输出信息拼接起来得到最终输出结果，与普通卷积相比，深度卷积具有较小的参数量和计算量。
每个卷积运算后使用BN和ReLU6激活函数。将当步长为1，输入通道和输出通道相同时，进行残差连接。SE模块对通道赋予不同的权重信息，强化特征通道间的依赖关系。
本发明实施例中所有的深度卷积都采用3×3的卷积核。
如果将深层分支和浅层分支直接融合会造成信息的丢失，导致模型性能下降。因此，本发明实选择合适的特征融合方式对提高骨髓细胞分割精度起到关键作用。
如图4所示，本发明实施例提出了一种特征融合模块，来融合两个分支的互补信息，利用深层分支来指导浅层分支的特征响应，捕获不同尺度的特征信息。
特征聚合模块9包括第一层结构、第二层结构、乘法模块以及SUM模块。
其中，第一层结构包括第二深度卷积模块18、第十一卷积模块19、第三深度卷积模块20以及第十二卷积模块21。其中，第二深度卷积模块18、第十一卷积模块19、第三深度卷积模块20以及第十二卷积模块21均采用3×3的卷积核。
深层分支的输出端分别连接至第二深度卷积模块18和第十一卷积模块19的输入端，浅层分支的输出端分别连接至第三深度卷积模块20和第十二卷积模块21的输入端。
第二层结构包括第十三卷积模块22、平均池化模块23、第二上采样模块24以及第十四卷积模块25。第十三卷积模块22以及第十四卷积模块25均采用1×1的卷积核。
第二深度卷积模块18的输出端与第十三卷积模块22的输入端相连，第十一卷积模块19的输出端与平均池化模块23的输入端相连，第十二卷积模块21的输出端与第二上采样模块24相连，第三深度卷积模块20的输出端与第十四卷积模块25的输入端相连。
第二上采样模块24为4倍上采样。
乘法模块有两个，分别为第一乘法模块26和第二乘法模块27。
第十三卷积模块22的输出端与第二上采样模块24的输出端连接至第一乘法模块的输入端，第十四卷积模块25的输出端与平均池化模块23的输出端连接至第二乘法模块的输入端。
第一乘法模块26和第二乘法模块27的输出连接至SUM模块28上。SUM模块28上连接有第十五卷积模块30，第十五卷积模块30采用标准的3×3卷积。
本实施例中特征聚合模块9进行特征融合的过程为：
第一层结构将浅层分支和深层分支分别通过3×3卷积和深度卷积进行，第二层结构对浅层分支进行平均池化和1×1卷积操作，并对深层分支进行4倍上采样和1×1卷积操作，调整图像尺寸，最后，将相同尺寸的特征图相乘再相加，从而实现不同尺度的特征融合。
本发明实施例通过设计一个包含深层分支和浅层分支双分支结构的轻量级分割网络，能够将浅层细节特征和深层全局特征进行融合，从而提取多尺度的特征信息。
判别网络用于对输入图像进行二分类真假判别，判别网络采用全卷积神经网络，其可以接受不同大小的输入图像，将预测结果扩展到像素级别上。
判别网络的输入为分割预测结果或经过one-hot编码的真实标签，输出为置信度图。
本实施例中判别器结构比较简单，其由5层卷积层组成，卷积核的大小为4×4，步长为2，前四层卷积层后都有Leaky ReLU(0.2)激活函数，为了保证训练过程的稳定性，在卷积层后不进行池化和批归一化操作，最后通过上采样操作恢复图像尺寸。
有监督的分割方法通常需要大量像素级标签数据进行训练，而医学图像的标注工作需要依靠专业的医学知识、还会耗费大量的时间和精力。
为了减轻对有标签的训练样本的需求，本发明选择采用半监督的神经网络模型，其特点是能够联合有标签和无标签的样本共同训练网络模型。
对于骨髓细胞分割问题，在有标签的样本有限的情况下，本发明基于对抗学习的框架，设计了一个半监督的骨髓细胞分割网络，利用有标签数据和无标签数据同时进行训练。
步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练。
首先使用有标签图像进行监督训练，模型由交叉熵损失Lce和对抗损失Ladv来训练；分割网络和判别网络参数联合更新，使分割网络和判别网络分别具备分割能力和判别能力。
然后使用无标签图像进行半监督训练，利用判别网络发现无标签分割预测结果的可靠区域，并将其作为伪标签来监督分割网络，完成半监督学习过程。
步骤3.1.判别网络训练。
本发明采用G(·)表示分割网络，D(·)表示判别网络，可以接受不同大小的输入。
判别网络的损失函数LD如公式(1)所示：
LD＝-(∑h，w(1-yn)log(1-D(G(Xn))(h，w))+ynlog(D(Yn)(h，w))) (1)
其中，yn表示判别网络的输入，yn＝0则表示判别网络的输入来自分割网络预测结果，yn＝1则表示判别网络的输入来自真实标签；
Xn表示输入的骨髓细胞图像，维度为H×W×3的彩色图像，G(Xn)为分割网络的分割预测结果，维度为H×W×C，其中，C表示分割类别数；
D(G(Xn))表示将分割网络的预测结果送到判别网络的输出，得到H×W×1的置信度图，置信度图表示分割预测结果中更近真实标签的区域；
D(G(Xn))(h，w)是像素Xn在(h，w)处的置信度值；(h，w)表示像素的位置；
Yn表示经过one-hot编码的真实标签；
D(Yn)(h，w)是one-hot编码后的真实标签向量在Yn在位置(h，w)的置信度图。
本发明仅采用有标签图像来训练判别网络，来保持分割网络和判别网络的平衡。因此，在全监督训练和半监督训练的情况下，它们具有相同的损失函数。
步骤3.2.分割网络训练。
对于有标签图像进行监督训练，分割网络的损失函数由Lce和Ladv加权组成，通过最小化多任务损失函数LG来训练分割网络。
LG＝Lce+λadvLadv (2)
其中，Lce为交叉熵损失函数，Ladv为对抗损失，λadv为对抗超参数，其值越大表示对抗损失所占的比例越大，Lce交叉熵损失函数如公式(3)所示。
Lce＝-∑h，w∑c∈CYn (h，w，c)log(G(Xn)(h，w，c))； (3)
其中，Yn (h，w，c)表示第n张标签图像的二值掩码图，(h，w，c)分别代表标签图像的高、宽、通道数，G(Xn)(h，w，c)表示输入图像Xn的分割预测概率图。
对抗训练损失函数Ladv如公式(4)所示。
Ladv＝-∑h，wlog(D(G(Xn))(h，w)) (4)
当采用有标签图像和无标签图像进行半监督训练时，分割网络的损失函数由Lce、Ladv和Lsemi三者的加权组成。
由于无标签图像缺乏真实标签，无法计算Lce损失，对抗损失Ladv与真实标签无关，还引入了半监督损失函数Lsemi，通过最小化多任务损失函数LG来完成半监督训练。
LG＝Lce+λadvLadv+λsemiLsemi (5)
其中，λadv和λsemi分别用于调整对抗训练和半监督学习损失函数所占的比重。
半监督分割损失函数Lsemi由公式(6)得到：
其中，是经过one-hot编码的分割结果，(h，w，c)分别表示分割结果图的高、宽、通道数；D(G(Xn))(h，w)是像素Xn在(h，w)处的置信度图；(h，w)表示像素的位置；
如果c*＝argmaxcG(Xn)(h，w，c)，当c＝c*时，否则/>
Tsemi表示对置信度图进行二值化的阈值，I(·)为指示函数，通过设置阈值Tsemi来控制训练过程的敏感度，从而挑选出分割结果中哪些区域能够欺骗判别网络。
实验证明Tsemi＝0.3时，网络性能最优，和I(·)均为常数，因此，半监督损失函数Lsemi可以看作是带掩码的交叉熵损失函数。
步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割，得到图像分割结果。
下面通过对不同比例有标签图像和无标签图像进行定性和定量评价，以证明本发明方法即使在少量有标签图像训练时也能达到很好的分割性能。
本发明的实验环境如表1所示。
表1实验环境
分割网络和判别网络都采用Adam优化器，其中：
β1＝0.9，β2＝0.99，WEIGHT_DECAY为0.0005，学习率可以控制参数更新的速度，分割网络和判别网络的初始学习率lbase分别为1×10-3和1×10-4。
本发明采用Poly学习策略，按照lr＝lbase*((1-epoch)/max_epoch)power进行衰减，其中，power设置为0.9。训练的Batch size设置为4，对于有标签和无标签的对抗超参数λadv分别设置为0.1和0.01，半监督超参数λsemi设置为0.1，阈值Tsemi设置为0.3。
本发明使用的骨髓涂片数据集共包含227张图像，将图像裁剪成512×512尺寸。由于实验数据集过少，为了防止过拟合，采用传统数据增强方式对训练集数据进行扩充。
为了验证本发明方法的准确性及稳定性，从训练集中随机选择1/4、1/2、3/4的数据作为有标签数图像进行监督训练，其余数据利用判别网络生成的伪标签进行半监督训练。
将本发明方法与U-Net、DeeplabV3、AdvSemiSeg三种分割方法进行定性和定量比较。
1.定量评价。
表2-表4分别列出了采用1/4有标签数据、1/2有标签数据、3/4有标签数据进行监督训练，剩余数据进行半监督学习的测试集分割精度。本发明所采用的对比方法包括U-Net、DeeplabV3、AdvSemiSeg方法，采用的评价指标为准确率、精确率、召回率、F1分数。
表2 1/4有标签数据的定量结果
表3 1/2有标签数据的定量结果
表4 3/4有标签数据的定量结果
从整体上看，本发明精度最优，随着有标签数据增加，本发明方法和其他几种对比方法的分割性能均有所提高。当有标签的数据增加到3/4时，本发明和其他几种方法的分割结果趋于稳定，并且本发明方法的分割精度仍然优于U-Net、DeeplabV3、AdvSemiSeg。
从细节上看，DeeplabV3方法在1/4有标签数据训练过程中不稳定，分割结果最差，随着有标签训练数据的增加，分割精度提升幅度很小。AdvSemiSeg和U-Net在1/2有标签数据时分割效果提升明显，3/4有标签数据时分割效果趋于稳定。而本发明方法在使用1/4有标签数据训练时，分割准确率达到98.95％，精确率达到97.87％，具有很好的分割效果。
综上所述，本发明方法提高了骨髓细胞图像的分割性能。
本发明同样绘制了测试集分割结果的累计分布曲线图，累计分布曲线图可以反映出模型整体的分割性能。如图5-图7分别为采用1/4有标签数据、1/2有标签数据、3/4有标签数据训练时的累计分布曲线图。其中，图5-图7中的(a)图表示准确率对比图，(b)图表示精确率对比图，(c)图表示召回率对比图，(d)图表示F1分数对比图。图中，实线表示本发明方法，虚线表示AdvSemiSeg，破折线表示DeeplabV3，点划线表示U-Net。
从图中看出，DeeplabV3在不同比例有标签数据训练时的四个指标均位于曲线图最低端，且曲线的变化幅度较大。由此可知，DeeplabV3对骨髓细胞图像分割的精度低且稳定性差。U-Net和AdvSemiSeg曲线较为接近，两者在少量有标签数据集时曲线变化较大，随着有标签数据集的增多，曲线逐渐平缓，说明了当使用少量有标签数据训练时不稳定，模型随着有标签数据集的增加逐渐趋于平稳。SemiDBNet的曲线在准确率、精确率、F1度量三个评价指标上的累计分布均为最优。即使采用少量有标签数据，曲线变化幅度相对平缓，并随着有标签数据的增加，曲线变得越来越平缓。证明了SemiDBNet具有较高的分割精度和稳定性。综上，本发明方法分割结果最优、其次是U-Net和AdvSemiSeg，DeeplabV3分割结果最差。
2.定性评价。
图8-图10分别显示了采用1/4有标签数据、1/2有标签数据、3/4有标签数据训练的骨髓细胞分割可视化结果。其中，图8-图10中(a)图表示真实标签，(b)图表示U-Net，(c)图表示DeeplabV3，(d)图表示AdvSemiSeg，(e)图表示SemiDBNet。从左到右依次为真实标签图像、U-Net、Deeplabv3+、AdvSemiSeg和SemiDBNet。
从图8-图10看出，受细胞的数量和大小、颜色不同，以及受到染色杂质和红细胞等背景区域的影响。当有标签数据集较少时，U-Net和AdvSemiSeg方法的过分割情况比较严重，由于缺乏监督信号，分割边界不平滑，对粘连细胞的分割效果不好。随着有标签数据训练集的增加，本发明方法和其他几种方法的分割结果有明显改善。
从整体上看，Deeplabv3+和AdvSemiSeg方法对简单图像分割效果不错，对粘连细胞分割结果较差。本发明方法对简单图像分割效果较好，也能将复杂图像中粘连的细胞分割开来。
综上所述，通过不同比例的可视化结果表明，本发明方法SemiDBNet在细胞边缘以及粘连细胞区域都取得了较好的分割效果，且分割结果更加精细。
此外，本发明还进行消融实验，通过消融实验验证了各部分关键设计的有效性。
本发明所提出的SemiDBNet方法采用对抗训练、半监督学习以及双分支网络结构进行网络训练。为了验证不同关键设计的有效性，以1/4有标签数据为例，通过实验对各部分进行验证。其中，基线方法是指没有加入对抗训练的分割网络，训练过程相当于采用1/4有标签数据进行监督训练。加入对抗训练表示采用分割网络和判别网络进行对抗训练。
加入半监督学习表示采用1/4有标签数据和3/4无标签的数据进行半监督对抗训练，单分支网络表示去掉浅层分支的分割网络。无浅层连接表示直接将浅层分支和深层分支进行多尺度融合，无引导聚合表示将浅层连接后的结果与深层分支直接相加。
从表5看出，深层分支中缺少浅层细节特征，浅层分支的加入让分割准确率提升了1.29％，两个分支特征互补可以提高模型分割性能，对抗训练和半监督学习也在不同程度上提升了分割精度。将不同关键设计组合在一起，即本发明方法具有最优的分割性能。
表5不同关键设计对分割性能的影响
表6为本发明方法和AdvSemiSeg在1/4有标签数据集训练时的分割结果。
从基线上可以看出，本发明所提出的双分支分割网络，优于AdvSemiSeg的分割网络，对抗训练的加入使两种模型的方法都得到了一定提升，但本发明方法分割精度仍然优于AdvSemiSeg。除此之外，本发明方法参数量少，运行时间短。
表6模型性能比较
本发明方法中共有三个超参数：λadv、λsemi和Tsemi。
其中，λadv和λsemi分别为最小化多任务损失函数的对抗损失权重和半监督损失权重，Tsemi为置信度图的阈值，用于判断像素的预测结果是否可信。
为了验证λadv、λsemi和Tsemi对模型性能的影响，在1/4有标签的数据上进行训练，采用控制变量法进行分析。首先控制λadv和Tsemi的值保持不变，变化λsemi的值，再固定λadv和λsemi的值，变化Tsemi，最后控制λsemi和Tsemi的值，变化λadv的值。
表7显示了不同超参数的分割性能，如下所示：
表7不同超参数λadv、λsemi和Tsemi的比较
由表7能够看出，当λadv为0.01，λsemi为0.1，Tsemi为0.3时，本发明方法具有最高的准确率、召回率、F1分数，此时模型的分割性能最优。当λadv为0.001时，此时分割精度最差，反映出对抗训练的重要性，λsemi和Tsemi也在不同程度上影响着网络训练。
此外，本发明还提出了一种用于实现上述基于对抗训练的半监督双分支骨髓细胞图像分割方法的计算机设备。该计算机设备包括存储器和一个或多个处理器。
其中，在存储器中存储有可执行代码，处理器执行可执行代码时，用于实现上述基于对抗训练的半监督双分支骨髓细胞图像分割方法。
所述计算机设备为任意具备数据数据处理能力的设备或装置，此处不再赘述。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述基于对抗训练的半监督双分支骨髓细胞图像分割方法。
该计算机可读存储介质可以是任意具备数据处理能力的设备或装置的内部存储单元，例如硬盘或内存，也可以是任意具备数据处理能力的设备的外部存储设备，例如设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。
Claims (8)
1.基于对抗训练的半监督双分支骨髓细胞图像分割方法，其特征在于，
包括如下步骤：
步骤1.收集骨髓细胞图像，将骨髓细胞图像划分为训练集、验证集和测试集；在训练过程中，将训练集数据分为有标签图像和无标签图像两部分；
步骤2.搭建基于对抗训练的半监督双分支骨髓细胞图像分割模型；
其中，搭建的半监督双分支骨髓细胞图像分割模型包括分割网络以及判别器网络；
分割网络包括双分支结构、特征聚合模块以及第一上采样模块；
双分支结构包括一个深层分支和一个浅层分支；
深层分支包括第一卷积模块、FMBConv模块、MBConv模块和自适应平均池化模块；第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块依次连接；
浅层分支由第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块组成；其中，第二卷积模块、第三卷积模块以及第四卷积模块依次连接；
FMBConv模块的输出与第四卷积模块的输出相加后与第五卷积模块的输入端相连；
自适应平均池化模块与第五卷积模块的输出端分别连接至特征聚合模块；
特征聚合模块、第一上采样模块以及判别器网络依次相连；判别网络采用全卷积神经网络，其输入为分割网络预测结果或经过one-hot编码的真实标签，输出为置信度图；
步骤3.基于对抗训练的半监督双分支骨髓细胞图像分割模型训练；
首先使用有标签图像进行监督训练，基于对抗训练的半监督双分支骨髓细胞图像分割模型由交叉熵损失和对抗损失来训练，分割网络和判别网络参数联合更新；
然后使用无标签图像进行半监督训练，利用判别网络发现无标签分割预测结果的可靠区域，并将其作为伪标签来监督分割网络，完成半监督学习过程；
所述步骤3中，判别网络的损失函数LD如公式(1)所示：
LD＝-(∑h，w(1-yn)log(1-D(G(Xn))(h，w))+ynlog(D(Yn)(h，w))) (1)
其中，yn表示判别网络的输入，yn＝0则表示判别网络的输入来自分割网络预测结果，yn＝1则表示判别网络的输入来自真实标签；
Xn表示输入的骨髓细胞图像，维度为H×W×3的彩色图像，G(Xn)为分割网络的分割预测结果，维度为H×W×C，其中，C表示分割类别数；
D(G(Xn))表示将分割预测结果送到判别网络的输出，得到H×W×1的置信度图，置信度图表示分割预测结果中接近真实标签的区域；
Yn表示经过one-hot编码的真实标签；
D(Yn)(h，w)是one-hot编码后的真实标签Yn在位置(h，w)处的置信度图；
所述步骤3中，对于有标签图像进行监督训练，分割网络的损失函数由Lce和Ladv加权组成，通过最小化多任务损失函数LG来训练分割网络；
LG＝Lce+λadvLadv (2)
其中，Lce为交叉熵损失函数，Ladv为对抗损失，λadv为对抗超参数，λadv的值越大表示对抗损失所占的比例越大，Lce交叉熵损失函数如公式(3)所示：
Lce＝-∑h，w∑c∈CYn (h，w，c)log(G(Xn)(h，w，c))； (3)
其中，Yn (h，w，c)表示Yn在位置(h，w，c)处的二值掩码图，G(Xn)(h，w，c)表示输入图像Xn在位置(h，w，c)处的分割预测结果；
对抗训练损失函数Ladv如公式(4)所示：
Ladv＝-∑h，wlog(D(G(Xn))(h，w)) (4)
当采用有标签图像和无标签图像进行半监督训练时，分割网络的损失函数由Lce、Ladv和Lsemi三者的加权组成，引入半监督损失函数Lsemi；
通过最小化多任务损失函数L’G来完成半监督训练；
L′G＝Lce+λadvLadv+λsemiLsemi (5)
其中，λsemi表示用于调整半监督学习损失函数所占的比重；
半监督分割损失函数Lsemi由公式(6)得到：
其中，是在位置(h，w，c)处经过one-hot编码的分割预测结果；D(G(Xn))(h，w)是Xn的分割预测结果在位置(h，w)处的置信度图；
如果c*＝argmaxcG(Xn)(h，w，c)，当c＝c*时，否则/>
Tsemi表示对置信度图进行二值化的阈值，I(·)为指示函数，通过设置阈值Tsemi来控制训练过程的敏感度，从而挑选出分割预测结果中哪些区域能够欺骗判别网络；
步骤4.利用训练好的模型对待分割的骨髓细胞图像进行图像分割，得到图像分割结果。
2.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述步骤3中，输入图像在分割网络中的处理过程为：
在深层分支，输入图像依次通过第一卷积模块、FMBConv模块、MBConv模块以及自适应平均池化模块，完成深层分支的全局上下文特征提取；
在浅层分支，输入图像依次经过第二卷积模块、第三卷积模块和第四卷积模块进行三次下采样，第四卷积模块的输出与FMBConv模块的输出相加，实现低级特征互补；
相加后的特征输入至第五卷积模块完成浅层分支的特征提取，通过特征聚合模块来融合深层分支和相加后的浅层分支的互补信息，捕获多尺度的特征信息；
最后，通过第一上采样模块的上采样操作将特征图映射到原始图像尺寸。
3.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述FMBConv模块包括第六卷积模块、第七卷积模块、第八卷积模块以及第一SE模块；
其中，第六卷积模块、第一SE模块以及第七卷积模块依次连接；
第六卷积模块和第八卷积模块的输入端与FMBConv模块的输入端相连；第七卷积模块的输出与第八卷积模块的输出相加后作为FMBConv模块的输出；
第六卷积模块和第八卷积模块采用3×3的卷积核，第七卷积模块采用1×1的卷积核。
4.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述MBConv模块包括第九卷积模块、第十卷积模块、第一深度卷积模块以及第二SE模块；第九卷积模块、第一深度卷积模块、第二SE模块以及第十卷积模块依次连接；
第九卷积模块的输入端与MBConv模块的输入端相连；
第九卷积模块的输入与第十卷积模块的输出相加后作为MBConv模块的输出；
第九卷积模块和第十卷积模块采用1×1的卷积核，第一深度卷积模块采用3×3的卷积核。
5.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述特征聚合模块包括第一层结构、第二层结构、乘法模块以及SUM模块；
第一层结构包括第二深度卷积模块、第十一卷积模块、第三深度卷积模块以及第十二卷积模块；该第一层结构上的各个卷积模块均采用3×3的卷积核；
深层分支的输出端分别连接至第二深度卷积模块和第十一卷积模块的输入端，浅层分支的输出端分别连接至第三深度卷积模块和第十二卷积模块的输入端；
第二层结构包括第十三卷积模块、平均池化模块、第二上采样模块以及第十四卷积模块；其中，第十三卷积模块以及第十四卷积模块均采用1×1的卷积核；
第二深度卷积模块的输出端与第十三卷积模块的输入端相连，第十一卷积模块的输出端与平均池化模块的输入端相连，第十二卷积模块的输出端与第二上采样模块相连；
第三深度卷积模块的输出端与第十四卷积模块的输入端相连；
第二上采样模块为4倍上采样；
乘法模块有两个，分别为第一乘法模块和第二乘法模块；
第十三卷积模块的输出端与第二上采样模块的输出端连接至第一乘法模块的输入端，第十四卷积模块的输出端与平均池化模块的输出端连接至第二乘法模块的输入端；
第一乘法模块和第二乘法模块的输出连接至SUM模块上。
6.根据权利要求1所述的半监督双分支骨髓细胞图像分割方法，其特征在于，
所述全卷积神经网络由5层卷积层组成；
各层卷积核的大小为4×4，步长为2，其中，前四层卷积层后都有Leaky ReLU激活函数，在卷积层后不进行池化和批归一化操作，最后通过上采样操作恢复图像尺寸。
7.一种计算机设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，
实现如上述权利要求1至6任一项所述的半监督双分支骨髓细胞图像分割方法。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，实现如上述权利要求1至6任一项所述的半监督双分支骨髓细胞图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211168478.6A CN115527031B (zh) | 2022-09-16 | 2022-09-16 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211168478.6A CN115527031B (zh) | 2022-09-16 | 2022-09-16 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115527031A CN115527031A (zh) | 2022-12-27 |
| CN115527031B true CN115527031B (zh) | 2024-04-12 |
Family
ID=84700335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211168478.6A Active CN115527031B (zh) | 2022-09-16 | 2022-09-16 | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115527031B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN113326799A (zh) * | 2021-06-22 | 2021-08-31 | 长光卫星技术有限公司 | 基于EfficientNet网络和方向学习的遥感影像道路提取方法 |
| CN114119516A (zh) * | 2021-11-14 | 2022-03-01 | 北京工业大学 | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 |
| CN114266898A (zh) * | 2022-01-11 | 2022-04-01 | 辽宁石油化工大学 | 一种基于改进EfficientNet的肝癌识别方法 |
| CN114639020A (zh) * | 2022-03-24 | 2022-06-17 | 南京信息工程大学 | 一种图像的目标物的分割网络、分割系统及其分割装置 |
| WO2022166069A1 (zh) * | 2021-02-03 | 2022-08-11 | 上海商汤智能科技有限公司 | 深度学习网络确定方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-16 CN CN202211168478.6A patent/CN115527031B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| WO2022166069A1 (zh) * | 2021-02-03 | 2022-08-11 | 上海商汤智能科技有限公司 | 深度学习网络确定方法、装置、电子设备及存储介质 |
| CN113326799A (zh) * | 2021-06-22 | 2021-08-31 | 长光卫星技术有限公司 | 基于EfficientNet网络和方向学习的遥感影像道路提取方法 |
| CN114119516A (zh) * | 2021-11-14 | 2022-03-01 | 北京工业大学 | 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法 |
| CN114266898A (zh) * | 2022-01-11 | 2022-04-01 | 辽宁石油化工大学 | 一种基于改进EfficientNet的肝癌识别方法 |
| CN114639020A (zh) * | 2022-03-24 | 2022-06-17 | 南京信息工程大学 | 一种图像的目标物的分割网络、分割系统及其分割装置 |
Non-Patent Citations (7)
| Title |
|---|
| A Multi-Branch Feature Fusion Strategy Based on an Attention Mechanism for Remote Sensing Image Scene Classification;Cuiping Shi et al.;《Remote Sensing》;20210517;第13卷;全文 * |
| Bone Marrow Cell Segmentation Based on Improved U-Net;Lingmin Jin et al.;《Data Mining and Big Data》;20211031;第89–99页 * |
| Semi-Supervised Leukocyte Segmentation Based on Adversarial Learning With Reconstruction Enhancement;Shenghua Teng et al.;《IEEE Transactions on Instrumentation and Measurement》;20220713;第71卷;第1-11页 * |
| 基于双路径和空洞空间金字塔池化的血液白细胞分割;李佐勇 等;《生物医学工程学杂志》;20220630;第39卷;全文 * |
| 基于双边融合的医学图像分割算法;梁礼明 等;《激光与光电子学进展》;20220430;第59卷;全文 * |
| 程凯 ; 王妍 ; 刘剑飞 ; .基于生成对抗网络的自动细胞核分割半监督学习方法.计算机应用.(10),全文. * |
| 面向心血管疾病辅助诊断的医学图像分割与分类算法研究;张冉;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;20210115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115527031A (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
| Wu et al. | Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation | |
| CN114730463A (zh) | 用于组织图像分类的多实例学习器 | |
| Hussain et al. | Cascaded regression neural nets for kidney localization and segmentation-free volume estimation | |
| US20220058839A1 (en) | Translation of images of stained biological material | |
| US20220237789A1 (en) | Weakly supervised multi-task learning for cell detection and segmentation | |
| CN113421240B (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| CN117015796A (zh) | 处理组织图像的方法和用于处理组织图像的系统 | |
| CN115601602A (zh) | 癌症组织病理图像分类方法、系统、介质、设备及终端 | |
| He et al. | Segmentation ability map: Interpret deep features for medical image segmentation | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
| Benazzouz et al. | Modified U‐Net for cytological medical image segmentation | |
| Saikumar et al. | A Deep Convolutional Neural Network-Based Heart Diagnosis for Smart Healthcare Applications | |
| CN116884597A (zh) | 基于自监督预训练和多示例学习的病理图像乳腺癌分子分型方法及系统 | |
| CN115527031B (zh) | 骨髓细胞图像分割方法、计算机设备以及可读存储介质 | |
| CN116228731A (zh) | 一种多对比学习冠状动脉高危斑块检测方法、系统及终端 | |
| Iqbal et al. | LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| Nanni et al. | Deep ensembles and data augmentation for semantic segmentation | |
| Yang et al. | Leveraging auxiliary information from emr for weakly supervised pulmonary nodule detection | |
| Zghal et al. | Diagnosis of melanoma based on the sparse auto-encoder for feature extraction | |
| Varanka | Facial micro-expression recognition with noisy labels | |
| Baskar | DeepNet model empowered cuckoo search algorithm for the effective identification of lung cancer nodules | |
| Chelluboina et al. | CATDSNet: Computer Aided Tongue Diagnosis System for Disease Prediction Using Hybrid Extreme Learning Machine. | |
| Mukherjee | Pattern Recognition and Machine Learning as a Morphology Characterization Tool for Assessment of Placental Health |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |