CN117765532B - 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 - Google Patents
基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 Download PDFInfo
- Publication number
- CN117765532B CN117765532B CN202410194528.0A CN202410194528A CN117765532B CN 117765532 B CN117765532 B CN 117765532B CN 202410194528 A CN202410194528 A CN 202410194528A CN 117765532 B CN117765532 B CN 117765532B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- model
- image
- integrated
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 228
- 210000001821 langerhans cell Anatomy 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 157
- 210000004027 cell Anatomy 0.000 claims abstract description 43
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims abstract description 23
- 210000004087 cornea Anatomy 0.000 claims abstract description 20
- 230000000877 morphologic effect Effects 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000010354 integration Effects 0.000 claims abstract description 10
- 210000004126 nerve fiber Anatomy 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 68
- 238000012795 verification Methods 0.000 claims description 58
- 238000004821 distillation Methods 0.000 claims description 43
- 238000000942 confocal micrograph Methods 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013140 knowledge distillation Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 230000032823 cell division Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 208000021921 corneal disease Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010013774 Dry eye Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010015958 Eye pain Diseases 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 208000023715 Ocular surface disease Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000011748 cell maturation Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000037451 immune surveillance Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 206010023332 keratitis Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置，属于医学影像分割领域，包括：获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，并进行数据预处理，建立朗格汉斯细胞分割金标准，构建模型训练数据集；设计基于膨胀加持的集成学习策略，用于突出图像分割目标，屏蔽背景信息；设计基于原图引导的发散感知与集成增强策略，增强模型对朗格汉斯细胞形态特征的学习，提升模型分割效果；基于最终分割图，对细胞密度、数量、成熟度等形态学参数进行量化，以提供临床分析。本发明提出的分割方法能够屏蔽IVCM图像中的伪影和噪声信息，减少模型误分割与欠分割率，从而提升朗格汉斯细胞的分割精度和效率。
Description
技术领域
本发明属于医学影像分割领域，具体涉及一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置。
背景技术
干眼病（DED）是一种多因素、基于免疫的眼表炎症性疾病，主要症状包括眼部不适、干燥、疼痛和泪液成分的改变，DED对患者的视力和生活质量有重大影响。干眼症患者中朗格汉斯细胞的密度明显增加，且伴有眼痛的干眼症患者具有更多的成熟的朗格汉斯细胞。除此之外，朗格汉斯细胞能够呈递抗原并且在角膜中起到免疫监视作用。在病毒性角膜炎、无菌炎症和角膜移植炎症反应等均存在一定程度活化，参与疾病的发生发展。
研究表明，角膜朗格汉斯细胞形态学指标评估对于角膜疾病患者的诊断过程至关重要。阈值法、聚类法、边缘检测器等基于区域或边缘的传统检测方法通常被用在角膜朗格汉斯细胞检测中，然而上述方法通常具有较低的检测精度且容易受图像拍摄质量的限制，这在很大程度上给角膜朗格汉斯细胞的量化分析引入了大量不确定性因素。
此外，朗格汉斯细胞的形态学分析需要大量角膜朗格汉斯细胞的数据作为支撑。然而，依靠人工基于视觉上对朗格汉斯细胞进行指标量化分析需要纳入大量繁重工作且人工提取的特定角膜疾病特征通常不能迁移到其他角膜疾病分析中。
活体角膜激光共聚焦显微镜（IVCM）是一种非侵入性光学成像方式，可用于朗格汉斯细胞组织学可视化。由于IVCM具有高分辨率成像等特点，在临床上被广泛用于各种眼表疾病诊断。传统的朗格汉斯细胞分割方法准确度较低，直接用于临床分析不够准确。全自动角膜朗格汉斯细胞分割意味着可以快速精确获得分割结果，并允许对朗格汉斯细胞形态学特征进行量化，如细胞密度，细胞数量以及细胞成熟度。这使得临床更容易获得诊断分层的潜在生物标志物，并且量化参数还可用于后续疾病相关性分析，发病机制探索以及药物开发等工序提供高精度可靠的辅助信息。
基于上述背景，公开号为CN115830327A的专利文献公开了一种跨模态通用细胞实例分割方法，包括：(1)基于目标检测和语义分割的两阶段细胞实例分割方法，先对图像进行预处理，然后使用目标检测模型得到边界框集合，再使用语义分割网络得到分割掩膜，最后将分割结果聚合得到最终的分割结果；(2)基于伪标签学习的半监督训练流程，训练流程的步骤包括微调预训练模型，生成伪标签，在伪标签和扩增的有标记数据混合数据集上重新微调预训练模型，得到最终模型。但是，该发明需要先使用目标检测模型，得到细胞的边界框，然后再将语义分割结果进行拼接，这种方法较为繁琐，需要额外计算复杂度以及推理时间且该算法容易错误的识别相似度噪声，不利于临床落地应用。
公开号为CN116229457A的专利文献公开了一种基于卷积神经网络的多模态显微图像细胞分割方法，包括：1)收集及标注多模态显微镜细胞图像数据集；2)生成细胞分割数据集中间监督目标；3)构建启发式模态分析器；4)构建基于检测框的深度卷积网络细胞分割分支；5)优化基于检测框的深度卷积网络细胞分割分支；6)处理难样本及构建分割质量估计模块；7)基于两步骤分水岭分割算法生成掩膜；8)自动选取分割结果。但是，该发明采用大量的图像运算，带来较高的计算复杂度，从而影响最终的分割精度，并且模型鲁棒性和泛化能力较差。
因此，亟需一种有高分割精度、且鲁棒性和泛化能力较好的角膜朗格汉斯细胞分割方法。
发明内容
本发明的目的是提供一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置，设计了基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，基于上述策略构建的角膜朗格汉斯细胞分割模型，能够直接对细胞进行分割，减少计算复杂度与推理时间，从而明显提升细胞分割精度和分割效率，同时模型具有较好的鲁棒性和泛化能力。
为实现上述发明目的，本发明提供的技术方案如下：
第一方面，本发明实施例提供的一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法，包括以下步骤：
步骤1：获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签；
步骤2：构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩模；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型；
步骤3：采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
本发明的技术构思为：针对目前业内尚无高质量的公开可用的朗格汉斯细胞分割金标准数据库的不足，本发明采集大量包含朗格汉斯细胞的角膜上皮下神经纤维丛影像并进行预处理，得到用于朗格汉斯细胞分割的金标准库。
除此之外，有实验证明，利用膨胀加持图像训练的模型相比于利用普通图像训练的模型在对相同测试集的普通图像测试时，测试结果显示前者具有更高的召回率；而对相同测试集上的膨胀加持图像测试时，前者能产生更高的准确率，因此，本发明设计了一种基于膨胀加持的集成学习策略，用于得到膨胀加持掩膜。
同时，为了提升用于角膜朗格汉斯细胞分割的分割模型的鲁棒性和泛化性，本发明进一步设计了一种基于噪声和集成学习的集成增强策略，通过对膨胀加持掩膜添加集成噪声和背景噪声，所述集成噪声中包含与训练集高度相似的非目标区域，所述背景噪声中包含与训练集相似度低的设备成像噪声或伪影，再将加噪的训练集膨胀加持图像输入分割模型进行训练，在训练过程中实现去噪，从而增强分割模型的鲁棒性和泛化能力。
又因为膨胀加持掩膜虽然能够提升分割精度和召回率，但是会缺失部分上下文语义信息，因此本发明还设计了一种基于蒸馏学习的感知发散策略，通过蒸馏学习，得到包含上下文语义信息的朗格汉斯细胞的分割图，计算蒸馏损失，同时还需要计算添加了上下文语义信息的分割图和金标准之间的分割损失，通过两个损失的最小化，得到训练好的分割模型。将训练好的分割模型用于实际推理，根据得到的朗格汉斯细胞分割图进行医学分析。
进一步的，步骤1中，所述的数据预处理，包括：对采集到的IVCM图像进行图像筛选，过滤掉质量明显过差的IVCM图像，再对剩余IVCM图像进行图像裁剪，以角膜朗格汉斯细胞所在区域为目标区域，裁剪掉非目标区域，最后对保留了目标区域的IVCM图像进行强度归一化，得到预处理IVCM图像，完成数据预处理。
进一步的，步骤1中，所述的建立用于朗格汉斯细胞分割的金标准库，具体为：
利用通用的细胞分割框架对数据集中的IVCM图像进行预分割，进一步分割出目标区域和非目标区域；
手动删除非目标区域中的像素，并且人工标记未检测到的目标区域中的目标像素，将得到的所有目标像素作为修正标签；
采用修正标签对细胞分割框架进行修正，得到微调后的细胞分割框架，采用微调后的细胞分割框架对数据集中的IVCM图像进行二次分割，得到二次分割结果；
将二次分割结果与修正标签叠加，人工删除错误的分割区域并对结果进行微调，得到金标准库。
进一步的，步骤2中，膨胀加持的定义为：
膨胀加持是指对图像的二值化分割结果进行指定像素的膨胀后，再与图像相乘的一种图像操作手段；
图像经过膨胀加持之后得到膨胀加持图像。
进一步的，步骤2中，所述的集成增强策略，具体为：
集成增强策略包含集成预测模块和噪声生成器；
所述集成预测模块，采用基于膨胀加持的集成学习策略，将训练集中的IVCM图像输入特征提取网络进行训练，得到每个训练轮次的权重模型，从中随机选取的N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到含有集成噪声的训练集膨胀加持掩模，所述集成噪声中包含与训练集高度相似的非目标区域；
所述噪声生成器，用于生成背景噪声，所述背景噪声中包含与训练集相似度低的设备成像噪声或伪影；
将背景噪声添加到含有集成噪声的训练集膨胀加持掩模中，得到训练集集成增强掩膜，训练集集成增强掩膜通过膨胀加持，得到训练集集成增强图像。
进一步的，步骤2中，所述的基于膨胀加持的集成学习策略，具体为：
将训练集、验证集和测试集输入分割模型，采用基于膨胀加持的集成学习策略，得到各自对应的膨胀加持掩膜；
当需要得到训练集膨胀加持掩模时，随机选取N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到N个预测图并相加，得到训练集膨胀加持掩膜；
当需要得到验证集膨胀加持掩模时，随机选取N个权重模型作为集成预测模块的子模型，将验证集中的IVCM图像输入集成子模型，得到N个预测图并相加，得到验证集膨胀加持掩膜；
当需要得到测试集膨胀加持掩模时，以验证集为指标，选取N个最优的权重模型作为集成预测模块的子模型，将测试集中的IVCM图像输入子模型，得到N个预测图并相加，得到测试集膨胀加持掩膜；
将测试集膨胀加持掩模、训练集膨胀加持掩模、验证集膨胀加持掩膜经过膨胀加持，分别得到对应的膨胀加持图像。
进一步的，步骤2中，所述的基于蒸馏学习的感知发散策略，具体为：
基于蒸馏学习的感知发散策略包含结构相同的学生模型和教师模型；
将训练集中的IVCM图像输入教师模型，提取上下文语义信息，得到包含上下文语义信息的软标签；
将训练集集成增强图像输入学生模型，得到朗格汉斯细胞的训练集分割图；
通过对教师模型与学生模型对应的中间层特征图以及软标签和训练集分割图进行知识蒸馏，使教师模型中包含的上下文语义信息添加到学生模型中，并计算教师模型和学生模型之间的蒸馏损失；
同时计算训练集分割图和训练集标签之间的分割损失，通过蒸馏损失和分割损失的最小化，得到训练好的分割模型，用于朗格汉斯细胞分割。
第二方面，为实现上述发明目的，本发明实施例还提供了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割装置，包括金标准库建立模块、模型构建及训练模块、模型运用模块；
所述金标准库建立模块用于获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签；
所述模型构建及训练模块用于构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩模；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型；
所述模型运用模块用于采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
第三方面，为实现上述发明目的，本发明实施例还提供了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现第一方面本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
第四方面，为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序使用计算机时，实现第一方面本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
本发明的有益效果如下：
(1)本发明针对目前业内尚无高质量的公开可用朗格汉斯细胞分割金标准数据库的不足，通过半自动化的方式，构建了首个大规模朗格汉斯细胞分割金标准库；
(2)由于膨胀加持图像在模型训练和测试中具有高召回率和准确率，本发明提出一种可用于测试阶段的基于膨胀加持的集成学习策略，将测试集通过基于膨胀加持的集成学习策略，突出图像分割目标，得到测试集膨胀加持掩膜，将测试集膨胀加持掩膜经过膨胀加持操作得到测试集膨胀加持图像，输入到分割模型中，因此，得到的分割图能够屏蔽背景信息，减少分割模型的误分割与欠分割率，具有较高的分割准确度；
(3)为了进一步的提升分割模型的鲁棒性和泛化能力，本发明还设计了一种集成增强策略，通过对膨胀加持掩膜进行加噪处理，使其包含集成噪声和背景噪声，其中，集成噪声中包含与训练集高度相似的非目标区域，背景噪声中包含与训练集相似度低的设备成像噪声或伪影，在分割模型训练过程中实现去噪，从而提升分割模型的鲁棒性和泛化能力；
(4)本发明首次提出一种基于蒸馏学习的感知发散策略，通过蒸馏学习将原图具有的丰富上下文信息优势与膨胀加持图像具有的低噪声干扰的优势结合起来，进一步提升朗格汉斯细胞分割的准确性，缓解了现有分割方法准确率低，分割效率低的问题；
(5)本发明设计的基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，对角膜朗格汉斯细胞直接进行分割，计算复杂度与推理时间相对较少，且膨胀加持操作屏蔽了背景噪声，能够更精确的分割细胞形态，有利于临床应用。
附图说明
图1是本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法的流程图。
图2是本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法的详细流程示意图。
图3是本发明实施例提供的基于膨胀加持的集成学习策略的流程示意图。
图4是本发明实施例提供的集成增强策略的结构示意图。
图5是本发明实施例提供的基于蒸馏学习的感知发散策略的流程示意图。
图6是本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
如图1、图2所示，实施例提供了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法，包括以下步骤：
S110，获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签。
考虑到目前业内尚无高质量的公开可用的朗格汉斯细胞分割金标准数据库，且训练一个全自动分割角膜朗格汉斯细胞模型需要大量包含朗格汉斯细胞的IVCM数据，训练分割模型金标准的缺乏是通用分割算法开发的第一个屏障。
为此，本发明首先收集包含大量朗格汉斯细胞的IVCM数据，构建数据库并进行数据预处理，包括：对采集到的IVCM图像进行图像筛选，过滤掉质量明显过差的IVCM图像，再对剩余IVCM图像进行图像裁剪，以角膜朗格汉斯细胞所在区域为目标区域，裁剪掉非目标区域，最后对保留了目标区域的IVCM图像进行强度归一化，得到预处理IVCM图像，完成数据预处理。将预处理后的数据集分为训练集、验证集和测试集。
再根据数据预处理后的IVCM图像，基于半自动化方法实现对朗格汉斯细胞像素级别的标记，构建金标准库，金标准库包括训练集标签和验证集标签。具体过程为：
(1)利用通用的细胞分割框架对预处理IVCM图像进行预分割，进一步分割出目标区域和非目标区域；
(2)手动删除非目标区域中的像素，并且人工标记未检测到的目标区域中的目标像素，将得到的所有目标像素作为修正标签；
(3)采用修正标签对细胞分割框架进行修正，得到微调后的细胞分割框架，采用微调后的细胞分割框架对预处理IVCM图像进行二次分割，得到二次分割结果；
(4)将二次分割结果与修正标签叠加，人工删除错误的分割区域并对结果进行微调，得到金标准库。
S120，构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩模；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型。
构建面向IVCM图像中朗格汉斯细胞分割的分割模型，本发明针对朗格汉斯细胞分割过程中常出现的分割精度不佳的问题，首创性地提出三种学习策略：一是基于膨胀加持的集成学习策略；二是集成增强策略，三是基于蒸馏学习的感知发散策略，以有效减少朗格汉斯细胞过分割与欠分割现象，提高朗格汉斯细胞分割的准确性。
下面对这三种策略分别进行阐述：
1）基于膨胀加持的集成学习策略
本发明首先提出膨胀加持的定义：膨胀加持是指对图像的二值化分割结果进行指定像素的膨胀后，再与图像相乘的一种图像操作手段。本实施例中提及到的膨胀加持掩膜指的是用于进行膨胀加持的掩膜，图像经过膨胀加持之后得到膨胀加持图像，不进行膨胀加持的图像称为普通图像。
IVCM图像中通常具有许多类似细胞形态的噪声，如神经串珠、微血管瘤等，这是许多传统方法失效的原因。实验证明，利用膨胀加持图像训练的模型相比于利用普通图像训练的模型在对相同测试集的普通图像测试时，测试结果显示前者具有更高的召回率；而对相同测试集上的膨胀加持图像测试时，前者能产生更高的准确率。
为此，本发明提出了一种基于膨胀加持的集成学习策略，目的是利用膨胀加持图像具有高召回率和高准确率的特性，在实际测试时通过生成测试集膨胀加持图像，以获取高准确率的分割结果。
本发明将训练集中的IVCM图像输入特征提取网络进行训练，得到每个训练轮次的权重模型，根据需求从中选取N个不同的权重模型作为集成预测模块的子模型，集成预测模块采取基于膨胀加持的集成学习策略，用于得到输入图像的膨胀加持掩膜。
本实施例中，对训练集进行训练的特征提取网络选用UNet网络，需要说明的是，当前主流的深度学习模型均可以替换UNet网络，对训练集进行特征提取。
如图3所示，为得到训练集膨胀加持掩膜，集成预测模块的子模型为包含一个UNet网络的特征提取网络，在得到训练集膨胀加持掩膜时，随机选择N个权重作为子模型的训练权重，并载入选取的N个训练权重，本实施例中，N=4，四个训练权重分别为、/>、/>和/>。将训练集依次通过4个训练权重下的子模型，分别得到预测图a、预测图b、预测图c、预测图d，将四个预测图相加，得到训练集膨胀加持掩膜。
当需要得到测试集膨胀加持掩模时，需要以验证集为指标，即根据训练集的IVCM图像输入特征提取网络得到的多个权重模型，将验证集中的IVCM图像输入多个权重模型中，得到预测图，基于所述验证集中的IVCM图像对应的验证集标签，分别计算多个预测图和验证集标签之间的损失，得到不同权重下的预测效果，从中选取N个最优的预测效果对应的权重模型，作为集成预测模块的子模型，将测试集中的IVCM图像输入子模型，得到N个预测图并相加，得到测试集膨胀加持掩膜。
而当需要得到验证集膨胀加持掩模时，随机选取N个权重模型作为集成预测模块的子模型，将验证集中的IVCM图像输入子模型，得到N个预测图并相加，得到验证集膨胀加持掩膜。
考虑到膨胀加持图像具有较小的感受野，且IVCM图像中噪声与细胞具有一定相似性，这会导致不同的膨胀加持图像具有不同的微调难度。示意性的，本实施例具体以10像素为膨胀间隔，测试了十组不同膨胀加持图像微调的难易程度，综合衡量分割准确度、漏检率、误检率以及视觉指标，然后确定膨胀加持图像以及子模型的训练权重，其中子模型的训练权重选择必须保证召回率为1，以防止目标区域在未分割前被去除。
2）集成增强策略
为了进一步提升朗格汉斯细胞分割的鲁棒性与泛化性，本发明仿照测试集膨胀掩膜生成过程设计了一种集成增强策略。如图4所示，集成增强策略包含集成预测模块和噪声生成器，通过噪声生成器生成噪声给膨胀加持掩膜加噪，得到加噪的膨胀加持掩膜，经过膨胀加持处理得到集成增强图像。
噪声生成器用于生成背景噪声，集成预测模块用于生成包含集成噪声的训练集膨胀加持掩模，集成噪声中主要包含与目标高度相似的神经纤维串珠、微神经瘤等非目标区域，而背景噪声主要是包含与目标相似度较低的设备成像噪声或者伪影。
为了更好的模仿集成噪声与背景噪声，在噪声生成器生成背景噪声的时候，生成方式为随机选择其他细胞标签并将其纳入到训练集、验证集膨胀加持掩膜中，用于模拟具有细胞形态的随机噪声。
在采用集成预测模块生成含有集成噪声的训练集膨胀加持掩模的时候，生成方式为随机选择四个权重模型作为集成预测模块的子模型，将得到预测图相加，得到含有集成噪声的训练集膨胀加持掩模。
将背景噪声添加到含有集成噪声的训练集膨胀加持掩模中，得到训练集集成增强掩膜，训练集集成增强掩膜通过膨胀加持，得到训练集集成增强图像。
3）基于蒸馏学习的感知发散策略
实验证明，膨胀加持的图像具有更少的上下文信息，相比于原图微调更为困难。为了降低微调难度，本发明进一步设计了一种基于蒸馏学习的感知发散策略，目的是将原图具有的丰富上下文优势纳入到膨胀加持图像中，进一步增强模型的鲁棒性与泛化性，同时提升分割精度。感知发散模型采用基于蒸馏学习的感知发散策略。
如图5所示，将训练集集成增强图像输入学生模型中，得到分割图，将分割模型最开始的输入IVCM图像，即得到训练集集成增强图像对应的IVCM图像，输入教师模型，提取其中的上下文语义信息，得到软标签。
学生模型与教师模型结构相同，对教师模型与学生模型对应的中间层特征图以及软标签和训练集分割图进行知识蒸馏，使教师模型中包含的上下文语义信息添加到学生模型中，计算教师模型与学生模型之间的蒸馏损失，本实施例中，蒸馏损失采用L2norm函数。此外，计算训练集分割图与训练集标签之间的分割损失，本实施例中，分割损失采用Dice与交叉熵结合的联合损失函数，通过蒸馏损失和分割损失的最小化，得到训练好的分割模型（学生模型）。
S130，采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
采用验证集及验证集标签对训练好的模型进行验证，对训练好的模型参数进行进一步微调，以验证集上性能指标最好的轮次作为最终的分割模型。
将最终的分割模型用于测试集的细胞分割任务时，需要获得测试集膨胀加持掩膜，具体为：
将训练集输入UNet网络中进行训练，得到每个训练轮次的权重模型，以验证集为指标，从中选取准确度最高的前4个权重模型，将这4个权重模型作为集成预测模块的子模型。
将测试集输入子模型中，分别得到对应的四张预测图，相加之后得到测试集膨胀加持掩膜，采取集成增强策略对测试集膨胀加持掩膜进行加噪，再经过膨胀加持操作，得到测试集膨胀加持图像，以测试集膨胀加持图像作为学生模型的输入，得到最终的测试集朗格汉斯细胞的分割图。
根据测试集朗格汉斯细胞的分割图，对测试集朗格汉斯细胞的细胞密度、细胞数量以及细胞成熟度等形态学参数进行量化，为医生的临床分析提供支撑。
基于同样的发明构思，本发明实施例还提供了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割装置600，如图6所示，包括金标准库建立模块610、模型构建及训练模块620、模型运用模块630；
其中，金标准库建立模块610用于获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签；
模型构建及训练模块620用于构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩模；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型；
模型运用模块630用于采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
对于本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割装置而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
基于同样的发明构思，实施例还提供了一种基于共聚焦显微图像的角膜朗格汉斯细胞分割设备，包括存储器和处理器，其中，存储器用于存储计算机程序，处理器用于当执行所述计算机程序时，实现上述基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
本发明实施例提出的基于共聚焦显微图像的角膜朗格汉斯细胞分割设备可以为诸如计算机等设备。设备实施例能够通过软件实现，也能够通过硬件或者软硬件结合的方式实现。以软件实现为例，是通过其所在任意具备数据处理能力的设备的处理器，将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了处理器、内存、网络接口、以及非易失性存储器之外，本发明实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
基于同样的发明构思，实施例还提供了一种计算机可读的存储介质，存储介质上存储有计算机程序，计算机程序使用计算机时，实现上述基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
需要说明的是，上述实施例提供的基于共聚焦显微图像的角膜朗格汉斯细胞分割装置、基于共聚焦显微图像的角膜朗格汉斯细胞分割设备和计算机可读的存储介质，均与基于共聚焦显微图像的角膜朗格汉斯细胞分割方法实施例属于同一构思，其具体实现过程详见基于共聚焦显微图像的角膜朗格汉斯细胞分割方法实施例，这里不再赘述。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于共聚焦显微图像的角膜朗格汉斯细胞分割方法，其特征在于，包括以下步骤：
步骤1：获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签；
步骤2：构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩膜；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型；
膨胀加持的定义为：
膨胀加持是指对图像的二值化分割结果进行指定像素的膨胀后，再与图像相乘的一种图像操作手段；
图像经过膨胀加持之后得到膨胀加持图像；
所述的集成增强策略，具体为：
集成增强策略包含集成预测模块和噪声生成器；
所述集成预测模块，采用基于膨胀加持的集成学习策略，将训练集中的IVCM图像输入特征提取网络进行训练，得到每个训练轮次的权重模型，从中随机选取的N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到含有集成噪声的训练集膨胀加持掩膜，所述集成噪声中包含与训练集高度相似的非目标区域；膨胀加持掩膜指的是用于进行膨胀加持的掩膜；
所述噪声生成器，用于生成背景噪声，所述背景噪声中包含与训练集相似度低的设备成像噪声或伪影；
将背景噪声添加到含有集成噪声的训练集膨胀加持掩膜中，得到训练集集成增强掩膜，训练集集成增强掩膜通过膨胀加持，得到训练集集成增强图像；
所述的基于膨胀加持的集成学习策略，具体为：
将训练集、验证集和测试集输入分割模型，采用基于膨胀加持的集成学习策略，得到各自对应的膨胀加持掩膜；
当需要得到训练集膨胀加持掩膜时，随机选取N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到N个预测图并相加，得到训练集膨胀加持掩膜；
当需要得到验证集膨胀加持掩膜时，随机选取N个权重模型作为集成预测模块的子模型，将验证集中的IVCM图像输入集成子模型，得到N个预测图并相加，得到验证集膨胀加持掩膜；
当需要得到测试集膨胀加持掩膜时，以验证集为指标，选取N个最优的权重模型作为集成预测模块的子模型，将测试集中的IVCM图像输入子模型，得到N个预测图并相加，得到测试集膨胀加持掩膜；
所述的基于蒸馏学习的感知发散策略，具体为：
基于蒸馏学习的感知发散策略包含结构相同的学生模型和教师模型；
将训练集中的IVCM图像输入教师模型，提取上下文语义信息，得到包含上下文语义信息的软标签；
将训练集集成增强图像输入学生模型，得到朗格汉斯细胞的训练集分割图；
通过对教师模型与学生模型对应的中间层特征图以及软标签和训练集分割图进行知识蒸馏，使教师模型中包含的上下文语义信息添加到学生模型中，并计算教师模型和学生模型之间的蒸馏损失；
同时计算训练集分割图和训练集标签之间的分割损失，通过蒸馏损失和分割损失的最小化，得到训练好的分割模型，用于朗格汉斯细胞分割；
步骤3：采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
2.根据权利要求1所述的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法，其特征在于，步骤1中，所述的数据预处理，包括：对采集到的IVCM图像进行图像筛选，过滤掉质量明显过差的IVCM图像，再对剩余IVCM图像进行图像裁剪，以角膜朗格汉斯细胞所在区域为目标区域，裁剪掉非目标区域，最后对保留了目标区域的IVCM图像进行强度归一化，得到预处理IVCM图像，完成数据预处理。
3.根据权利要求1所述的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法，其特征在于，步骤1中，所述的建立用于朗格汉斯细胞分割的金标准库，具体为：
利用通用的细胞分割框架对数据集中的IVCM图像进行预分割，进一步分割出目标区域和非目标区域；
手动删除非目标区域中的像素，并且人工标记未检测到的目标区域中的目标像素，将得到的所有目标像素作为修正标签；
采用修正标签对细胞分割框架进行修正，得到微调后的细胞分割框架，采用微调后的细胞分割框架对数据集中的IVCM图像进行二次分割，得到二次分割结果；
将二次分割结果与修正标签叠加，人工删除错误的分割区域并对结果进行微调，得到金标准库。
4.一种基于共聚焦显微图像的角膜朗格汉斯细胞分割装置，其特征在于，包括金标准库建立模块、模型构建及训练模块、模型运用模块；
所述金标准库建立模块用于获取IVCM设备拍摄的包含大量朗格汉斯细胞的角膜上皮下神经纤维丛影像，构建数据集并进行数据预处理，数据集包括训练集、验证集和测试集，建立用于朗格汉斯细胞分割的金标准库，金标准库包括训练集标签和验证集标签；
所述模型构建及训练模块用于构建用于角膜朗格汉斯细胞分割的分割模型，所述分割模型包含基于膨胀加持的集成学习策略、集成增强策略和基于蒸馏学习的感知发散策略，将训练集中的IVCM图像输入分割模型，采取基于膨胀加持的集成学习策略，得到训练集膨胀加持掩膜；采取集成增强策略，对训练集膨胀加持掩膜进行加噪处理，得到集成增强掩膜；采取基于蒸馏学习的感知发散策略，通过教师模型和学生模型之间的知识蒸馏，使学生模型学习到所述IVCM图像中的上下文语义信息，得到朗格汉斯细胞分割图，通过朗格汉斯细胞分割图和训练集标签之间的分割损失、教师模型和学生模型之间的蒸馏损失的最小化，得到训练好的分割模型；
膨胀加持的定义为：
膨胀加持是指对图像的二值化分割结果进行指定像素的膨胀后，再与图像相乘的一种图像操作手段；
图像经过膨胀加持之后得到膨胀加持图像；
所述的集成增强策略，具体为：
集成增强策略包含集成预测模块和噪声生成器；
所述集成预测模块，采用基于膨胀加持的集成学习策略，将训练集中的IVCM图像输入特征提取网络进行训练，得到每个训练轮次的权重模型，从中随机选取的N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到含有集成噪声的训练集膨胀加持掩膜，所述集成噪声中包含与训练集高度相似的非目标区域；膨胀加持掩膜指的是用于进行膨胀加持的掩膜；
所述噪声生成器，用于生成背景噪声，所述背景噪声中包含与训练集相似度低的设备成像噪声或伪影；
将背景噪声添加到含有集成噪声的训练集膨胀加持掩膜中，得到训练集集成增强掩膜，训练集集成增强掩膜通过膨胀加持，得到训练集集成增强图像；
所述的基于膨胀加持的集成学习策略，具体为：
将训练集、验证集和测试集输入分割模型，采用基于膨胀加持的集成学习策略，得到各自对应的膨胀加持掩膜；
当需要得到训练集膨胀加持掩膜时，随机选取N个权重模型作为集成预测模块的子模型，将训练集中的IVCM图像输入子模型，得到N个预测图并相加，得到训练集膨胀加持掩膜；
当需要得到验证集膨胀加持掩膜时，随机选取N个权重模型作为集成预测模块的子模型，将验证集中的IVCM图像输入集成子模型，得到N个预测图并相加，得到验证集膨胀加持掩膜；
当需要得到测试集膨胀加持掩膜时，以验证集为指标，选取N个最优的权重模型作为集成预测模块的子模型，将测试集中的IVCM图像输入子模型，得到N个预测图并相加，得到测试集膨胀加持掩膜；
所述的基于蒸馏学习的感知发散策略，具体为：
基于蒸馏学习的感知发散策略包含结构相同的学生模型和教师模型；
将训练集中的IVCM图像输入教师模型，提取上下文语义信息，得到包含上下文语义信息的软标签；
将训练集集成增强图像输入学生模型，得到朗格汉斯细胞的训练集分割图；
通过对教师模型与学生模型对应的中间层特征图以及软标签和训练集分割图进行知识蒸馏，使教师模型中包含的上下文语义信息添加到学生模型中，并计算教师模型和学生模型之间的蒸馏损失；
同时计算训练集分割图和训练集标签之间的分割损失，通过蒸馏损失和分割损失的最小化，得到训练好的分割模型，用于朗格汉斯细胞分割；
所述模型运用模块用于采用验证集及验证集标签对训练好的模型进行验证，以验证集上性能指标最好的轮次作为最终的分割模型，将测试集输入最终的分割模型，得到朗格汉斯细胞的测试集分割图，通过量化测试集分割图中朗格汉斯细胞的形态学参数，所述形态学参数包括细胞密度、数量以及成熟度，为临床分析提供支撑。
5.一种基于共聚焦显微图像的角膜朗格汉斯细胞分割设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-3任一项所述的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
6.一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现权利要求1-3任一项所述的基于共聚焦显微图像的角膜朗格汉斯细胞分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410194528.0A CN117765532B (zh) | 2024-02-22 | 2024-02-22 | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410194528.0A CN117765532B (zh) | 2024-02-22 | 2024-02-22 | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765532A CN117765532A (zh) | 2024-03-26 |
| CN117765532B true CN117765532B (zh) | 2024-05-31 |
Family
ID=90324053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410194528.0A Active CN117765532B (zh) | 2024-02-22 | 2024-02-22 | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765532B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108562A1 (zh) * | 2018-11-29 | 2020-06-04 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| CN113592783A (zh) * | 2021-07-08 | 2021-11-02 | 北京大学第三医院（北京大学第三临床医学院） | 角膜共聚焦图像中细胞基础指标的精准量化方法及装置 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| WO2022057078A1 (zh) * | 2020-09-21 | 2022-03-24 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
| CN114708286A (zh) * | 2022-06-06 | 2022-07-05 | 珠海横琴圣澳云智科技有限公司 | 基于伪标注动态更新的细胞实例分割方法和装置 |
| CN115393351A (zh) * | 2022-10-27 | 2022-11-25 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 |
| CN115393378A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市大数据研究院 | 一种低成本高效的细胞核图像分割方法 |
| CN115830592A (zh) * | 2022-08-12 | 2023-03-21 | 齐鲁工业大学 | 一种重叠宫颈细胞分割方法及系统 |
| CN115830327A (zh) * | 2022-12-19 | 2023-03-21 | 南京大学 | 一种跨模态通用细胞实例分割方法 |
| CN116188455A (zh) * | 2023-03-28 | 2023-05-30 | 长春理工大学 | 一种基于U-Net的乳腺癌细胞图像分割方法 |
| WO2023197612A1 (zh) * | 2022-04-15 | 2023-10-19 | 湖南大学 | 一种基于自动数据增广的医学图像分割方法 |
| WO2023230936A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京小米移动软件有限公司 | 图像分割模型的训练方法、图像分割方法和装置 |
| CN117351199A (zh) * | 2023-09-11 | 2024-01-05 | 华中科技大学 | 基于框标注训练的息肉分割模型建立方法及息肉分割方法 |
-
2024
- 2024-02-22 CN CN202410194528.0A patent/CN117765532B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020108562A1 (zh) * | 2018-11-29 | 2020-06-04 | 中国科学院深圳先进技术研究院 | 一种ct图像内的肿瘤自动分割方法及系统 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| WO2022057078A1 (zh) * | 2020-09-21 | 2022-03-24 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
| CN113592783A (zh) * | 2021-07-08 | 2021-11-02 | 北京大学第三医院（北京大学第三临床医学院） | 角膜共聚焦图像中细胞基础指标的精准量化方法及装置 |
| WO2023197612A1 (zh) * | 2022-04-15 | 2023-10-19 | 湖南大学 | 一种基于自动数据增广的医学图像分割方法 |
| WO2023230936A1 (zh) * | 2022-05-31 | 2023-12-07 | 北京小米移动软件有限公司 | 图像分割模型的训练方法、图像分割方法和装置 |
| CN114708286A (zh) * | 2022-06-06 | 2022-07-05 | 珠海横琴圣澳云智科技有限公司 | 基于伪标注动态更新的细胞实例分割方法和装置 |
| CN115830592A (zh) * | 2022-08-12 | 2023-03-21 | 齐鲁工业大学 | 一种重叠宫颈细胞分割方法及系统 |
| CN115393378A (zh) * | 2022-10-27 | 2022-11-25 | 深圳市大数据研究院 | 一种低成本高效的细胞核图像分割方法 |
| CN115393351A (zh) * | 2022-10-27 | 2022-11-25 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 |
| CN115830327A (zh) * | 2022-12-19 | 2023-03-21 | 南京大学 | 一种跨模态通用细胞实例分割方法 |
| CN116188455A (zh) * | 2023-03-28 | 2023-05-30 | 长春理工大学 | 一种基于U-Net的乳腺癌细胞图像分割方法 |
| CN117351199A (zh) * | 2023-09-11 | 2024-01-05 | 华中科技大学 | 基于框标注训练的息肉分割模型建立方法及息肉分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 动态生成掩膜弱监督语义分割;陈辰;唐胜;李锦涛;;中国图象图形学报;20200616(第06期);全文 * |
| 基于掩膜优化的多模态医学图像刚性配准;皮一飞;吴茜;裴曦;徐榭;;中国医学物理学杂志;20180925(第09期);全文 * |
| 皮一飞 ; 吴茜 ; 裴曦 ; 徐榭 ; .基于掩膜优化的多模态医学图像刚性配准.中国医学物理学杂志.2018,(第09期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765532A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| CN109447940B (zh) | 卷积神经网络训练方法、超声图像识别定位方法及系统 | |
| US11315241B2 (en) | Method, computer device and storage medium of fundus oculi image analysis | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN110189293A (zh) | 细胞图像处理方法、装置、存储介质及计算机设备 | |
| CN105160660A (zh) | 基于多特征高斯拟合的活动轮廓血管提取方法及系统 | |
| Hu et al. | Automatic artery/vein classification using a vessel-constraint network for multicenter fundus images | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| CN113576508B (zh) | 一种基于神经网络的脑出血辅助诊断系统 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113343755A (zh) | 红细胞图像中的红细胞分类系统及方法 | |
| Sarhan et al. | Utilizing transfer learning and a customized loss function for optic disc segmentation from retinal images | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN115578783A (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| Wang et al. | Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting | |
| US9785848B2 (en) | Automated staining and segmentation quality control | |
| CN118071688A (zh) | 一种实时脑血管造影质量评估方法 | |
| Van Do et al. | Segmentation of hard exudate lesions in color fundus image using two-stage CNN-based methods | |
| CN117934489A (zh) | 基于残差和金字塔切分注意力的眼底硬渗出物分割方法 | |
| CN117314935A (zh) | 基于扩散模型的低质量眼底图像的增强及分割方法及系统 | |
| CN116128854B (zh) | 一种基于卷积神经网络的髋关节超声图像质量评估方法 | |
| CN117765532B (zh) | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 | |
| CN111768420A (zh) | 一种细胞图像分割模型 | |
| CN114612669B (zh) | 一种医学图像炎症坏死占比的计算方法及装置 | |
| CN115908888A (zh) | 一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |