CN113450317A - 一种针对妇科临床微生物感染的免疫荧光图像检测方法 - Google Patents

Abstract

本发明公开了一种针对妇科临床微生物感染的免疫荧光图像检测方法，该方法通过采集真实镜下拍摄的病理样本图像建立数据集，并对数据进行针对性、高质量的扩充，以此为基础训练YOLO‑v5深度模型，用于与硬件设备协同进行临床检测，能够给出高质量AI智能检测分析结果。主要包括以下步骤：1)对采集得到的临床样本免疫荧光图像进行标注，制作用于模型训练和测试的数据集；2)进行预处理和数据增广，扩充数据集容量，覆盖实际应用中的各种场景；3)利用自建数据集对ImageNet预训练后的网络进行迁移训练；4)在验证集和测试集上对模型进行评估，指导模型进一步优化；5)对检测结果进行综合分析，判断病情阴阳性和严重程度，给出AI智能检测分析结果。

Description

一种针对妇科临床微生物感染的免疫荧光图像检测方法

技术领域

本发明属于医学图像处理中的病变检测技术领域，具体涉及一种针对妇科临床微生物感染的免疫荧光图像检测方法。

背景技术

由于妇科疾病发病率高，病情对生活质量影响大，进一步感染病变的风险高，女性健康受到严重损害。考虑到妇科病情普遍存在混合感染，临床中迫切需要准确区分病原微生物种类，而免疫荧光染色法简便快捷，具有高灵敏度和高特异性，能够得到清晰的标本图像，从而对病原微生物进行精确检测。但是当前的临床检测仍以人工判读为主，既耗费人力，效率低下，又会因人的主观判断而对临床评估造成一定影响。

为了更好地辅助妇科临床实践，准确识别病原微生物，AI智能医疗辅助信息分析成为热点需求。通过训练AI算法对病原样本免疫荧光图像进行智能检测能够克服人工判读效率低主观偏差大的缺陷，从而可以在临床实践中实现大量样本快速准确的检测。近年来医学图像处理领域常见的AI算法主要有基于目标检测和基于语义分割两种。基于目标检测的方法受制于矩形框的输出形式，对医学图像中的细粒度小目标和严重堆叠的病灶区域难以取得高精度的理想效果；基于语义分割的方法则具有数据标注难度大、运行速度慢、不适用于精确计数任务的缺陷。并且这些算法都是独立且通用的，没有与医疗检测设备紧密结合，不够简便实用。

针对临床需要和现有算法的问题，市场急需一种准确高效且能够与设备一体化对接的针对妇科临床微生物感染的免疫荧光图像检测方法。

发明内容

考虑到妇科临床微生物感染免疫荧光图像检测对于快速性、准确性、精细性的需求，针对数据样本不足，现有检测算法速度较慢、与实际医疗设备脱节的问题，本发明提供了一种针对妇科临床微生物感染的免疫荧光图像检测方法。

本发明采用如下技术方案来实现：

一种针对妇科临床微生物感染的免疫荧光图像检测方法，包括以下步骤：

1)采集临床样本的免疫荧光图像，标注检测目标，制作用于网络训练和测试的妇科临床微生物数据集；

2)对数据集进行预处理，扩充样本数量，特别是针对数目较少的类别进行数据增广；

3)利用预处理后的数据集对经过ImageNet预训练的YOLO-v5网络进行迁移训练；

4)将上述训练得到的YOLO-v5网络模型应用于验证集和测试集进行评估；

5)综合分析YOLO-v5模型的检测结果，对目标细胞进行计数并依照临床标准进行判别，得到检验信息供临床工作参考使用。

本发明进一步的改进在于，步骤1)的具体实现方法如下：妇科临床微生物检测项目分为A孔和B孔，对其中的目标进行归纳和定义：A孔检测目标为孢子和菌丝，在标注过程中区分孢子的不同阶段形态，将目标类别细分为孢子、芽生孢子和菌丝；B孔检测目标为上皮细胞、线索细胞、白细胞和滴虫，在标注过程中针对镜下图像的密集性和检测目标的不同形态，将目标类别细分为上皮细胞、有核线索细胞、无核线索细胞、聚集线索细胞、白细胞、白细胞和线索细胞堆叠、可见鞭毛滴虫和不可见鞭毛滴虫。

本发明进一步的改进在于，步骤2)在数据收集过程和数据预处理过程中进行数据增广：数据收集的过程中，除镜下拍摄荧光图片外，还针对难分负样本、普通负样本和镜头污染、虚焦、过曝、底片污染能够造成图像不理想的场景，通过数据搜索和预处理的方法获得新的独立图像，扩充数据集，从而增强网络模型的泛化性能；算法内的数据预处理过程中，通过翻转变换、随机修剪、平移变换、旋转变化、亮度变换、噪声扰动和随机裁切拼贴的方法，在不生成独立图像扩充数据集的情况下，增加模型训练过程中的数据多样性，进一步提升网络泛化能力，防止过拟合。

本发明进一步的改进在于，步骤3)权衡精度和速度，综合考虑模型性能后选取YOLO-v5检测网络，将ImageNet预训练后的模型迁移到妇科临床微生物感染的免疫荧光图像领域，利用步骤2)建立的数据集训练网络实现对妇科临床微生物感染的精准检测。

本发明进一步的改进在于，步骤4)将训练得到的模型在验证集和测试集反复实验评估，寻找到最优的超参数设置，并在实际使用中将模型通过libtorch部署，使算法能够与C++联合运行。

本发明进一步的改进在于，步骤5)在完成病原细胞的检测定位后，首先按类别对图像中的目标进行计数，在精确计数的基础上，根据临床领域的标准，综合分析给出相关病症的阴阳性判断结果和以加号数量为指标的严重程度，最终得出AI检验结果，供临床工作者参考使用。

本发明至少具有以下有益的技术效果：

本发明提供了一种针对妇科临床微生物感染的免疫荧光图像检测方法，有效地实现了针对镜下荧光染色的病理样本图像的快速准确检测。在临床使用中，对于镜下实时拍摄的待检测图像，在保证检测结果正确性和可靠性前提下，本方法能够在图像拍摄间隙完成检测，满足临床检测的实时性需求，为医学检验工作提供便捷可靠的智能支持。

进一步，本发明中的步骤1)选取临床检验中荧光染色样本的设备实拍图像，直接来源于实际使用的医疗检测设备，数据上与设备紧密对接；并且严格依照医学标准划分病原细胞类别，所建立的数据集准确可靠，完全符合临床实际，为模型方法提供坚实的数据基础。

进一步，本发明中的步骤2)针对医学图像获取难、样本少的问题，从数据获取和数据处理两方面对原始数据进行扩增，从而在保证数据可靠性、高质量的前提下，增加有效数据的数量，丰富数据多样性，能够有效减少模型训练的过拟合，提升模型泛化性。

进一步，本发明的步骤3)中，骨干网络YOLO-v5在ImageNet数据集上进行预训练，在自建的基于临床实拍的针对妇科临床微生物感染的免疫荧光图像数据集上进行迁移训练，网络模型能够对数据中的多种类别、大小各异的目标进行准确检测，并且端到端执行，无需额外操作，充分满足临床病理检验场景的使用需求。

进一步，本发明中的步骤4)通过验证集和测试集对训练得到的网络模型进行测试评估，逐图像逐类别地排查模型检测效果不佳的场景，根据性能表现对数据集的不足和网络的超参数作出针对性的改进，确保网络在实际使用过程中能够充分适应各种场景，发挥最佳性能。

进一步，本发明中的步骤5)在对目标准确检测和计数的基础上，与临床实践紧密结合，对不同的病原检测项差异化处理，依据制定的标准分别统筹分析得出各项病症的检测结果，最终同时输出AI智能分析结论和原始检测信息，既能发挥AI辅助医疗智能便捷的效率优势，又能保留原始信息供医生进行人在回路核验，具备可靠性。

综上所述，本发明针对妇科临床微生物感染的免疫荧光图像检测方法在检测准确性、模型泛化性和一体化程度上都有较为理想的提升，并且使用过程便捷高效，在妇科病理检测临床实践方面具有良好的应用价值。

附图说明

图1为本发明一种针对妇科临床微生物感染的免疫荧光图像检测方法的流程图。

图2为本发明基于临床实践进行的数据划分。

图3为本发明进行数据增广的具体过程。

图4为本发明与实际医疗检测设备一体化协同工作的流程图。

具体实施方式

下面结合附图对本发明进行详细阐述：

如图1所示，本发明提供的一种针对妇科临床微生物感染的免疫荧光图像检测方法，临床检测使用的20倍镜免疫荧光图像视野中，正常上皮细胞、受感染的线索细胞、病原体滴虫等检测目标具有完备形态，占据像素面积适中，适用于基于深度学习的检测算法。

该方法涵盖从数据采集与标注、数据处理与增广、模型选取与训练、模型调试与前向推理到检测结果分析与输出的全过程。

在所述的步骤1)中，实现了对镜下采集数据的标注，建立了可靠的妇科临床微生物感染免疫荧光图像数据集。

如图2所示，妇科临床微生物检测项目同时对两路样本进行检测，分别为A孔和B孔，其中A孔检测目标为孢子和菌丝，B孔检测目标类别为上皮细胞、线索细胞、白细胞和滴虫，给出具体检测类别和清晰的判定标准如下。A孔包括：孢子，荧光染色后呈蓝色，形态为独立、完整的圆形，具有清晰的细胞核结构；芽生孢子，孢子正在出芽分裂的特殊形态，特征是具有正在分裂的多个细胞核或多个孢子粘合聚集；菌丝，蓝色，具备分节的丝状形态，多伴生有孢子。B孔包括：上皮细胞，正常形态的体细胞，绿色高亮，细胞核明显；有核线索细胞，受到感染的独立细胞，呈橘红色，因受侵蚀边缘呈锯齿状，能够看清细胞核结构；无核线索细胞，同有核线索细胞相比看不到细胞核结构；聚集线索细胞，即难以区分独立个体，形成堆叠的多个线索细胞；白细胞，偏黄色，较上皮细胞体积小，具有三个分叶核；白细胞和线索细胞堆叠，即密集重叠无法区分的多个白细胞和线索细胞；可见鞭毛滴虫，呈倒梨形，颜色深，具有强荧光的类核，可见鞭毛结构；不可见鞭毛滴虫，同可见鞭毛滴虫相比观察不到鞭毛结构。

设备进行多次镜下实拍，获得A孔和B空的病理样本免疫荧光图像为2736像素×1824像素的rgb三通道彩色jpg图像，从中筛选涵盖典型视野、视野中出现水泡、视野中出现干迹、视野中出现玻片边缘、视野略微失焦等多种实际使用中可能出现的场景的图片纳入数据集。依照上述A、B孔检测目标的定义标准，以矩形框形式进行标注，最终标注A孔原始图像240幅，包含7000个目标，B孔原始图像500幅，包含1650个目标。标注信息与原始图像一一对应，以txt文件记录，文本中每行表示一个目标，具体记录了该目标的类别序号及其矩形框的左上、右下坐标，该坐标并非原像素值，而是归一化后的相对位置坐标，以12位小数表示。训练集与测试集比例为3:1。

在所述的步骤2)中，同时在算法外的数据收集过程和算法内的数据预处理过程中进行数据增广，从而扩充数据集多样性，提升模型泛化性，具体如图3所示。

在算法外的数据收集过程中进行数据增强，通过引擎搜索和图像处理的方式，直接扩充数据集规模，可以有效改善难分负样本、普通负样本、镜下图像视野不理想的问题。对于难分负样本，即典型的假阳性目标，一方面可通过在原图上涂抹假阳块的方式获得新图像，另一方面可以通过搜索引擎对假阳块进行图像检索，获得更多假阳性图像，从而对难分负样本进行数据扩增，增强对非特异性荧光的判别能力。对于普通负样本，包括阴性样本和与阴性样本相近的一些数据、常见的水泡等非细胞物体、其他非检测项目仍被染色的细胞，同样可以通过涂抹、拼接、检索同类图像的方式扩充这方面的数据，从而减少模型对这些负样本的敏感误判，减轻模型的过拟合程度。对于镜下图像视野不理想，即设备实际拍摄时由于显微镜镜头的污染、虚焦、过曝或底片污染等实际临床检验中可能出现的情况，可以通过涂抹、改变对比度等图像处理的方法进行模拟，增加这类样本的数量，使模型能够适应实际使用场景，增强泛化性能。通过数据收集扩充的图像包含于步骤1)所述建立的数据集中。

在算法内部的数据预处理过程中进行数据增强，通过翻转变换、随机修剪、平移变换、旋转变化、亮度变换、噪声扰动、随机裁切拼贴的方法，在仅有每次训练时加入，而不直接扩充数据集规模的情况下，可以有效提升数据多样性。具体地，在每次训练的数据预处理过程中：进行翻转变换，以50％的概率对图像进行水平方向的镜像对称翻转；进行随机修剪，以保留相对比例[0.7,1]的均匀概率分布对图像进行随机裁剪；进行平移变换，以相对比例为[-0.33,+0.33]的均匀概率分布对图像进行随机平移；进行旋转变换，绕图像中心点进行5度的逆时针旋转；进行亮度变换，全图在Δ∈{x|-60≤x≤80,x∈Z}范围内随机改变像素值；添加噪声扰动，服从均值为0，方差为σ²∈{25,36,49,64,81,100}范围内等概率取值的高斯分布；进行随机裁切拼贴，在所有典型目标中以均匀概率选随机选取2-5个，在典型背景上以均匀概率随机且不重复地拼贴到全图位置，得到新的图像。

在所述的步骤3)中，综合考虑妇科临床微生物感染的检测需求，特别是考虑到临床实践中实时拍摄实时检测的需求，选取性能高同时速度快的YOLO-v5网络作为检测模型。模型首先经过ImageNet数据集预训练，之后在步骤1)自行建立的数据集上进行迁移训练。迁移训练过程中采用如下超参数组合：初始学习率0.01，余弦退火超参数0.2，动量0.937，权重衰减系数0.0005，预热代数3代，预热动量0.8，预热学习率0.1，gIOU损失系数0.05，分类损失系数0.5，分类损失中正样本的权重1.0，有无物体损失的系数1.0，有无物体在损失函数中正样本的权重1.0，标签与预设anchor之间IOU阈值0.2。由于A孔和B孔检测项目不同，荧光染剂不同，镜下图像具有不同的特征和分布，因此针对A孔和B孔分别训练检测模型，经过测试集验证，训练取得的最佳模型性能如表1所示。

表1模型在测试集上的最佳性能

孔	最佳代数	precision	recall	mAP
					A	152	0.6187	0.9447	0.9050
B	154	0.7100	0.8576	0.8497

在所述的步骤4)中，通过验证集和测试集对训练得到的模型进行性能评估，一方面针对性能的不足进行数据和超参数的改进，另一方面帮助选取泛化性能最佳的模型。在一系列的实验测试中，既对模型超参数进行了微调，针对细胞检测目标小、较密集、相似度高的特点，调整了检测置信度和IOU阈值；又分别分析两孔检测性能，观察到A孔模型的检测错误主要为将背景检测为孢子，而B孔模型的主要错误是将背景检测为有核线索细胞和白细胞，对此一方面排查数据集中一些漏标的目标，改进标注标准，另一方面基于这些负样本进行数据扩充，具体如步骤2)和图3所示。经过评估调试的模型取得最佳性能如表1所示。

在所述的步骤5)中，对模型检测结果进行统计和分析，依据临床实际采用的精确标准，得出AI智能检测分析的结论，最终同时输出原始检测信息和AI分析信息供临床参考。原始检测信息以文本文件形式存储，每行对应一个检测目标，该目标由类别序号、坐标相对位置、置信度三方面信息表示。在此基础上，本方法对检测目标进行统计计数，获得每类目标的数目，并根据临床实际采用的标准作出智能分析，各项指标的标准如表2所示，其中镜下指20倍镜视野下。

表2各项指标智能分析标准

以表2为指导标准，对本方法分析得到的AI智能分析结果进行评估，得到评测结果如表3所示，其中准确率定义为：在A、B孔测试集上，算法检测分析得出的结论，即各检测项目的阴阳性和标识严重程度的加号数量，与严格依照表2标准得出的人工判断完全相符的图像张数占测试集总数的比例。由表3，仅存的问题是白细胞项加号数量的误判，对临床使用造成的影响小，且可由人工纠正，可见本方法进行AI智能检测分析的性能优异，准确可靠。

表3算法检测分析结果评估

孔	准确率	出现的问题
			A	100.00％	-
B	99.20％	将白细胞项1个加号误判为2个加号

最终的临床实践中，如图4所示，本方法与硬件设备一体化协作，由硬件设备摄取的病理样本染色图像作为输入，在拍摄间隙本方法进行病原细胞检测，分析得出AI智能检测分析结论，由类别序号、相对坐标、置信度组成的原始检测信息文本和针对所有检测项目的诊断结论作为输出，端到端自动完成，实现了简便高效，准确可靠的针对妇科临床微生物感染的免疫荧光图像检测。

Claims (6)

1.一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，包括以下步骤：

1)采集临床样本的免疫荧光图像，标注检测目标，制作用于网络训练和测试的妇科临床微生物数据集；

2)对数据集进行预处理，扩充样本数量，特别是针对数目较少的类别进行数据增广；

3)利用预处理后的数据集对经过ImageNet预训练的YOLO-v5网络进行迁移训练；

4)将上述训练得到的YOLO-v5网络模型应用于验证集和测试集进行评估；

5)综合分析YOLO-v5模型的检测结果，对目标细胞进行计数并依照临床标准进行判别，得到检验信息供临床工作参考使用。

2.根据权利要求1所述的一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，步骤1)的具体实现方法如下：妇科临床微生物检测项目分为A孔和B孔，对其中的目标进行归纳和定义：A孔检测目标为孢子和菌丝，在标注过程中区分孢子的不同阶段形态，将目标类别细分为孢子、芽生孢子和菌丝；B孔检测目标为上皮细胞、线索细胞、白细胞和滴虫，在标注过程中针对镜下图像的密集性和检测目标的不同形态，将目标类别细分为上皮细胞、有核线索细胞、无核线索细胞、聚集线索细胞、白细胞、白细胞和线索细胞堆叠、可见鞭毛滴虫和不可见鞭毛滴虫。

3.根据权利要求1所述的一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，步骤2)在数据收集过程和数据预处理过程中进行数据增广：数据收集的过程中，除镜下拍摄荧光图片外，还针对难分负样本、普通负样本和镜头污染、虚焦、过曝、底片污染能够造成图像不理想的场景，通过数据搜索和预处理的方法获得新的独立图像，扩充数据集，从而增强网络模型的泛化性能；算法内的数据预处理过程中，通过翻转变换、随机修剪、平移变换、旋转变化、亮度变换、噪声扰动和随机裁切拼贴的方法，在不生成独立图像扩充数据集的情况下，增加模型训练过程中的数据多样性，进一步提升网络泛化能力，防止过拟合。

4.根据权利要求1所述的一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，步骤3)权衡精度和速度，综合考虑模型性能后选取YOLO-v5检测网络，将ImageNet预训练后的模型迁移到妇科临床微生物感染的免疫荧光图像领域，利用步骤2)建立的数据集训练网络实现对妇科临床微生物感染的精准检测。

5.根据权利要求1所述的一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，步骤4)将训练得到的模型在验证集和测试集反复实验评估，寻找到最优的超参数设置，并在实际使用中将模型通过libtorch部署，使算法能够与C++联合运行。

6.根据权利要求1所述的一种针对妇科临床微生物感染的免疫荧光图像检测方法，其特征在于，步骤5)在完成病原细胞的检测定位后，首先按类别对图像中的目标进行计数，在精确计数的基础上，根据临床领域的标准，综合分析给出相关病症的阴阳性判断结果和以加号数量为指标的严重程度，最终得出AI检验结果，供临床工作者参考使用。

Images