CN112634257B - 一种真菌荧光检测方法 - Google Patents
一种真菌荧光检测方法 Download PDFInfo
- Publication number
- CN112634257B CN112634257B CN202011623620.2A CN202011623620A CN112634257B CN 112634257 B CN112634257 B CN 112634257B CN 202011623620 A CN202011623620 A CN 202011623620A CN 112634257 B CN112634257 B CN 112634257B
- Authority
- CN
- China
- Prior art keywords
- image
- mask image
- blastospores
- hyphae
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 241000233866 Fungi Species 0.000 title claims abstract description 34
- 238000001917 fluorescence detection Methods 0.000 title claims abstract description 20
- 238000012216 screening Methods 0.000 claims abstract description 77
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 230000010244 detection of fungus Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 5
- 238000000137 annealing Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000003275 diaphysis Anatomy 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 18
- 230000003902 lesion Effects 0.000 description 5
- 208000015181 infectious disease Diseases 0.000 description 3
- 208000031888 Mycoses Diseases 0.000 description 2
- 230000034303 cell budding Effects 0.000 description 2
- 230000002538 fungal effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 244000052769 pathogen Species 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010017533 Fungal infection Diseases 0.000 description 1
- 206010046914 Vaginal infection Diseases 0.000 description 1
- 201000008100 Vaginitis Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 206010047601 Vitamin B1 deficiency Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000002894 beriberi Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种真菌荧光检测方法,方法的步骤中包括:降低真菌的原医疗图像的分辨率,得初筛输入图像;将初筛输入图像输入初筛算法中,通过初筛算法输出带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;寻找病灶掩膜图像中白色区域对应的最小外接矩形框;在原医疗图像中将最小外接矩形框内对应的图像裁剪、缩放、填充后,得精筛输入图像;将精筛输入图像输入精筛算法中,通过精筛算法输出对应的病灶判定掩膜图像;根据病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值,判定对应区域内是否存在菌丝和/或芽生孢子;其中,初筛算法和精筛算法采用基于弱监督学习的语义分割模型。它提高了检测精度、降低了误检率并且具有较好实时性。
Description
技术领域
本发明涉及一种真菌荧光检测方法,属于生物医疗检测技术领域和计算机视觉领域。
背景技术
目前,在生物医疗中,造成人感染疾病的病原体通常有细菌、真菌、病毒等。其中,真菌是一个十分常见的、感染性强的病原体,比如脚气是由真菌感染引起的。在生物医疗检测分析中,通过荧光试剂将真菌进行染色,在使用特定的光对载玻片进行荧光激发,最终通过生物荧光成像设备采集得到可用于分析患者感染情况的生物医疗图像。
真菌的形态通常分为孢子以及菌丝,出现菌丝代表患者感染严重,孢子则是轻微。孢子到菌丝的转换之间存在芽生孢子这一种变化过程,通过检测医疗图像中的芽生孢子以及菌丝,则可以精确的分析出患者的感染情况。以妇科阴道炎中的真菌感染为例,如图1(a)所示,方框内是菌丝,图1(b)中方框所示的是芽生孢子,判断是否是菌丝的标准是看菌丝内是否有横鬲,即图1(a)中圆圈标识物;而判断是否是芽生孢子,则看孢子是否有出芽。
通过上述介绍,很直观地感受到:真菌医疗图像分析中的特异性特征非常的小,以图1(a)、1(b)为例,图像分辨率大小为1824*2720,但真菌的横鬲占据的像素点只有8*8左右,芽生孢子占据的像素点则更小。现如今的生物医疗图像分析算法通常采用目标检测中经典的算法如fasterrcnn、yolo系列或者语义分割中经典的算法如FCN、Unet等,但是针对上述的真菌的特异性检测,存在如下问题:
通用的目标检测方法很难检测、分析到像素区域小的特征,比如图中的芽生孢子为例,由于无法学习到芽生孢子的出芽这一特异性特征,导致大量的误检。
通用的语义分割算法通常模型的参数较大,比如Unet算法。若输入的分辨率为1824*2720,则模型在推理阶段占用的显存高达10几个G,这很难部署到产品线上,而且推理的时间也较长,每张图需要1s左右的时间,实时性差。若降低分辨率,则芽生孢子、菌丝的横鬲特征在图片分辨率降低时损失掉。最关键的是,语义分割算法由于loss的设计基本上是像素级别的,导致需要标注信息非常的精准,这大大增加了标注人员的工作量。
通用目标检测、语义分割算法难以解决误检情况。如图2(a)所示,在降低分辨率时候,可以看到杂质和水泡的混合使得其很像菌丝,但实际上不是。在原1824*2720的高分辨率下,可以很清晰地看到该假阳性菌丝的边缘不够圆滑,很粗糙。还有一种情况是无特异性特征,如图2(b)所示,假阳性菌丝没有横鬲。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,提供一种真菌荧光检测方法,它提高了检测精度、降低了误检率并且具有较好实时性。
为了解决上述技术问题,本发明的技术方案是:一种真菌荧光检测方法,方法的步骤中包括:
S1:降低真菌的原医疗图像的分辨率,得初筛输入图像;
S2:将所述初筛输入图像输入初筛算法中,通过初筛算法输出带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;
S3:寻找所述病灶掩膜图像中白色区域对应的最小外接矩形框;
S4:在所述原医疗图像中将最小外接矩形框内对应的图像裁剪、缩放、填充后,得精筛输入图像;
S5:将所述精筛输入图像输入精筛算法中,通过精筛算法输出对应的病灶判定掩膜图像;
S6:根据所述病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值,判定对应区域内是否存在菌丝和/或芽生孢子;其中,
所述初筛算法和所述精筛算法采用基于弱监督学习的语义分割模型。
进一步,得到基于弱监督学习的语义分割模型的方法步骤包括:
对输入的荧光真菌医疗图像进行人工标注处理,得标注图像集;其中,有菌丝和/或芽生孢子的荧光真菌医疗图像中对菌丝的骨干和/或芽生孢子进行标注,无菌丝和/或芽生孢子的荧光真菌医疗图像则不进行标注;
搭建语义分割模型;
利用标注图像集构建的训练集训练搭建的语义分割模型,训练结束后得到最终语义分割模型,即基于弱监督学习的语义分割模型。
进一步,得到基于弱监督学习的语义分割模型的方法步骤还包括:
在语义分割模型的训练中利用定义的联合损失函数计算损失值进行反向求导。
进一步,语义分割模型的训练中:采用双GPU作为训练设备;
和/或最大迭代次数为300;
和/或使用退火法策略作为学习率调整策略。
进一步,联合损失函数的公式如下:
其中,yp代表初筛算法生成的带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像或精筛算法生成的病灶判定掩膜图像,代表人工标注的标注掩膜图像,T代表标注掩膜图像中的菌丝线宽或芽生孢子的圆半径;/>是计算病灶掩膜图像和标注掩膜图像中白色区域的交并比的函数或病灶判定掩膜图像和标注掩膜图像中白色区域的交并比的函数;λ1、λ2、λ3为平衡权重系数。
进一步,初筛算法中,λ1、λ2、λ3分别为0.1、0.2、0.2;
和/或精筛算法中,λ1、λ2、λ3分别为0.3、1.0、1.2。
进一步,语义分割模型的语义分割过程为:
输入的图像经过卷积层、BN层、池化层、全卷积层以及分类层,逐步降采样获取从低到高的语义特征,而后通过上采样方式将从低到高的语义特征融合后形成相应的Mask掩膜图;其中,
在初筛算法中,输入的图像为初筛输入图像,Mask掩膜图为带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;
在精筛算法中,输入的图像为精筛输入图像,Mask掩膜图为病灶判定掩膜图像。
进一步,采用折线的方法对菌丝的骨干进行标注;
采用点标注的方法对芽生孢子进行标注。
进一步,病灶判定掩膜图像上的白色区域面积大于预设的白色区域面积阈值时,则判定对应区域内存在菌丝和/或芽生孢子。
进一步,根据病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值判定对应区域内存在菌丝和/或芽生孢子的,则根据该白色区域的位置得到菌丝和/或芽生孢子所在位置。
采用了上述技术方案后,本发明中提出的真菌荧光检测方法相比于现有通用的检测算法,有如下优势:
1、推理速度快,且精度高,可以很有效的降低假阳率,占用的计算资源少,方便部署到产品中,在检测分析1824*2720分辨率的图像,在GPU为NVIDIA 1060,CPU为I3 9100F的计算机中,平均检测时间在200ms~400ms,占用的GPU内存仅为4G左右。
2、在基本不增加人工标注工作量的前提下,大大降低检测结果中的假阳性率,可以将假阳性率降低到1%以下;
3、标注方便,大大减少标注需要的人力资源,本发明中初筛算法、精筛算法均是基于弱监督学习的语义分割方法,不同于常规的语义分割算法需要标注出目标物体全轮廓信息,本算法仅需要标注出菌丝的骨干信息以及芽生孢子的中心点坐标信息。
附图说明
图1(a)为本发明的真菌的菌丝的示意图;
图1(b)为本发明的真菌的芽生孢子的示意图;
图2(a)为真菌检测算法常见的误检示例图一;
图2(b)为真菌检测算法常见的误检示例图二;
图3为初筛算法、精筛算法中语义分割模型的网络框架图;
图4(a)为本发明的初筛输入图像的示例图;
图4(b)为本发明的带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像的示例图;
图5(a)为本发明的原医疗图像中将最小外接矩形框内对应的图像裁剪后的示例图一;
图5(b)为图5(a)输入精筛算法后输出的病灶判定掩膜图像的示例图;
图6(a)为本发明的原医疗图像中将最小外接矩形框内对应的图像裁剪后的示例图二;
图6(b)为图6(a)输入精筛算法后输出的病灶判定掩膜图像的示例图;
图7(a)为本发明的原医疗图像中将最小外接矩形框内对应的图像裁剪后的示例图三;
图7(b)为图7(a)输入精筛算法后输出的病灶判定掩膜图像的示例图;
图8(a)为本发明的原医疗图像中将最小外接矩形框内对应的图像裁剪后的示例图三;
图8(b)为图8(a)输入精筛算法后输出的病灶判定掩膜图像的示例图;
图9(a)为标注出菌丝的标注图像示例图;
图9(b)为标注出芽生孢子的标注图像示例图。
具体实施方式
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明。
本实施例的真菌荧光检测方法包含两个算法:初筛算法以及精筛算法;而初筛算法以及精筛算法均基于弱监督学习的语义分割方法,它采用的语义分割模型的训练方法步骤如下,包括:
对输入的荧光真菌医疗图像进行人工标注处理,得标注图像集;其中,有菌丝和/或芽生孢子的荧光真菌医疗图像中对菌丝的骨干和/或芽生孢子进行标注,无菌丝和/或芽生孢子的荧光真菌医疗图像则不进行标注;
采用pytorch、TensorFlow、keras等平台搭建语义分割模型和定义联合损失函数;具体地,根据实际服务器情况采用单卡训练或者多卡并行训练,初筛算法和精筛算法的网络结构均如图3所示;联合损失函数的公式具体可以为如下:
其中,在初筛算法中,yp代表初筛算法生成的带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像,代表人工标注的标注掩膜图像,T代表标注掩膜图像中的菌丝线宽或芽生孢子的圆半径;/>是计算病灶掩膜图像和标注掩膜图像中白色区域的交并比的函数;λ1、λ2、λ3为平衡权重系数;λ1、λ2、λ3可以分别为0.1、0.2、0.2;
在精筛算法中,yp代表精筛算法生成的病灶判定掩膜图像,代表人工标注的标注掩膜图像,T代表标注掩膜图像中的菌丝线宽或芽生孢子的圆半径;/>是计算病灶判定掩膜图像和标注掩膜图像中白色区域的交并比的函数;λ1、λ2、λ3为平衡权重系数;λ1、λ2、λ3可以分别为0.3、1.0、1.2;
在公式中,T越大,则标注掩膜图像中的菌丝线宽越大,芽生孢子的圆半径越大。
利用标注图像集构建的训练集训练搭建的语义分割模型,训练结束后得到最终语义分割模型,即基于弱监督学习的语义分割模型;其中,在语义分割模型的训练中:
利用定义的联合损失函数计算损失值进行反向求导;
采用双GPU(NVIDIA 1080ti)作为训练设备;
将batchsize设置为6,将num_worker设置为6,根据任务场景设置类别个数,设置图像的同一大小为:1632(宽度)*1094(高度);
最大迭代次数为300;
使用退火法策略作为学习率调整策略。
以上步骤中,对输入的荧光真菌医疗图像进行人工标注处理,得标注图像集的具体过程如下:
通过荧光扫描设备将荧光真菌医疗图像保存到电脑中,同时将荧光真菌医疗图像根据有无病灶区域(即荧光真菌医疗图像中是否有菌丝或者孢子)划分为正样本和负样本;
使用labelme软件对正样本进行标注,负样本则完全不需要任何标注;其中,如图9(a)所示,采用折线的方法对菌丝的骨干进行标注;如图9(b)所示,采用点标注的方法对芽生孢子进行标注;
本步骤得到的标注图像集作为语义分割模型的训练集。
在本实施例中,真菌荧光检测方法具体实施时,需要将得到的基于弱监督学习的语义分割模型通过对应的脚本转换成c++有向图数据流使用;使用c++调用libtorch的jit模块,调用转换好的c++有向图数据流;
真菌荧光检测方法的具体步骤如下:
采用opencv缩放真菌的原医疗图像,降低其分辨率,得初筛输入图像,如图4(a)所示;
将所述初筛输入图像输入初筛算法中,通过初筛算法输出带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像,如图4(b)所示;
采用opencv中findContours函数以及boundingRect函数寻找所述病灶掩膜图像中白色区域对应的最小外接矩形框;
在所述原医疗图像中将最小外接矩形框内对应的图像裁剪(裁剪后的图像如图5(a)、6(a)、7(a)、8(a)所示)、缩放、填充后,得精筛输入图像;
将所述精筛输入图像输入精筛算法中,通过精筛算法输出对应的病灶判定掩膜图像,如图5(b)、6(b)、7(b)、8(b)所示;
根据所述病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值,判定对应区域内是否存在菌丝和/或芽生孢子。
具体地,病灶判定掩膜图像上的白色区域面积大于预设的白色区域面积阈值时,则判定对应区域内存在菌丝和/或芽生孢子。
更具体地,根据病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值判定对应区域内存在菌丝和/或芽生孢子的,则根据该白色区域的位置得到菌丝和/或芽生孢子所在位置。
具体地,如图3所示,语义分割模型的语义分割过程为:
输入的图像经过卷积层、BN层、池化层、全卷积层以及分类层,逐步降采样获取从低到高的语义特征,而后通过上采样方式将从低到高的语义特征融合后形成相应的Mask掩膜图;其中,
在初筛算法中,输入的图像为初筛输入图像,Mask掩膜图为带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;
在精筛算法中,输入的图像为精筛输入图像,Mask掩膜图为病灶判定掩膜图像。
以上所述的具体实施例,对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
在本发明的描述中,需要理解的是,指示方位或位置关系的术语为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
此外,术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂,而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平,并不是表示该结构一定要完全水平,而是可以稍微倾斜。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之上或之下可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征之上、上方和上面包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征之下、下方和下面包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
Claims (10)
1.一种真菌荧光检测方法,其特征在于方法的步骤中包括:
S1:降低真菌的原医疗图像的分辨率,得初筛输入图像;
S2:将所述初筛输入图像输入初筛算法中,通过初筛算法输出带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;
S3:寻找所述病灶掩膜图像中白色区域对应的最小外接矩形框;
S4:在所述原医疗图像中将最小外接矩形框内对应的图像裁剪、缩放、填充后,得精筛输入图像;
S5:将所述精筛输入图像输入精筛算法中,通过精筛算法输出对应的病灶判定掩膜图像;
S6:根据所述病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值,判定对应区域内是否存在菌丝和/或芽生孢子;其中,
所述初筛算法和所述精筛算法采用基于弱监督学习的语义分割模型。
2.根据权利要求1所述的真菌荧光检测方法,其特征在于,
得到基于弱监督学习的语义分割模型的方法步骤包括:
对输入的荧光真菌医疗图像进行人工标注处理,得标注图像集;其中,有菌丝和/或芽生孢子的荧光真菌医疗图像中对菌丝的骨干和/或芽生孢子进行标注,无菌丝和/或芽生孢子的荧光真菌医疗图像则不进行标注;
搭建语义分割模型;
利用标注图像集构建的训练集训练搭建的语义分割模型,训练结束后得到最终语义分割模型,即基于弱监督学习的语义分割模型。
3.根据权利要求2所述的真菌荧光检测方法,其特征在于,
得到基于弱监督学习的语义分割模型的方法步骤还包括:
在语义分割模型的训练中利用定义的联合损失函数计算损失值进行反向求导。
4.根据权利要求2所述的真菌荧光检测方法,其特征在于,
语义分割模型的训练中:采用双GPU作为训练设备;
和/或最大迭代次数为300;
和/或使用退火法策略作为学习率调整策略。
5.根据权利要求3所述的真菌荧光检测方法,其特征在于,
联合损失函数的公式如下:
其中,yp代表初筛算法生成的带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像或精筛算法生成的病灶判定掩膜图像,代表人工标注的标注掩膜图像,T代表标注掩膜图像中的菌丝线宽或芽生孢子的圆半径;/>是计算病灶掩膜图像和标注掩膜图像中白色区域的交并比的函数或病灶判定掩膜图像和标注掩膜图像中白色区域的交并比的函数;λ1、λ2、λ3为平衡权重系数。
6.根据权利要求5所述的真菌荧光检测方法,其特征在于,
初筛算法中,λ1、λ2、λ3分别为0.1、0.2、0.2;
和/或精筛算法中,λ1、λ2、λ3分别为0.3、1.0、1.2。
7.根据权利要求1或2所述的真菌荧光检测方法,其特征在于,
语义分割模型的语义分割过程为:
输入的图像经过卷积层、BN层、池化层、全卷积层以及分类层,逐步降采样获取从低到高的语义特征,而后通过上采样方式将从低到高的语义特征融合后形成相应的Mask掩膜图;其中,
在初筛算法中,输入的图像为初筛输入图像,Mask掩膜图为带疑似菌丝和/或疑似芽生孢子的病灶掩膜图像;
在精筛算法中,输入的图像为精筛输入图像,Mask掩膜图为病灶判定掩膜图像。
8.根据权利要求2所述的真菌荧光检测方法,其特征在于,
采用折线的方法对菌丝的骨干进行标注;
采用点标注的方法对芽生孢子进行标注。
9.根据权利要求1所述的真菌荧光检测方法,其特征在于,
病灶判定掩膜图像上的白色区域面积大于预设的白色区域面积阈值时,则判定对应区域内存在菌丝和/或芽生孢子。
10.根据权利要求1或9所述的真菌荧光检测方法,其特征在于,
根据病灶判定掩膜图像上的白色区域面积和预设的白色区域面积阈值判定对应区域内存在菌丝和/或芽生孢子的,则根据该白色区域的位置得到菌丝和/或芽生孢子所在位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623620.2A CN112634257B (zh) | 2020-12-31 | 2020-12-31 | 一种真菌荧光检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623620.2A CN112634257B (zh) | 2020-12-31 | 2020-12-31 | 一种真菌荧光检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634257A CN112634257A (zh) | 2021-04-09 |
CN112634257B true CN112634257B (zh) | 2023-10-27 |
Family
ID=75289850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011623620.2A Active CN112634257B (zh) | 2020-12-31 | 2020-12-31 | 一种真菌荧光检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634257B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113450317A (zh) * | 2021-06-10 | 2021-09-28 | 西安交通大学 | 一种针对妇科临床微生物感染的免疫荧光图像检测方法 |
CN115345828A (zh) * | 2022-07-12 | 2022-11-15 | 江苏诺鬲生物科技有限公司 | 一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置 |
CN117575999B (zh) * | 2023-11-01 | 2024-04-16 | 广州盛安医学检验有限公司 | 一种基于荧光标记技术的病灶预测系统 |
CN117522866B (zh) * | 2024-01-03 | 2024-03-15 | 西北工业大学 | 基于掩膜的荧光微丝试验图像中丝线锚点的判别方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
CN108564124A (zh) * | 2018-04-13 | 2018-09-21 | 山东农业大学 | 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法 |
CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN109858487A (zh) * | 2018-10-29 | 2019-06-07 | 温州大学 | 基于分水岭算法和图像类别标签的弱监督语义分割方法 |
CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
WO2020143309A1 (zh) * | 2019-01-09 | 2020-07-16 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN111429448A (zh) * | 2020-04-09 | 2020-07-17 | 常州奥创医疗科技有限公司 | 一种基于弱分割信息的生物荧光目标计数方法 |
CN111914698A (zh) * | 2020-07-16 | 2020-11-10 | 北京紫光展锐通信技术有限公司 | 图像中人体的分割方法、分割系统、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687859B2 (en) * | 2009-10-14 | 2014-04-01 | Carestream Health, Inc. | Method for identifying a tooth region |
CN110809784B (zh) * | 2017-09-27 | 2021-04-20 | 谷歌有限责任公司 | 高分辨率图像分割的端到端网络模型 |
-
2020
- 2020-12-31 CN CN202011623620.2A patent/CN112634257B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730528A (zh) * | 2017-10-28 | 2018-02-23 | 天津大学 | 一种基于grabcut算法的交互式图像分割与融合方法 |
CN108564124A (zh) * | 2018-04-13 | 2018-09-21 | 山东农业大学 | 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法 |
CN108898610A (zh) * | 2018-07-20 | 2018-11-27 | 电子科技大学 | 一种基于mask-RCNN的物体轮廓提取方法 |
CN109858487A (zh) * | 2018-10-29 | 2019-06-07 | 温州大学 | 基于分水岭算法和图像类别标签的弱监督语义分割方法 |
WO2020143309A1 (zh) * | 2019-01-09 | 2020-07-16 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN111243042A (zh) * | 2020-02-28 | 2020-06-05 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 |
CN111429448A (zh) * | 2020-04-09 | 2020-07-17 | 常州奥创医疗科技有限公司 | 一种基于弱分割信息的生物荧光目标计数方法 |
CN111914698A (zh) * | 2020-07-16 | 2020-11-10 | 北京紫光展锐通信技术有限公司 | 图像中人体的分割方法、分割系统、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
一种新的基于形态学与Yolov3算法的显微镜图像中孢子识别方法;李鑫铭;赵磊;邵宝民;王栋;;智能计算机与应用(第05期);全文 * |
真菌检测系统的研究与实现;李云琢;《硕士电子期刊》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112634257A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634257B (zh) | 一种真菌荧光检测方法 | |
CN106910186B (zh) | 一种基于cnn深度学习的桥梁裂缝检测定位方法 | |
WO2017190574A1 (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
CN111738056B (zh) | 一种基于改进YOLO v3的重卡盲区目标检测方法 | |
CN109684906B (zh) | 基于深度学习的检测红脂大小蠹的方法 | |
CN108181316B (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
CN107832801B (zh) | 一种细胞图像分类用模型构建方法 | |
US20100040276A1 (en) | Method and apparatus for determining a cell contour of a cell | |
CN104463138B (zh) | 基于视觉结构属性的文本定位方法及系统 | |
CN112149543A (zh) | 一种基于计算机视觉的建筑扬尘识别系统与方法 | |
CN114973002A (zh) | 一种基于改进的YOLOv5的麦穗检测方法 | |
CN112465746A (zh) | 一种射线底片中小缺陷检测方法 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN110309765B (zh) | 一种视频运动目标高效检测方法 | |
CN111461133A (zh) | 快递面单品名识别方法、装置、设备及存储介质 | |
CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
CN112749741B (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN113298809A (zh) | 基于深度学习和超像素分割的复材超声图像缺陷检测方法 | |
CN110032946A (zh) | 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法 | |
EP4207058A1 (en) | Image recognition method, electronic device and readable storage medium | |
CN115965915B (zh) | 基于深度学习的铁路货车连接拉杆折断故障识别方法及识别系统 | |
CN114119591A (zh) | 一种显示屏画面质量检测方法 | |
CN114067186A (zh) | 一种行人检测方法、装置、电子设备及存储介质 | |
CN117115171B (zh) | 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法 | |
CN110472567A (zh) | 一种适用于非配合场景下的人脸识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |