CN115937188A - 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 - Google Patents
一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 Download PDFInfo
- Publication number
- CN115937188A CN115937188A CN202211710730.1A CN202211710730A CN115937188A CN 115937188 A CN115937188 A CN 115937188A CN 202211710730 A CN202211710730 A CN 202211710730A CN 115937188 A CN115937188 A CN 115937188A
- Authority
- CN
- China
- Prior art keywords
- model
- abnormal
- image
- improved
- efficientnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,包括:获取细胞涂片的数字扫描图像作为原始输入图像;带有重叠的裁剪原始输入图像作为裁剪后图像;使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇并得到其位置与大小信息;使用此位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对目标图像进行裁剪和填充;使用改进的EfficientNet模型对目标图像分类,得到其分类结果;汇总目标图像分类结果和其位置与大小信息作为异常检测最终结果显示在原始输入图像上。本发明将检测划分为定位与分类任务,可有效提高异常查全率和检测精度。
Description
技术领域
本发明属于细胞病理图像异常检测技术领域,尤其涉及一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法。
背景技术
细胞病理学检查为目前具有确诊意义的检查手段,该方法将采集的脱落细胞保存液制成涂片,由经验丰富的病理医生在电子显微镜下观察涂片,或者查看使用数字病理切片扫描仪得到的全视野图片,通过分析细胞形态结构发现病变细胞,并结合细胞学病理知识对病人的病情做出相应的诊断。
目前,对于细胞涂片的阅片工作主要依靠人工完成,但人工阅片对异常细胞的早期发现存在限制。一方面,从数十万细胞中筛选出少量病变细胞或癌细胞,对病理医生来说这是一项劳动密集型工作,容易导致误诊,假阴性率过高。另一方面,专业人员培训成本高,通常集中在城市的大中型医院中,难以普及到欠发达地区。计算机自动识别细胞涂片技术能够解决传统手工筛查方法假阴性高和部分地区病理医生匮乏的问题。通过将图像处理、模式识别和计算机视觉与细胞病理学诊断知识相结合,自动阅片系统对细胞涂片数字扫描图像进行细胞形态的定量分析,确定可疑视野或罗列出异常细胞,辅助医生进行判断。
细胞病理图像异常检测技术,过去大量的研究集中在对于细胞的自动识别。最初主要是传统的基于图像分割、特征提取和分类的分步方法,后来随着深度学习的发展,图像分割方法被语义分割、实例分割替代,特征提取和图像分类的步骤可以整合成一个分类网络,深度学习的加入使得识别的精度得到了较大的提升。
现有基于深度学习的辅助阅片算法主要分为两类,一类基于目标检测,另一类基于语义分割和图像分类。其中基于目标检测的算法对训练样本标签的要求较低,且检测速度较快,但容易出现漏检且难以处理细胞簇。基于语义分割和图像分类的算法对训练样本标注的要求很高,检测速度较慢,但语义分割能够去除背景噪声,分割出单个细胞再分类,理论上具有较高的准确率,但依赖于分割精度。所以,以上两类方法均关注于单个细胞结构,但由于细胞涂片中存在大量细胞簇,从中分割或检测出单个细胞难度较高,这无疑拔高了异常检测的难度。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,将异常检测划分为异常定位和异常分类两个阶段,其中异常定位阶段采用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息;异常分类阶段采用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果。本发明简便易行,可有效提高异常查全率和检测精度。
为解决上述技术问题,本发明采用以下技术方案。
一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,所述方法将异常检测划分为异常定位和异常分类两个阶段,其中异常定位阶段采用改进的YOLOv5模型,异常分类阶段采用改进的EfficientNet模型,包括以下步骤:
步骤1、获取细胞涂片的数字扫描图像作为原始输入图像;
步骤2、带有重叠的裁剪原始输入图像作为裁剪后图像;
步骤3、使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息;
步骤4、使用异常细胞和异常细胞簇的位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对异常细胞和异常细胞簇目标图像进行裁剪和填充处理;
步骤5、使用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果;
步骤6、汇总异常细胞和细胞簇目标图像分类结果和异常细胞和细胞簇的位置与大小信息作为异常检测最终结果显示在原始输入图像上。
具体地,步骤2中所述的带有重叠的裁剪原始输入图像作为裁剪后图像,包括:
2-1.使用重叠为64像素,裁剪后图像大小为640×640像素的方法对原始输入图像进行裁剪,对不足640×640像素大小的裁剪后图像零填充至640×640像素大小;
2-2.裁剪时重叠64像素可让绝大部分细胞至少完整的出现在一张裁剪后图像中,640×640像素大小是改进的YOLOv5模型预期的输入大小,输入为该大小左右符合模型设计。
具体地,在步骤3中,所述的使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息,包括:
3-1.训练改进的YOLOv5模型需要为数据集中所有异常细胞和异常细胞簇打上YOLO格式的标签,对其异常的具体类型不做细分,均标记为阳性;
3-2.改进的YOLOv5模型去除了分类任务,仅进行目标定位和前景背景区分,改进后损失函数由定位损失和置信度损失构成,去除了原YOLOv5模型的分类损失;同时因模型输出减少,改进的YOLOv5模型将宽度系数收缩到原YOLOv5模型的0.75,即减少网络各层的特征通道数,以加速模型推理,减少内存占用;
3-3.YOLOv5的网络结构可划分为BackBone、Neck和Prediction三个模块,Neck模块的输出经过Prediction模块Conv运算后得到检测所需的通道数:na×(nc+5),其中na为锚框个数,nc为分类类别数,另外5个通道分别预测锚框的宽高、中心点坐标和前景置信度;改进的YOLOv5模型的Prediction模块Conv运算的输出通道数为:na×5,去除了类别预测部分;
3-4.改进的YOLOv5模型将细胞簇作为整体检测,而不是从中检测单个异常细胞,因细胞簇中细胞重叠度较高,检测单个细胞难度较高,故将其作为整体检测,从而只关注细胞簇异常与否,而不关注其细胞构成,以降低检测难度。
具体地,在步骤4中,所述的使用异常细胞和异常细胞簇的位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对异常细胞和异常细胞簇目标图像进行裁剪和填充处理,包括:
4-1.根据异常细胞和异常细胞簇目标图像的大小将其分类为大目标图像和小目标图像,分类依据为改进EfficientNet模型的输入大小224×224像素;
4-2.对大目标图像进行带有重叠的裁剪,重叠大小为64像素,裁剪后大小为224×224像素,对不足224×224像素大小的裁剪后图像零填充至224×224像素大小;
4-3.对小目标图像零填充至224×224像素大小;
4-4.步骤3中检测所得到的结果为细胞或细胞簇,其中细胞簇的大小一般远大于分类网络预期的输入,故需要对其进行带有重叠的裁剪。
具体地,在步骤5中,所述的使用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果,包括:
5-1.原EfficientNet模型的主要组件MBConv模块使用Depwise Conv,DepwiseConv包括一组3×3的深度卷积和多组1×1的标准卷积,减少了参数量和FLOPs;改进的EfficientNet模型将模型后一半MBConv模块中的Depwise Conv替换为3×3标准卷积,以提升模型训练速度;
5-2.原EfficientNet模型主要组件MBConv中SE模块依据输入各个通道的最大池化来计算通道注意力;改进的EfficientNet模型将模型中后1/4主要组件MBConv模块中的SE模块替换为CBAM注意力模块进行特征增强,CBAM注意力模块包括CBAM通道注意力模块和CBAM空间注意力模块;CBAM通道注意力模块相较于SE模块新增了对平均池化的考量,CBAM通道注意力模块的计算方式和作用方式与SE模块相似;另外,CBAM空间注意力模块首先先计算通道间同一位置的平均池化和最大池化数值,然后利用卷积求得空间注意力分数,通过Sigmoid函数计算后与原始通道相乘,从而加强或减弱空间中部分区域特征;
5-3.CBAM注意力模块对输入特征的提取分为两步,结果如公式(1)(2)所示:
Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)=σ(f7×7([AvgPool(Mc(F));MaxPool(Mc(F))])) (2)
其中AvgPool为平均池化层,MaxPool为最大池化层,MLP为两层神经元,f7×7为7×7的卷积,F为输入特征。
具体地,在步骤6中,所述的汇总异常细胞和细胞簇目标图像分类结果和异常细胞和细胞簇的位置与大小信息作为异常检测最终结果显示在原始输入图像上,包括:
6-1.改进的EfficientNet模型输出的异常细胞和细胞簇目标图像分类结果包括ASC-US、LSIL、ASC-H、HSIL和阴性5类,其中阴性指由改进的YOLOv5检测为阳性,而改进的EfficientNet模型分类为阴性的细胞和细胞簇,为防止改进的EfficientNet模型分类结果假阴,也需要将其标注出;
6-2.改进的YOLOv5模型输出的异常细胞和细胞簇的位置是相对于裁剪后图像的位置,需根据裁剪后图像在原始输入图像中的位置将其映射到原始输入图像中;
6-2.汇总改进的EfficientNet模型给出分类结果和改进的YOLOv5模型给出异常细胞和细胞簇相对于原始输入图像的位置信息作为异常检测最终结果,使用不同的颜色在原始输入图像中绘制矩形框标出异常细胞和异常细胞簇。
与现有技术相比,本发明具有以下优点和有益效果:
1.如步骤3所述,本发明将细胞簇作为整体处理,通过将检测出的细胞簇裁剪分块并进行分类的方式,给出了一种平衡了成本和效果的细胞簇处理的方式,使得异常检测任务关注重点回到异常,而不是单个细胞结构。
2.如步骤3、4、5所述,本发明将目标检测任务改造成两阶段,第一阶段进行目标定位,第二阶段进行目标分类,其中定位阶段不需要进行分类,只需区分前景和背景,使模型专注于定位的准确性,第二阶段使用专门的分类网络,能够有效提高异常查全率和精度,更不容易发生漏检。
3.如步骤5所述,本发明将EfficientNet模型后一半MBConv模块中的DepwiseConv替换为标准卷积,可显著减少模型训练所需的时间,同时参数量的提升也可一定程度上提升模型能力。
4.如步骤5所述,本发明将EfficientNet模型后1/4组件MBConv中的SE模块替换为CBAM注意力模块,该模块相较于SE模块增加了空间注意力模块,同时强化了通道注意力模块,与模型深层引入可提高分类的召回率。
附图说明
图1是本发明的一种实施例方法的流程图。
图2是改进的YOLOv5模型训练所需标签的示意图。
图3是现有技术的YOLOv5的结构图。
图4是本发明的一种实施例的改进的YOLOv5的结构图。
图5是本发明的一种实施例的EfficientNet中MBConv模块的结构图。
图6是本发明的一种实施例的MBConv中Depwise Conv的示意图。
图7是本发明的一种实施例的标准卷积示意图。
图8是本发明的一种实施例的MBConv中SE模块的示意图。
图9是本发明的一种实施例的CBAM模块的结构图。
具体实施方式
细胞病理图像异常检测技术能够辅助医生诊断,提高细胞涂片的阅片效率和准确率。基于深度学习的细胞病理图像异常检测技术主要分为基于语义分割加分类的多阶段方法和基于目标检测的方法。前者的主要局限是模型训练需要成本高昂的像素级标签,后者的局限是容易漏检异常细胞且难以处理细胞簇,以上方法在实际实践中均存在较明显缺陷。针对以上问题,本发明提出一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法。本发明将检测任务划分为定位与分类任务,提高了模块功能的内聚性,降低单个任务的难度,提高了异常细胞检测的查全率,同时纳入细胞簇的定位、分割和分类,解决了细胞簇难以处理的问题。其中细胞定位阶段采用改进的YOLOv5模型,细胞分类阶段采用改进的EfficientNet模型。以下结合附图对本发明进一步说明。
如图1所示,本发明的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,该方法将异常检测划分为异常定位和异常分类两个阶段,其中异常定位阶段采用改进的YOLOv5模型,异常分类阶段采用改进的EfficientNet模型,包括以下步骤:
步骤1、获取细胞涂片的数字扫描图像作为原始输入图像;
步骤2、带有重叠的裁剪原始输入图像作为裁剪后图像;
2-1.使用重叠为64像素,裁剪后图像大小为640×640像素的方法对原始输入图像进行裁剪,对不足640×640像素大小的裁剪后图像零填充至640×640像素大小;
2-2.细胞病理数字图像原始大小在40000像素左右,远大于卷积神经网络模型预期的输入大小,虽然全卷积神经网络理论上不限制输入图像的大小,但过大的输入会导致内存分配失败等问题,所以需要对原始输入进行裁剪,考虑到裁剪的完整性,裁剪时重叠64像素可让绝大部分细胞至少完整的出现在一张裁剪后图像中,640×640像素大小是改进的YOLOv5模型预期的输入大小,输入为该大小左右符合模型设计。
步骤3、使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息;
3-1.如图2所示,训练改进的YOLOv5模型需要为数据集中所有异常细胞和异常细胞簇打上YOLO格式的标签,对其异常的具体类型不做细分,均标记为阳性;
3-2.如图3、4所示,原YOLOv5模型包括置信度损失、定位损失和分类损失,改进YOLOv5模型去除了分类任务,仅进行目标定位和前景背景区分,改进后损失函数由定位损失和置信度损失构成,去除了原YOLOv5模型的分类损失;同时因模型输出减少,改进的YOLOv5模型将宽度系数收缩到原YOLOv5模型的0.75,即减少网络各层的特征通道数,以加速模型推理,减少内存占用;
3-3.如图3所示,原YOLOv5模型的网络结构可划分为BackBone、Neck和Prediction三个模块,Neck模块的输出经过Prediction模块Conv运算后得到检测所需的通道数:na×(nc+5),其中na为锚框个数,nc为分类类别数,另外5个通道分别预测锚框的宽高、中心点坐标和前景置信度。如图4所示,改进的YOLOv5模型的Prediction模块Conv运算的输出通道数为:na×5,去除了类别预测部分;
3-4.改进的YOLOv5模型将细胞簇作为整体检测,而不是从中检测单个异常细胞,因细胞簇中细胞重叠度较高,检测单个细胞难度较高,故将其作为整体检测,从而只关注细胞簇异常与否,而不关注其细胞构成,以降低检测难度。
步骤4、使用异常细胞和异常细胞簇的位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对异常细胞和异常细胞簇目标图像进行裁剪和填充处理;
4-1.根据异常细胞和异常细胞簇目标图像的大小将其分类为大目标图像和小目标图像,分类依据为改进EfficientNet模型的输入大小224×224像素;
4-2.对大目标图像进行带重叠的裁剪,重叠大小为64像素,裁剪后大小为224×224像素,对不足224×224像素大小的裁剪后图像零填充至224×224像素大小;
4-3.对小目标图像零填充至224×224像素大小;
4-4.步骤3中检测所得到的结果为细胞或细胞簇,其中细胞簇的大小一般远大于分类网络预期的输入,故需要对其进行裁剪,裁剪时重叠是出于与步骤2相同的考虑。
步骤5、使用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果;
5-1.如图5所示,原EfficientNet模型的主要组件MBConv模块使用Depwise Conv,如图6所示,Depwise Conv包括一组3×3的深度卷积和多组1×1的标准卷积,减少了参数量和FLOPs,但没能充分利用GPU的并行性能,两步计算反而导致其训练速度变慢,如图7所示,改进的EfficientNet模型将模型后一半MBConv模块中的Depwise Conv替换为3×3标准卷积,以提升模型训练速度;
5-2.如图8所示,原EfficientNet模型主要组件MBConv中SE模块依据输入各个通道的最大池化来计算通道注意力,如图9所示,改进的EfficientNet模型将模型中后1/4主要组件MBConv中的SE模块替换为CBAM注意力模块进行特征增强,CBAM注意力模块包括CBAM通道注意力模块和CBAM空间注意力模块;CBAM通道注意力模块相较于SE模块新增了对平均池化的考量,CBAM通道注意力模块计算方式和作用方式与SE模块相似,但新增通道平均池化作为考量使得CBAM的通道注意力分数计算能够依据更多通道特征,从而提升模型能力;另外,CBAM空间注意力模块还通过跨通道池化加卷积来计算空间注意力,对特征宽高维度进行特征增强,CBAM空间注意力模块首先计算通道间同一位置的平均池化和最大池化数值,然后利用卷积求得空间注意力分数,通过Sigmoid函数计算后与原始通道相乘,起到加强或减弱空间中部分区域特征的作用。
5-3.CBAM注意力模块对输入特征的提取分为两步,结果如公式(1)(2)所示:
Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)=σ(f7×7([AvgPool(Mc(F));MaxPool(Mc(F))])) (2)
其中AvgPool为平均池化层,MaxPool为最大池化层,MLP为两层神经元,f7×7为7×7的卷积,F为输入特征。CBAM模块对输入首先做通道间注意力运算,增强通道间特征,然后做所有通道的空间注意力运算,增强或空间不同区域的特征,以训练模型对有效特征的提升和无效特征的抑制,从而将模型运算及早集中在有效特征中,从而起到提升模型能力的作用。
步骤6、汇总异常细胞和细胞簇目标图像分类结果和异常细胞和细胞簇的位置与大小信息作为异常检测最终结果显示在原始输入图像上:
6-1.改进的EfficientNet模型输出的异常细胞和细胞簇目标图像分类结果包括ASC-US、LSIL、ASC-H、HSIL和阴性5类,其中阴性指由改进的YOLOv5检测为阳性,而改进的EfficientNet模型分类为阴性的细胞和细胞簇,为防止改进的EfficientNet模型分类结果假阴,也需要将其标注出;
6-2.改进的YOLOv5模型输出的异常细胞和细胞簇的位置是相对于裁剪后图像的位置,需根据裁剪后图像在原始输入图像中的位置将其映射到原始输入图像中;
6-2.汇总改进的EfficientNet模型给出分类结果和改进的YOLOv5模型给出异常细胞和细胞簇相对于原始输入图像的位置信息作为异常检测最终结果,使用不同的颜色在原始输入图像中绘制矩形框标出异常细胞和异常细胞簇。
Claims (6)
1.一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,该方法将异常检测划分为异常定位和异常分类两个阶段,其中异常定位阶段采用改进的YOLOv5模型,异常分类阶段采用改进的EfficientNet模型,包括以下步骤:
步骤1、获取细胞涂片的数字扫描图像作为原始输入图像;
步骤2、带有重叠的裁剪原始输入图像作为裁剪后图像;
步骤3、使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息;
步骤4、使用异常细胞和异常细胞簇的位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对异常细胞和异常细胞簇目标图像进行裁剪和填充处理;
步骤5、使用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果;
步骤6、汇总异常细胞和细胞簇目标图像分类结果和异常细胞和细胞簇的位置与大小信息作为异常检测最终结果显示在原始输入图像上。
2.根据权利要求1所述的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,步骤2中所述的带有重叠的裁剪原始输入图像作为裁剪后图像,包括:
2-1.使用重叠为64像素,裁剪后图像大小为640×640像素的方法对原始输入图像进行裁剪,对不足640×640像素大小的裁剪后图像零填充至640×640像素大小;
2-2.裁剪时重叠64像素可让绝大部分细胞至少完整的出现在一张裁剪后图像中,640×640像素大小是改进的YOLOv5模型预期的输入大小,输入为该大小左右符合模型设计。
3.根据权利要求1所述的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,在步骤3中,所述的使用改进的YOLOv5模型检测裁剪后图像中所有异常细胞和异常细胞簇,得到异常细胞和异常细胞簇的位置与大小信息,包括:
3-1.训练改进的YOLOv5模型需要为数据集中所有异常细胞和异常细胞簇打上YOLO格式的标签,对其异常的具体类型不做细分,均标记为阳性;
3-2.改进的YOLOv5模型去除了分类任务,仅进行目标定位和前景背景区分,改进后损失函数由定位损失和置信度损失构成,去除了原YOLOv5模型的分类损失;同时因模型输出减少,改进的YOLOv5模型将宽度系数收缩到原YOLOv5模型的0.75,即减少网络各层的特征通道数,以加速模型推理,减少内存占用;
3-3.YOLOv5的网络结构可划分为BackBone、Neck和Prediction三个模块,Neck模块的输出经过Prediction模块Conv运算后得到检测所需的通道数:na×(nc+5),其中na为锚框个数,nc为分类类别数,另外5个通道分别预测锚框的宽高、中心点坐标和前景置信度;改进的YOLOv5模型的Prediction模块Conv运算的输出通道数为:na×5,去除了类别预测部分;
3-4.改进的YOLOv5模型将细胞簇作为整体检测,而不是从中检测单个异常细胞,因细胞簇中细胞重叠度较高,检测单个细胞难度较高,故将其作为整体检测,从而只关注细胞簇异常与否,而不关注其细胞构成,以降低检测难度。
4.根据权利要求1所述的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,在步骤4中,所述的使用异常细胞和异常细胞簇的位置与大小信息,从裁剪后图像中裁剪出异常细胞和异常细胞簇目标图像,并对异常细胞和异常细胞簇目标图像进行裁剪和填充处理,包括:
4-1.根据异常细胞和异常细胞簇目标图像的大小将其分类为大目标图像和小目标图像,分类依据为改进EfficientNet模型的输入大小224×224像素;
4-2.对大目标图像进行带有重叠的裁剪,重叠大小为64像素,裁剪后大小为224×224像素,对不足224×224像素大小的裁剪后图像零填充至224×224像素大小;
4-3.对小目标图像零填充至224×224像素大小;
4-4.步骤3中检测所得到的结果为细胞或细胞簇,其中细胞簇的大小一般远大于分类网络预期的输入,故需要对其进行带有重叠的裁剪。
5.根据权利要求1所述的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,在步骤5中,所述的使用改进的EfficientNet模型对异常细胞和异常细胞簇目标图像进行分类,得到异常细胞和异常细胞簇目标图像分类结果,包括:
5-1.原EfficientNet模型的主要组件MBConv模块使用Depwise Conv,Depwise Conv包括一组3×3的深度卷积和多组1×1的标准卷积,减少了参数量和FLOPs;改进的EfficientNet模型将模型后一半MBConv模块中的Depwise Conv替换为3×3标准卷积,以提升模型训练速度;
5-2.原EfficientNet模型主要组件MBConv中SE模块依据输入各个通道的最大池化来计算通道注意力;改进的EfficientNet模型将模型中后1/4主要组件MBConv模块中的SE模块替换为CBAM注意力模块进行特征增强,CBAM注意力模块包括CBAM通道注意力模块和CBAM空间注意力模块;CBAM通道注意力模块相较于SE模块新增了对平均池化的考量,CBAM通道注意力模块的计算方式和作用方式与SE模块相似;另外,CBAM空间注意力模块首先先计算通道间同一位置的平均池化和最大池化数值,然后利用卷积求得空间注意力分数,通过Sigmoid函数计算后与原始通道相乘,从而加强或减弱空间中部分区域特征;
5-3.CBAM注意力模块对输入特征的提取分为两步,结果如公式(1)(2)所示:
Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F))) (1)
Ms(F)=σ(f7×7([AvgPool(Mc(F));MaxPool(Mc(F))])) (2)
其中AvgPool为平均池化层,MaxPool为最大池化层,MLP为两层神经元,f7×7为7×7的卷积,F为输入特征。
6.根据权利要求1所述的一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法,其特征在于,在步骤6中,所述的汇总异常细胞和细胞簇目标图像分类结果和异常细胞和细胞簇的位置与大小信息作为异常检测最终结果显示在原始输入图像上,包括:
6-1.改进的EfficientNet模型输出的异常细胞和细胞簇目标图像分类结果包括ASC-US、LSIL、ASC-H、HSIL和阴性5类,其中阴性指由改进的YOLOv5检测为阳性,而改进的EfficientNet模型分类为阴性的细胞和细胞簇,为防止改进的EfficientNet模型分类结果假阴,也需要将其标注出;
6-2.改进的YOLOv5模型输出的异常细胞和细胞簇的位置是相对于裁剪后图像的位置,需根据裁剪后图像在原始输入图像中的位置将其映射到原始输入图像中;
6-2.汇总改进的EfficientNet模型给出分类结果和改进的YOLOv5模型给出异常细胞和细胞簇相对于原始输入图像的位置信息作为异常检测最终结果,使用不同的颜色在原始输入图像中绘制矩形框标出异常细胞和异常细胞簇。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211710730.1A CN115937188A (zh) | 2022-12-29 | 2022-12-29 | 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211710730.1A CN115937188A (zh) | 2022-12-29 | 2022-12-29 | 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115937188A true CN115937188A (zh) | 2023-04-07 |
Family
ID=86557526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211710730.1A Pending CN115937188A (zh) | 2022-12-29 | 2022-12-29 | 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115937188A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422696A (zh) * | 2023-11-08 | 2024-01-19 | 河北工程大学 | 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法 |
-
2022
- 2022-12-29 CN CN202211710730.1A patent/CN115937188A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422696A (zh) * | 2023-11-08 | 2024-01-19 | 河北工程大学 | 基于改进YOLOv8-EfficientNet的皮带磨损状态检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
CN112508850B (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
CN109191457B (zh) | 一种病理图像质量有效性识别方法 | |
CN111951221B (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
CN107492088B (zh) | 一种妇科显微图像中白细胞自动识别与统计方法 | |
CN111598856A (zh) | 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统 | |
CN112036231B (zh) | 一种基于车载视频的车道线和路面指示标志检测与识别方法 | |
CN112132166A (zh) | 一种数字细胞病理图像智能分析方法、系统及装置 | |
CN112634243A (zh) | 一种强干扰因素下基于深度学习的图像分类识别系统 | |
CN115965602A (zh) | 一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法 | |
CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
CN113160175B (zh) | 一种基于级联网络的肿瘤淋巴管浸润检测方法 | |
CN112580748A (zh) | 一种对Ki67染色图像癌细胞计数的方法 | |
CN110807754B (zh) | 基于深度语义分割的真菌显微图像分割检测方法及系统 | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
CN115937188A (zh) | 一种基于改进的YOLOv5和EfficientNet的细胞病理图像异常检测方法 | |
CN110544262A (zh) | 一种基于机器视觉的子宫颈细胞图像分割方法 | |
CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
CN116682109B (zh) | 一种病理显微图像的分析方法、装置、设备及存储介质 | |
CN112419335B (zh) | 一种细胞核分割网络的形状损失计算方法 | |
CN117252813A (zh) | 基于深度学习的宫颈液基细胞检测与识别方法及系统 | |
CN111597939B (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |