CN117854111A - 基于增强特征融合的改进YOLOv4疟原虫检测方法 - Google Patents

基于增强特征融合的改进YOLOv4疟原虫检测方法 Download PDF

Info

Publication number
CN117854111A
CN117854111A CN202410052408.7A CN202410052408A CN117854111A CN 117854111 A CN117854111 A CN 117854111A CN 202410052408 A CN202410052408 A CN 202410052408A CN 117854111 A CN117854111 A CN 117854111A
Authority
CN
China
Prior art keywords
feature
loss
attention
plasmodium
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410052408.7A
Other languages
English (en)
Other versions
CN117854111B (zh
Inventor
谢莉
耿俊杰
舒卫平
贺魏
李健
杨海麟
王琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Wuxi Peoples Hospital
Original Assignee
Jiangnan University
Wuxi Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University, Wuxi Peoples Hospital filed Critical Jiangnan University
Priority to CN202410052408.7A priority Critical patent/CN117854111B/zh
Publication of CN117854111A publication Critical patent/CN117854111A/zh
Application granted granted Critical
Publication of CN117854111B publication Critical patent/CN117854111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Genetics & Genomics (AREA)
  • Physiology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于增强特征融合的改进YOLOv4疟原虫检测方法，属于图像处理与医学的交叉领域。所述方法从增强模型特征提取与特征融合能力的角度对YOLOv4模型进行改进，设计MAFM模块代替SPP模块，使用空洞卷积增强多尺度特征提取能力，引入坐标注意力模块获取更有利于分类与回归任务的特征；设计AFFM模块替代拼接操作，结合通道注意力与空间注意力增强不同层级特征图的融合能力，减少特征损失与冗余；使用SIoU作为回归损失函数，通过考虑真实框与预测框的角度损失，加快模型的收敛速度。所提出的疟原虫检测方法在背景复杂、细胞重叠等场景及图片边缘处的疟原虫检测具有更好的效果，mAP可以达到98.42％。

Description

基于增强特征融合的改进YOLOv4疟原虫检测方法
技术领域
本发明涉及一种基于增强特征融合的改进YOLOv4疟原虫检测方法，属于图像处理技术领域。
背景技术
疟疾是由雌性按蚊叮咬，导致人体血液感染疟原虫所引发的一种传染性疾病。人体内感染红细胞的疟原虫有间日疟、恶性疟、卵形疟、三日疟四种，其中恶性疟是最常见的疟原虫。疟疾检测即检测人体血液中疟原虫的存在情况，包括疟原虫的种类和数量，对于疟疾的预防与诊断具有重大意义。目前，人工显微镜检查依然是疟疾检测的金标准，通过显微镜检查判断疟原虫的种类与生长周期，统计血液中疟原虫的数量，具有易制得、效益高、操作简单等特点。然而培养一名熟练的镜检人员需要花费大量的时间成本，因此该方法在资源匮乏地区的推广受到了限制。快速诊断测试(Rapid Diagnostic Tests,RDTs)与PCR(Polymerase Chain Reaction)检测也在近几年得到了广泛运用。RDTs的原理是通过检测疟原虫产生的抗原，引发化学反应，使指示带发出荧光，其检测操作简单，检测时间快，但是无法提供量化指标如疟原虫的种类与个数。PCR通过外部合成寄生虫特异性DNA片段，经电泳检测是否含有该目的条带，从而判断检测样品的阳性或阴性。PCR检测具有更高的准确率与特异性，但是需要昂贵的仪器设备和专业的医疗人员，所以无法在发展中国家广泛运用。
近些年来，由于人工智能的迅速发展，基于深度学习的图像处理技术在医学领域得到广泛应用，在辅助疾病诊断过程中扮演重要角色。深度学习技术也可以运用在疟疾诊断中，通过训练大量的显微细胞图像自动提取纹理、边缘、色彩等特征，迅速定位到被疟原虫感染的红细胞并进行标记，同时可以准确判断疟原虫的类别，并对整张显微图像中疟原虫感染的红细胞计数，这些信息能够直观地反映病人的感染情况，有助于医生在进行疟疾诊断与治疗时做出更准确的判断。
YOLO(You Only Look Once)系列网络是一阶段目标检测算法的代表之一，具有检测速度快、准确率高等特点。一些学者已经将目标检测模型运用到疟原虫检测之中。Samson等人开发了一个基于YOLOv3模型的疟疾诊断系统，使用深度可分离卷积与1×1卷积所构成的卷积瓶颈残差模块，减小参数量的同时实现了97.46％的平均准确率。Fetulhak等人针对显微图像中疟原虫这种小目标检测精度不佳的问题，以YOLOv4为基础网络，加入小目标检测层，将浅层特征图的尺寸由52×52改为104×104，在公开数据集上得到了96.32％的平均准确率。
由于染色差异，光线变化，人工操作等影响，采集到的疟原虫图像背景较为复杂，细胞之间存在重叠问题，不同染色背景下疟原虫的可辨识性不同，同时一些染色杂质及血小板与疟原虫的颜色、大小、形状十分相似，这给检测带来了极大的挑战。上述研究虽然取得了较为理想的结果，但是并没有改进模型的特征提取与特征融合能力，网络本身特征提取与融合能力的不足加上疟原虫图像自身存在的检测难点，使得最终的检测结果依然存在较多的漏检与误检情况。
发明内容
为了解决目前基于深度学习的疟原虫图像检测存在的漏检与误检问题，本发明提出一种以YOLOv4为基线网络的EFF-YOLO(Enhanced Feature Fusion YOLO)模型，从增强模型的特征提取与特征融合能力的角度，设计了一种区别于现有疟原虫图像检测的检测方法，很好地解决了在复杂背景、图像边界、重叠细胞等场景中漏检与误检问题。
一种基于增强特征融合的改进YOLOv4疟原虫检测方法，包括：
步骤1：准备数据集，将标注后的疟原虫细胞图像数据集划分训练集、验证集与测试集；
步骤2：构建具有增强特征融合特点的改进YOLOv4网络，包括骨干特征提取网络Backbone、特征融合网络Neck、检测头Head三部分，其中选取CSPDarkNet53作为骨干特征提取网络；
步骤3：在骨干特征提取网络之后设计一个多尺度特征聚合模块替代YOLOv4中的空间金字塔池化模块；
步骤4：在颈部网络中，设计注意力特征融合模块代替原来的拼接操作；所述注意力特征融合模块包括两个通道注意力模块CAM和一个空间注意力模块SAM；
步骤5：使用SIoU作为回归损失函数，通过考虑真实框与预测框之间的角度损失，重新构建距离惩罚函数；
步骤6：利用步骤1准备的训练集对改进YOLOv4网络进行训练，使用k-means算法生成新的anchor大小，并扩增样本；
步骤7：将测试集中的疟原虫细胞图像输入训练得到的最佳模型进行测试，获取疟原虫细胞图像的可视化检测结果；
步骤8：采用训练得到的最佳模型对待检测的人体血液细胞图像进行检测以确定对应的人体血液细胞样本中是否含有疟原虫以及统计疟原虫的数量。
可选的，所述步骤1包括：
1a)收集疟原虫细胞图像；
2a)对收集的疟原虫细胞图像进行标注；
3a)按照8：1：1的比例将所收集到的疟原虫细胞图像划分为训练集、验证集与测试集。
可选的，所述步骤3中的MFAM模块用空洞卷积替换SPP结构中的池化操作，增加感受野，使得网络也能够关注到疟原虫以外的细胞环境与外部特征，降低误检率；在获取不同扩张率的空洞卷积提取的含有不同语义信息与空间信息的特征图之后，使用CA注意力模块对不同的特征图赋予不同的权重，使网络更加关注对识别疟原虫有用的信息，增加特征提取的能力，提高检测的准确性。
可选的，对于输入为的特征图，经过扩张率为6、12、18的三个空洞卷积处理之后，得到三个特征图F1、F2与F3，将这三个特征图拼接得到新的特征图其中/>表示张量的拼接操作，/>
可选的，将F123与CA注意力获取的注意力权重点乘得到新的特征图F′，并与输入Fin进行拼接得到特征图，然后再通过1×1卷积调整通道数，得到最终的输出Fout，其表达式为：
式中，表示拼接操作，F1×1表示1×1卷积操作。
可选的，所述步骤4中的AFFM模块借助通道注意力与空间注意力，对当前特征图与上采样或下采样得到的特征图进行融合。其核心部分由两个通道注意力模块(ChannelAttention Module,CAM)与一个空间注意力模块(Spatial Attention Module,SAM)组成，CAM更关注目标的深层语义信息而SAM更关注目标的浅层位置信息。CAM首先对输入进来的单个特征层进行全局平均池化与全局最大池化，然后将池化后的两个特征层送入共享全连接层进行处理，并进行相加操作，最后经过sigmoid激活函数的处理，获得输入特征层每一个通道的权值。SAM对输入特征层在通道上进行最大池化与平均池化，并将两个特征图进行拼接，然后通过卷积操作将特征图的通道数调整为1，最后通过sigmoid激活函数取得输入特征层每个特征点的权值。
可选的，高层特征图FH∈RC×H×W与低层特征图FL∈RC×H×W分别经过通道注意力得到相应的通道注意力权重FC1∈RC×1×1与FC2∈RC×1×1，然后将两个输入与各自的通道注意力权重在垂直方向进行点乘操作，对得到的两个特征图进行拼接输出新的特征图FC∈R2C×H×W，
式中表示点乘操作。
可选的，对得到的新特征图在垂直方向进行压缩，得到空间注意力权重FS∈RC ×1×W，并在水平方向上进行点乘操作，来调整融合特征的空间分布，从而得到AFFM最终的输出FM，其表达式为：
可选的，所述步骤5中的SIoU损失函数由距离损失Lossdis，长宽比损失Lossshape与重叠面积损失Lossiou三部分组成，而在距离损失中又引入了角度损失，SIoU的表达式为：
可选的，Lossiou表示真实框与预测框重叠面积的交并比，其表达式为：
式中B为真实框的面积，BGT为预测框的面积。
可选的，Lossshape表示长宽比损失，其表达式为：
式中的超参数θ用于控制Lossshape在总损失函数中的重要程度，其值由遗传算法计算获得；h与w为预测框的长和宽，hgt与wgt为真实框的长和宽。
可选的，Lossdis为距离损失函数，综合考虑了距离损失与角度损失，其表达式为：
式中γ＝2-Λ，Λ为新定义两个边界框的角度损失函数，其表达式为：
式中其中/>与/>分别是预测框与真实框中心点坐标，α与β分别表示真实框与预测框中心点与水平方向和垂直方向的夹角，两者之间的关系为：/>
本发明有益效果是：
(1)本发明设计了一种具有增强特征融合特点的目标检测网络，用于检测被疟原虫感染的红细胞，取得与人工显微镜检查方法相当的检测准确率，极大地提高了检测速度；与其他目标检测网络相比，在背景复杂、细胞重叠等场景及图片边缘处的疟原虫检测具有更好的效果，更能满足疟原虫辅助诊断的要求。
(2)本发明设计MAFM模块替代基线网络的SPP结构中，利用空洞卷积代替SPP中的普通卷积，扩大感受野，增强特征提取的能力，同时引入坐标注意力模块，将位置信息嵌入到通道注意力中，对不同特征图分配不同的注意力权重，获取更有利于分类与回归任务的特征。
(3)本发明不同于现有将注意力机制等操作直接加在模型的某一部位(比如骨干特征提取网络之后或者检测头之前)的做法，而是借鉴注意力机制的思想构建了一个多尺度特征聚合模块和注意力特征融合模块，尤其是设计AFFM模块，借鉴通道注意力与空间注意力的思想对不同大小的特征图进行特征融合，代替原来的直接将不同特征进行拼接的操作，这种基于注意力机制的特征融合方式，赋予包含不同语义信息与空间信息的特征图不同的权重，增强不同层级特征图的融合能力，减少特征融合过程中的特征损失。
(4)本发明使用SIoU代替基线网络中的CIoU作为回归损失函数，通过考虑真实框与预测框之间的角度损失，平衡距离损失与角度损失的占比关系，使目标定位更加准确，加快模型的收敛速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于增强特征融合的改进YOLOv4疟原虫检测方法的总体流程图；
图2为本发明所构建的EFF-YOLO网络模型总体结构图；
图3为本发明涉及的EFF-YOLO网络模型中MFAM模块原理图；
图4为本发明涉及的EFF-YOLO网络模型中CA注意力模块原理图；
图5为本发明涉及的EFF-YOLO网络模型中AFFM模块原理图；
图6为本发明提供的基于增强特征融合的改进YOLOv4疟原虫检测方法涉及的SIoU损失函数中角度损失的计算原理图；
图7为采用本发明提供的基于增强特征融合的改进YOLOv4疟原虫检测方法得到的检测结果可视化图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于增强特征融合的改进YOLOv4疟原虫检测方法，参见图1，所述方法包括：
步骤1：创建数据集，对所收集的疟原虫细胞图像数据集进行人工标注，并划分训练集、验证集与测试集。
步骤2：选取YOLOv4模型作为基线网络并对其进行改进，形成具有增强特征融合特点的目标检测网络。
步骤3：在骨干特征网络之后设计多尺度特征聚合模块，增强多尺度特征提取能力。
具体地，使用空洞卷积替换SPP结构中的池化操作，增加感受野，使得网络也能够关注到疟原虫以外的细胞环境，降低误检率；使用CA注意力机制对获取的多尺度特征图赋予不同的权重，使网络更加关注对识别疟原虫有用的信息，提高检测的准确性。
步骤4：设计注意力特征融合模块替代颈部网络中的拼接操作，充分融合不同特征图的特征。
具体地，注意力特征融合模块由两个通道注意力模块CAM与一个空间注意力模块SAM组成，CAM更关注目标的深层语义信息而SAM更关注目标的浅层位置信息。CAM首先对输入进来的单个特征层进行全局平均池化与全局最大池化，然后将池化后的两个特征层送入共享全连接层进行处理，并进行相加操作，最后经过sigmoid激活函数的处理，获得输入特征层每一个通道的权值。SAM对输入特征层在通道上进行最大池化与平均池化，并将两个特征图进行拼接，然后通过卷积操作将特征图的通道数调整为1，最后通过sigmoid激活函数取得输入特征层每个特征点的权值。
步骤5：使用SIoU作为回归损失函数，通过考虑真实框与预测框之间的角度损失，重新构建惩罚函数，加快模型的收敛速度。
步骤6：对改进的YOLOv4网络进行训练，使用k-means算法生成新的anchor大小，并使用Mosaic数据增强扩增样本。
步骤7：将测试集中的疟原虫细胞图像输入训练得到的最佳模型进行测试，获取疟原虫图像的可视化检测结果。
实施例二
本实施例提供一种基于增强特征融合的改进YOLOv4疟原虫检测方法，包括：
首先搭建YOLOv4目标检测网络，使用MFAM模块、AFFM模块与SIoU损失损失函数进行改进；然后自制疟原虫细胞图像数据集，将训练集的图片输入改进的YOLOv4网络训练，并用验证集优化网络参数；最后保存最好的模型权重，用于检测图像。
步骤1：创建数据集，对所收集的疟原虫细胞图像数据集进行人工标注，并划分训练集、验证集与测试集，构建数据集的具体内容为：
1a)从某医药学院收集2794张疟原虫感染的人体血液细胞电脑扫描显微镜图像，按照8：1：1的比例划分为训练集、验证集与测试集。
1b)在专家的指导下，使用LabelImg标注软件对数据集中所包含的4709个疟原虫细胞个体进行人工标注，标签名称为Plasmodium。
1c)该数据集中所有疟原虫种类均为恶性疟，每张图像的大小为518×416，图像中每个疟原虫个体的像素都在20-50之间。
步骤2：选取YOLOv4模型作为基线网络并对其进行改进，形成具有增强特征融合特点的目标检测网络EFF-YOLO。图2为本发明中的改进YOLOv4网络的总体结构图，其总体结构由骨干特征提取网络Backbone、特征融合网络Neck、检测头Head三部分组成，其具体结构为：
2a)Backbone采用CSPDarknet-53进行特征提取，通过引入CSPNet结构，将浅层信息与深层信息相结合，避免梯度消失问题的同时也增强了特征提取能力。
2b)Neck部分在最后一层特征图之后引入空间池化金字塔(Spatial PyramidPooling,SPP)结构，使用不同尺度的池化操作增强特征提取能力；使用PANet(PathAggregation Network)结构，在FPN(Feature Pyramid Network)的基础上增加了一条自底而上的特征融合路径，实现不同尺寸特征图之间的充分融合。
2c)Head部分完成回归与分类任务，分别在13×13，26×26，52×52三种不同大小的尺寸图上，对大目标、中等目标、小目标进行检测。
步骤3：在骨干特征网络之后设计多尺度特征聚合模块MFAM，其具体结构如图3所示，首先在SPP模块中使用空洞卷积代替普通卷积提取多尺度特征；然后使用CA注意力模块对不同的特征图赋予不同的权重，并与输入的特征图叠加，再通过1×1卷积调整通道数，得到输出特征图。具体的实施方式为：
3a)对于输入为的特征图，经过扩张率为6、12、18的三空洞卷积处理之后，得到三个特征图F1、F2与F3，将这三个特征图拼接得到新的特征图：
其中表示张量的拼接操作，/>
3b)图4为CA注意力模块结构图，首先将输入特征图分别在宽度和高度两个方向进行全局平均池化；然后将两个特征图宽和高转置到同一个维度进行堆叠；之后再次分成两个并行阶段，利用1×1卷积调整通道数后再经过sigmoid激活函数获得宽高维度上的注意力权重，与输入相乘得到相应的特征。将F123与CA注意力获取的注意力权重点乘得到新的特征图F′，并与输入Fin进行拼接得到特征图，然后再通过1×1卷积调整通道数，得到最终的输出Fout：
式中表示拼接操作，F1×1表示1×1卷积操作。
步骤4：设计注意力特征融合模块AFFM替代颈部网络中的拼接操作，充分融合不同特征图的特征，其具体结构如图5所示。首先低层特征图与高层特征图分别输入到通道注意力模块得到相应的通道注意力权重，再与输入特征图进行点乘操作得到新的特征图；将两个新特征图拼接之后输入空间注意力模块，得到空间注意力权重，再与输入进行点乘，得到AFFM模块最终的输出。具体实施方式为：
4a)将骨干特征提取网络得到的高层特征图FH∈RC×H×W与低层特征图FL∈RC×H×W分别经过通道注意力得到相应的通道注意力权重FC1∈RC×1×1与FC2∈RC×1×1，然后将两个输入与各自的通道注意力权重在垂直方向进行点乘操作，对得到的两个特征图进行拼接输出新的特征图FC∈R2C×H×W，
式中表示点乘操作。
4b)对得到的新特征图在垂直方向进行压缩，得到空间注意力权重FS∈RC×1×W，并在水平方向上进行点乘操作来调整融合特征的空间分布得到AFFM最终的输出FM，其表达式为：
步骤5：引入SIoU损失函数，通过考虑预测框与真实框的角度损失，重新定义惩罚函数，加快模型的收敛速度，提高模型的推理性能。图6为SIoU角度损失的原理图，具体实施方式为：
5a)模型首先尝试将预测框带到距离真实框最接近的水平或者竖直方向，然后沿着该方向不断逼近真实框。图6中α与β分别表示真实框与预测框中心点与水平方向和垂直方向的夹角，当时，模型首先最小化α，否则先最小化β，α与β的关系为：
5b)为了实现5a)的功能，定义两个边界框的角度损失函数：
式中 与/>分别是预测框与真实框中心点坐标。
5c)在定义角度损失之后，重新定义距离损失惩罚函数Lossdis，并将角度损失考虑其中：
式中γ＝2-Λ。当α→0时，Lossdis在总损失函数中占比逐渐降低；相反地，当/>时，随着角度α的增加，Lossdis对总损失函数的贡献也会增加，但是也会使得问题变得更加复杂。因此，引入γ参数，随着α的变化给予角度损失与距离损失不同的权重，来保证角度与距离之间的平衡。
步骤6：训练改进的YOLOv4网络。
本申请实施例中所有的实验都在同一台计算机上进行，其实验环境配置如表1所示：
表1实验环境配置
环境 配置
CPU i5-13400@2.50GHz
GPU NVIDIA RTX 3090 24GB
内存 512G
深度学习框架 Pytorch1.11
编程环境 Python3.8.13
图片输送到模型训练时会被压缩成416×416的大小，在训练的过程中，使用k-means算法生成先验框，使用Mosaic数据增强与Mixup数据增强扩增训练样本，初始学习率设置为0.01，学习率衰减系数为0.0005，采用Adam优化器训练参数，动量值设置为0.937，BatchSize设置为64。一共训练300个Epoch，且在前50个Epoch冻结骨干特征提取网络训练，加快收敛速度，如果200个Epoch之后模型性能不再发生变化则自动停止训练，节约训练时间。
本发明中采用召回率(Recall,R)，准确率(Precision,P)，平均准确度(meanAverage Precision,mAP)来评价算法的性能。其中Recall表示预测正确的正样本数在总的标签数中的占比，反映了疟原虫细胞的漏检率；Precision表示模型预测正确的正样本数在模型预测的总的正样本数中的占比，反应了疟原虫细胞的误检率；平均准确度mAP反应了所提算法的总体性能，其综合考虑准确率Precision和召回率Recall，以召回率为横坐标，正确率为纵坐标，对形成的PR曲线进行积分得到AP值，然后累加各类别AP值，最后除以总类别数C，从而得到mAP。上述指标的计算方法分别如下所示：
式中TP表示被正确分类的正样本数，FP和FN分别表示被错误分类的负样本数和正样本数。
步骤7：保存最优模型，将待检测的图片输送到网络中检测。
为了验证EFF-YOLO网络中的MFAM模块、AFFM模块与SIoU损失函数能否有效提高模型的检测精度，增强疟原虫细胞的识别能力，本发明对不同的模块进行消融实验，根据评价指标客观地对不同模块进行对比与分析。实验对三个模块进行排列组合共分为4组：SIoU、MFAM+SIoU、AFFM+SIoU、MFAM+AFFM+SIoU，消融实验得到的mAP、Recall与Precision结果如表2所示，标记√代表使用的模块。
表2消融实验结果
加入MFAM模块之后，模型的召回率为94.36％，与YOLOv4相比提升了5.92个百分点，这说明MFAM模块中的CA注意力机制与空洞卷积大大提升了网络的特征提取能力，使模型关注到了基线网络所忽略的特征，减少了疟原虫细胞的漏检率。而AFFM模块在精确率方面同样有较为显著的提升，由原来的94.59％提升至96.27％，这种基于注意力机制的拼接方式能够更加充分利用上下文信息，融合不同尺寸的特征图，从而提升网络区分疟原虫与其他杂质的能力，降低疟原虫细胞的误检率。加入全部三个模块之后，EFF-YOLO算法达到了98.42％的mAP，94.38％的Recall与96.45％的Precision，与基线网络YOLOv4相比分别提升了1.00，5.96与1.86个百分点，有效地提升了模型检测疟原虫细胞的能力。
为了进一步探究EFF-YOLO的检测性能，基于同一个疟原虫细胞数据集，将EFF-YOLO与目前主流的单阶段目标检测算法如SSD、YOLOv5、YOLOv7等进行对比，检测结果如表3所示，表格中的加粗字体表示单个指标的最优结果。由表3可知，EFF-YOLO在mAP与召回率方面都达到了最佳值，这说明MFAM模块与AFFM模块有效增强了网络的特征提取与特征融合能力，提高了疟原虫细胞的查全率；仅在精确率方面略低于特征提取网络更复杂的YOLOv7，但在后面的可视化分析中取得了更优秀的结果。
表3对比实验结果
图7为图像检测的可视化结果，本发明提出的算法具有更强的多尺度特征提取与特征融合能力，与其他几种对比网络相比，在背景复杂、细胞重叠等场景及图片边缘处的疟原虫检测具有更好的效果，虽然在Precision方面略低于最先进的网络YOLOv7，但是在实际的疟原虫检测过程中得到了更好的检测结果，更能满足疟原虫辅助诊断的要求。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于增强特征融合的改进YOLOv4疟原虫检测方法，其特征在于，所述方法包括：
步骤1：准备数据集，将标注后的疟原虫细胞图像数据集划分训练集、验证集与测试集；
步骤2：构建具有增强特征融合特点的改进YOLOv4网络，包括骨干特征提取网络Backbone、特征融合网络Neck、检测头Head三部分，其中选取CSPDarkNet53作为骨干特征提取网络；
步骤3：在骨干特征提取网络之后设计一个多尺度特征聚合模块替代YOLOv4中的空间金字塔池化模块；
步骤4：在颈部网络中，设计注意力特征融合模块代替原来的拼接操作；所述注意力特征融合模块包括两个通道注意力模块CAM和一个空间注意力模块SAM；
步骤5：使用SIoU作为回归损失函数，通过考虑真实框与预测框之间的角度损失，重新构建距离惩罚函数；
步骤6：利用步骤1准备的训练集对改进YOLOv4网络进行训练，使用k-means算法生成新的anchor大小，并扩增样本；
步骤7：将测试集中的疟原虫细胞图像输入训练得到的最佳模型进行测试，获取疟原虫细胞图像的可视化检测结果；
步骤8：采用训练得到的最佳模型对待检测的人体血液细胞图像进行检测以确定对应的人体血液细胞样本中是否含有疟原虫以及统计疟原虫的数量。
2.根据权利要求1所述的方法，其特征在于，所述步骤2构建得到的改进YOLOv4网络中，Backbone部分使用CSPDarknet53进行特征提取，引入CSPNet结构将浅层信息与深层信息相结合；Neck部分引入空间池化金字塔SPP结构，使用不同尺度的池化操作以增强特征提取能力，使用PANet结构，在FPN的基础上增加了一条自底而上的特征融合路径以实现不同尺寸特征图之间的充分融合；Head部分用于完成回归与分类任务，分别在13×13，26×26，52×52三种不同大小的尺寸图上，对大目标、中等目标、小目标进行检测。
3.根据权利要求2所述的方法，其特征在于，所述步骤3包括：
步骤3.1，对于输入为的特征图，经过扩张率为6、12、18的三个空洞卷积处理之后，得到三个特征图F1、F2与F3，将这三个特征图拼接得到新的特征图F123：
其中表示张量的拼接操作，/>
步骤3.2，将特征图F123分别在宽度和高度两个方向进行全局平均池化；然后将进行全局平均池化后的两个特征图宽和高转置到同一个维度进行堆叠；之后再次分成两个并行阶段，利用1×1卷积调整通道数后再经过sigmoid激活函数获得宽高维度上的注意力情况，与输入相乘得到相应的特征；
将F123与CA注意力获取的注意力权重点乘得到新的特征图F′，并与输入Fin进行拼接得到特征图，然后再通过1×1卷积调整通道数，得到最终的输出Fout：
式中表示拼接操作，F1×1表示1×1卷积操作。
4.根据权利要求3所述的方法，其特征在于，所述步骤4包括：
步骤4.1，将骨干特征提取网络得到的高层特征图FH∈RC×H×W与低层特征图FL∈RC×H×W分别经过通道注意力得到相应的通道注意力权重FC1∈RC×1×1与FC2∈RC×1×1，然后将两个输入与各自的通道注意力权重在垂直方向进行点乘操作，对得到的两个特征图进行拼接输出新的特征图FC∈R2C×H×W：
步骤4.2，对得到的新特征图在垂直方向进行压缩，得到空间注意力权重FS∈RC×1×W，并在水平方向上进行点乘操作，来调整融合特征的空间分布得到AFFM最终的输出FM，其表达式为：
式中表示点乘操作。
5.根据权利要求4所述的方法，其特征在于，所述步骤5中SIoU作为回归损失函数由距离损失Lossdis，长宽比损失Lossshape与重叠面积损失Lossiou三部分组成；其中距离损失中引入了角度损失，SIoU的表达式为：
6.根据权利要求5所述的方法，其特征在于，所述Lossiou表示真实框与预测框重叠面积的交并比，其表达式为：式中B为真实框的面积，BGT为预测框的面积。
7.根据权利要求5所述的方法，其特征在于，所述Lossshape表示长宽比损失，其表达式为：式中的超参数θ用于控制Lossshape在总损失函数中的重要程度；h与w为预测框的长和宽，hgt与wgt为真实框的长和宽。
8.根据权利要求5所述的方法，其特征在于，所述Lossdis为距离损失函数，综合考虑了距离损失与角度损失，其表达式为：式中/> γ＝2-Λ，Λ为新定义两个边界框的角度损失函数，其表达式为：式中/> 其中/>与/>分别是预测框与真实框中心点坐标，α与β分别表示真实框与预测框中心点与水平方向和垂直方向的夹角，两者之间的关系为：/>
9.根据权利要求1所述的方法，其特征在于，所述步骤6中使用Mosaic数据增强与Mixup数据增强扩增样本。
10.一种目标检测方法，其特征在于，所述方法采用权利要求1-9任一项所述的方法对待检测图像进行检测，所述待检测图像为医学检测领域内的图像。
CN202410052408.7A 2024-01-15 2024-01-15 基于增强特征融合的改进YOLOv4疟原虫检测方法 Active CN117854111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410052408.7A CN117854111B (zh) 2024-01-15 2024-01-15 基于增强特征融合的改进YOLOv4疟原虫检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410052408.7A CN117854111B (zh) 2024-01-15 2024-01-15 基于增强特征融合的改进YOLOv4疟原虫检测方法

Publications (2)

Publication Number Publication Date
CN117854111A true CN117854111A (zh) 2024-04-09
CN117854111B CN117854111B (zh) 2024-08-09

Family

ID=90530184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410052408.7A Active CN117854111B (zh) 2024-01-15 2024-01-15 基于增强特征融合的改进YOLOv4疟原虫检测方法

Country Status (1)

Country Link
CN (1) CN117854111B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118711180A (zh) * 2024-08-30 2024-09-27 南昌大学第二附属医院 一种疟原虫图像检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205264A (zh) * 2022-07-21 2022-10-18 南京工程学院 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN115631462A (zh) * 2022-11-09 2023-01-20 浙江科技学院 基于am-yolox的草莓病虫害检测方法及系统
CN116091490A (zh) * 2023-03-16 2023-05-09 长春工业大学 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN116092179A (zh) * 2022-11-28 2023-05-09 淮阴工学院 一种改进的yolox跌倒检测系统
CN116665054A (zh) * 2023-05-30 2023-08-29 郑州大学 一种基于改进YOLOv3的遥感影像小目标检测方法
CN116824413A (zh) * 2023-07-25 2023-09-29 江苏科技大学 一种基于多尺度空洞卷积的航拍图像目标检测方法
CN116844158A (zh) * 2023-06-12 2023-10-03 浙江理工大学 基于深度学习的血涂片疟疾细胞检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205264A (zh) * 2022-07-21 2022-10-18 南京工程学院 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN115631462A (zh) * 2022-11-09 2023-01-20 浙江科技学院 基于am-yolox的草莓病虫害检测方法及系统
CN116092179A (zh) * 2022-11-28 2023-05-09 淮阴工学院 一种改进的yolox跌倒检测系统
CN116091490A (zh) * 2023-03-16 2023-05-09 长春工业大学 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN116665054A (zh) * 2023-05-30 2023-08-29 郑州大学 一种基于改进YOLOv3的遥感影像小目标检测方法
CN116844158A (zh) * 2023-06-12 2023-10-03 浙江理工大学 基于深度学习的血涂片疟疾细胞检测系统
CN116824413A (zh) * 2023-07-25 2023-09-29 江苏科技大学 一种基于多尺度空洞卷积的航拍图像目标检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118711180A (zh) * 2024-08-30 2024-09-27 南昌大学第二附属医院 一种疟原虫图像检测方法及系统

Also Published As

Publication number Publication date
CN117854111B (zh) 2024-08-09

Similar Documents

Publication Publication Date Title
Mehanian et al. Computer-automated malaria diagnosis and quantitation using convolutional neural networks
CN117854111B (zh) 基于增强特征融合的改进YOLOv4疟原虫检测方法
Quinn et al. Automated blood smear analysis for mobile malaria diagnosis
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
AU2014230824A1 (en) Tissue object-based machine learning system for automated scoring of digital whole slides
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
Koirala et al. Deep learning for real-time malaria parasite detection and counting using YOLO-mp
CN116188879B (zh) 图像分类、图像分类模型训练方法、装置、设备及介质
CN111797786B (zh) 用于离体生物样本的检测方法及四分类、计算机设备和计算机可读存储介质
Cabrera et al. HeMatic: An automated leukemia detector with separation of overlapping blood cells through Image Processing and Genetic Algorithm
CN113555087A (zh) 一种基于卷积神经网络算法的人工智能阅片方法
CN115420578A (zh) 一种基于显微高光谱成像系统的Omicron病毒检测方法
Hu et al. Automatic detection of tuberculosis bacilli in sputum smear scans based on subgraph classification
CN114078137A (zh) 一种基于深度学习的阴道镜图像筛选方法、装置和电子设备
Al-Qudah et al. Synthetic blood smears generation using locality sensitive hashing and deep neural networks
CN116844158A (zh) 基于深度学习的血涂片疟疾细胞检测系统
CN116893162A (zh) 基于yolo及注意力神经网络的罕见抗核抗体核型探测方法
Liu et al. Faster r-cnn based robust circulating tumor cells detection with improved sensitivity
CN114627123A (zh) 综合双流加权网络和空间注意力机制的白带细胞检测方法
CN113178228A (zh) 基于细胞核dna分析的细胞分析方法、计算机设备、存储介质
Özbılge et al. Ensembling object detection models for robust and reliable malaria parasite detection in thin blood smear microscopic images
CN114757906A (zh) 基于detr模型的显微图像中白细胞检测方法
CN113469939A (zh) 一种基于特性曲线的her-2免疫组化自动判读系统
CN110175989A (zh) 影像数据处理方法及其装置
Khatkar et al. Identification of Malaria Parasite Using Soft Computing Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant