CN114820490A - 一种基于yolox改进算法的聚集血小板检测方法 - Google Patents

Abstract

本发明属于图像目标检测技术领域，公开了一种基于YOLOX改进算法的聚集血小板检测方法，该方法在主干特征提取网络上引入了RFB模块，其中RFB结构由四个不同尺寸和空洞率的卷积层分支和一个残差边组成，引入方式为CSPDarknet主干特征提取网络的CspLayer层后面。然后在特征融合部分，在PANet的输出进行自适应加权融合，使得三个有效特征层提取的特征在进行预测前以不同权重进行融合，引入更多的浅层信息，让浅层网络权重增大，深层网络权值相对较小，可以提高网络对聚集血小板检测的准确率。

Description

一种基于YOLOX改进算法的聚集血小板检测方法

技术领域

本发明属于图像目标检测技术领域，具体涉及一种基于YOLOX改进算法的聚集血小板检测方法。

背景技术

血常规检查是一项常见的体检项目，可以通过观察血细胞的数量变化及形态分布从而判断血液状况及疾病的检查。其中红细胞能够供给全身组织和细胞所需的氧气，占血液细胞总数的40％-50％；白细胞可以参与细胞免疫，并具有免疫调节功能，占血液细胞总数的1％；血小板的主要功能是凝血和止血，修补破损的血管，在血液中的数量占比也很大。其中血小板的一个重要生理特性是具有聚集功能，它是指血小板和血小板之间的黏附，显示活化的血小板相互作用聚集成团的特征。当血小板聚集率越高时，血小板容易聚集形成血栓，可能还会引起冠状动脉痉挛，使得心肌微循环发生障碍。所以血小板聚集率的测定对于临床上治疗血栓性疾病和诊断血栓前状态具有重要意义。随着生物和医学的发展，对细胞的聚集的研究成为细胞生物学中的重要课题之一。而研究血小板粘附、聚集可望使这一课题取得新进展。

目前传统的血小板聚集检测原理是在富含血小板的血浆或全血中加入致聚剂连续搅拌来产生血小板聚集这种现象。20世纪60年代，Born首先采用比浊法测定血小板聚集，这种方法的缺点是对血小板聚集物的形成不敏感，只能检测大血小板聚集团；高脂血症的PRP会影响透光度。全血电阻抗法，这种方法每次测定后电极需要清洗干净，同时连接电极的电线需要小心安放，不能弯曲，使得它很难满足临床工作的需要。而且这些方法大多是理化实验，制备过程复杂，耗时长，误差比较大，准确率很大程度上依赖于实验人员的操作规范和个人经验。血涂片是目前临床检测比较常见的方式，通过检测血涂片上血小板的聚集情况，可以快速准确的帮助医生和专家得到患者的血小板聚集情况，以便能够采取及时有效的治疗方案。

目标检测是计算机视觉领域的重要组成模块。其中，YOLOX算法作为优秀的单目标检测算法，可以直接回归出物体的类别概率和位置坐标，算法速度快。但是直接利用YOLOX进行聚集血小板的目标检测时存在一些不可避免的问题。在YOLOX中是利用特征金字塔FPN进行特征融合，FPN在一定程度上缓解了信息扩散问题。但是，直接融合不同密度的信息会引起语义冲突，限制多尺度特征的表达，使得小目标容易淹没在冲突信息中。由于血小板的尺寸不到图像尺寸的十分之一，是一种小目标。所以直接利用YOLOX进行聚集血小板的检测会出现很大程度的漏检。

发明内容

针对现有技术中存在的上述问题，本发明提出一种基于YOLOX改进算法的聚集血小板检测方法，解决了在聚集血小板检测中，小目标检测不到和容易漏检的问题。

本发明采用以下技术方案：

一种基于YOLOX改进算法的聚集血小板检测方法，步骤如下：

1)采集血小板数据集，并对血小板数据集进行增强，以得到血小板增强数据集；对采集血小板数据集用生物显微镜采集血小板图片，筛选出单个血小板和聚集血小板都清晰可见的图片，然后进行数据增强，得到增强数据集。

2)采集血小板聚集和血小板正常分布的两类样本图片，将样本图片调整为适合模型输入的640×640像素大小，通过标签标注软件LabelImg对物品图片进行样本标注，并将标注信息存储为XML格式；

3)将血小板增强数据集按照8：1：1的比例分为训练集、验证集、测试集；

4)将训练集输入YOLOX网络中，根据网络输出值和真实值求取损失，并根据梯度下降法对网络参数进行更新；

4.1)将训练集中的图片输入YOLOX网络的主干网络CSPDarknet中进行特征提取，以输出三个不同尺度的特征层；主干网络CSPDarkne主要由四个Resblock body模块组成的，前三个Resblock body模块均由三部分组成，第一部分为卷积标准化加激活函数，第二部分为CspLayer层，第三部分为RFB模块；第四个Resblock body模块由三部分组成，第一部分为卷积标准化加激活函数，第二部分为SPPBottleneck模块，第三部分为CspLayer层；

其中，RFB模块是将包含不同尺寸和不用空洞率的卷积层构成的多分支结构，其中第一个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、空洞率为1，第二个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、第三个卷积核为3×3、空洞率为3，第三个分支中第一个卷积核为1×1、第二个卷积核为3×3、第三个卷积核为3×3、第四个卷积核为3×3、空洞率为5，第四个分支中第一个卷积核为1×1、第二个卷积核为1×7、第三个卷积核为7×1、第四个卷积核为3×3、空洞率为7，最终使用1×1的卷积将四个分支连接到一起，第五个分支不经过处理，直接作为残差边和经过1×1卷积的结果进行堆叠，得到最终的输出。

4.2)将三个不同尺度的特征层通过PANet进行特征融合，以输出尺度从小到大的第一、第二、第三尺度的三个有效特征层，并对PANet的输出进行自适应加权融合(Adaptively Spatial Feature Fusion，ASFF)，以得到三个不同尺度的融合特征图；

4.3)通过YOLO Head将融合特征图的通道数调整为num_anchors*(5+num_classes)，以获取训练集网络输出特征图，其中YOLO Head表示预测头，num_anchors表示每个网格上的先验框数目，num_classes表示类别数目；

5)通过参数更新后的YOLOX网络在验证集上计算验证集损失，并判断验证集损失是否收敛；

6)重复步骤4)-5)，直到步骤5)计算得到的验证集损失收敛，得到训练后的YOLOX网络模型；

7)获取新的扫描图片进行检测：在步骤6)得到稳定高效的检测网络后，只需将需要检测的扫描图片送入检测网络即可实现聚集血小板的自动检测。

7.1)对所有调整后的测试集候选框按照置信度得分进行排序；

7.2)对所有调整后的测试集候选框中使用非极大值抑制去除冗余框，得到最终的预测框。

本发明的有益效果：

(1)本发明中对YOLOX算法进行改进，在主干网络上引入了RFB模块，RFB模块主要是在Inception的基础上加入了空洞卷积层从而有效的增大了感受野。将RFB模块引入到YOLOX中，使得网络拥有更强大的表征能力，可以使得网络获得更好的检测速度和精度。

(2)对特征融合部分，在原有输出的三个有效特征层的基础上添加了自适应空间特征融合(Adaptively Spatial Feature Fusion，ASFF)的金字塔特征融合策略，使得各个特征层提取的特征在进行预测前以不同权重进行融合。对于血小板小目标来说，引入更多的浅层信息，让浅层网络权重增大。可以大幅提高网络对血小板聚集检测的准确率。

附图说明

图1是基于YOLOX改进算法的聚集血小板检测的流程图；

图2是基于YOLOX改进的网络模型结构示意图；

图3是Receptive Field Block模块结构示意图；

图4是基于改进YOLOX网络模型对血小板聚集的检测准确率。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

为了加深对本发明的理解，下面将结合附图对本发明做进一步详述。本发明的一种基于YOLOX改进算法的聚集血小板检测方法，参照图1所示，该图像为该方法的流程示意图。包括以下步骤：

S1、采集血小板数据集，并对血小板数据集进行增强，以得到血小板增强数据集；

S2、将血小板增强数据集按照预设比例划分为训练集、验证集、测试集；

S3、将训练集送入YOLOX网络中，经过主干网络进行特征提取，得到三个不同尺度的特征层，然后送入PANet进行特征融合，得到三个不同尺度的有效特征层，并对有效特征层进行自适应加权融合，得到三个不同尺度的融合特征图，送入YOLO Head中进行分类和预测。根据网络输出值和真实值求取损失，并根据梯度下降法对网络参数进行更新；

S4、训练和验证检测网络：将训练集送入S3设计好的检测网络中训练，并在迭代次数完成后将测试集送入检测网络中分析网络性能并调整网络训练参数，直到测试集损失保持不变，得到训练后的YOLOX网络模型；

S5、获取新的图片进行检测：在S4得到稳定高效的检测网络后，只需将需要检测的扫描图片送入检测网络即可实现血小板聚集的自动检测。

具体地：

在步骤S1中具体为：利用尼康E100生物显微镜拍摄从大连医科大学第二附属医院采集的血小板图片，并且筛选出清晰度和尺寸都符合要求的血小板图片。使用Mosaic数据对血小板数据集进行数据增强，所述的Mosaic数据增强是对于数据集中任意4张图片，通过随机缩放、随机裁减、随机排布的方式进行拼接得到新的图片并加入数据集中，它的优点是可以丰富检测物体的背景，并且可以实现数据集的扩充。并使用LabelImg对聚集血小板进行标注，标签为juji。

在步骤S2中具体为：将图片在网络中调整为300×300大小，按照(训练集：验证集)：测试集＝(9：1)：1的比例划分数据集。并且生成train.txt、val.txt、test.txt文件来保存对应的图片名和其中的标签位置及类别信息，所述生成文件格式按行来对每张图片进行划分，以train.txt文件为例，其中每行依次保存着被划分为训练集的图片的路径、该图片内所有的标注框位置信息(x1,y1,x2,y2)及类别信息。

在步骤S3中具体为：

S3.1、训练集中图片输入YOLOX的主干网络CSPDarknet中进行初步的特征提取。输入的图片首先会在CSPDarknet里面进行特征提取，提取到的三个特征层是输入图片的特征集合，尺度分别为80×80×256、40×40×512、20×20×1024。

现有的主干特征提取网络CSPDarknet主体是由四个Resblock body模块组成的，前三个Resblock body由两部分组成，第一部分为卷积标准化加激活函数，第二部分为CspLayer层，是一个大的残差结构，它的优点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。第四个Resblock body由三部分组成，第一部分为卷积标准化加激活函数，第二部分为SPPBottleneck，第三部分为CspLayer层。

本发明对主干网络进行改进，在主干网络的前三个Resblock body中在CspLayer层之后加入RFB模块，如图3所示，RFB是将包含不同尺寸和不用空洞率的卷积层构成多分支结构，其中第一个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、空洞率为1，第二个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、第三个卷积核为3×3、空洞率为3，第三个分支中第一个卷积核为1×1、第二个卷积核为3×3、第三个卷积核为3×3、第四个卷积核为3×3、空洞率为5，第四个分支中第一个卷积核为1×1、第二个卷积核为1×7、第三个卷积核为7×1、第四个卷积核为3×3、空洞率为7，最终使用1×1的卷积将四个分支连接到一起，第五个分支不经过处理，直接作为残差边和经过1×1卷积的结果进行堆叠，得到最终的输出。RFB是一种轻量级、而且集成了各类检测算法优点的模块，结合了Inception和虫洞卷积的思想，以提高感受野的方式提高网络的特征提取能力。

S3.2、将三个不同尺度的特征层通过特征金字塔进行特征融合，以输出尺度从小到大的第一、第二、第三尺度有效特征图，尺度分别为13×13、26×26、52×52，并对特征金字塔的输出进行自适应加权融合(Adaptively Spatial Feature Fusion，ASFF)，使得各个特征层提取的特征在进行预测前以不同权重进行融合，对于血小板小目标来说，引入更多的浅层信息，让浅层网络权重增大。可以大幅提高了网络对血小板聚集检测的准确率。

在步骤S4中具体为：训练分为两个阶段，冻结和解冻阶段。所述预设的训练算法为随机梯度下降SGD算法。总迭代次数为100次。冻结阶段迭代50次，学习率为0.001，解冻阶段迭代50次，学习率为0.0001。将训练得到的模型在所述测试数据集上进行测试，得到模型的检测精度，当检测精度达不到预设精度要求时，重新设计模型训练方法和提高模型训练迭代的次数，直至得到检测精度达到预设精度要求的模型，作为最终的血小板聚集检测模型。

在步骤S5中具体为：获取新的扫描图片进行检测：得到稳定高效的检测网络后，只需将需要检测的扫描图片送入检测网络中，使用非极大值抑制去除冗余框，得到最终的预测框。

为了验证方法的性能，在原先分配的测试集上进行测试，对模型进行系统的评价。实验结果如图所示，本发明能够实现对聚集血小板的检测。更改前的网络对聚集血小板的精确度在置信度为0.5时是88.09％，更改后对聚集血小板的检测精度在90.91％，提高了2.82％。并且改进后的目标检测模型增加了RFB模块，故速度相较于传统的目标检测模型在检测时更快。

Claims (5)

1.一种基于YOLOX改进算法的聚集血小板检测方法，其特征在于，步骤如下：

1)采集血小板数据集，并对血小板数据集进行增强，以得到血小板增强数据集；

2)采集血小板聚集和血小板正常分布的两类样本图片，将样本图片调整为适合模型输入的640×640像素大小，对物品图片进行样本标注，并将标注信息存储为XML格式；

3)将血小板增强数据集按照预设比例分为训练集、验证集、测试集；

4)将训练集输入YOLOX网络中，根据网络输出值和真实值求取损失，并根据梯度下降法对网络参数进行更新；

4.1)将训练集中的图片输入YOLOX网络的主干网络CSPDarknet中进行特征提取，以输出三个不同尺度的特征层；主干网络CSPDarkne主要由四个Resblock body模块组成的，前三个Resblock body模块均由三部分组成，第一部分为卷积标准化加激活函数，第二部分为CspLayer层，第三部分为RFB模块；第四个Resblock body模块由三部分组成，第一部分为卷积标准化加激活函数，第二部分为SPPBottleneck模块，第三部分为CspLayer层；

4.2)将三个不同尺度的特征层通过PANet进行特征融合，以输出尺度从小到大的第一、第二、第三尺度的三个有效特征层，并对PANet的输出进行自适应加权融合，以得到三个不同尺度的融合特征图；

4.3)通过YOLO Head将融合特征图的通道数调整为num_anchors*(5+num_classes)，以获取训练集网络输出特征图，其中YOLO Head表示预测头，num_anchors表示每个网格上的先验框数目，num_classes表示类别数目；

5)通过参数更新后的YOLOX网络在验证集上计算验证集损失，并判断验证集损失是否收敛；

6)重复步骤4)-5)，直到步骤5)计算得到的验证集损失收敛，得到训练后的YOLOX网络模型；

7)获取新的扫描图片进行检测：在步骤6)得到稳定高效的检测网络后，只需将需要检测的扫描图片送入检测网络即可实现聚集血小板的自动检测。

2.根据权利要求1所述的基于YOLOX改进算法的聚集血小板检测方法，其特征在于，

步骤4)中的RFB模块是将包含不同尺寸和不用空洞率的卷积层构成的多分支结构，其中第一个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、空洞率为1，第二个分支中第一个卷积核大小为1×1、第二个卷积核为3×3、第三个卷积核为3×3、空洞率为3，第三个分支中第一个卷积核为1×1、第二个卷积核为3×3、第三个卷积核为3×3、第四个卷积核为3×3、空洞率为5，第四个分支中第一个卷积核为1×1、第二个卷积核为1×7、第三个卷积核为7×1、第四个卷积核为3×3、空洞率为7，最终使用1×1的卷积将四个分支连接到一起，第五个分支不经过处理，直接作为残差边和经过1×1卷积的结果进行堆叠，得到最终的输出。

3.根据权利要求1所述的基于YOLOX改进算法的聚集血小板检测方法，其特征在于，

步骤1)中对采集血小板数据集用生物显微镜采集血小板图片，筛选出单个血小板和聚集血小板都清晰可见的图片，然后进行数据增强，得到增强数据集。

4.根据权利要求1所述的基于YOLOX改进算法的聚集血小板检测方法，其特征在于，

步骤3)中，训练集、验证集、测试集的比例为8：1：1。

5.根据权利要求1所述的基于YOLOX改进算法的聚集血小板检测方法，其特征在于，

步骤7)中具体实现过程：

7.1)对所有调整后的测试集候选框按照置信度得分进行排序；

7.2)对所有调整后的测试集候选框中使用非极大值抑制去除冗余框，得到最终的预测框。

Images