CN112270347A - 一种基于改进ssd的医疗废弃物分类检测方法 - Google Patents

Abstract

本发明公开了一种基于改进SSD的医疗废弃物分类检测方法，包括：采集图像样本，对图像样本进行预处理；对预处理后的每张图像样本进行标注，建立图像数据集，并将图像数据集分为训练集、验证集、测试集；将SSD模型中的VGG‑16网络替换为MobileNetV3‑Large网络，去除平均池化层，并使用多尺度特征提取网络代替末端的1×1卷积层，将每个多特征倒残差层与其前、后一层或者多层倒残差层输出特征输入特征融合模块；将四个3×3卷积层的输出特征分别输入卷积注意力模块；建立目标损失函数，设置训练参数，将训练集输入改进SSD模型进行训练，得到改进SSD模型；利用验证集、测试集对改进SSD模型进行验证、测试，得到图像样本的分类检测结果。

Description

一种基于改进SSD的医疗废弃物分类检测方法

技术领域

本发明属于检测方法技术领域，涉及一种基于改进SSD的医疗废弃物分类检测方法。

背景技术

医疗废弃物种类繁多，对医疗废弃物进行精准的快速识别与定位也成为了智能医疗的关键技术之一。医疗废弃物回收过程中，利用机器人视觉传感技术对医疗废弃物进行分类识别与抓取，将有利于减少回收过程中的二次感染风险，从而提高医疗废弃物分拣的精度和效率。在计算机视觉领域，有诸多方法可以用于医疗废弃物的目标检测，传统的目标检测方法基于SIFT、HOG等特征，并采用了SVM、Adaboot等分类器进行分类。然而，医疗废弃物种类繁多，依靠传统的图像检测技术，检测效率较低。随着深度学习在图像分类领域的优异表现，卷积神经网络在计算机视觉的各领域开始得到了广泛使用。在目标检测领域中使用深度学习实现目标检测成为一个新的方向。现有的SSD目标检测算法相对于YOLO算法，检测精度有所提升，相对于Faster-RCNN算法，检测速度得到了提升。但是SSD目标检测算法在网络的浅层提取的特征图的表征能力不够强，对于小目标的检测不具备鲁棒性，容易出现误检和漏检。并且原有的SSD目标检测算法以VGG16为主干特征提取网络，需要训练的特征数量较大。

发明内容

本发明的目的是提供一种基于改进SSD的医疗废弃物分类检测方法，解决了现有技术中存在的小目标检测精度较低和模型参数量大的问题。

本发明所采用的技术方案是，一种基于改进SSD的医疗废弃物分类检测方法，包括以下步骤：

步骤1、采集图像样本，对图像样本进行预处理；

步骤2、对预处理后的每张图像样本进行标注，建立图像数据集，并将图像数据集分为训练集、验证集、测试集；

步骤3、构建改进SSD模型；

将SSD模型中的VGG-16网络替换为MobileNetV3-Large网络，去除MobileNetV3-Large网络中平均池化层，并使用多尺度特征提取网络代替MobileNetV3-Large网络末端的1×1卷积层，多尺度特征提取网络包括依次层叠的3×3卷积层Conv8、1×1卷积层Conv9_1、3×3卷积层Conv9_2、1×1卷积层Conv10_1、3×3卷积层Conv10_2、1×1卷积层Conv11_1、3×3卷积层Conv11_2；

将MobileNetV3-Large网络中每个多特征倒残差层与其前、后一层或者多层倒残差层输出特征输入特征融合模块，得到融合特征，将融合特征作为分类和回归网络的输入；

将多尺度特征提取网络中3×3卷积层Conv8、3×3卷积层Conv9_2、3×3卷积层Conv10_2、3×3卷积层Conv11_2的输出特征分别输入卷积注意力模块，输出特征图作为分类和回归网络的输入；

步骤4、建立改进SSD模型的目标损失函数，设置训练参数，将训练集输入改进SSD模型进行训练，得到改进SSD模型；

步骤5、利用验证集、测试集对改进SSD模型进行验证、测试，并通过模型评价指标对改进SSD模型进行评估，得到图像样本的分类检测结果。

本发明的特点还在于：

步骤1中预处理过程为：先对图像样本进行滤波处理，再采用二维伽马函数消除光照不均的影响。

步骤2中标注过程为：先对预处理后的每张图像样本进行名称、尺寸、类别、位置的标注，并生成对应XML文件，再将图像样本和对应XML文件存放在文件夹中。

特征融合模块的融合方法为：将多特征倒残差层前一层或多层倒残差层输出特征经过降维、卷积，得到与多特征倒残差层维度相同的第一特征图层，将多特征倒残差层后一层或多层倒残差层输出特征经过升维、双线性插值，得到与多特征倒残差层维度相同的第二特征图层，然后将多特征倒残差层与第一特征图层、第二特征图层进行逐元素相加，完成融合。

步骤3中多特征倒残差层包括倒残差层Bneck4、倒残差层Bneck6，对应融合特征为第一融合特征、第二融合特征。

在步骤4之前，对训练集中的图像样本进行数据增强处理。

改进SSD模型的目标损失函数为：

上式中，N为与真实框相匹配的默认边界框的个数，l为预测框，g为真实框，c为预测框类别为p的置信度。

本发明的有益效果是：

本发明一种基于改进SSD的医疗废弃物分类检测方法，将原VGG16主干特征提取网络替换成MobileNetV3，减少了网络的参数量；对MobileNetV3主干网络中的Bneck4和Bneck6分别进行特征融合得到融合特征，提高了对于小目标检测的精度；将四个卷积核大小为3×3的卷积层输出特征输入卷积注意力模块，用于提高网络的注意力，通过上述处理减少先验框数量，进而降低计算量，实现医疗废弃物的检测，提高了检测的准确率及效率。

附图说明

图1是本发明一种基于改进SSD的医疗废弃物分类检测方法中改进SSD的结构示意图；

图2是本发明一种基于改进SSD的医疗废弃物分类检测方法中倒残差层的流程图；

图3是本发明一种基于改进SSD的医疗废弃物分类检测方法中特征融合模块的流程图；

图4是本发明一种基于改进SSD的医疗废弃物分类检测方法中卷积注意力模块流程图；

图5是本发明一种基于改进SSD的医疗废弃物分类检测方法中通道注意力模块流程图；

图6是本发明一种基于改进SSD的医疗废弃物分类检测方法中空间注意力模块流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种基于改进SSD的医疗废弃物分类检测方法，包括以下步骤：

步骤1、采集图像样本，对图像样本进行预处理；

采集如下十种常见的医疗废弃物样本：药盒、口罩、针头、针筒、吊瓶、棉签、酒精棉、纱布、过期药品、医疗器具。并从不同的角度、光照强度、遮挡的情况下进行采集，每一种医疗废弃物图像采集了1000张，对于各类医疗废弃物混合的情况，又采集了5000张图像，总共采集了15000张图像样本。

先采用高斯滤波对图像样本进行滤波处理，消除图像样本中的高斯噪声；再采用二维伽马函数消除光照不均对图像的影响，校正后的图像可以加快模型的收敛和训练时间。二维伽马函数对光照不均的医疗废弃物图像进行校正，降低光照过强区域的亮度值，提高光照过低区域的亮度值，可以利用医疗废弃物图像的光照分量的分布特性自适应地调整二维伽马函数的参数，如下公式：

其中，O(x,y)为校正后的输出图像的亮度值，γ为用于亮度增强的指数值，其中包含了图像的光照分量特性，m为光照分量的亮度均值，I(x,y)为光照分量；F(x,y)为输入图像。

步骤2、对预处理后的每张图像样本进行标注，建立图像数据集，并将图像数据集分为训练集、验证集、测试集；

先利用图片标注工具labelimg对预处理后的每张图像样本进行名称、尺寸、类别、位置(包括xmin、ymin、xmax、ymax共四个坐标值)的标注，并生成对应XML文件，再将图像样本和对应XML文件存放在文件夹中，得到15000个文件夹；再按照7：2：1的比例对数据集进行划分，其中训练集(train)共计10500张，验证集(val)共计3000张，测试集(test)共计1500张。

步骤3、如图1所示，构建改进SSD模型；MobileNetV3是综合了MobileNetV1的深度可分离卷积、MobileNetV2的具有线性瓶颈的逆残差结构和基于SENet结构的轻量级注意力模型三种模型的思想。

步骤3.1、将SSD模型中的VGG-16网络替换为MobileNetV3-Large网络，去除MobileNetV3-Large网络中平均池化层，并使用多尺度特征提取网络代替MobileNetV3-Large网络末端的1×1卷积层，多尺度特征提取网络包括依次层叠的3×3卷积层Conv8、1×1卷积层Conv9_1、3×3卷积层Conv9_2、1×1卷积层Conv10_1、3×3卷积层Conv10_2、1×1卷积层Conv11_1、3×3卷积层Conv11_2；

改进SSD模型的特征提取过程为：输入图像大小为224×224×3，经过Conv1，特征大小变为112×112×16；经过包含1个bneck结构的Bneck2，特征大小变为112×112×16；经过包含2个bneck结构的Bneck3，特征大小变为56×56×24；经过包含3个bneck结构的Bneck4，特征大小变为28×28×40；经过包含4个bneck结构的Bneck5，特征大小变为14×14×80；经过包含2个bneck结构的Bneck6，特征大小变为14×14×112；经过包含3个bneck结构的Bneck7，特征大小变为7×7×160；经过Conv8，特征大小变为7×7×960；经过Conv9_1进行降维，特征大小变为7×7×256；经过Conv9_2，特征大小变为4×4×512；经过Conv10_1进行降维，特征大小变为4×4×128；经过Conv10_2，特征大小变为2×2×256；经过Conv11_1进行降维，特征大小变为2×2×64；经过Conv11_2，特征大小变为1×1×128。

如图2所示，倒残差层bneck的处理过程为：先将图像样本经过1×1卷积进行升维，然后经过3×3的深度可分离卷积(DW Conv)后，判断是否使用SE模块；如果使用SE模块，先进行平均池化下采样，然后经过两个1×1的卷积，并分别使用Relu6和h-swish激活函数，调整每个通道的权重，然后与特征图进行逐元素相乘，进行尺度融合；若不使用SE模块，直接通过1×1卷积融合成新的特征图，之后判断是否使用倒残差结构，当stride＝1，使用倒残差结构，否则直接输出特征。

利用h-swish激活函数，减少运算量，提高性能，h-swish激活函数公式为：

步骤3.2、将MobileNetV3-Large网络中每个多特征倒残差层与其前、后一层或者多层倒残差层输出特征输入特征融合模块，得到融合特征，将融合特征作为分类和回归网络的输入；

多特征倒残差层包括倒残差层Bneck4、倒残差层Bneck6，对应融合特征为第一融合特征、第二融合特征。如图3所示，特征融合模块的融合方法为：将多特征倒残差层前一层或多层倒残差层输出特征经过降维、卷积，得到与多特征倒残差层维度相同的第一特征图层，将多特征倒残差层后一层或多层倒残差层输出特征经过升维、双线性插值，得到与多特征倒残差层维度相同的第二特征图层，然后将多特征倒残差层与第一特征图层、第二特征图层进行逐元素相加，完成融合。

步骤3.3、将多尺度特征提取网络中3×3卷积层Conv8、3×3卷积层Conv9_2、3×3卷积层Conv10_2、3×3卷积层Conv11_2的输出特征分别输入卷积注意力模块，输出特征图作为分类和回归网络的输入。

MobileNetV3主干网络中的Bneck4和Bneck6经过特征融合后输出的第一融合特征、第二融合特征与多尺度特征提取网络中的Conv8、Conv9_2、Conv10_2、Conv11_2经过CBAM模块输出的特征图用于预测，对应尺寸为(28，28)，(14，14)，(7，7)，(4，4)，(2，2)，(1，1)。在进行模型训练时，会保存这六层的输出特征图，用作模型的分类和回归预测，获得了先验框，根据分类和回归预测结果，获得预测框。总共生成4722个先验框实现对应不同大小物体的检测，与生成8732个先验框的原SSD算法相比，计算量大幅度降低。

如图4所示，卷积注意力模块是一种结合了空间(Spatial)和通道(Channel)的注意力机制模块。先将Conv8层的输出特征作为输入经过一个通道注意力模块，然后将通道注意力模块输出与输入特征进行逐元素相乘，将加权后的结果作为空间注意力模块的输入，然后经过空间注意力模块，再进行加权操作，得到CBAM模块的输出结果。

如图5所示，通道注意力模块(Channel Attention Module)主要是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作。对于输入的特征图，先分别经过最大池化(MaxPool)和平均池化(AvgPool)，然后再输入共享全连接层(Shared MLP)；将共享全连接层的输出特征进行逐元素加和操作，之后经过sigmoid激活函数得到最终的通道注意力特征。将所得到的通道注意力特征与最开始的输入特征进行逐元素相乘，就可以获得空间注意力模块所需的输入特征。

如图6所示，空间注意力模块(Spatial Attention Module)将通道注意力模块的输出特征作为输入，首先经过基于通道的最大池化和平均池化，然后将两个结果进行拼接(concat)操作，其次经过卷积操作进行降维，降维成1个通道，最后经过sigmoid激活函数生成通道注意力特征。将通道注意力模块的输出特征与输入特征逐元素相乘，最终得到了CBAM模块的输出。

步骤4、设置训练参数，建立改进SSD模型的目标损失函数，将训练集输入改进SSD模型进行训练，得到改进SSD模型；

步骤4.1、提取训练集的XML文件中位置信息，并保存至txt文件中，txt文件包括标签信息和位置信息，txt文件用于后续模型训练时众多先验框的生成、与真实框的匹配以及损失的计算；

步骤4.2、对训练集中的图像样本进行数据增强处理；

为了增强模型的泛化能力，在训练前，通常数据增强方法。具体的，对训练集中的四张图像样本同时进行归一化，再分别对每张图像样本进行翻转、旋转、裁剪、缩放及平移，然后将每张图像样本与对应的真实框进行组合；

步骤4.3、建立改进SSD模型的目标损失函数：

上式中，N为与真实框相匹配的默认边界框的个数，l为预测框，g为真实框，c为预测框类别为p的置信度。

步骤4.4，设置训练参数，如学习率、迭代次数、优化器等训练参数，将步骤4.2处理后的训练集输入模型进行训练，得到改进SSD模型。

步骤5、利用验证集、测试集对改进SSD模型进行验证、测试，并通过模型评价指标对改进SSD模型进行评估，得到图像样本的分类检测结果。

由于在训练过程中产生多个预测框，为了获得效果最优的预测框，在测试过程中，利用Soft-NMS(柔性非极大抑制)，去除冗余的边框，同时考虑得分和重合程度，得到与目标真实框最为贴合的预测框。

模型评价指标由精确率和召回率两部分组成，精确率表示预测结果正确的数量，召回率表示找出的正确结果的数量，模型评价指标AP的计算公式如下：

其中，P(R)表示Precision-Recall(精确率-召回率)曲线；

AP即Average Precision，指的是平均精确度。AP的值越高则证明模型检测物体的准确率越高，即模型越好。mAP是多个类别AP的平均值，mAP越高，模型效果越好。

通过以上方式，本发明一种基于改进SSD的医疗废弃物分类检测方法，将原VGG16主干特征提取网络替换成MobileNetV3，减少了网络的参数量；对MobileNetV3主干网络中的Bneck4和Bneck6分别进行特征融合得到融合特征，提高了对于小目标检测的精度；将四个卷积核大小为3×3的卷积层输出特征输入卷积注意力模块，用于提高网络的注意力，通过上述处理减少先验框数量，进而降低计算量，实现医疗废弃物的检测，提高了检测的准确率及效率。

Claims (7)

1.一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，包括以下步骤：

步骤1、采集图像样本，对所述图像样本进行预处理；

步骤2、对预处理后的每张所述图像样本进行标注，建立图像数据集，并将所述图像数据集分为训练集、验证集、测试集；

步骤3、构建改进SSD模型；

将SSD模型中的VGG-16网络替换为MobileNetV3-Large网络，去除所述MobileNetV3-Large网络中平均池化层，并使用多尺度特征提取网络代替所述MobileNetV3-Large网络末端的1×1卷积层，所述多尺度特征提取网络包括依次层叠的3×3卷积层Conv8、1×1卷积层Conv9_1、3×3卷积层Conv9_2、1×1卷积层Conv10_1、3×3卷积层Conv10_2、1×1卷积层Conv11_1、3×3卷积层Conv11_2；

将所述MobileNetV3-Large网络中每个多特征倒残差层与其前、后一层或者多层倒残差层输出特征输入特征融合模块，得到融合特征，将所述融合特征作为分类和回归网络的输入；

将所述多尺度特征提取网络中3×3卷积层Conv8、3×3卷积层Conv9_2、3×3卷积层Conv10_2、3×3卷积层Conv11_2的输出特征分别输入卷积注意力模块，输出特征图作为分类和回归网络的输入；

步骤4、建立所述改进SSD模型的目标损失函数，设置训练参数，将所述训练集输入改进SSD模型进行训练，得到改进SSD模型；

步骤5、利用所述验证集、测试集对所述改进SSD模型进行验证、测试，并通过模型评价指标对所述改进SSD模型进行评估，得到所述图像样本的分类检测结果。

2.根据权利要求1所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，步骤1中所述预处理过程为：先对图像样本进行滤波处理，再采用二维伽马函数消除光照不均的影响。

3.根据权利要求1所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，步骤2中所述标注过程为：先对预处理后的每张所述图像样本进行名称、尺寸、类别、位置的标注，并生成对应XML文件，再将所述图像样本和对应XML文件存放在文件夹中。

4.根据权利要求1所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，所述特征融合模块的融合方法为：将所述多特征倒残差层前一层或多层倒残差层输出特征经过降维、卷积，得到与多特征倒残差层维度相同的第一特征图层，将所述多特征倒残差层后一层或多层倒残差层输出特征经过升维、双线性插值，得到与多特征倒残差层维度相同的第二特征图层，然后将所述多特征倒残差层与第一特征图层、第二特征图层进行逐元素相加，完成融合。

5.根据权利要求1或4所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，步骤3中所述多特征倒残差层包括倒残差层Bneck4、倒残差层Bneck6，对应所述融合特征为第一融合特征、第二融合特征。

6.根据权利要求1所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，在步骤4之前，对所述训练集中的图像样本进行数据增强处理。

7.根据权利要求1所述的一种基于改进SSD的医疗废弃物分类检测方法，其特征在于，所述改进SSD模型的目标损失函数为：

上式中，N为与真实框相匹配的默认边界框的个数，l为预测框，g为真实框，c为预测框类别为p的置信度。

Images