CN114283280A - 一种基于改进卷积神经网络的水面漂浮垃圾识别方法 - Google Patents
一种基于改进卷积神经网络的水面漂浮垃圾识别方法 Download PDFInfo
- Publication number
- CN114283280A CN114283280A CN202111469099.6A CN202111469099A CN114283280A CN 114283280 A CN114283280 A CN 114283280A CN 202111469099 A CN202111469099 A CN 202111469099A CN 114283280 A CN114283280 A CN 114283280A
- Authority
- CN
- China
- Prior art keywords
- water surface
- floating garbage
- frame
- anchor frame
- multiplied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明涉及图像识别技术领域，尤其涉及一种基于改进卷积神经网络的水面漂浮垃圾识别方法，包括S1、对水面漂浮垃圾图像数据集进行扩充；S2、将ResNet50作为特征提取网络层，采用金字塔式锚框生成锚框，经Soft‑NMS筛选出疑似垃圾的多个目标候选框，ROI Pooling基于候选框映射的分类判别图来对目标进行分类和回归；S3、对改进后Faster RCNN网络进行模型训练；S4、对测试集进行测试。本发明在原始Faster RCNN上提出金字塔式锚框生成方式提升光照反射不均时检测准确率；针对目标尺寸占比太小，提出分类判别图提升小目标检测准确率，并采取Soft‑NMS，提升遮挡目标检测准确率。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于改进卷积神经网络的水面漂浮垃圾识别方法。
背景技术
水面漂浮垃圾清理现今主要采用人工打捞的方式，但其存在成本高昂、清理缓慢等问题；研究表明，将水面机器人与视频实时监测技术相结合可以有效地提高其自动化程度和降低成本；就检测水面漂浮垃圾来说，传统的检测方法主要有背景建模法、光流法等方法；然而，由于水面存在光照反射不均、水面场景复杂、目标尺寸差距过大等干扰检测的问题，上述算法难以适应各种环境变化。
随着计算机硬件的发展和算力的提升，促进了卷积神经网络的发展，基于卷积神经网络的目标检测算法也逐渐兴起；与传统的检测算法相比，基于卷积神经网络的目标检测算法具有更好的特征表达和泛化能力；基于卷积神经网络的目标检测算法分为一阶段算法和二阶段算法两种，如YOLOv2、YOLOv3、SSD等，称为一阶段算法，如Faster RCNN、FastRCNN、RCNN等，称为两阶段算法。Faster RCNN是一种经典的目标检测算法，它的主干网络采用的是VGG16，并提出了区域建议网络(RPN)，在特征图的基础上再生成一系列候选框，最后通过ROI Pooling得到预测结果，该方法对于一般的目标具有较高检测精度，但是对于图像中存在目标遮挡、光照反射不均、目标尺寸占比太小等问题的目标，检测效果仍然不佳。
发明内容
本发明所要解决的技术问题是：本发明对Faster RCNN进行改进，针对光照反射不均问题，提出金字塔式锚框生成方式；针对目标互相遮挡问题，引入Soft-NMS算法，针对目标尺寸占比太小问题，提出分类判别图，能够对水面漂浮垃圾进行有效检测，并且达到较高的检测精度。
本发明所采用的技术方案是：一种基于改进卷积神经网络的水面漂浮垃圾识别方法包括以下步骤：
S1：对水面漂浮垃圾图像数据集进行扩充，并划分为训练集和验证集以及测试集三部分；
数据集中训练集占比80％、验证集占比10％、测试集占比10％；
S2：将ResNet50作为特征提取网络层，水面漂浮垃圾图像经由特征层提取后，生成语义信息更好的特征图，之后经过RPN网络采用金字塔式锚框生成方式产生锚框，再经过Soft-NMS算法筛选出可能是水面漂浮垃圾的一系列目标候选框，然后基于RPN网络提取出的候选框映射到相对应的分类判别图，ROI Pooling基于候选框映射的分类判别图来对目标进行分类和回归；
进一步的，金字塔式锚框生成方式包括步骤如下：
S21、利用标注框对每幅水面漂浮垃圾图像都生成一个二值化标签图，其中含有目标的标注框位置编码为1，其余编码为0，即前景部分标记为1，背景部分标记为0；
S22、将标注框坐标位置信息(xg,yg,wg,hg)映射到不同语义信息特征图尺度上，获得对应坐标位置信息(x'g,y'g,w'g,h'g)，其中，wg为标注框的宽度，hg为标注框的高度，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，w'g为标注框映射到语义信息特征图后的宽度，h'g为标注框映射到语义信息特征图后的高度，x'g为标注框映射到语义信息特征图后的正中心横坐标，y'g为标注框映射到语义信息特征图后的正中心纵坐标，之后再将标注框分为三类：
1、内部区域CA＝(x'g,y'g,σ1w'g,σ1h'g)定义了标注框的中心区域，该部分为标注框最中心区域，以该部分为中心生成的锚框属于正样本；
2、缓冲区域IA＝(x'g,y'g,σ2w'g,σ2h'g)是一个较大的区域，若以该部分为中心生成锚框，其IoU相对不高，故把此部分忽略，作为缓冲区域；
3、外部区域OA，该部分区域是在特征图中除过CA以及IA两部分以外的区域，以该部分为中心生成的锚框被当作负样本对待；
其中，σ1和σ2分别为内部区域和缓冲区域面积的系数；
S23、将锚框和标注框进行对照，根据锚框和与其对照的标注框的IoU，进行预测水面漂浮垃圾的形状；
另外，考虑到标注框大小不同，差异性很大，所以采用三个等级大小的锚框，如下表所示：
表1锚框等级
三个锚框纵横比分别为1:1，1:2，2:1。三个等级纵横比统一，公式表达如下：
其中，wg为标注框的宽度，hg为标注框的高度，l为锚框生成等级；
再经过Soft-NMS筛选出可能是水面漂浮垃圾的一系列目标候选框，然后基于RPN网络提取出的候选框映射到相对应的分类判别图；
进一步的分类判别图包括如下步骤：
S241、ResNet50网络特征层部分的第五层上采样和第四层特征图融合后传入ROIPooling，经过RPN处理后生成的建议框同比例扩大后映射到融合后的特征图上，形成分类判别图；
S242、ROI Pooling在分类判别图基础上，经过最大池化，然后分类和回归操作；
S3：将水面漂浮垃圾图像数据的训练集和验证集加载到改进后的Faster RCNN网络进行模型训练，之后保存训练好的结果模型，网络训练结果模型为RPN网络和Fast RCNN网络的联合训练结果；
S4：用训练好的结果模型对测试集部分进行测试，从而得到测试结果，完成水面漂浮垃圾的检测；
对测试集图像进行测试，是将水面漂浮垃圾测试集图像导入训练结果模型中，输出的图像能够标记出水面漂浮垃圾部分的位置，并显示出该水面漂浮垃圾的类别以及准确率，从而完成水面漂浮垃圾目标的检测。
本发明的有益效果是：
1、在原始Faster RCNN上提出金字塔式锚框生成方式提升光照反射不均时检测准确率；
2、针对目标尺寸占比太小，提出分类判别图提升小目标检测准确率，并采取Soft-NMS替代NMS，经过迭代阈值收缩算法调整参数后提升遮挡目标检测准确率。
附图说明
图1是本发明基于改进Faster RCNN的水面漂浮垃圾识别方法的流程图；
图2是本发明基于改进Faster RCNN的水面漂浮垃圾识别方法的ResNet50结构图；
图3是本发明基于改进Faster RCNN的水面漂浮垃圾识别方法的分类判别图；
图4是本发明基于改进Faster RCNN的水面漂浮垃圾识别方法的金字塔式锚框生成示意图；
图5是本发明基于改进Faster RCNN的水面漂浮垃圾识别方法的部分结果展示图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种基于改进卷积神经网络的水面漂浮垃圾识别方法包括以下步骤：
S1、将收集到的水面漂浮垃圾图像进行翻折和旋转的图像扩充，并划分为训练和验证以及测试三部分，其中80％为训练集、10％为验证集、10％为测试集。
S2、将ResNet50作为Faster RCNN的特征提取网络层，ResNet50网络如图2所示，将水面漂浮垃圾图像调整至统一的800×600，然后将水面漂浮垃圾图像经由特征层提取后，生成语义信息更好的特征图；之后经过RPN网络采用金字塔式锚框生成方式产生锚框，以标注框为中心生成锚框，可以很好的避免目标周围环境的干扰，如光照反射不均；
金字塔式锚框生成方式具体步骤如下(如图3所示)：
S21、利用标注框对每幅图像都生成一个二值化标签图，其中含有目标的标注框位置编码为1，其余编码为0，即前景部分标记为1，背景部分标记为0。
S22、将标注框坐标位置信息(xg,yg,wg,hg)映射到不同特征图尺度上，获得对应坐标位置信息(x'g,y'g,w'g,h'g)，其中，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，σ1,σ2为系数，之后再将标注框分为三类：
1、内部区域CA＝(x'g,y'g,σ1w'g,σ1h'g)定义了标注框的中心区域，该部分为标注框最中心区域，以该部分为中心生成的锚框属于正样本；
2、缓冲区域IA＝(x'g,y'g,σ2w'g,σ2h'g)是一个较大的区域，若以该部分为中心生成锚框，其IoU相对不高，故把此部分忽略，作为缓冲区域；
3、外部区域OA，该部分区域是在特征图中除过CA以及IA两部分以外的区域，以该部分为中心生成的锚框被当作负样本对待；
S23、将锚框和标注框进行对照，根据锚框和与其对照的标注框的IoU，去进行预测；
式中，wg为标注框的宽度，hg为标注框的高度，xg为该标注框的正中心横坐标，yg为该标注框的正中心纵坐标，σ1和σ2分别为内部区域和缓冲区域面积的系数，本实施例中，当σ1＝0.18,σ2＝0.54时，检测精度最高；
另外，考虑到标注框大小不同，差异性很大，所以本发明采用三个等级大小的锚框，如下表1所示：
表1锚框等级
三个锚框纵横比分别为1:1，1:2，2:1；三个等级纵横比统一，公式表达如下：
其中，wg为标注框的宽度，hg为标注框的高度，l为锚框生成等级；
再经过Soft-NMS筛选出可能是水面漂浮垃圾的一系列目标候选框，由于NMS对重叠度较高的预测框处理效果不好，而Soft-NMS可以有效改善NMS对高重叠度的处理问题；通过Soft-NMS代替NMS，NMS算法如(2)所示，式中M为得分最高的预测框，为与当前预测框有重叠度的预测框，为设置的处理阈值。其主要思想是IoU一旦超过某个阈值，对应值就置为零；
Soft-NMS算法如式(3)所示，其主要思想是IoU一旦超过某个阈值，就采用相应公式衰减，而不是直接把对应值置为零：
式中si为目标分数，M为得分最高的预测框，bi为与当前预测框有重叠度的预测框，Nt为设置的处理阈值。
本发明优化调整了Soft-NMS的参数，经过迭代阈值收缩算法调参，Soft-NMS算法的Nt阈值在0.45-0.65的参数范围内有最好的效果，如果超出这个范围，平均检测精度会有明显降低。
然后基于RPN网络提取出的候选框映射到相对应的分类判别图，分类判别图可以很好的提升小目标检测准确率；
分类判别图具体实现如下：
S241、如图4所示，ResNet50网络特征层第五层上采样和第四层特征图融合后传入ROI Pooling，经过RPN处理后生成的建议框同比例扩大后映射到融合后的特征图上，形成分类判别图；
S242、ROI Pooling在分类判别图基础上，经过最大池化，然后分类和回归操作；
S3、将水面漂浮垃圾图像数据的训练集和验证集加载到改进后Faster RCNN网络进行模型训练，之后保存训练好的结果模型，再用保存好的结果模型对测试集的图像进行测试，得到测试结果，完成水面漂浮垃圾的检测。
S4、对测试集图像进行测试，是将水面漂浮垃圾测试集图像导入训练结果模型中，输出的图像能够标记出水面漂浮垃圾部分的位置并显示出该水面漂浮垃圾的类别以及准确率，如图5所示是不同种类的水面漂浮垃圾检测结果图；
为了评估本发明对水面漂浮垃圾检测的有效性，实验使用精确度(precision)和召回率(recall)来衡量方法有效性，计算公式如公式(4)(5)所示。
式中TP(True Positive)表示被模型预测为正的正样本；FP(False Positive)表示被模型预测为负的正样本；FN(False Negative)表示被模型预测为负的正样本。
将本发明提出的方法和Faster RCNN(ResNet50)、YOLOX、SSD三种方法分别对本数据集进行检测，然后将平均检测精度和召回率记录并汇总如表2所示：
表2不同模型下召回率和精确度的结果
从表2中可以看出，本发明方法与Faster RCNN(ResNet50)相比提升了4个百分点，本发明方法相对SSD算法提升提高了7.3％，同时相较于最新的YOLO系列算法—YOLOX提高了3.6％，综合识别率达到了86.4％。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (5)
1.一种基于改进卷积神经网络的水面漂浮垃圾识别方法，其特征在于，包括以下步骤：
S1、对水面漂浮垃圾图像数据集进行扩充，将数据集划分为训练集和验证集和测试集；
S2、水面漂浮垃圾图像经由ResNet50特征层提取后，生成语义信息特征图，经过RPN网络采用金字塔式锚框生成方式产生锚框，再经过Soft-NMS算法筛选出疑似水面漂浮垃圾的多个目标候选框，然后基于RPN网络提取出的候选框映射到对应的分类判别图，ROIPooling基于候选框映射的分类判别图来对目标进行分类和回归，得到改进Faster RCNN网络模型；
S3、将水面漂浮垃圾图像数据的训练集和验证集送入改进Faster RCNN网络进行训练，保存训练好的结果模型；
S4、用训练好的结果模型对测试集图片进行测试，从而得到测试结果，完成水面漂浮垃圾的检测。
2.根据权利要求1所述的基于改进卷积神经网络的水面漂浮垃圾识别方法，其特征在于，所述金字塔式锚框生成方式包括：
S21、利用标注框对每幅水面漂浮垃圾图像生成一个二值化标签图，其中，含有目标的标注框位置编码为1，其余编码为0；
S22、将标注框坐标位置信息(xg,yg,wg,hg)映射到不同语义信息特征图尺度上，获得对应坐标位置信息(x'g,y'g,w'g,h'g)，其中，xg和x'g分别为标注框和标注框映射到语义信息特征图后的正中心横坐标，yg和y'g分别为标注框和标注框映射到语义信息特征图后的正中心纵坐标，wg和w'g分别为标注框和标注框映射到语义信息特征图后的宽度，hg和h'g分别为标注框和标注框映射到语义信息特征图后的高度；
S23、将锚框和标注框进行对照，根据锚框和标注框的IoU进行预测水面漂浮垃圾的形状。
3.根据权利要求2所述的基于改进卷积神经网络的水面漂浮垃圾识别方法，其特征在于：所述标注框分为内部区域CA＝(x'g,y'g,σ1w'g,σ1h'g)、缓冲区域IA＝(x'g,y'g,σ2w'g,σ2h'g)和外部区域OA；其中，σ1和σ2分别为内部区域和缓冲区域面积的系数。
4.根据权利要求2所述的基于改进卷积神经网络的水面漂浮垃圾识别方法，其特征在于：所述锚框分为三个等级，等级一、32×32,64×64,128×128、等级二、64×64,128×128,256×256和等级三、128×128,256×256,512×512，三个等级锚框纵横比分别为1:1，1:2，2:1，公式表达如下：
其中，l为锚框生成等级。
5.根据权利要求1所述的基于改进卷积神经网络的水面漂浮垃圾识别方法，其特征在于，所述分类判别图实现包括：
S241、ResNet50网络特征层第五层上采样和第四层特征图融合后传入ROI Pooling，经过RPN处理后生成的建议框同比例扩大后映射到融合后的特征图上，形成分类判别图；
S242、ROI Pooling在分类判别图基础上，经过最大池化，然后分类和回归操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111469099.6A CN114283280A (zh) | 2021-12-03 | 2021-12-03 | 一种基于改进卷积神经网络的水面漂浮垃圾识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111469099.6A CN114283280A (zh) | 2021-12-03 | 2021-12-03 | 一种基于改进卷积神经网络的水面漂浮垃圾识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283280A true CN114283280A (zh) | 2022-04-05 |
Family
ID=80870744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111469099.6A Pending CN114283280A (zh) | 2021-12-03 | 2021-12-03 | 一种基于改进卷积神经网络的水面漂浮垃圾识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283280A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861359A (zh) * | 2022-12-16 | 2023-03-28 | 兰州交通大学 | 一种水面漂浮垃圾图像自适应分割提取方法 |
-
2021
- 2021-12-03 CN CN202111469099.6A patent/CN114283280A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861359A (zh) * | 2022-12-16 | 2023-03-28 | 兰州交通大学 | 一种水面漂浮垃圾图像自适应分割提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN108985186B (zh) | 一种基于改进YOLOv2的无人驾驶中行人检测方法 | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| CN110796186A (zh) | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 | |
| CN111275688A (zh) | 基于注意力机制的上下文特征融合筛选的小目标检测方法 | |
| CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN110838126B (zh) | 细胞图像分割方法、装置、计算机设备和存储介质 | |
| WO2023065395A1 (zh) | 作业车辆检测与跟踪方法和系统 | |
| CN111046856B (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN111275010A (zh) | 一种基于计算机视觉的行人重识别方法 | |
| CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
| CN111738164B (zh) | 一种基于深度学习的行人检测方法 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN113129335A (zh) | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 | |
| CN111259808A (zh) | 一种基于改进ssd算法的交通标识的检测识别方法 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN114283280A (zh) | 一种基于改进卷积神经网络的水面漂浮垃圾识别方法 | |
| CN114429577A (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| CN111881775B (zh) | 一种人脸实时识别方法和装置 | |
| CN113506288A (zh) | 基于transform注意力机制的肺结节检测方法及装置 | |
| CN117058069A (zh) | 一种全景影像中路面表观病害自动检测方法 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |