CN113469097B - 一种基于ssd网络的水面漂浮物多相机实时检测方法 - Google Patents

Abstract

本发明涉及机器学习、图像识别领域，具体涉及一种基于SSD网络的水面漂浮物多相机实时检测方法，包括以下步骤：步骤1:通过视频录制、相机拍摄和网络收集来采集水面漂浮物数据；步骤2:采用数据降噪和数据增强算法进行水面漂浮物数据扩增；步骤三：采用Labelimg工具对水面漂浮物数据集标注；步骤四：采用迁移学习对SSD网络模型进行训练获取最优权重模型；步骤五：基于SSD网络最优权重模型的多相机水面漂浮物目标实时检测。本发明基于SSD网络对水面漂浮物进行多相机实时检测，能够有效降低光照、天气和动态背景对实时检测造成的干扰，同时弥补单一相机检测的缺陷，满足实时性和精度的要求。

Description

一种基于SSD网络的水面漂浮物多相机实时检测方法

技术领域

本发明属于机器学习、图像识别领域，涉及一种基于SSD网络的水面漂浮物多相机实时检测方法。

背景技术

随着经济和社会的快速发展，我国城镇化建设步伐日益加快，大量的人口聚集到城市生活，给城市周边的环境和生态造成了严重的影响，许多饮水水源、城市内河、周边湖泊、水库等水面上出现大量的污染物，水面上的漂浮垃圾一般无法被溶解及自然稀释、且具有分布不均性，水面漂浮物的存在不仅影响了水体观感和城市的生活环境质量，也造成了水体的污染及生态平衡的破坏，甚至威胁到了航运和饮用水的安全。如何快速有效识别水面漂浮物，为水面安全规避、污染物清洁、水面交通安全等领域提供早期预警及实时监控等信息，成为了智能识别、信息化以及传感器领域的重要课题之一。

针对水面漂浮物的检测问题，目前虽然部分水域场景安装了实时监控设备，但是由于检测设备大多分布密度低且固定，只能监控到一定区域内的水面污染物，存在投入成本高、周期长且检测效率低下等问题。同时，现有的水域视频监控依托的设备多是单一相机，而单相机系统存在着视野范围小、获取信息少、可靠性较弱的缺陷，仍需有人对水面漂浮物监控画面进行人工监管，此管理方式不仅耗时费力，而且无法准确和实时监控水面漂浮物。

基于实际的水面污染物监管的需求，目前国内外相关研究成果大多存在图像识别精度低、图像信息量处理效率低、动态背景处理以及水面目标检测与识别算法问题，无法有效保证水面漂浮物检测实时性和准确性两者的平衡。针对目前水面漂浮物检测中存在的实际问题，本发明在人工智能和深度学习应用领域不断拓展的基础上，提出基于SSD(SingleShot MultiBox Detector，单发多目标检测器)网络对水面漂浮物进行多相机视频目标检测方法。

发明内容

本发明基于SSD网络，通过多相机对河流水面漂浮物进行实时监测，能够达到对漂浮物的坐标信息、类别和数量进行动态监测。基于水面漂浮物检测的信息数据判断是否对水面漂浮物进行处理，能够协助解决水污染问题。

为了达到上述目的，本发明采用的技术方案为：

一种基于SSD网络的水面漂浮物多相机实时检测方法，包括以下步骤：

第一步：采集数据，以视频录制、相机拍摄和网络资源收集为主要途径

运用多相机对河流水面进行全天候的录制获取视频资料，并利用Free Video toJPEGConverter将视频文件按照每帧为单位转换为图片，生成图片资料库A。利用相机实地对水面漂浮物图片进行拍摄采集，生成图片资料库B。通过百度搜集水面漂浮物图片，生成图片资料库C。最终得到用于训练SSD网络模型的数据集D，该数据集包含了图片资料库A、B和C。

第二步：数据降噪增强

由于摄像机在室外录制漂浮物视频的过程中会受到光照、天气等不确定性因素的影响，造成恶劣条件下摄像机视觉系统获取的漂浮物图像质量较差。低对比度、噪声和不均匀或弱光条件不利于图像分析，并且可能携带用于漂浮物检测的潜在错误信息。利用数据降噪算法对数据集D进行降噪处理，提高水面漂浮物图像信息的精度。同时，利用数据增强算法对数据集D进行数据增强，对数据进行扩充生成数据集E(数据集E不包括数据集D)，再将第一步得到的数据集D和生成的数据集E合并构成数据集F。通过10倍扩增训练数据集的规模，构造出更多的不同形状和大小的目标，有效避免由于水面漂浮物数据过少所造成的过拟合问题，提高了水面漂浮物识别性能和泛化能力。

进一步的，所述的数据增强算法包括随机旋转、反转、裁剪、缩放、平移、高斯噪声、模糊处理、颜色变换、擦除和填充10种。

第三步：图像目标标注，采用Labelimg工具对漂浮物数据集标注

为了保证标注工作的效率，针对漂浮物分布的特点确定区域标注的标注标准：①选择边界框的形式，对有明显漂浮物聚集的区域进行标注，边界框尽可能贴近聚集区范围；②选择大范围目标物(倾向聚集的大范围区域)进行标注，对多个分散小目标不进行单独标注。

通过人工标注的形式利用Labelimg工具对数据集F的水面漂浮物采用上述标注标准进行边界框标注，通过矩形区域表示漂浮物的坐标位置、范围和种类。具体包括：矩形框的中心点坐标、矩形框的长度和宽度、矩形框的类别。通过Labelimg工具对数据集F标注后形成数据集M。

第四步：训练SSD网络获取最优权重模型，预训练模型采用迁移学习进行模型训练

将水面漂浮物数据集M随机分成3个部分：训练集、验证集和测试集。其中训练集用于模型拟合的数据样本；验证集用于调整模型的超参数和用于对模型的能力进行初步评估；测试集用来评估模最终模型的泛化能力。三个数据集所占比例为：6:2:2。模型训练主要包括以下步骤：

(1)模型训练：训练集主要作为SSD网络的初始训练数据。

将训练集作为SSD网络的初始数据，训练时使用SSD在PASCAL VOC数据集上的预先训练好的VGG16模型网络权重作为初始化，网络训练时采用随机梯度下降Adam算法进行优化，学习率(Learningrate)设定为0.001，权重衰减系数(Weightdecay)设置为0.0005，学习率的衰减因子(Learningratedecayfactor)设定为0.94，批量尺寸大小(Batchsize)设置为32，将模型保存的时间(Saveintervalsecs)设定为600s，模型迭代次数(epoch)设置为150000次。模型在完成迭代上限次数后保存为多个权重模型。

(2)模型超参数调整：验证集主要用于网络模型超参数的调整。

①在步骤(1)中得到多个权重模型的基础上，将验证集输入到多个权重模型中，各个权重模型通过验证集数据可以得到预测准确率，预测准确率是预测框与真实框的比值，获取预测准确率最高的权重模型。②选出预测准确率最高的权重模型对应的超参数，包括学习率(learning rate)、批量尺寸大小(batch size)，迭代次数(epoch)、激活函数的选择、部分损失函数的可调系数以及正则化系数等，用以上超参数通过反向传播方式训练生成最优权重模型。

(3)模型泛化能力评估：测试集用来评估最终模型的泛化能力，不作为调参、选择特征等算法相关的选择的依据。

在步骤(1)和步骤(2)得到最优网络权重模型之后，将测试集输入到最优权重模型中，评估最优权重模型的性能和分类能力，性能指标包括准确率、召回率、平均精确度、每秒帧率等，将获得最优网络权重模型用于检测水面漂浮物的视频目标检测。

第五步：将SSD网络模型应用于多相机水面漂浮物视频目标实时检测

将多相机视频设备与计算机连接起来，将第四步步骤(3)中得到的最优网络权重模型集成到计算机平台中对监控的水面视频进行检测，实时检测待测水面上是否有漂浮物，将视频画面中的水面漂浮物用矩形框标出并在计算机上显示。随着漂浮物的移动，矩形框会相应的移动。同时计算机输出被检测漂浮物的位置信息、范围和种类。

与现有技术相比，本发明的有益效果如下：

(1)本发明采用基于SSD网络对水面漂浮物进行实时检测，能够弥补人工检测的不足。同时，基于SSD网络的水面漂浮物目标检测在实时性和精确性方面能够满足视频监控的要求。

(2)本发明对采集的图像数据采用数据降噪和增强算法达到数据扩增的效果，能够有效避免由于水面漂浮物数据过少所造成的过拟合问题。

(3)本发明采用基于SSD网络对水面漂浮物进行多相机实时检测，能够有效降低光照、天气和动态背景对实时检测造成的干扰，在满足实时性的同时也提高了检测的精度。同时，基于多台相机对水面漂浮物进行检测，达到多设备、多角度的检测效果，提高水面漂浮物检测的科学性。

附图说明

图1是本发明提供的SSD网络的工作原理示意图；

图2是本发明中多相机采集水面漂浮物数据的示意图；

图3是本发明的工作流程框架示意图；

图4是本发明提供的水面漂浮物检测的实时动态截图。

具体实施方式

以下结合具体实施例对本发明做进一步说明。

本发明提供一种基于SSD网络的水面漂浮物视频目标检测方法，主要包括水面漂浮物数据采集、水面漂浮物数据降噪和增强、水面漂浮物数据标注、SSD网络模型训练和模型检测。为了更好地理解基于SSD网络的水面漂浮物的检测方法，先对SSD网络的工作原理进行说明，如图1所示：

SSD网络作为One-Stage(一阶段)目标检测算法，其主要思路是均匀地在图片多个层数的特征图上进行密集抽样，抽样时可以采用不同尺度和长宽比，然后利用CNN提取特征后直接进行分类与回归。SSD网络包括SSD300和SSD512，本发明主要使用的是SSD300，即用于输入尺寸为300*300的图像识别。SSD 300中输入图像的大小是300x300，特征提取部分使用了VGG16的卷积层，并将VGG16的两个全连接层转换成了普通的卷积层(图中卷积层6和卷积层7)，之后又接了多个卷积(卷积层8_1，卷积层8_2，卷积层9_1，卷积层9_2，卷积层10_1，卷积层10_2)，最后用一个全局平均池化(Global Average Pool)来变成1x1的输出(卷积层11_2)。

SSD网络预测过程的基本步骤如下：①输入一幅图片(300x300)，将其输入到预训练好的分类网络(改进的传统的VGG16网络)中来获得不同大小的特征映射；②抽取卷积层4_3、卷积层7、卷积层8_2、卷积层9_2、卷积层10_2、卷积层11_2层的特征图(feature map)，然后分别在这些特征图(feature map)层上面的每一个点构造6个不同尺度大小的默认框(Default boxes)。然后分别进行检测和分类，生成多个初步符合条件的默认框(Defaultboxes)；③将不同特征图(feature map)获得的默认框(Default boxes)结合起来，经过NMS(非极大值抑制)方法来抑制掉一部分重叠或者不正确的默认框(Default boxes)，生成最终的默认框(Default boxes)集合(即检测结果)。

SSD网络的核心理念如下：①采用多尺度特征图用于检测，主要原因在于每一个特征图中都只能用尺度相同的选框，导致目标尺寸与选框尺寸差距过大时，无法完成理想检测，采用多尺度特征用于检测可以提高识别的准确度。②设置默认框(Default boxes)，SSD网络借鉴了Faster R-CNN中锚点(anchor)的理念，每个单元设置尺度或者长宽比不同的默认框(Default boxes)，预测的边界框(bounding boxes)是以这些默认框(Default boxes)为基准的，在一定程度上减少训练难度。③采用卷积进行检测，SSD直接采用卷积对不同的特征图来进行提取检测结果，对网络中6个特定的卷积层的输出分别用两个3*3的卷积核进行卷积，一个输出分类用confidence，每个默认框(default box)生成2个confidence；一个输出回归用的localization，每个default box生成4个坐标值(x，y，w，h)。

SSD在确定训练样本之后，选择将位置误差(Localization loss，loc)和置信度误差(Confidence loss,conf)的加权和作为损失函数，公式如下：

其中，N是预测框的正样本数量，c为类别置信度预测值。l为预测框的所对应边界框的位置预测值，而g是真实框(ground truth)的位置参数。权重系数α通过交叉验证设置为1。

针对位置误差，SSD网络采用的是Smooth L1 loss，公式如下：

其中，x是预测框与真实框(ground truth)之间的差距，l为预测框的所对应边界框的位置预测值，而g是真实框(ground truth)的位置参数，为第i个预测框匹配到第j个真实框关于类别为k的匹配程度，取值为0和1，/>代表预测框，/>代表真实框。

针对置信度误差，SSD网络采用Softmax loss，公式如下：

其中，N是预测框和真实框匹配的数量，c为类别置信度预测值，i为第i个预测框，j为第j个真实框，p为类别，为第i个预测框匹配到第j个类别为p的真实框，/>

一种基于SSD网络的水面漂浮物视频目标检测方法，下面结合附图和具体实施方式对本发明作进一步详细的描述。

(一)水面漂浮物数据集制作

通过多个摄像头全天候录制水面漂浮物视频，具体见图2，视频资料包含了不同天气、不同时间和不同光照的情况，视频录制为期1个月，并通过Free Video toJPEGConverter程序按照每帧为单位将视频转换为JPEG格式的图片，共计7872张；通过实地采用相机对水面漂浮物进行近距离拍摄，得到清晰度更高的图片，共计2267张；借助于百度搜索引擎收集到3362张水面漂浮物图片。通过三种途径共计获得数据集规模为13501张，分辨率均为300*300。

(二)水面漂浮物数据降噪和增强处理

为了提高睡眠漂浮物图像信息的精度，采用数据降噪算法对数据集进行处理，以降低光照、天气等不确定性因素的影响。同时为了进一步扩大数据规模，采用数据增强算法对水面漂浮物进行增广处理，算法包括：随机旋转、反转、裁剪、缩放、平移、高斯噪声、模糊处理、颜色变换、擦除和填充等10种。数据增强可以明显的提高算法的性能，主要的目的是为了使得该算法对输入的不同大小和不同形状的目标具有更好的鲁棒性。主要过程是通过数据增强操作可以增加训练样本的个数，同时构造出更多的不同形状和大小的目标，将其输入到网络中，可以使得网络学习到更加鲁棒的特征。经过数据增强处理，水面漂浮物数据规模为148511张。

(三)水面漂浮物数据目标标注

采用Labelimg工具对水面漂浮物图片进行边界框标注，边界框标注主要是对图片中的漂浮物进行手动矩形标记，标记信息主要是漂浮物的位置信息和种类信息。本发明在进行标记的过程中面临水面漂浮物大小不一且分散的问题，解决的方式是倾向聚集的大范围区域为大目标进行标注。经过水面漂浮物目标标注，共得到目标框210937个，构成数据集M。

(四)利用迁移学习对SSD网络初始模型进行训练，得到最优权重模型

此外，本文将数据集划分为60％的训练集、20％的验证集和20％的测试集，分别用于模型训练、超参数调整和泛化能力评估。在一块Nvdia GeForce 1080ti GPU显卡上进行端到端训练，，并使用PASCAL VOC的预训练好的VGG16模型进行参数迁移初始化设置。模型优化器使用Adam算法，设置初始学习率(Learningrate)为0.00001，权值衰减系数(Weightdecay)为0.0005，批量大小(Batchsize)为32，模型保存的时间(Saveintervalsecs)设定为600s，模型迭代次数设置为150000次，在训练集上完成迭代次数后获得多个权重模型。之后，将验证集输入到多个权重模型中，各个权重模型通过验证集数据可以得到预测准确率，预测准确率是预测框与真实框的比值，获取预测准确率最高的权重模型。同时，选出预测准确率最高的权重模型对应的超参数，包括学习率(learningrate)、批量尺寸大小(batch size)，迭代次数(epoch)、激活函数的选择、部分损失函数的可调系数以及正则化系数等，用以上超参数通过反向传播方式训练生成最优权重模型。最后，将测试集输入到最优权重模型中，评估最优权重模型的性能和分类能力。

(五)使用训练好的SSD网络最优权重模型实时多相机检测水面漂浮物

通过将多台相机与计算机平台连接，基于SSD网络的水面漂浮物视频目标检测能够实时多相机检测水面漂浮物的位置信息、种类以及范围，具有较高的准确率。同时，输出检测结果可以根据水面漂浮物的移动轨迹动态标注目标框，达到实时动态检测的效果。具体见图4，图4是在实际水面漂浮物应用检测过程中通过计算机输出水面漂浮物的信息，采用截图的形式获得。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (2)

1.一种基于SSD网络的水面漂浮物多相机实时检测方法，其特征在于，包括以下步骤：

第一步：采集数据

运用多相机对河流水面进行全天候的录制获取视频资料，并将视频文件按照每帧为单位转换为图片，生成图片资料库A；利用相机实地对水面漂浮物图片进行拍摄采集，生成图片资料库B；通过百度搜集水面漂浮物图片，生成图片资料库C；最终得到用于训练SSD网络模型的数据集D，该数据集包含了图片资料库A、B和C；

第二步：数据降噪增强

利用数据降噪算法对数据集D进行降噪处理，提高水面漂浮物图像信息的精度；同时，利用数据增强算法对数据集D进行数据增强，对数据进行扩充生成数据集E，其中数据集E不包括数据集D，再将第一步得到的数据集D和生成的数据集E合并构成数据集F；

第三步：图像目标标注，对漂浮物数据集标注

针对漂浮物分布的特点确定区域标注的标注标准：①选择边界框的形式，对有明显漂浮物聚集的区域进行标注，边界框贴近聚集区范围；②选择大范围目标物进行标注，对多个分散小目标不进行单独标注；

通过人工标注的形式，利用Labelimg工具对数据集F的水面漂浮物采用上述标注标准进行边界框标注，通过矩形区域表示漂浮物的坐标位置、范围和种类；具体包括：矩形框的中心点坐标、矩形框的长度和宽度、矩形框的类别；通过Labelimg工具对数据集F标注后形成数据集M；

第四步：训练SSD网络获取最优权重模型，预训练模型采用迁移学习进行模型训练

将水面漂浮物数据集M按照6:2:2的比例随机分成3个部分：训练集、验证集和测试集；其中训练集用于模型拟合的数据样本；验证集用于调整模型的超参数和用于对模型的能力进行初步评估；测试集用来评估模最终模型的泛化能力；

模型训练主要包括以下步骤：

（1）模型准备：目标检测器SSD网络

将目标检测器SSD网络作为基础模型，SSD网络由1个VGG骨干网络和4个特征提取层组成；输入300*300的漂浮物图像，依此经过VGG16、特征提取层进行卷积特征提取，输出6个尺度特征图，其中2个来自VGG部分，4个来自特征提取层，再次将6个尺度特征图输入预测卷积层进行类别和坐标预测，合并所有尺度预测值；

（2）模型训练：训练集主要作为SSD网络的初始训练数据；

将训练集作为SSD网络的初始数据，训练时使用SSD在 PASCAL VOC 数据集上的预先训练好的VGG16模型网络权重作为初始化，网络训练时采用随机梯度下降Adam算法进行优化，得到多个权重模型；

（3）模型超参数调整：验证集主要用于网络模型超参数的调整；

①在步骤（2）中得到多个权重模型的基础上，将验证集输入到多个权重模型中，各个权重模型通过验证集数据得到预测准确率，预测准确率是预测框与真实框的比值，获取预测准确率最高的权重模型；②选出预测准确率最高的权重模型对应的超参数，采用超参数通过反向传播方式训练生成最优权重模型；

（4）模型泛化能力评估：测试集用来评估最终模型的泛化能力；

在步骤（2）和步骤（3）得到最优网络权重模型之后，将测试集输入到最优权重模型中，评估最优权重模型的性能和分类能力，性能指标包括准确率、召回率、平均精确度、每秒帧率，将获得最优网络权重模型用于检测水面漂浮物的视频目标检测；

第五步：将SSD网络模型应用于多相机水面漂浮物视频目标实时检测

将多相机视频设备与计算机连接起来，将第四步步骤（4）中得到的最优网络权重模型集成到计算机平台中对监控的水面视频进行检测，实时检测待测水面上是否有漂浮物，将视频画面中的水面漂浮物用矩形框标出并在计算机上显示，并输出被检测漂浮物的位置信息、范围和种类。

2.根据权利要求1所述的一种基于SSD网络的水面漂浮物多相机实时检测方法，其特征在于，所述的数据增强算法包括随机旋转、反转、裁剪、缩放、平移、高斯噪声、模糊处理、颜色变换、擦除和填充10种。