CN111259809B - 基于DANet的无人机海岸线漂浮垃圾巡检系统 - Google Patents

Abstract

本发明公开了基于DANet的无人机海岸线漂浮垃圾巡检系统，使用全景分割算法，不仅同时分割出图像中的背景和前景目标物体，还给每个前景目标独立的身份。通过精确的分割结果帮助无人机调整航向，实现自动规划飞行路径，同时检测海岸线中的漂浮垃圾情况，发现污染反馈定位及类别，帮助有关部门解决在长海岸线的场景下的污染巡检问题。

Description

基于DANet的无人机海岸线漂浮垃圾巡检系统

技术领域

本发明涉及巡检系统技术领域，特别涉及基于DANet的无人机海岸线漂浮垃圾巡检系统。

背景技术

随着海洋垃圾越来越严重，污染很可能随海洋生物进入人体，因此减少海洋垃圾变得尤为重要。由于海洋过大，现阶段清理的多为海岸漂浮垃圾。但是海岸线过长，边缘较为曲折，难以绘制精准的海岸线，就没有准确的清理路径。海岸线长且曲折，沿整个海岸线清理则更不现实，因此需要知道垃圾所在位置，选择性地清理。另外，有些海岸线人难以到达，影响了人工检测漂浮垃圾的效率。传统的巡检方法有人工巡逻，现场监控。人工巡逻一般只巡检平地，而像山崖、石岸，人都难以检查。巡检周期长，受视觉范围限制，耗费大量人力、物力；现场监控布置成本较高，无法覆盖整个流域，而且监控设备拍摄范围有限，容易漏检。监控视频需要人工分析，进一步加大人力成本、财力成本，另外人为分析效果因人而异，分析结果不稳定；总的来说现有技术存在的问题在于：人为巡检效率低、监控检测成本高。为解决该问题，近年来出现了一种无人机自动巡检方案，该方案解决的是河道巡检，使用无人机搭载摄像头拍摄河流视频，人为寻找视频中的污染情况。其特点是无人机的自动巡检，利用动态二值化检测海岸，自动调整飞行方向。虽然该方法无人机能自动寻路飞行，但依然需要投入大量人力观察。而且动态二值化的检测方式鲁棒性低，实际海岸线情况多变，很容易影响算法准确率，使得无人机偏移理想航线。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于DANet的无人机海岸线漂浮垃圾巡检系统，其具有提高巡检智能度，优化无人机航线的优点，可达到低费用高效率的目标。

根据本发明实施例的基于DANet的无人机海岸线漂浮垃圾巡检系统，包括：

图像采集模块，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

特征提取模块，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

网络训练模块，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

路径修正模块，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

根据本发明实施例的基于DANet的无人机海岸线漂浮垃圾巡检系统，至少具有如下技术效果：本系统采用全景分割算法，不仅同时分割出图像中的背景和前景目标物体，还给每个前景目标独立的身份。通过精确的分割结果帮助无人机调整航向，实现自动规划飞行路径，同时检测海岸线中的漂浮垃圾情况，发现污染反馈定位及类别，帮助有关部门解决在长海岸线的场景下的污染巡检问题。本系统具有提高巡检智能度，优化无人机航线的优点，可达到低费用高效率的目标。

根据本发明的一些实施例，所述图像采集模块从视频中每秒取五帧图像，图像分辨率为1920*1080。

根据本发明的一些实施例，所述共享特征通过区域生成网络分支时，共享特征经过区域生成网络RPN，计算得到图像中每个可能是目标的推荐区域，推荐区域一一经过全连接层，通过softmax函数计算输出类别，经过区域回归计算出目标在图像中的位置坐标。

根据本发明的一些实施例，所述共享特征通过前景分支分割前景目标时，共享特征通过感兴趣区域对齐算法(ROIAlign)，将区域生成网络得到的多个推荐区域先进行双线性插值，再池化成14×14和7×7的特征图，14×14的特征图进过掩膜生成网络，掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图，得到前景目标掩膜；7×7的特征图经过分类定位网络，分类定位网络由两层连接层连接回归算法和softmax算法组成，输出获得前景目标的类别和图像中的位置坐标。

根据本发明的一些实施例，所述共享特征通过背景分支分割图像的背景时，使用推荐区域注意力模块和掩膜注意力模块，首先共享特征和区域生成网络经过推荐区域注意力模块，特征进行对应元素乘积计算，然后与原特征元素对位相加，掩膜注意力模块融合前景特征图和背景特征图，利用前景的信息优化背景特征。

根据本发明的一些实施例，所述网络训练模块使用强弱标签的方式对海岸图像进行标注，使用coco2014和coco2015数据集进行预训练，预训练使得网络学习到边缘特征和颜色特征，用该网络参数进行进一步训练，在使用数据集进行训练的过程中，先将预训练的分类器丢弃，保留前面隐藏层网络结构及参数，针对类别数量的不同需要根据海岸线巡检的要求修改分类器，使得输出类别数量和实际需要检测出的类别相同，修改分类器输出后将参数随机初始化，再使用已标注的海岸线图像进行训练，使得训练后的网络将能识别出海岸线以及漂浮垃圾。

根据本发明的一些实施例，所述无人机内置图像实例分割算法和航向算法，图像实例分割算法识别海水区域，获得海水在画面中的所有x、y轴坐标保存为二维数组，取y轴坐标相同，x轴坐标最小作为海岸线坐标，计算所有海岸线坐标的平均值，作为无人机飞行起点，根据航向算法确定飞行方向角，无人机旋转调整至适合角度。

根据本发明的一些实施例，所述无人机以海岸线所有坐标[{P_1x，P_1y}、{P_2x，P_2y}……{P_nx，P_ny}]为输入，按照像素坐标x、y的平方和大小排序，计算两点欧式距离进行排序，获得相邻且连续的海岸线坐标组P，将P的坐标点拟合成曲线，分别求得偏移角度α，公式如下：

α＝90°-Arctan(k)

其中，k为曲线中点切线斜率，用于调整无人机飞行方向。

根据本发明的一些实施例，还包括用于遥控无人机的终端控制模块，所述终端控制模块设有信息显示单元、无人机管理单元和信息管理单元。

本发明还提供一种基于DANet的无人机海岸线漂浮垃圾巡检方法，包括：

通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明第一实施例提供的基于DANet的无人机海岸线漂浮垃圾巡检系统简图；

图2是本发明第一实施例提供的特征提取模块简图；

图3是本发明第一实施例提供的推荐区域注意力模块简图；

图4是本发明第一实施例提供的掩膜注意力模块简图；

图5是本发明第一实施例提供的系统执行流程框图；

图6是本发明本发明第二实施例提供的基于DANet的无人机海岸线漂浮垃圾巡检方法流程简图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

下面结合附图，对本发明实施例作进一步阐述。

如图1所示，本发明的第一实施例提供了一种基于DANet(Double Attention Net)的无人机海岸线漂浮垃圾巡检系统，包括：

图像采集模块110，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

特征提取模块120，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

网络训练模块130，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

路径修正模块140，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

具体地，无人机通过机载摄像头录制海岸视频，视频分辨率为1920*1080，飞行高度保持在10～15米，使得拍摄视野清晰。视频经过无人机内置全景分割算法处理，检测出海岸线、漂浮垃圾。计算出河岸宽度，无人机根据路径修正模块140调整高度、经纬度将河流图像进行视频拍摄。污染物如污水、漂浮垃圾的识别结果实时显示在应用程序上，保存时间、GPS定位、类别数据到数据库，方便再利用。无人机到达终点，向应用程序发送完成信号，按最短路径返回。

本系统使用了一个端到端全景分割框架，该框架将实例分割和语义分割相结合，对每一个像素点都赋予其类别标签和实例编号。相较于实例分割，全景分割不仅识别出目标物体，还识别出背景，利用背景来优化物体的识别像素区域，进一步提高分割精度。相较于语义分割，全景分割给予每个目标物体不同的身份编号，有利于实际应用中的目标区分、定位。添加注意力模块，对输入的特征进行预处理，处理后的特征图显示其在不同目标区域产生明显的特征增强效果。

图像采集模块110从无人机拍摄的视频每秒取五帧图像，分辨率为1920*1080，作为网络的输入。

如图2所示，特征提取模块120使用多尺度特征提取网络FPN提取不同尺度的特征，解决物体大小不同影响识别结果的问题。FPN将浅层的特征经过卷积计算，与深层特征融合，这样浅层特征和深层特征一起被用于预测，两个特征提取的信息重要程度不同，浅层网络有更多细节特征，深层网络特征更抽象，两个特征可以互补，提高网络识别率。融合后获得最终的共享特征，给予后面的三个分支：区域生成网络分支、前景分支、背景分支。

在区域生成网络分支中，共享特征经过区域生成网络RPN(Region ProposalNetwork)，计算得到图像中每个可能是目标的区域，即推荐区域，推荐区域一一经过全连接层，softmax函数的计算输出类别，经过区域回归计算出目标在图像中的位置坐标。RPN是快速且精度较高的检测算法，能够快速提取较准确的特征图作为其他模块的输入。其输出特征将给其他分支共享使用，节省了其他分支单独提取特征的时间。

前景分支负责分割前景目标。首先共享特征通过感兴趣区域对齐算法(ROIAlign)，将区域生成网络得到的多个推荐区域先进行双线性插值，在池化成14×14和7×7的特征图形式。这里先使用双线性插值算法，再进行池化，比直接池化保留了更多有用的像素信息，大大减少了特征在池化过程中的损失，这在小目标检测分割时非常有帮助。14×14的特征图进过掩膜生成网络，掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图，得到前景目标掩膜。ResNet50网络是性能和效果相对较平衡的网络，在识别精度不下降太多的前提下，对性能要求也不高。7×7的特征图经过分类定位网络，分类定位网络由两层连接层连接回归算法、softmax算法组成，输出获得前景目标的类别和图像中的位置坐标。

背景分支负责分割出图像的背景。在背景分割过程中，使用了两个注意力模块，推荐区域注意力模块和掩膜注意力模块，对空间的远程上下文和信道维度进行建模，建立了前景的东西和背景的东西在全景分割与一系列的粗到精细的注意力块之间的关系。与没使用注意力模块相比，提取了更多有用的特征信息。在网络实现中，首先共享特征和区域生成网络经过推荐区域注意力模块，特征进行对应元素乘积计算，然后与原特征元素对位相加。这样的好处是利用推荐区域的信息添加空间注意力，指导背景特征提取，推荐区域注意力添加过程如图3所示。其中的

代表对位相加，

代表对位相乘。相对于没有添加注意力模块的网络，添加后目标区域的特征会更突出，无关区域的特征会减少，这样提取的无关特征会更少，而目标特征更多，提高了分割的精度，也降低了误检的几率。推荐注意力模块后，还使用了掩膜注意力模块，如图4所示。该模块融合了前景特征图和背景特征图，利用前景的信息优化背景特征。首先前景特征从前景分支的掩膜生成网络获得，使用上采样和特征级联恢复到原来的特征图大小，然后和推荐区域注意力一样，进行元素对位相乘后，与原特征元素对位相加。添加注意力后，使用背景选择使用了组归一化，进行特征校准，提高分割精确度。

每一层卷积层后面都会加上归一激活模块，由归一层和ReLU激活函数组成。归一层将数据的分布映射到[0,1]之间，让数据梯度下降更快更精准，加快收敛速度，减少训练时间。ReLU激活函数公式如下：

每个可能有目标的区域通过裁剪提取出来，成为单独的感兴趣区域F₁、F₂……F_n，分别输入给分类定位模块和掩膜生成模块。分类定位网络由两层连接层连接回归算法、softmax算法组成，输出目标类别和在原图的定位坐标；掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图。共得到目标最终分类结果、定位坐标和掩膜区域。输出结果的损失函数是三个结果的损失函数之和为：

L_fina＝L_cls+L_box+L_mask

其中，L_final为最终损失，L_class为类别预测损失，L_box为定位损失，L_mask为掩膜损失。

输入的图像经过网络计算，精确地分割出背景：海洋、陆地；以及前景目标：漂浮垃圾。海洋的像素将输出给航向规划算法，进行飞行姿势、航向的调整。漂浮垃圾的类别、GPS定位将记录到数据库中，供有关清理部门参考。

为了使网络学习到海岸线、漂浮垃圾的特征，通过网络训练模块130对海岸图像进行标注，生成两万张海岸线数据集进行训练。在标注过程中，使用强弱标签的标注方式。总数据集按3：1分成两份：集合一、集合二。集合一中的类别实例都标有掩码注释，即强标签；集合二中的类别实例只有边界框注释，即弱标签。由于集合二中的类别只带有关于目标物体的弱标签，我们将使用组合强标签和弱标签的类别来训练模型。弱标签只需要用矩形框标注物体，过程仅需几秒，制作时间只有强标签的十分之一不到，这样能大大提高标注效率，从而增加训练集的数量。另外由于更多的数据加入，网络训练的效果也会得到提升。

除了偏监督学习方法，迁移学习方法也被用在训练过程中。首先我们使用coco2014、coco2015数据集进行预训练，其中包含330K图像、80个对象类别、每幅图像有5个标签、25万个关键点。预训练使得网络学习到边缘特征、颜色特征，用该网络参数进行进一步训练，由于新任务中也包含类似的边缘特征和颜色特征，所以网络能更快收敛，识别率也会有所提升。在使用自己的数据集进行训练的过程中，我们首先将预训练的分类器丢弃，保留前面隐藏层网络结构及参数。由于类别数量不同，需要根据海岸线巡检的要求修改分类器，使得输出类别数量和实际需要检测出的类别相同。修改分类器输出后将参数随机初始化，再使用两万张已标注的海岸线图像进行训练，使网络能够识别出海岸线上的目标物体。训练后的网络将能识别出海岸线以及漂浮垃圾。

路径修正模块140，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，通过全景分割算法将检测出图像的背景，海岸线和陆地。由于识别算法检测出的背景是离散的无规律的点，在计算方向角前，需要将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，才能计算曲线上的点的切线方向，从而确定方向角。

无人机以海岸线所有坐标[{P_1x，P_1y}、{P_2x，P_2y}……{P_nx，P_ny}]为输入，按照像素坐标x、y的平方和大小排序，计算两点欧式距离进行排序，获得相邻且连续的海岸线坐标组P，将P的坐标点拟合成曲线，分别求得偏移角度α，公式如下：

α＝90°-Arctan(k)

其中，k为曲线中点切线斜率，用于调整无人机飞行方向。

为兼顾算法识别效果和飞行安全，无人机拍摄海水区域主体应占画面60～80％。飞行途中海平面变化、流行改变都会影响画面占比。根据实际情况，路径修正模块140设计有三种路径修正方案：初始化方向角方案、宽度变化方案和流向变化方案。

初始化方向角方案：该方案旨在解决巡检开始阶段自动寻方向角的问题，无人机以海岸线延伸方向为方向角向前飞行。规定初始飞行高度为二十米，保证能拍摄到河道两岸。实例分割算法识别海水区域，获得海水在画面中的所有x、y轴坐标保存为二维数组。取y轴坐标相同，x轴坐标最小作为海岸线坐标。计算所有海岸线坐标的平均值，作为无人机飞行起点。根据上面的航向算法确定飞行方向角，无人机旋转调整至适合角度。

宽度变化方案：计算海水掩膜面积，若面积大于画面的80％，说明无人机飞行高度过低，停止向前飞行，并缓慢上升至海水区域掩膜面积占70％后继续飞行。若面积小于画面的60％，说明无人机飞行高度过高，停止向前飞行，并缓慢下降至海水区域掩膜面积占70％后继续飞行。

流向变化方案：飞行过程中河流流向会发生改变，为实现自动寻路功能，无人机内置的实例分割算法和航向算法实时计算航向偏移角度α，当飞行方向角度有α偏移大于30°时无人机旋转，小于30°时忽略不计。同时为保证海水在画面一侧，无人机根据海岸线中点坐标调整位置。中点坐标(x_m，y_m)即检测出的海岸线所有点的平均值。

为进一步简化无人机使用流程，本系统还包括用于遥控无人机的终端控制模块，终端控制模块设有信息显示单元、无人机管理单元和信息管理单元。操作者在终端控制模块的应用程序选择路径，实现如下功能：录入新河流数据，选择巡检河流，无人机状态实时查看，巡检结果查询。信息显示单元将无人机拍摄视频实时显示，防止意外发生；算法分析的结果也同时显示，方便人查看检测结果。无人机管理单元显示无人机电量情况、存储空间使用情况、定位信息、方向信息。信息管理单元有录入按键，用于录入新河流的起点和终点；河流选择按键，选择巡检河流，无人机自动飞向录入的河流起点经纬度，然后调用路径自修正算法开始自动巡检；查询按键，查看数据库的过往巡检结果，用于寻找污染位置和类别，方便制定下一步治理方案。

最后，上述整个系统执行流程如图5所示。

如图6所示，本发明的第二实施例提供了一种基于DANet的无人机海岸线漂浮垃圾巡检方法，包括如下步骤：

S100：通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

S200：将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

S300：对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

S400：调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

基于DANet的无人机海岸线漂浮垃圾巡检方法，至少具有如下技术效果：采用全景分割算法，不仅同时分割出图像中的背景和前景目标物体，还给每个前景目标独立的身份。通过精确的分割结果帮助无人机调整航向，实现自动规划飞行路径，同时检测海岸线中的漂浮垃圾情况，发现污染反馈定位及类别，帮助有关部门解决在长海岸线的场景下的污染巡检问题。本方法具有提高巡检智能度，优化无人机航线的优点，可达到低费用高效率的目标。

本巡检系统及其巡检方法的核心全景分割算法是DANet算法，该算法利用RPN网络快速提取感兴趣区域；经过前景分支的进行目标分类、位置回归；背景分支引入推荐区域注意力模块和掩膜注意力模块，利用RPN和前景分支提取的特征图，提高背景分割的精度。算法能同时识别目标和和背景，相对应地同时解决了漂浮垃圾识别问题、和海岸线识别的问题。网络提取一次特征，使用在三个分支中，比分别提取更省时间。

数据增强方面，该专利使用了偏监督学习和迁移学习。偏监督学习大大减少标注时间，相同时间标注了更多数据量。使用迁移学习，利用coco数据集训练网络权重，并将权重迁移到自己的任务中。在较小数据集的情况下，也能训练出效果很好的模型。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于，包括：

图像采集模块，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

特征提取模块，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

网络训练模块，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

路径修正模块，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

2.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述图像采集模块从视频中每秒取五帧图像，图像分辨率为1920*1080。

3.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过区域生成网络分支时，共享特征经过区域生成网络RPN，计算得到图像中每个可能是目标的推荐区域，推荐区域一一经过全连接层，通过softmax函数计算输出类别，经过区域回归计算出目标在图像中的位置坐标。

4.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过前景分支分割前景目标时，共享特征通过感兴趣区域对齐算法(ROIAlign)，将区域生成网络得到的多个推荐区域先进行双线性插值，再池化成14×14和7×7的特征图，14×14的特征图进过掩膜生成网络，掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图，得到前景目标掩膜；7×7的特征图经过分类定位网络，分类定位网络由两层连接层连接回归算法和softmax算法组成，输出获得前景目标的类别和图像中的位置坐标。

5.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过背景分支分割图像的背景时，使用推荐区域注意力模块和掩膜注意力模块，首先共享特征和区域生成网络经过推荐区域注意力模块，特征进行对应元素乘积计算，然后与原特征元素对位相加，掩膜注意力模块融合前景特征图和背景特征图，利用前景的信息优化背景特征。

6.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述网络训练模块使用强弱标签的方式对海岸图像进行标注，使用coco2014和coco2015数据集进行预训练，预训练使得网络学习到边缘特征和颜色特征，用该网络参数进行进一步训练，在使用数据集进行训练的过程中，先将预训练的分类器丢弃，保留前面隐藏层网络结构及参数，针对类别数量的不同需要根据海岸线巡检的要求修改分类器，使得输出类别数量和实际需要检测出的类别相同，修改分类器输出后将参数随机初始化，再使用已标注的海岸线图像进行训练，使得训练后的网络将能识别出海岸线以及漂浮垃圾。

7.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述无人机内置图像实例分割算法和航向算法，图像实例分割算法识别海水区域，获得海水在画面中的所有x、y轴坐标保存为二维数组，取y轴坐标相同，x轴坐标最小作为海岸线坐标，计算所有海岸线坐标的平均值，作为无人机飞行起点，根据航向算法确定飞行方向角，无人机旋转调整至适合角度。

8.根据权利要求7所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述无人机以海岸线所有坐标[{P_1x，P_1y}、{P_2x，P_2y}……{P_nx，P_ny}]为输入，按照像素坐标x、y的平方和大小排序，计算两点欧式距离进行排序，获得相邻且连续的海岸线坐标组P，将P的坐标点拟合成曲线，分别求得偏移角度α，公式如下：

α＝90°-Arctan(k)

其中，k为曲线中点切线斜率，用于调整无人机飞行方向。

9.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：还包括用于遥控无人机的终端控制模块，所述终端控制模块设有信息显示单元、无人机管理单元和信息管理单元。

10.基于DANet的无人机海岸线漂浮垃圾巡检方法，其特征在于，包括：

通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；

将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；

对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；

调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。

Images