CN116310915A - 基于uav与深度学习的尾矿干滩指标识别方法 - Google Patents

Abstract

本发明公开基于UAV与深度学习的尾矿干滩指标识别方法，属于数字图像处理技术领域，用于尾矿干滩指标识别，包括进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；将图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。本发明利用神经网络识别干滩长度坡度，自动化程度高，操作简捷方便，降低巡检人员的安全风险和劳动强度，为矿山企业实现减人化提供助力。

Description

基于UAV与深度学习的尾矿干滩指标识别方法

技术领域

本发明公开基于UAV与深度学习的尾矿干滩指标识别方法，属于数字图像处理技术领域。

背景技术

干滩指标指干滩长度、坡度、库内高程（安全超高），是监测尾矿坝稳定性的重要检测指标，如果超标可能引起库内水位漫顶，尾矿溃坝事故的发生，因此干滩指标检测十分重要。干滩长度是指库内水边线至滩顶的水平距离。尾矿库沉积干滩平均坡度按照规范要求按各测量断面的尾矿沉积干滩平均坡度加权平均计算。现阶段干滩长度坡度的检测方法有标尺法，激光测角距法，坡度推算法，渗流反推法等。以布设若干传感器（激光测距仪、超声测距仪、数码相机）的监测点位组成监测系统、结合人工巡检为主，存在监测传感器数量多、系统造价昂贵、长期稳定性低、运营维护费用高、人工作业强度大、受地形制约存在安全巡检盲点等问题。当前部分矿山采用数码相机监测干滩长度，相机主轴与尾矿坝坝面水平夹角须达到30~90°，垂直夹角须达到0~45°，且监测目标须位于相幅中央，干滩面与水面颜色相近人眼识别智能化程度低、易出现误差，且对于监测数码相机布置高度、距离、光照条件、防雷击、防水等性能提出较高要求。此外，现有技术仅能反映监测点位所处断面的状况，若监测干滩区域整体变化情况需增加传感器布置密度，将加倍企业投入与运营维护成本。

发明内容

本发明的目的在于提供基于UAV与深度学习的尾矿干滩指标识别方法，以解决现有技术中，干滩指标获取难度大的问题。

基于UAV与深度学习的尾矿干滩指标识别方法，包括：

S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；

测量控制点位置信息；

S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；

S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。

S1中，测量控制点位置信息具体为人工携带RTK测量控制点高程和经纬度。

S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。

S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。

S3包括：

S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；

S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；

S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法遍历水体轮廓线与坝体线最小距离，得到最小干滩长度D；

S3.4.限定显示距离水体轮廓线不大于5cm的干滩轮廓线，得到尾矿库中的水位线；

限定显示距离水体轮廓线大于等于D的干滩轮廓线，得到坝体与干滩的交界线，至此获得最小干滩长度D和带有滩顶线、水位线的图片数据；

S3.5.将高清正射影像输入到模型中，得出最小干滩长度和带有干滩线、水位线的高清正射影像图片，与数字表面模型相结合提取出两条带有高程的三维水体干滩分界线和干滩坝体分界线，利用三维曲线计算两条线的平均距离和平均高程差，通过运算获得平均干滩坡度。

S3.1中，实例分割模型采用改进的yoloact模型；

Yolact模型修改特征提取网络为PANNet，将原有损失函数IOU修改为GIOU，加入数据增强部分扩展训练数据；

特征提取网络PANNet结构组成包括backbone、FPEM和FFM，Backbone使用resnent18，FFM将不同大小特征图进行融合。

基于改进的yolact实例分割流程包括：

B1.数据增强；

B2.将数据集输入特征提取网络结构中提取特征图；

B3.存在两个并行子任务分支，一个生成覆盖全图的原型掩膜，另一个为目标监测分支，生成候选框类别置信度，锚框的位置信息和掩膜系数；

基于全卷积神经网络实现原型掩膜生成分支，由若干卷积层组成，将p3特征图输入，经过连续三次卷积核为3×3，步长为1的卷积，再上采样，再通过两个卷积层，得到一个m通道的输出，每个通道可以视作一张原型mask；

采用共享卷积网络实现目标检测分支，分成三个分支，分别对目标类别、位置、掩膜系数进行预测，通过GIOU损失函数计算得到对于尾矿这一类不同感兴趣区域ROI之间的置信度矩阵，再通过NMS筛选算法对ROI进行舍弃；

B4.通过原型掩膜与掩膜系数做矩阵乘法得到图像中实物目标的掩膜称为实例掩膜，将不属于尾矿类别边界外的掩膜清空，提取边界生成图像。

相对比现有技术，本发明具有以下有益效果：本发明测量尾矿干滩长度坡度精度较高，克服传统检测系统受地形、运营费用、后期维护的影响，克服人工检测工人劳动强度大，视野受限等影响，克服了传统方法受天气和夜间不能持续检测的缺点；无人机巡航灵活可靠，成本低，精度高，可实现自动化巡航；利用神经网络识别干滩长度坡度，自动化程度高，操作简捷方便，降低巡检人员的安全风险和劳动强度，为矿山企业实现减人化提供助力。

附图说明

图1是本发明的技术流程图；

图2是无人机影像三维重建流程图；

图3是改进的yolact模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于UAV与深度学习的尾矿干滩指标识别方法，包括：

S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；

测量控制点位置信息；

S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；

S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。

S1中，测量控制点位置信息具体为人工携带RTK测量控制点高程和经纬度。

S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。

S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。

S3包括：

S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；

S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；

S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法遍历水体轮廓线与坝体线最小距离，得到最小干滩长度D；

S3.4.限定显示距离水体轮廓线不大于5cm的干滩轮廓线，得到尾矿库中的水位线；

限定显示距离水体轮廓线大于等于D的干滩轮廓线，得到坝体与干滩的交界线，至此获得最小干滩长度D和带有滩顶线、水位线的图片数据；

S3.5.将高清正射影像输入到模型中，得出最小干滩长度和带有干滩线、水位线的高清正射影像图片，与数字表面模型相结合提取出两条带有高程的三维水体干滩分界线和干滩坝体分界线，利用三维曲线计算两条线的平均距离和平均高程差，通过运算获得平均干滩坡度。

S3.1中，实例分割模型采用改进的yoloact模型；

Yolact模型修改特征提取网络为PANNet，将原有损失函数IOU修改为GIOU，加入数据增强部分扩展训练数据；

特征提取网络PANNet结构组成包括backbone、FPEM和FFM，Backbone使用resnent18，FFM将不同大小特征图进行融合。

基于改进的yolact实例分割流程包括：

B1.数据增强；

B2.将数据集输入特征提取网络结构中提取特征图；

B3.存在两个并行子任务分支，一个生成覆盖全图的原型掩膜，另一个为目标监测分支，生成候选框类别置信度，锚框的位置信息和掩膜系数；

基于全卷积神经网络实现原型掩膜生成分支，由若干卷积层组成，将p3特征图输入，经过连续三次卷积核为3×3，步长为1的卷积，再上采样，再通过两个卷积层，得到一个m通道的输出，每个通道可以视作一张原型mask；

采用共享卷积网络实现目标检测分支，分成三个分支，分别对目标类别、位置、掩膜系数进行预测，通过GIOU损失函数计算得到对于尾矿这一类不同感兴趣区域ROI之间的置信度矩阵，再通过NMS筛选算法对ROI进行舍弃；

B4.通过原型掩膜与掩膜系数做矩阵乘法得到图像中实物目标的掩膜称为实例掩膜，将不属于尾矿类别边界外的掩膜清空，提取边界生成图像。

Yolact模型是实时实例分割模型，模型有两个并行子任务：一个是生成一组原型掩膜，掩膜指用选定的图像对处理的图像进行遮挡，来控制图像处理的区域或处理过程，用于覆盖特定图像或物体称为掩膜。掩膜是由0和1组成的一个二进制图像，当在某一功能中应用时，1值区域被处理，被屏蔽的0值区域不被包括在在计算中，掩膜可以通过指定的数据值，数据范围，注释文件，感兴趣区域来定义，也可通过上述方式的组会作为输入建立掩膜。另一个任务是生成各候选框的类别置信度，候选框位置以及掩膜系数。然后通过原型掩膜和掩膜系数线性组合生成实例掩膜。

PANNet为特征提取网络，提取图片特征，PANNet结构由主干网络+特征金字塔增强模块+特征融合模块组成；损失函数IOU是预测边界框与真实边界框的交集与并集之比。

GIOU是预测函数，用来解决预测框与真实框不重叠的问题，GIoU通过向目标框缓慢移动来增加二者的重叠区域以达到最大化预测框与真实框之间重叠区域的目的，这是一个不断迭代的过程，GIOU的损失函数

为：

；

B为预测边界框，

为真实边界框，C表示覆盖预测边界框与真实边界框之间的最小框，它的作用是作为一个惩罚项将预测框向真实框靠拢。使用GIoU可以解决预测框与真实框无重叠区域造成的梯度消失问题，可以得到比IoU损失函数更高精度的预测框。

Backbone指主干网络指提取特征的网络，其作用是提取图片中的信息供后面的网络使用。

FPEM为特征金字塔增强模块，是一个U形模组，由两个阶段组成，up-scale增强、down-scale增强，up-scale增强作用于输入的特征金字塔，它以步长32，16，8，4像素在特征图上迭代增强。在down-scale增强阶段，输入的是由up-scale增强生成的特征金字塔，增强的步长从4到32，同时，down-scale增强输出的的特征金字塔就是最终FPEM的输出。

类似于FPN，FPEM能够通过融合低级与高级信息来增强不同scale的特征。此外，又与FPN不同的是，FPEM还有两个优势：FPEM是一个级联结构的模块。不同scale的特征图能够更好地融合在一起，并且特征的感受野会增大；FPEM的计算消耗很低，这是因为它由分离的、仅需要最小计算量的卷积构成。FPEM需要的计算量大约是FPN的1/5。

FFM为特征融合模块，用于融合不同深度的特征金字塔，首先通过逐元素相加结合了相应尺寸的特征图，然后对特征图进行降采样，连接成最终的特征图。

Resnet18由17个卷积层，一个全连接层组成。Resnet网络的基础是残差模块。网络的一层通常可以看做y=H(x)，而残差网络的一个残差块为:H(x)=F(x)+x，则F(x)=H(x)-x，而y=x是观测值，H(x)是预测值，所以H(x)-x即为残差，也即F(x)是残差。通过信息“绕道”极大保护了信息的完整性。

非极大值抑制NMS算法作用是去掉重复的边界框。输入：候选边界框集合(每个候选框都有一个置信度)、损失函数IoU阈值N输出：最终的边界框集合D(初始为空集合)，具体包括：对集合B根据置信度进行降序排序；从集合B中选择第一个候选框(置信度最高)，把它放入集合D中并从集合B中删除；遍历集合B中的每个候选框，计算它们与D集合中这个候选框的IoU值。如果IoU值大于阈值N，则把它从集合B中删除；重复步骤2~3直到集合B为空。

ROI为感兴趣区域，图像处理中从被处理图像以方框、不规则多边形等方式勾勒出需要处理的区域称为感兴趣区域。

本发明的技术流程图如图，实施例使用大疆M300搭载禅思L1雷达传感器开展航测任务。根据区域情况布设像控点，在本实验中，像控点采用1m×1m的布制材料，共布设10个，利用RTK测取像控点的坐标；根据的区域规划航测线路，航线布设为“井字”型，能更好地生成三维模型，航向重叠度为80%，旁向重叠度为80%，飞行高度为120m，GSD为1.5cm/pixel；将无人机拍摄数据和控制点信息导入摄影测量后处理软件生成DSM高清正射影像，其中无人机影像三维重建流程如图2，改进的yolact模型结构如图3。

以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，包括：

S1.进行研究区域圈定，并规划无人机航线，在无人机上搭载传感器，并设置飞行参数，控制无人机执行飞行任务并获取图像数据；

测量控制点位置信息；

S2.将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，生成正射影像和数字表面模型；

S3.将S1得到的图像数据转换数据类型格式，结合深度学习网络搭建训练模型，将训练模型、正射影像和数字表面模型输入到水位线和滩顶线判断模型，得到干滩长度坡度。

2.根据权利要求1所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S1中，测量控制点位置信息具体为人工携带RTK-实时动态测量测量控制点高程和经纬度。

3.根据权利要求2所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S1中，飞行参数包括飞行高度，飞行速度，重叠率，雷达回波数。

4.根据权利要求3所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S2中，将图像数据和测量控制点位置信息同时输入到摄影测量后处理软件，运用SfM-运动恢复结构算法进行数据处理构建尾矿库表面三维模型，生成正射影像和数字表面模型。

5.根据权利要求4所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S3包括：

S3.1.下载语义分割模型或实例分割模型并完善所需运行环境；

S3.2.利用无人机拍摄数据及尾矿库卫星图片作为数据集；

S3.3.训练分辨水体、干滩、坝体的模型，并给出相应边界框和类别概率，改写预测程序为显示尾矿库水体轮廓线，运用遍历法遍历水体轮廓线与坝体线最小距离，得到最小干滩长度D；

S3.4.限定显示距离水体轮廓线不大于5cm的干滩轮廓线，得到尾矿库中的水位线；

限定显示距离水体轮廓线大于等于D的干滩轮廓线，得到坝体与干滩的交界线，至此获得最小干滩长度D和带有滩顶线、水位线的图片数据；

S3.5.将高清正射影像输入到模型中，得出最小干滩长度和带有干滩线、水位线的高清正射影像图片，与数字表面模型相结合提取出两条带有高程的三维水体干滩分界线和干滩坝体分界线，利用三维曲线计算两条线的平均距离和平均高程差，通过运算获得平均干滩坡度。

6.根据权利要求5所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，S3.1中，实例分割模型采用改进的yoloact模型；

Yolact模型修改特征提取网络为PANNet，将原有损失函数IOU修改为GIOU，加入数据增强部分扩展训练数据；

特征提取网络PANNet结构组成包括backbone-主干网络、FPEM-特征金字塔增强模块和FFM-特征融合模块，Backbone使用resnent18，FFM将不同大小特征图进行融合。

7.根据权利要求6所述的基于UAV与深度学习的尾矿干滩指标识别方法，其特征在于，基于改进的yolact实例分割流程包括：

B1.数据增强；

B2.将数据集输入特征提取网络结构中提取特征图；

B3.存在两个并行子任务分支，一个生成覆盖全图的原型掩膜，另一个为目标监测分支，生成候选框类别置信度，锚框的位置信息和掩膜系数；

基于全卷积神经网络实现原型掩膜生成分支，由若干卷积层组成，将p3特征图输入，经过连续三次卷积核为3×3，步长为1的卷积，再上采样，再通过两个卷积层，得到一个m通道的输出，每个通道可以视作一张原型mask-掩膜；

采用共享卷积网络实现目标检测分支，分成三个分支，分别对目标类别、位置、掩膜系数进行预测，通过GIOU损失函数计算得到对于尾矿这一类不同感兴趣区域ROI之间的置信度矩阵，再通过NMS-非极大值抑制筛选算法对ROI-感兴趣区域进行舍弃；

B4.通过原型掩膜与掩膜系数做矩阵乘法得到图像中实物目标的掩膜称为实例掩膜，将不属于尾矿类别边界外的掩膜清空，提取边界生成图像。

Images