CN114332749A - 一种基于深度学习的采砂船采砂监控方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的采砂船采砂监控方法，包括以下步骤：获取翻斗式采砂船的采砂监控视频，处理待识别视频获取图像；基于Pytorch框架构建采砂船的采砂检测模型与采砂跟踪模型；对采砂检测模型进行训练；将训练好的模型移植到边缘计算模块；使用边缘计算模块控制摄像头获取翻斗式采砂船的采砂实时监控视频，先对采砂实时监控视频进行采砂斗的目标检测识别，再对识别出的砂斗进行目标跟踪；采砂监控可检测出采砂船一段时间内的采砂斗数，并识别出各个采砂斗的充盈情况，判断出满斗与空斗，再对识别出的砂斗进行目标跟踪，统计一段时间内的采砂斗数。本发明对采砂状况、数量进行监控和统计，使采砂管理变得更加科学高效和规范。

Description

一种基于深度学习的采砂船采砂监控方法

技术领域

本发明涉及深度学习目标检测与跟踪技术领域，具体涉及一种基于深度学习的采砂船采砂监控方法。

背景技术

河砂存在于河流之中，是构建河流生态系统的重要物质基础，有利于保持河道稳定、沙量平衡。并且河道砂石是一种重要的自然资源，可以用于建筑建设、公路桥梁、堤防建设等基础设施建设，在设施建设方面具有非常重要价值。因此对河道砂石开发和利用是在工程建设中十分重要的，对河道砂石的开采是必不可少的环节。随着社会的快速发展，工程建设与河砂需求的增长速度越来越快，供给与需求的矛盾凸显，出现了河砂的乱采超采问题。河砂的不合理开采和过度开采，会对河流生态造成不良影响，严重影响河流生态平衡，甚至危及防洪安全。为了保障河流健康与防洪安全、合理有效地控制河砂开发利用，在维持好河流生态平衡的同时，最大化满足社会河砂需求，除了要对河道采砂进行科学规划外，还需要对河道采砂行为进行有效的控制与管理。而智能感知技术，是采砂管理的有效手段。

目前国内现有的河道采砂动态监控系统，只在翻斗式采砂船上安装有监视采砂情况的普通视频系统，并利用4G/GPRS传回的采砂发动机震动频率判断出采砂船的当前采砂状况，但无法准确计量采砂量。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种基于深度学习的采砂船采砂监控方法，对翻斗式采砂船的采砂行为进行实时识别与分析，从而对采砂状况、数量进行监控和统计，使采砂管理变得更加科学高效和规范。

本发明通过以下技术手段解决上述问题：

一种基于深度学习的采砂船采砂监控方法，包括以下步骤：

S1：获取翻斗式采砂船的采砂监控视频，处理待识别视频获取图像；

S2：基于Pytorch框架构建采砂船的采砂检测模型与采砂跟踪模型；

S3：对采砂检测模型进行训练；

S4：将训练好的模型移植到边缘计算模块；

S5：使用边缘计算模块控制摄像头获取翻斗式采砂船的采砂实时监控视频，先对采砂实时监控视频进行采砂斗的目标检测识别，再对识别出的砂斗进行目标跟踪；

S6：采砂监控可检测出采砂船一段时间内的采砂斗数，并识别出各个采砂斗的充盈情况，判断出满斗与空斗，再对识别出的砂斗进行目标跟踪，统计一段时间内的采砂斗数。

进一步地，步骤S1具体为：

S11：获取翻斗式采砂船的采砂监控视频，视频逐帧提取图像获得图像，将图像随机分为训练集、验证集和测试集；

S12：为采砂图像数据添加标注，具体为：利用Labelimg工具手动对采砂数据集进行标注，检测目标分为两类：FULL和EMPTY。

进一步地，步骤S2中采砂检测模型与采砂跟踪模型具体为：

S21：基于改进YOLOv5算法的模型，用于对翻斗式采砂船的采砂行为进行检测；

S22：基于DeepSORT算法的模型，用于对采砂行为进行跟踪统计。

进一步地，步骤S21中基于改进YOLOv5算法的模型具体为：

改进YOLOv5模型分为输入端、Backbone网络、Neck网络和Prediction网络；

输入端采用了Mosaic数据增强方法和自适应锚框计算方法对输入数据进行处理；

Backbone网络包括Focus结构和CSP结构，用于图像特征提取；

Neck网络包括FPN结构和PAN结构，用于图像特征融合，并将图像特征传入到Prediction网络中；

Prediction网络为输出端，用于对图像特征进行预测，得到边界框并预测类别；采用GIOU_Loss作为Bounding box的损失函数；采用加权nms方法进行目标框的筛选。

进一步地，Backbone网络中引入Squeeze-and-Excitation Networks，即SENet注意力机制，SENet结构包括全局平均池化层、全连接层和激活函数层，SENet的作用为根据loss学习特征权重，使有效的feature map权重大，无效或效果小的feature map权重小，模型训练得到更好的结果。

进一步地，步骤S22中基于DeepSORT算法的模型具体为：

首先对检测的采砂目标进行轨迹处理与状态估计，然后根据检测结果得出检测框与跟踪框的匹配结果。

进一步地，轨迹处理与状态估计方法具体为：

运动状态估计是使用8个参数

进行运动状态的描述，(u,v)为bounding box的中心坐标，γ为bounding box的长宽比，h为bounding box的高度，

为对应的在图像坐标系中的速度信息；使用一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器进行目标运动状态的预测，预测结果为(u,v,γ,h)；

对每一个追踪目标，记录从其上一次检测结果与追踪结果匹配之后的帧数a_k，若一个目标的检测结果与追踪结果正确关联之后，就把该参数设置为0；若帧数a_k超过了设置的最大阈值A_max，则判断为对该目标的追踪过程已结束；

对新目标出现的判断则是，若某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联，则认为有可能出现了新目标；如果连续三帧图像中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，则确认是出现了新的运动目标；如果不能达到该要求，则需要删除该运动目标。

进一步地，检测框与跟踪框的匹配方法具体为：

运动信息的关联：使用检测框和跟踪器预测框之间的马氏距离来描述运动关联程度；

运动信息关联匹配度d⁽¹⁾(i,j)为：

d_j为第j个检测框的位置，y_i为第i个跟踪器对目标的预测位置，S_i表示检测位置与平均跟踪位置之间的协方差矩阵；

若某次关联的马氏距离小于指定的阈值t⁽¹⁾＝9.4877，则设置运动状态的关联成功，此状态利用

表示：

目标外观信息的关联：对每一个检测框d_j求一个特征向量r_j并且||r_j||＝1，为每个跟踪目标构建一个库R_i，存储每个跟踪目标k成功关联的最近100帧特征向量

计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离d⁽²⁾(i,j)；

上式中，d⁽²⁾(i,j)为第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，r_j为第j个检测框d_j的特征向量且||r_j||＝1，

为每个跟踪目标k成功关联的最近100帧特征向量，R_i为保存

的库；若d⁽²⁾(i,j)小于指定阈值，则关联成功；

关联最终匹配度：运动信息关联匹配度与目标外观信息关联匹配度的线性加权为最终的匹配度c_i,j；

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

λ为超参数，控制d⁽¹⁾(i,j)与d⁽²⁾(i,j)的权重。

进一步地，匹配方法还包括级联匹配，具体为：

当一个目标长时间被遮挡后，卡尔曼滤波预测的不确定性就会大大增加，若此时两个卡尔曼滤波器同时竞争同一个检测结果的匹配权，检测结果会与遮挡时间较长的轨迹相关联，此时引入级联匹配对更频繁出现的目标赋予优先匹配权。

进一步地，步骤S3具体为：

在PC端对采砂检测模型进行训练，得到权重；

步骤S4具体为：

进行权重转换，将.pt格式的权重转换为适合边缘计算设备的权重格式，进行设备部署；

步骤S5具体为：

摄像头连接边缘计算模块，载入权重，在边缘计算模块上运行检测程序，对采砂监控视频的采砂行为进行实时检测跟踪。

与现有技术相比，本发明的有益效果至少包括：

本发明采用深度学习、计算机视觉技术，对翻斗式采砂船的采砂行为进行实时识别与分析，从而对采砂状况、数量进行监控和统计，使采砂管理变得更加科学高效和规范；采砂检测网络采用基于改进YOLOv5算法的网络，引入了SENet模块，减少了计算量并提高了精确度，使模型适用于移动终端、嵌入式设备；采用边缘计算方式部署，减少建设成本和运维成本，便于大范围推广应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于深度学习的采砂船采砂监控方法的流程图；

图2是本发明实施例中基于YOLOv5算法模型的结构示意图；

图3是SENet模块的结构示意图；

图4是本发明对采砂视频进行实时检测，在视频监控中生成目标检测框的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种基于深度学习的采砂船采砂监控方法，包括以下步骤：

S1：获取翻斗式采砂船的采砂监控视频，处理待识别视频获取图像，具体为：

S11：获取翻斗式采砂船的采砂监控视频，视频逐帧提取图像获得图像，将图像随机分为训练集、验证集和测试集。

S12：为采砂图像数据添加标注，具体为：利用Labelimg工具手动对采砂数据集进行标注，检测目标分为两类：FULL、EMPTY。

S2：基于Pytorch框架构建采砂船的采砂检测模型与采砂跟踪模型。

S21：采用Pytorch框架搭建基于改进YOLOv5算法的采砂检测模型，YOLOv5网络结构图2所示，利用基于改进YOLOv5算法的神经网络训练采砂数据，具体为：

输入端对图像进行Mosaic数据增强、自适应锚框计算、自适应图片缩放的处理；

Mosaic数据增强，具体为：

对图像进行随机缩放、随机裁剪、随机排布，再进行拼接；

自适应锚框计算，具体为：

在不同的数据集中，会设置不同长宽的初始锚框，在神经网络训练过程中，神经网络在初始锚框的基础上输出预测框，再与真实框对比，计算预测框与真实框的差距，再反向更新，迭代网络参数，自适应计算训练集中的最佳锚框值；

自适应图片缩放，具体为：

输入端先计算图像的缩放比例，得到缩放系数，再计算图像缩放后的尺寸，计算黑边填充数值。自适应图片缩放，减少了图像高度上两端的黑边，减少了计算量，提升了目标检测速度；

Backbone网络由Focus结构和CSP结构组合构成，并引入Squeeze-and-ExcitationNetworks，即SENet注意力机制，此网络用于进行图像特征提取；

Focus结构，具体为：

采用切片操作得到特征图，图像传入到YOLOv5s网络的Focus结构，原始608×608×3的图像先变成304×304×12的特征图，再经过一次有32个卷积核的卷积处理，最后得到304×304×32的特征图；

CSP结构，具体为：

Backbone网络中为CSP1_X结构，将上一层的特征映射分为两部分，再通过跨阶段层次结构合并两部分，既减少了计算量也保证准确率；

SENet结构，如图3所示，具体为：

SENet结构包括全局平均池化层、全连接层和激活函数层组成，实现步骤分为Squeeze、Excitation、Scale；

Squeeze：输入大小为W×H×N的特征图，再进行全局平均池化操作，得到压缩后1×1×N大小的特征图；

Excitation：使用全连接层对1×1×N的特征图做非线性变换，得到权重；

Scale：将权重分别与输入特征图的对应通道特征相乘；

Neck网络由FPN结构和PAN结构组合构成，此网络用于进行图像的特征的融合，并将图像特征传入到Prediction网络；

FPN结构，具体为：

将高层的特征图进行上采样，传递融合，得到进行预测的特征图；

PAN结构，具体为：

特征图从下到上进行上采样，将浅层定位信息传递到深层，加强多个尺度上的定位能力；

Prediction网络，为输出端，此网络用于对图像特征进行预测，得到边界框并预测类别；此网络采用GIOU_Loss作为Bounding box的损失函数；采用加权nms方法进行目标框的筛选；

GIOU_Loss作为Bounding box的损失函数，具体为：

C为形状A、B包围的最小体积；

nms非极大值抑制，具体为：

将所有的Bounding box进行得分排序，选中最高分及其对应的框，再遍历其余的Bounding box，如果与最高分的IoU大于一定阈值，则删除此框；

S22：采用Pytorch框架搭建基于DeepSORT算法的采砂跟踪模型，具体为：

首先对检测的采砂目标进行轨迹处理与状态估计，然后根据检测结果得出检测框与跟踪框的匹配结果。

所述的轨迹处理与状态估计方法，具体为：

运动状态估计是使用8个参数

进行运动状态的描述，(u,v)为bounding box的中心坐标，γ为bounding box的长宽比，h为bounding box的高度，

为对应的在图像坐标系中的速度信息；使用一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器进行目标运动状态的预测，预测结果为(u,v,γ,h)；

对每一个追踪目标，记录从其上一次检测结果与追踪结果匹配之后的帧数a_k，若一个目标的检测结果与追踪结果正确关联之后，就把该参数设置为0；若帧数a_k超过了设置的最大阈值A_max，则判断为对该目标的追踪过程已结束；

对新目标出现的判断则是，若某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联，则认为有可能出现了新目标；如果连续的三帧中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，则确认是出现了新的运动目标；如果不能达到该要求，则需要删除该运动目标；

检测框与跟踪框的匹配方法，具体为：

运动信息的关联：使用检测框和跟踪器预测框之间的马氏距离来描述运动关联程度；

运动信息关联匹配度d⁽¹⁾(i,j)为：

d_j为第j个检测框的位置，y_i为第i个跟踪器对目标的预测位置，S_i表示检测位置与平均跟踪位置之间的协方差矩阵；

若某次关联的马氏距离小于指定的阈值t⁽¹⁾＝9.4877，则设置运动状态的关联成功，此状态利用

表示：

目标外观信息的关联：对每一个检测框d_j求一个特征向量r_j并且||r_j||＝1，为每个跟踪目标构建一个库R_i，存储每个跟踪目标k成功关联的最近100帧特征向量

计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离d⁽²⁾(i,j)；

上式中，d⁽²⁾(i,j)为第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，r_j为第j个检测框d_j的特征向量且||r_j||＝1，

为每个跟踪目标k成功关联的最近100帧特征向量，R_i为保存

的库；若d⁽²⁾(i,j)小于指定阈值，则关联成功；

关联最终匹配度：运动信息关联匹配度与目标外观信息关联匹配度的线性加权为最终的匹配度c_i,j；

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

λ为超参数，控制d⁽¹⁾(i,j)与d⁽²⁾(i,j)的权重。

匹配方法的级联匹配，具体为：

当一个目标长时间被遮挡后，卡尔曼滤波预测的不确定性就会大大增加，若此时两个卡尔曼滤波器同时竞争同一个检测结果的匹配权，检测结果会与遮挡时间较长的轨迹相关联，此时引入级联匹配对更频繁出现的目标赋予优先匹配权。

S3：对采砂检测模型进行训练；

S4：训练与测试得到最佳的权重；将训练好的模型移植到NVIDIA TX2边缘计算模块，加载最佳权重对采砂视频进行实时检测，在视频监控中生成目标检测框，判断采砂斗的充盈情况，如图4所示；并跟踪统计一段时间内采砂斗的数量。

将模型移植到NVIDIA TX2边缘计算模块，具体为：

进行权重转换，将训练得到的.pt格式的权重转换为.wts格式的权重，再生成TensorRT Engine文件。

S5：使用边缘计算模块控制摄像头获取翻斗式采砂船的采砂实时监控视频，先对采砂实时监控视频进行采砂斗的目标检测识别，再对识别出的砂斗进行目标跟踪；

采砂视频实时检测，具体为：

摄像头连接NVIDIA TX2边缘计算模块，载入权重，在NVIDIA Jetson TX2边缘计算硬件模块上运行检测程序，对采砂监控视频的采砂行为进行实时检测跟踪。

S6：采砂监控可检测出采砂船一段时间内的采砂斗数，并识别出各个采砂斗的充盈情况，判断出满斗与空斗，再对识别出的砂斗进行目标跟踪，统计一段时间内的采砂斗数。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度学习的采砂船采砂监控方法，其特征在于，包括以下步骤：

S1：获取翻斗式采砂船的采砂监控视频，处理待识别视频获取图像；

S2：基于Pytorch框架构建采砂船的采砂检测模型与采砂跟踪模型；

S3：对采砂检测模型进行训练；

S4：将训练好的模型移植到边缘计算模块；

S5：使用边缘计算模块控制摄像头获取翻斗式采砂船的采砂实时监控视频，先对采砂实时监控视频进行采砂斗的目标检测识别，再对识别出的砂斗进行目标跟踪；

S6：采砂监控可检测出采砂船一段时间内的采砂斗数，并识别出各个采砂斗的充盈情况，判断出满斗与空斗，再对识别出的砂斗进行目标跟踪，统计一段时间内的采砂斗数。

2.根据权利要求1所述的基于深度学习的采砂船采砂监控方法，其特征在于，步骤S1具体为：

S11：获取翻斗式采砂船的采砂监控视频，视频逐帧提取图像获得图像，将图像随机分为训练集、验证集和测试集；

S12：为采砂图像数据添加标注，具体为：利用Labelimg工具手动对采砂数据集进行标注，检测目标分为两类：FULL和EMPTY。

3.根据权利要求1所述的基于深度学习的采砂船采砂监控方法，其特征在于，步骤S2中采砂检测模型与采砂跟踪模型具体为：

S21：基于改进YOLOv5算法的模型，用于对翻斗式采砂船的采砂行为进行检测；

S22：基于DeepSORT算法的模型，用于对采砂行为进行跟踪统计。

4.根据权利要求3所述的基于深度学习的采砂船采砂监控方法，其特征在于，步骤S21中基于改进YOLOv5算法的模型具体为：

改进YOLOv5模型分为输入端、Backbone网络、Neck网络和Prediction网络；

输入端采用了Mosaic数据增强方法和自适应锚框计算方法对输入数据进行处理；

Backbone网络包括Focus结构和CSP结构，用于图像特征提取；

Neck网络包括FPN结构和PAN结构，用于图像特征融合，并将图像特征传入到Prediction网络中；

Prediction网络为输出端，用于对图像特征进行预测，得到边界框并预测类别；采用GIOU_Loss作为Bounding box的损失函数；采用加权nms方法进行目标框的筛选。

5.根据权利要求4所述的基于深度学习的采砂船采砂监控方法，其特征在于，Backbone网络中引入Squeeze-and-Excitation Networks，即SENet注意力机制，SENet结构包括全局平均池化层、全连接层和激活函数层，SENet的作用为根据loss学习特征权重，使有效的feature map权重大，无效或效果小的feature map权重小，模型训练得到更好的结果。

6.根据权利要求3所述的基于深度学习的采砂船采砂监控方法，其特征在于，步骤S22中基于DeepSORT算法的模型具体为：

首先对检测的采砂目标进行轨迹处理与状态估计，然后根据检测结果得出检测框与跟踪框的匹配结果。

7.根据权利要求6所述的基于深度学习的采砂船采砂监控方法，其特征在于，轨迹处理与状态估计方法具体为：

运动状态估计是使用8个参数

进行运动状态的描述，(u，v)为bounding box的中心坐标，γ为bounding box的长宽比，h为bounding box的高度，

为对应的在图像坐标系中的速度信息；使用一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器进行目标运动状态的预测，预测结果为(u，v，γ，h)；

对每一个追踪目标，记录从其上一次检测结果与追踪结果匹配之后的帧数a_k，若一个目标的检测结果与追踪结果正确关联之后，就把该参数设置为0；若帧数a_k超过了设置的最大阈值A_max，则判断为对该目标的追踪过程已结束；

对新目标出现的判断则是，若某次检测结果中的某个目标始终无法与已经存在的追踪器进行关联，则认为有可能出现了新目标；如果连续三帧图像中潜在的新的追踪器对目标位置的预测结果都能够与检测结果正确关联，则确认是出现了新的运动目标；如果不能达到该要求，则需要删除该运动目标。

8.根据权利要求6所述的基于深度学习的采砂船采砂监控方法，其特征在于，检测框与跟踪框的匹配方法具体为：

运动信息的关联：使用检测框和跟踪器预测框之间的马氏距离来描述运动关联程度；

运动信息关联匹配度d⁽¹⁾(i，j)为：

d_j为第j个检测框的位置，y_i为第i个跟踪器对目标的预测位置，S_i表示检测位置与平均跟踪位置之间的协方差矩阵；

若某次关联的马氏距离小于指定的阈值t⁽¹⁾＝9.4877，则设置运动状态的关联成功，此状态利用

表示：

目标外观信息的关联：对每一个检测框d_j求一个特征向量r_j并且||r_j||＝1，为每个跟踪目标构建一个库R_i，存储每个跟踪目标k成功关联的最近100帧特征向量

计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离d⁽²⁾(i，j)；

上式中，d⁽²⁾(i，j)为第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，r_j为第j个检测框d_j的特征向量且||r_j||＝1，

为每个跟踪目标k成功关联的最近100帧特征向量，R_i为保存

的库；若d⁽²⁾(i，j)小于指定阈值，则关联成功；

关联最终匹配度：运动信息关联匹配度与目标外观信息关联匹配度的线性加权为最终的匹配度c_i，j；

c_i，j＝λd⁽¹⁾(i，j)+(1-λ)d⁽²⁾(i，j)

λ为超参数，控制d⁽¹⁾(i，j)与d⁽²⁾(i，j)的权重。

9.根据权利要求6所述的基于深度学习的采砂船采砂监控方法，其特征在于，匹配方法还包括级联匹配，具体为：

当一个目标长时间被遮挡后，卡尔曼滤波预测的不确定性就会大大增加，若此时两个卡尔曼滤波器同时竞争同一个检测结果的匹配权，检测结果会与遮挡时间较长的轨迹相关联，此时引入级联匹配对更频繁出现的目标赋予优先匹配权。

10.根据权利要求1所述的基于深度学习的采砂船采砂监控方法，其特征在于，步骤S3具体为：

在PC端对采砂检测模型进行训练，得到权重；

步骤S4具体为：

进行权重转换，将.pt格式的权重转换为适合边缘计算设备的权重格式，进行设备部署；

步骤S5具体为：

摄像头连接边缘计算模块，载入权重，在边缘计算模块上运行检测程序，对采砂监控视频的采砂行为进行实时检测跟踪。

Images