CN113592912A - 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 - Google Patents
一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 Download PDFInfo
- Publication number
- CN113592912A CN113592912A CN202110897798.4A CN202110897798A CN113592912A CN 113592912 A CN113592912 A CN 113592912A CN 202110897798 A CN202110897798 A CN 202110897798A CN 113592912 A CN113592912 A CN 113592912A
- Authority
- CN
- China
- Prior art keywords
- detection
- tracking
- unmanned aerial
- model
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000011897 real-time detection Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000013515 script Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 7
- 230000010354 integration Effects 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，涉及舰船舰载无人机回收领域。不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。包含以下步骤：S1、构建特有数据集；S2、对数据集进行人工标注；S3、进行YOLOv5检测模型的训练；S4、将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；S5、将YOLOv5检测算法扩展改进为非预测式检测‑跟踪算法；S6、对载入模型且改进后的检测‑跟踪算法进行加速推理；S7、利用整体集成于pytorch框架下加速的检测‑跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。与同类方法比较该算法的同构集成度极高，能够稳定确保检测跟踪任务的精确度与实时性。
Description
技术领域
本发明涉及舰船舰载无人机回收领域，具体涉及一种在YOLOv5深度学习模型基础上融合TensorRT加速优化后的高集成度远距离舰载无人机回航运动轨迹实时检测跟踪技术。
背景技术
随着人工智能的兴起，计算机视觉领域涌现出大量基于深度学习的运动目标检测跟踪算法，在无人驾驶，交通运输，设备回收等诸多领域大放异彩。
当前，舰载无人机工作环境复杂，末端回航速度快距离远，航迹变化难以预测，传统的基于光学的定位方法，基于预测性质的跟踪方法在这一层面的应用不具备鲁棒性，因为光流受环境、速度等影响较大，预测式的跟踪在长距离，尺度变换明显的目标跟踪任务中表现不佳。所以传统方法难以准确提取到舰载无人机高速回航的多变运动信息。综上所述，无人机末端回收任务迫切需要一种复杂环境下的高精度，高速度检测跟踪算法来应对上述特点。
发明内容
本发明的目的是为了克服现有传统检测跟踪算法嵌入式迁移效果差，实时性低，不适用于舰载无人机高速回航回收等尖端任务的不足，本发明提供一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。
本发明的技术方案是：搭建具有YOLOv5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：
S1、通过高精度拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集；
S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；
S3、以S1和S2构建的特有各类无人机数据集采用特定训练方法进行YOLOv5检测模型的训练；
S4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；
S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测-跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
S6、将TensorRT模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型后的检测-跟踪算法进行加速推理；
S7、利用整体集成于pytorch框架下加速的检测-跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
所述步骤S1和S2构建及标注的数据是本发明特别提出的，所有素材均来自于各类舰载无人机。
所述步骤S3输入数据尺寸为544×544，设置训练参数时采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；整个训练过程采用交叉熵损失函数，函数具体如下：
该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，对训练过程调整学习参数，记录交叉熵损失函数及精度变化。
所述步骤S4将权重模型转化为.wts模型文件，后通过自编脚本直接一步生成为Float 16精度的.engine文件，然后将模型与算法整体部署于嵌入式图像处理板进行加速。
本发明在所述步骤S5对图像处理板Linux环境下的YOLOv5检测算法本身进行了改进，扩展为非预测式的检测-跟踪算法。在检测第一帧对检测过程进行算法约束，对YOLOv5检测算法中的检测信息矩阵进行优化，施加概率判断模型和滞空模型；
然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
所述步骤S6将原始的TensorRT库迁移到虚拟环境中Python的文件库集和中去，激活TensorRT的python接口，实现将TensorRT模型解析推理加速技术搭建为pytorch框架；进一步建立动态链接库，调用TensorRT对载入engine模型的检测-跟踪算法进行加速推理。
所述步骤S7将集成于Pytorch框架下加速优化后的检测-跟踪算法加载到双摄影位置定位系统程序中，作为目标检测跟踪程序模块运行；
此后，通过双摄影相机设备实时采集无人机回航视频数据流，作为输入传入目标检测跟踪程序模块，经运算实现无人机回航运动轨迹的实时检测跟踪。
本发明中采用的用于实现上述步骤S1-S7的装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于CUDA库的GPU加速。
本发明中采用的YOLOv5是一种经典的端到端卷积神经网络，不同于FasterRCNN为代表的其他目标检测算法，YOLOv5将候选框提取与分类的两步问题统一转化为一步回归问题；并且在同系列模型中，YOLOv5的模型比前几代体积更小，参数更少。这两个最大的优势为YOLOv5带来了更快的检测速度以及更高效的判别精度，契合于技术难题中的远距离高速小目标捕捉。
本发明的技术效果和优点：综上所述，本发明的有益效果可总结为向各类远距离复杂环境下的舰载无人机回收任务提供可部署于移动端的无人机回航运动轨迹检测跟踪算法，该算法首先对传统深度学习模型进行了改进，融合了优化加速技术，并且与同类方法比较该算法的同构集成度极高，能够稳定确保检测跟踪任务的精确度与实时性。
附图说明
为能够更为清楚地表达整个技术方案的实施过程以及实施细节，下面将对整个技术描述中需要使用到的附图作简单的介绍，下面描述中的附图为本发明整体实施流程。
图1本发明实施细节流程框图。
具体实施方式
为更好地阐述本发明的发明目的，技术细节及其优越性，下面结合本发明实施细节流程框图进行更细致地描述。
如图1所示一种对YOLOv5深度学习模型实施加速优化后的舰载无人机回航运动轨迹实时检测跟踪技术具体实施过程包含以下步骤：
S1、采集特定目标对象数据；即采集各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集。
具体过程为，通过照相设备对需要检测跟踪的特定目标无人机种类群进行拍摄，拍摄应满足多方位、多角度、多环境、多距离的要求，采集足够丰富的目标数据，按照7比2比1的比例制作相应的用于训练、测试、验证的三大数据集。
S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件。
在数据集的基础之上制作相应的准确的标签，即待检测目标对象的最小外接矩形框标签。
S3、以步骤S1和步骤S2构建的特有各类无人机数据集采用特定训练方法进行YOLOv5检测模型的训练。
具体过程为，训练过程即精确学习捕捉舰载无人机位置的过程，首先在网络输入端对舰载无人机数据集进行自适应锚框计算以及自适应图片缩放，然后通过YOLOv5卷积神经网络在不同图像细粒度上聚合并形成图像特征，在此基础之上，YOLOv5又将输入的训练数据特征图拆分成m×m个方格，每个方格根据舰载无人机中心位置的像素坐标来判定是否具备检测目标对象的任务，如果是则输出包含舰载无人机目标的矩形区域信息以及该对象隶属于舰载无人机的概率信息。上述矩形区域信息囊括了左上及右下两个角点的像素坐标值以及该区域是否准确的置信度，该置信度采用IOU的值来衡量，IOU用于计算预测位置与目标真实位置的交集面积(其中Confidence为置信度值，object为检测跟踪的回航无人机对象，True代表检测到目标，False代表未检测到目标，IOU为交并比，Overlap为“预测边框”和“真实边框”的交集，Union为“预测边框”和“真实边框”的并集，P代表概率值，S代表面积值)：
Confidence＝P(object)×IOU
通过深度学习的训练方式，设置交叉熵损失函数，通过小批量梯度下降法求解损失函数最优解的过程来指导训练，采用的损失函数具体形式如下：
该损失函数中λcoord用于表示该损失的权重值。该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，其中x，y代表检测跟踪的回航无人机目标框左上角点在图像中的像素坐标，w，h代表目标框的宽度与高度，在YOLO算法中，对图像进行网格化，对网格区域进行逐一的预测获取目标对象检测框局域信息，再整合计算确定整个图像中待检测回航无人机的检测框信息，故Cij obj代表网格单元i的第j个边界框预测器负责执行该局域预测，S2和B分别是网格单元与边界框预测器的数量，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，故Ci obj代表目标出现在网格单元i中，Ci noobj代表目标未出现在网格单元i中，C为置信度值，c为类别，p(c)为类别概率值。对训练过程调整学习参数，记录交叉熵损失函数及精度变化，小批量训练的方式避免训练过程陷入局部最优解。
步骤S3输入的数据尺寸为544×544，对YOLOv5固有网络模型采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，通过这种模型缩减的方法既能保证模型精度，同时也能保证训练出的模型具备较快基准检测速度。本发明针对裁剪过的模型采用新的训练anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测。
采用Adam的优化方法，设置较小的学习率以及较大的迭代次数，本发明不采用预训练模型，以新构建的数据集做过拟合训练。最终训练获得置信度最高，精确度最好的舰载无人机特定目标检测模型，该模型可传输舰载无人机在拍摄图像中的位置像素坐标信息及隶属度概率两项指标。
S4、对模型进行解构转化并部署到移动端；将权重模型(即步骤S3中的YOLOv5检测模型)转化为.wts文件，再生成为.engine序列模型文件，再将模型与算法(即.engine序列模型文件和原始的yolov5检测算法)整体部署于嵌入式图像处理板
具体过程为，配置图像处理板的模型应用环境，为了后续利用TensorRT加速技术对模型进行加速推理，对训练模型进行解构转化，该重构过程可分为两步。
S4.1、首先将正常训练获取的pt权重模型转化为中间型wts结构；
S4.2、在该发明的设计中，为了整体性更完整，可迁移性更强，所以进一步将wts模型重构为engine文件。具体来说，通过自编脚本直接一步生成为Float 16精度的.engine文件进行加速，Float 16略微降低了原始精度，但带来了推理速度的提升。该步无需将模型转化为onnx，再转化为engine，只需定义必要脚本参数即可，操作方便，避免了模型转化过程中参数不对应所带来的诸多问题。
与同类方法相比，从pt权重模型到engine序列化模型的过程无需先将模型解构为onnx格式，只需定义必要脚本参数即可，操作方便，避免了模型转化过程中参数不对应所带来的诸多问题。然后将经过上述步骤处理后的模型与算法整体转入图像处理板。
S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测-跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
具体过程为，以逐帧处理的方式向检测算法中传入视频流，为了避免第一帧的误检测现象，于检测第一帧施加算法约束，对YOLOv5检测算法中的检测信息矩阵进行优化，施加滞空模型和概率判断模型，保证无目标检测情况及同种类多目标检测情况下不出现误检测和多检测现象，以达到始终只检测特定目标的目的。
然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
具体来说：基于步骤S3和S4获得的成熟检测模型以及舰载无人机的位置信息，对每一帧视频流都利用深度学习检测网络YOLOv5+特定模型的方式检测舰载无人机的位置，由于输入数据为实时视频流，故首先通过滞空模型判断是否定位到检测目标，如果未检测到目标则滞空回环，不进行跟踪，也不中断视频流传输，若检测到目标，则固定算法中的矩阵信息，接入概率判断模型，锁定回航无人机目标，实现对隶属度概率最高的舰载无人机目标对象的跟踪，并记录画出其最小外接矩形，采用构建掩膜的方式保留矩形框的彩色部分，图像其余部分置黑，该操作可将检测范围进一步精确化，为复杂环境下的多层次检测(如色彩检测，光源检测等)提供基础。对视频流的逐帧快速检测实现尺度自适应的目标跟踪任务。最后再整体输出关于舰载无人机的各帧位置数据集合，该集合包括：当前帧数n，处理速度fps，隶属度概率α，最小外接矩形左上点，右下点，中心点像素坐标以及长宽值。
S6、在pytorch框架下构建TensorRT加速算法，对载入序列化模型的检测-跟踪算法展开优化推理；即将TensorRT模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型的算法进行加速推理。
具体过程为，
S6.1、首先将TensorRT动态迁移至虚拟环境的Python的文件库集和中，激活TensorRT的python接口，实现将TensorRT模型解析推理加速技术搭建为pytorch框架，促使本发明种所有算法整体(包括原始YOLOv5检测算法，扩展改进后的检测-跟踪算法及加速推理的优化算法)的同构集成；
S6.2、建立动态链接库，在检测-跟踪算法中载入训练好转化好的序列模型，调用TensorRT对载入engine序列模型的算法进行加速推理。在这个过程中利用TensorRT加速框架消除掉网络模型中未使用过的输出层，将卷积操作，偏置操作以及激活函数操作进行融合，该融合有效降低了计算量；进一步把足够相似的参数和比较接近的源张量进行聚合操作，避免网络模型中的参数冗余，参数量大大减少；最后将各层的输出进行精准定位，通过与正确的最终目标相对应的方式来合并连接层。这种优化使得该算法从训练到加速到检测实现一体化，不必分裂。经过试验，加速效果明显，在移动端具备实时处理的能力，速度最高可达40fps(25fps以上即可算作实时)。
S7、利用整体集成于pytorch框架下加速优化的检测-跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
具体过程为，将整体集成于Pytorch框架下加速优化后的检测-跟踪算法加载到双摄影位置定位系统程序中，作为系统中的目标检测跟踪程序模块运行，该模块通过双摄影相机设备实时采集无人机回航视频数据流作为输入，实时视频流传入图像处理板中的该程序模块后，经过本发明设计的检测-跟踪算法运算，将以40fps的处理速度实现对无人机回航运动轨迹的实时检测与跟踪，并实时输出无人机目标对象在整个回航过程的位置图像坐标以供后续的真实空间位置解算任务使用。
本发明首次将整个算法从训练到检测到跟踪再到最后的推理加速过程完全集成为Pytorch框架，统一了所有计算机语言，高集成度避免跨计算机语言可能出现的低效及各类问题。
本发明中还提出了用于实现高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法的装置，该装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于CUDA库的GPU加速，核心处理器执行计算机算法时可实现权利要求1-6任一方法步骤。
Claims (8)
1.一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，搭建具有YOLOv5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：
S1、通过高精度拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集；
S2、对步骤S1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；
S3、以S1和S2构建的特有各类无人机数据集采用特定训练方法进行YOLOv5检测模型的训练；
S4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与YOLOv5检测算法整体部署于嵌入式图像处理板；
S5、在图像处理板的Linux环境下将YOLOv5检测算法扩展为基于先验检测的非预测式检测-跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
S6、将TensorRT模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型后的检测-跟踪算法进行加速推理；
S7、利用整体集成于pytorch框架下加速的检测-跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
2.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S1和S2构建及标注的数据是本发明特别提出的，所有素材均来自于各类舰载无人机。
3.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S3输入数据尺寸为544×544，设置训练参数时采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块Backbone以及Head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；整个训练过程采用交叉熵损失函数，函数具体如下：
该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，对训练过程调整学习参数，记录交叉熵损失函数及精度变化。
4.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S4将权重模型转化为.wts模型文件，后通过自编脚本直接一步生成为Float 16精度的.engine文件，然后将模型与YOLOv5检测算法整体部署于嵌入式图像处理板进行加速。
5.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，本发明在所述步骤S5对图像处理板Linux环境下的YOLOv5检测算法本身进行了改进，扩展为非预测式的检测-跟踪算法。在检测第一帧对检测过程进行算法约束，对YOLOv5检测算法中的检测信息矩阵进行优化，施加概率判断模型和滞空模型；
然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
6.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S6将原始的TensorRT库迁移到虚拟环境中Python的文件库集和中去，激活TensorRT的python接口，实现将TensorRT模型解析推理加速技术搭建为pytorch框架；进一步建立动态链接库，调用TensorRT对载入engine模型的检测-跟踪算法进行加速推理。
7.根据权利要求1所述的一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法，其特征在于，所述步骤S7将集成于Pytorch框架下加速优化后的检测-跟踪算法加载到双摄影位置定位系统程序中，作为目标检测跟踪程序模块运行；
此后，通过双摄影相机设备实时采集无人机回航视频数据流，作为输入传入目标检测跟踪程序模块，经运算实现无人机回航运动轨迹的实时检测与跟踪。
8.一种用于实现权利要求1-7任一所述的高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法的装置，其特征在于，该装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于CUDA库的GPU加速。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897798.4A CN113592912A (zh) | 2021-08-05 | 2021-08-05 | 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897798.4A CN113592912A (zh) | 2021-08-05 | 2021-08-05 | 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113592912A true CN113592912A (zh) | 2021-11-02 |
Family
ID=78255530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110897798.4A Pending CN113592912A (zh) | 2021-08-05 | 2021-08-05 | 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592912A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079196A (zh) * | 2023-10-16 | 2023-11-17 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409283A (zh) * | 2018-10-24 | 2019-03-01 | 深圳市锦润防务科技有限公司 | 一种海面舰船跟踪和监控的方法、系统和存储介质 |
| CN111275733A (zh) * | 2020-02-27 | 2020-06-12 | 赛特斯信息科技股份有限公司 | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
-
2021
- 2021-08-05 CN CN202110897798.4A patent/CN113592912A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409283A (zh) * | 2018-10-24 | 2019-03-01 | 深圳市锦润防务科技有限公司 | 一种海面舰船跟踪和监控的方法、系统和存储介质 |
| CN111275733A (zh) * | 2020-02-27 | 2020-06-12 | 赛特斯信息科技股份有限公司 | 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张锐;王兆魁;: "基于深度学习的空间站舱内服务机器人视觉跟踪", 上海航天, no. 05, 25 October 2018 (2018-10-25) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079196A (zh) * | 2023-10-16 | 2023-11-17 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
| CN117079196B (zh) * | 2023-10-16 | 2023-12-29 | 长沙北斗产业安全技术研究院股份有限公司 | 基于深度学习以及目标运动轨迹的无人机识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110796037B (zh) | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 | |
| Choi et al. | SDDNet: Real-time crack segmentation | |
| Srivastava et al. | A survey of deep learning techniques for vehicle detection from UAV images | |
| CN111507271B (zh) | 一种机载光电视频目标智能化检测与识别方法 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| Waheed et al. | Deep learning algorithms-based object detection and localization revisited | |
| KR20220047560A (ko) | 이미지 내의 관심 물품을 분할하기 위해 이미지를 분석하는 컴퓨터 구현 방법 | |
| CN112434618B (zh) | 基于稀疏前景先验的视频目标检测方法、存储介质及设备 | |
| CN112419306B (zh) | 一种基于nas-fpn的肺结节检测方法 | |
| CN113592825A (zh) | 一种基于yolo算法的煤矸实时检测方法 | |
| CN111444865A (zh) | 一种基于逐步求精的多尺度目标检测方法 | |
| Ayachi et al. | Real-time implementation of traffic signs detection and identification application on graphics processing units | |
| CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
| Rajjak et al. | Multiple-object detection and segmentation based on deep learning in high-resolution video using Mask-RCNN | |
| CN113592912A (zh) | 一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置 | |
| CN112966659B (zh) | 一种基于深度学习的视频图像小目标检测方法 | |
| CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及系统 | |
| CN113963333A (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| Thoudoju | Detection of aircraft, vehicles and ships in aerial and satellite imagery using evolutionary deep learning | |
| CN116580324A (zh) | 一种基于YOLOv5的无人机对地目标检测方法 | |
| Suwinski et al. | 2D and 3D Data Generation and Workflow for AI-based Navigation on Unstructured Planetary Surfaces | |
| CN112926681B (zh) | 一种基于深度卷积神经网络的目标检测方法及装置 | |
| Pan et al. | A deep learning based framework for UAV trajectory pattern recognition | |
| CN114937239A (zh) | 行人多目标跟踪识别方法及跟踪识别装置 | |
| CN114022752A (zh) | 基于注意力特征精细化及对齐的sar目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |