CN114596335B - 一种无人艇目标检测追踪方法及系统 - Google Patents
一种无人艇目标检测追踪方法及系统 Download PDFInfo
- Publication number
- CN114596335B CN114596335B CN202210200027.XA CN202210200027A CN114596335B CN 114596335 B CN114596335 B CN 114596335B CN 202210200027 A CN202210200027 A CN 202210200027A CN 114596335 B CN114596335 B CN 114596335B
- Authority
- CN
- China
- Prior art keywords
- target
- kcf
- unmanned ship
- module
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 11
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 11
- 210000000299 nuclear matrix Anatomy 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种无人艇目标检测系统及方法，利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，通过Mobilenetv3的深度可分离卷积大幅减少主干网络参数量。在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，提升因使用Mobilenetv3网络而损失的mAP。融合Mobilenetv3‑YOLOv4目标检测算法和KCF相关滤波目标跟踪算法，有效地实现对海面目标的尺度自适应和对海面目标实时检测跟踪。将Mobilenetv3提取的深度特征与KCF算法的HOG特征进行融合，有效解决了KCF算法HOG提取特征的问题。实现系统在嵌入式设备中使用的可能。
Description
技术领域
本发明涉及水面目标检测追踪领域，具体为一种无人艇目标检测追踪方法及系统。
背景技术
无人艇技术近年来飞速发展，在诸多方面都有所应用，如水质检测、海面巡逻监控等。随着人工智能技术的发展，无人艇在自主航向领域的各项技术也在不断完善。但目前的自主航行无人艇系统还不够完善，没有一套完整的框架，而且它们往往因为不能很好的检测水面目标，而无法为无人艇提供其周围环境信息，进而导致无人艇不能完成巡逻、避障等各种任务。
水面目标检测追踪是无人艇完成各种任务的核心技术，在海面巡逻、海面目标识别等方面应用广泛。但目前目标检测效果较好的YOLOv4算法,其网络结构复杂、参数多、检测速度慢，而且对运算环境要求高，不能很好的移植到无人艇这种嵌入式设备中。在无人艇检测出目标后能够很好的追踪目标也相当重要，目前的目标追踪算法结合了深度学习算法，利用卷积网络自动提取特征，虽提升了目标追踪效果，但也导致运算速度下降，非常不适合运行在嵌入式设备中。此外还有一些相关滤波追踪算法其计算速度快但精度不足，而且还有不能对目标尺度自适应的问题。
发明内容
本发明为了改进上述技术问题，而提供一种适合于迁移运行于嵌入式设备中的无人艇目标检测追踪方法，其包括如下步骤：
S1.启动目标检测追踪系统，通过自检并正常运行；
S2.感知模块采集环境信息并进行目标识别，其中环境信息包括位置信息和周围图像信息和视频信息；
S3.规划模块基于感知模块获得的周围环境感知信息，实时对前进路线做出规划，提供行驶轨迹；
S4.控制模块基于规划模块提供的行驶轨迹，控制无人艇的目标追踪行动。
优选的，所述步骤S2包括如下步骤：
S2.1.预先利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，通过Mobilenetv3的深度可分离卷积将标准卷积分解成的深度卷积和一个的逐点卷积；
S2.2.在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，CBAM从通道和空间两个维度计算卷积神经网络生成的特征图的注意力图，将注意力图与输入的特征图相乘，进行特征自适应学习，通道注意力模块CAM输入的特征图通过全局最大池化GMP和全局平均池化GAP得到对应的特征图，通过多层感知器得到两个特征向量，将两个特征向量的元素逐个相加累积，通过激活操作输出通道注意力特征，与最初的特征图进行相乘，进行自适应特征细化，得到新的特征图，记为F′，空间注意力模块SAM将上述通道注意力模块得到的特征图F′进行全局最大池化GMP和全局平均池化GAP，得到两个特征图，将两个特征图通道拼接，经过卷积核为7×7的卷积运算及激活操作，所得结果与输入的特征图相乘，得到所需要的特征。
进一步的，所述步骤S2还包括S2.3步骤，YOLOv4模型与改进KCF算法的融合步骤，具体为：KCF算法分为建立模型、在线匹配、模板更新3个环节，将KCF预测的目标边界框与YOLOv4检测到的边界框相结合，以获得与跟踪目标大小相匹配的新尺度目标框，将新的目标框作为KCF的训练模板，实现KCF尺度自适应。
优选的，所述KCF尺度自适应的具体步骤为：
步骤1：读入视频序列；
步骤2：KCF算法预测出目标框；
步骤3：改进的YOLOv4算法检测出视频中所有目标并计算与KCF算法预测的目标框的IOU值；
步骤4：使用IOU值最大的YOLOv4目标框作为KCF算法新的训练模板。
优选的，所述步骤S2还包括S2.4步骤，对于HOG特征与深度特征融合，即使用改进YOLOv4算法中的MobileNetv3网络对目标提取深度特征并计算出的相似度与KCF算法预测的置信度HOG特征进行融合。
进一步的，所述MobileNetv3网络对目标提取深度特征计算出的相似度与KCF算法预测的置信度基于如下公式构建融合：
C＝μCkcf+(1-μ)DMobileNet
其中，Ckcf是KCF算法预测的置信度，DMobileNet是MobileNet计算出的相似度，μ为多次测试后的两者最佳比例值。
优选的，所述的KCF算法的建立模型环节基于如下公式构建目标函数与最小化采样数据与下一帧真实目标位置的距离：
通过岭回归的方式建立目标函数:
f(xi)＝ωHxi
式中：xi为样本，ω是样本xi的权重系数。
目标是最小化采样数据与下一帧真实目标位置的距离:
式中:yi为样本标签，yi是样本特征xi的标签值，λ是正则化参数，也称为岭系数，用于控制系统的结构复杂性以保证分类器的泛化性能，λ||w||2是正则项，防止模型出现过拟合。
优选的，所述最小化采样数据与下一帧真实目标位置的距离公式基于如下公式构建损失函数最小值:对ω求微分，令导数为0，损失函数取得最小值:
ω＝(XHX+λI)-1XHy
式中：I为单位矩阵。X＝[x1,x2,...,xn]T为样本矩阵，XH为X的复共轭转置矩阵，X的每一行xi T为一个样本，y为列向量，分量yi为对应样本xi T的标签。
优选的，所述损失函数最小值公式基于如下公式构建w在傅里叶域的表示，利用循环矩阵对角化的性质得到w在傅里叶域的表示:
式中：表示x的离散傅里叶变换，/>为/>的共轭向量。
优选的，所述w在傅里叶域的表示公式基于如下公式将ω的求解转化为高维空间中的高维权值α:
其中表示核空间的核矩阵。
α在频域的表示：
其中为K矩阵的第一行的傅里叶变换。
优选的，所述KCF算法的在线匹配，是基于如下公式定义KZ是在核空间表示采样样本与训练样本相似度的核矩阵，将采样样本与训练样本作相关操作，得到响应值的频域表示:
其中是核矩阵KZ的第一行，通过傅里叶反变换将/>从频域转换到时域f，找到f最大值对应的位置即为所求。
优选的，所述KCF算法的模块更新，是采样并结合过去时刻的模型参数，利用双线性插值的方法加入到模型参数的更新过程:
式中：为当前的模型参数，/>为当前的样本参数，分别由前一帧的/>和/>得到，θ为学习率。
本发明另一目的是提供一种无人艇目标检测追踪系统，其特殊之处在于，其包括以下模块：
运行时框架模块：用于确保采集、预处理、识别和指令产生以独立的进程并行执行；
定位模块：通过GPS、RTK、IMU三传感器融合为无人艇提供高精度定位信息；
感知模块：包括激光雷达、超声波传感器、毫米波雷达和/或声呐探测仪，并执行如权利要求1至12所述的无人艇目标检测追踪方法，以检测无人艇水面及水下环境信息；
规划模块：基于定位模块获得的定位信息以及感知模块获得的周围环境感知信息，实时对前进路线做出规划，提供行驶轨迹；
控制模块：基于规划模块提供的行驶轨迹，采用模糊PID控制无人艇的目标追踪行动；
云端模块：收集无人艇航行轨迹，存储相关数据，以及模拟仿真。
本发明与现有技术相比具有的有益效果如下：
1、利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，通过Mobilenetv3的深度可分离卷积大幅减少主干网络参数量。
2、在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，提升因使用Mobilenetv3网络而损失的mAP。从而在几乎不损失模型精度的情况下，大大轻量化了YOLOv4模型，进而能够很好的在无人艇这种嵌入式平台运行。
3、创新地融合了Mobilenetv3-YOLOv4目标检测算法和KCF相关滤波目标跟踪算法可以有效地实现对海面目标的尺度自适应以及对海面目标实时的检测跟踪。并且将Mobilenetv3提取的深度特征与KCF算法的HOG特征进行融合，有效解决了KCF算法HOG提取特征的问题。
附图说明
图1是本发明无人艇平台总框架结构图；
图2是本发明无人艇平台硬件控制流结构框图；
图3是本发明YOLOv4网络结构图；
图4是标准卷积与深度可分离卷积的对比图；
图5是本发明CBAM模块的流程图；
图6是本发明自适应KCF的流程图。
具体实施方式
下面结合附图对本发明所提供的一种无人艇目标检测追踪系统及方法作进一步说明
参阅图1所示，本发明所提供的这种无人艇目标检测追踪系统的总框架包括软件框架、硬件框架。该硬件框架由三层组成，分别是：硬件层、软件层、云端服务层，硬件层搭载STM32F4控制器并嵌入实时操作系统UCOSIII，英伟达Xavier作为计算平台，由GPS、RTK、IMU融合的定位系统，激光雷达、超声波传感器、毫米波雷达、声呐、深度相机构成的无人艇环境感知系统，其硬件之间具体的连接关系如图2所示。
所述软件层中也分为三层，分别是实时操作系统、运行框架、各模块算法，各部分具体作用如下：
1、运行时框架：本系统基于机器人操作系统ROS搭建。ROS可以保证采集、预处理、识别和指令产生以独立的进程并行执行。
2、定位模块：通过GPS、RTK、IMU三传感器融合为无人艇提供高精度定位信息，包括无人艇的世界坐标、姿态等。
3、感知模块：采用激光雷达、超声波传感器、毫米波雷达、声呐检测无人艇水面、水下环境，为无人艇航向提供安全保障。
4、规划模块：基于无人艇定位信息以及周围环境感知信息，实时对前进路线做出规划，提供可行的行驶轨迹。
5、控制模块：基于规划模块，采用模糊PID控制无人艇的前进、后退、转向、制动等。
6、云端模块：采集无人艇各项数据、航行轨迹等为云端服务。
云端服务主要运行在分布式计算的云端，为无人艇提供各种服务，包括数据平台、仿真、无人艇安全平台，其具体作用如下:
1、仿真：提供训练算法模块的服务平台，根据无人艇采集的数据，不断更新训练数据，提高无人艇智能程度。
2、数据平台：实时存储无人艇传来的各种数据，其中包括无人艇姿态、航行轨迹、周围环境感知等。
3、无人艇安全平台：保证无人艇和云端的信息安全。
下面结合上述无人艇目标检测追踪系统对具体的目标检测追踪方法进行详细说明，
这种无人艇目标检测追踪方法，其包括如下步骤：
S1.启动目标检测追踪系统，通过自检并正常运行；
S2.感知模块采集环境信息并进行目标识别，其中环境信息包括位置信息和周围图像信息和视频信息；
S3.规划模块基于感知模块获得的周围环境感知信息，实时对前进路线做出规划，提供行驶轨迹；
S4.控制模块基于规划模块提供的行驶轨迹，控制无人艇的目标追踪行动。
所述步骤S2包括如下步骤：
S2.1.预先利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，通过Mobilenetv3的深度可分离卷积将标准卷积分解成的深度卷积和一个的逐点卷积；
S2.2.在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，CBAM从通道和空间两个维度计算卷积神经网络生成的特征图的注意力图，将注意力图与输入的特征图相乘，进行特征自适应学习，通道注意力模块CAM输入的特征图通过全局最大池化GMP和全局平均池化GAP得到对应的特征图，通过多层感知器得到两个特征向量，将两个特征向量的元素逐个相加累积，通过激活操作输出通道注意力特征，与最初的特征图进行相乘，进行自适应特征细化，得到新的特征图，记为F′，空间注意力模块SAM将上述通道注意力模块得到的特征图F′进行全局最大池化GMP和全局平均池化GAP，得到两个特征图，将两个特征图通道拼接，经过卷积核为7×7的卷积运算及激活操作，所得结果与输入的特征图相乘，得到所需要的特征。
具体的，改进的YOLOv4模型为，YOLOv4算法是由CSPDarknet53特征提取网络、SPPNet、PANet特征融合网络和检测模块所构成。如图3所示先将图片调整为416×416的尺寸后输入YOLOv4检测模型中，使用CSPDarkNet53网络对其进行特征提取，之后经过PANet对不同尺度的特征进行融合从而得到三种不同尺度的特征图。YOLOv4的主干特征提取网络是CSPDarkNet53，使用了Mish激活函数，同时修改了其中的残差模块，残差模块的主干部分仍然是残缺块的堆叠，但另外添加了一条捷径分支从输入直接连通到输出，也是为了保留部分浅层特征，避免丢失太多信息，实现对图片信息进行浅层的初步提取。但由于CSPDarkNet53采用了大量的残缺块，运算参数量大，内存占用大，且运行速度一般，不利于部署在嵌入式设备中。本发明利用以下步骤解决上述问题：
步骤1：减少模型大小。利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，通过Mobilenetv3的深度可分离卷积大幅减少主干网络参数量。在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，提升因使用Mobilenetv3网络而损失的mAP。从而在几乎不损失模型精度的情况下，大大轻量化了YOLOv4模型，进而能够很好的在无人艇这种嵌入式平台运行。MobileNet系列网络的核心算法就是用深度可分离卷积代替标准卷积，如图4所示，深度可分离卷积将标准卷积分解成Dk×Dk的深度卷积和一个1×1的逐点卷积。假设输入特征图有M个通道，输出特征图的通道数N，卷积核大小为Dk×Dk，深度卷积与标准卷积部分的计算量比较如下公式所示：
其中N≥K2，且DK＝3。可见，MobileNet网络的卷积方式和标准卷积方式相比大大减少了计算量。所以将YOLOv4的主干网络CSPDarknet53替换为MobileNetv3，可大幅度减少参数数量，以及模型大小。
步骤2：提高模型精度。为了实现轻量化网络，将YOLOv4的主干网络CSPDarknet53替换为了MobileNetv3，虽然达到了一定的轻量化目的，但是mAP的也存在一定的下降。所以分别在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制来弥补为了轻量化网络带来的mAP下降问题。
CBAM是一个轻量级的通用模块，可以将其融入到各种卷积神经网络中进行端到端的训练，在网络中加入并不会提升太多的参数量，非常适合运行在嵌入式设备中。
从图5可以看到CBAM包含2个独立的子模块，通道注意力模块(Channel AttentionModule，CAM)和空间注意力模块(Spatial Attention Module，SAM)，分别进行通道与空间上的Attention。对于卷积神经网络生成的feature map，CBAM从通道和空间两个维度计算feature map的attention map，然后将attention map与输入的feature map相乘来进行特征的自适应学习。这样不但能够节约参数和计算力，并且保证了其能够做为即插即用的模块集成到现有的网络架构中去。
图5中的通道注意力模块CAM，输入的特征图通过全局最大池化GMP和全局平均池化GAP得到对应的特征图；再通过多层感知器(Multilayer Perception,MLP)，最终得到两个特征向量，再将这两个特征向量的元素逐个相加累积，通过激活操作输出通道注意力特征，并与最初的特征图进行相乘，进行自适应特征细化，最后得到新的特征图，记为F′。
图5中的空间注意力模块SAM。将上述通道注意力模块得到的特征图(F′)进行全局最大池化GMP和全局平均池化GAP，得到两个特征图，将两个特征图通道拼接，后经过卷积核为7×7的卷积运算及激活操作，所得结果与输入的特征图相乘，最终得到所需要的特征.
为了提高目标检测追踪精度，对系统目标追踪算法进行改进如下：
所述步骤S2还包括S2.3步骤，YOLOv4模型与改进KCF算法的融合步骤，具体为：KCF算法分为建立模型、在线匹配、模板更新3个环节，将KCF预测的目标边界框与YOLOv4检测到的边界框相结合，以获得与跟踪目标大小相匹配的新尺度目标框，将新的目标框作为KCF的训练模板，实现KCF尺度自适应。
所述KCF尺度自适应的具体步骤为：
步骤1：读入视频序列；
步骤2：KCF算法预测出目标框；
步骤3：改进的YOLOv4算法检测出视频中所有目标并计算与KCF算法预测的目标框的IOU值；
步骤4：使用IOU值最大的YOLOv4目标框作为KCF算法新的训练模板。
所述步骤S2还包括S2.4步骤，对于HOG特征与深度特征融合，即使用改进YOLOv4算法中的MobileNetv3网络对目标提取深度特征并计算出的相似度与KCF算法预测的置信度HOG特征进行融合。
所述MobileNetv3网络对目标提取深度特征计算出的相似度与KCF算法预测的置信度基于如下公式构建融合：
C＝μCkcf+(1-μ)DMobileNet
其中，Ckcf是KCF算法预测的置信度，DMobileNet是MobileNet计算出的相似度，μ为多次测试后的两者最佳比例值。
所述的KCF算法的建立模型环节基于如下公式构建目标函数与最小化采样数据与下一帧真实目标位置的距离：
通过岭回归的方式建立目标函数：
f(xi)＝ωHxi
式中：xi为样本，ω是样本xi的权重系数。
目标是最小化采样数据与下一帧真实目标位置的距离：
式中：yi为样本标签，yi是样本特征xi的标签值。λ是正则化参数，也称为岭系数，用于控制系统的结构复杂性以保证分类器的泛化性能。λ||w||2是正则项，防止模型出现过拟合。
所述最小化采样数据与下一帧真实目标位置的距离公式基于如下公式构建损失函数最小值：对ω求微分，令导数为0，损失函数取得最小值：
ω＝(XHX+λI)-1XHy
式中：I为单位矩阵。X＝[x1,x2,...,xn]T为样本矩阵，XH为X的复共轭转置矩阵，X的每一行xi T为一个样本，y为列向量，分量yi为对应样本xi T的标签。
所述损失函数最小值公式基于如下公式构建w在傅里叶域的表示，利用循环矩阵对角化的性质得到w在傅里叶域的表示:
式中：表示x的离散傅里叶变换，/>为/>的共轭向量。
所述w在傅里叶域的表示公式基于如下公式将ω的求解转化为高维空间中的高维权值α:
其中表示核空间的核矩阵。
α在频域的表示：
其中为K矩阵的第一行的傅里叶变换。
所述KCF算法的在线匹配，是基于如下公式定义KZ是在核空间表示采样样本与训练样本相似度的核矩阵，将采样样本与训练样本作相关操作，得到响应值的频域表示:
其中是核矩阵KZ的第一行，通过傅里叶反变换将/>从频域转换到时域f，找到f最大值对应的位置即为所求。
所述KCF算法的模块更新，是采样并结合过去时刻的模型参数，利用双线性插值的方法加入到模型参数的更新过程:
式中：为当前的模型参数，/>为当前的样本参数，分别由前一帧的/>和/>得到，θ为学习率。
本发明提供改进YOLOv4模型与改进KCF算法融合的无人艇目标追踪方法。无人艇目标检测追踪系统融合了Mobilenetv3-YOLOv4目标检测算法和KCF相关滤波目标跟踪算法可以有效地实现对海面目标的尺度自适应以及对海面目标实时检测跟踪。并且将Mobilenetv3提取的深度特征与KCF算法的HOG特征进行融合，有效解决了KCF算法HOG提取特征的问题。
KCF算法是一种典型的判别类方法，它将目标的跟踪问题巧妙地对图像中目标和背景的二分类问题，借助岭回归方法将非线性问题转化为高维的线性空间中，简化了计算；另外引入循环矩阵，利用其频域对角化的性质，将计算从时域转换到频域，结合快速傅里叶变换，提升了运算速度。
KCF算法可以分为建立模型、在线匹配、模板更新3个环节。
1)建立模型
通过岭回归的方式建立目标函数:
f(xi)＝ωHxi
式中：xi为样本，ω是样本xi的权重系数。
目标是最小化采样数据与下一帧真实目标位置的距离:
式中:yi为样本标签，yi是样本特征xi的标签值。λ是正则化参数，也称为岭系数，用于控制系统的结构复杂性以保证分类器的泛化性能。λ||w||2是正则项，防止模型出现过拟合。
上式对ω求微分，令导数为0，损失函数即可取得最小值:
ω＝(XHX+λI)-1XHy
式中：I为单位矩阵。X＝[x1,x2,...,xn]T为样本矩阵，XH为X的复共轭转置矩阵，X的每一行xi T为一个样本，y为列向量，分量yi为对应样本xi T的标签。
利用循环矩阵对角化的性质得到w在傅里叶域的表示:
式中：表示x的离散傅里叶变换，/>为/>的共轭向量。
针对大多数情况下ω的求解都是非线性问题，通过引入高斯核函数将ω的求解转化为高维空间中的高维权值α:
其中表示核空间的核矩阵。
α在频域的表示：
其中为K矩阵的第一行的傅里叶变换。
2)在线匹配
定义KZ是在核空间表示采样样本与训练样本相似度的核矩阵，将采样样本与训练样本作相关操作，得到响应值的频域表示:
其中是核矩阵KZ的第一行，通过傅里叶反变换将/>从频域转换到时域f，找到f最大值对应的位置即为所求。
3)模板更新
采样并结合过去时刻的模型参数，利用双线性插值的方法加入到模型参数的更新过程:
式中：为当前的模型参数，/>为当前的样本参数，分别由前一帧的/>和/>得到，θ为学习率。
在KCF算法中，提取图像的尺度始终是初始目标图像跟踪区域的像素大小，因此如果目标的移动导致与相机的距离发生变化，图像中目标的相对尺度也随之变化。如果目标边界框的大小不变，将会引起提取的特征将不完整或着引入可变的背景信息，从而导致跟踪失败。因此，KCF在尺度变化方面存在问题。
将KCF预测的目标边界框与YOLOv4检测到的边界框相结合，以获得与跟踪目标大小相匹配的新尺度目标框，然后将新的目标框作为KCF的训练模板，从而实现KCF的尺度自适应。
鉴于KCF使用的HOG功能存在缺陷。HOG特征采用梯度特征表示，因此对目标变化和颜色信息不敏感，而且HOG的梯度特征对噪声也很敏感，这会导致跟踪过程中出现跟踪误差或跟踪损失。为了弥补HOG这一缺陷使用改进YOLOv4算法中的MobileNetv3网络对目标提取深度特征计算出的相似度与KCF算法预测的置信度进行融合。
融合方法公式如下：
C＝μCkcf+(1-μ)DMobileNet
其中，Ckcf是KCF算法预测的置信度，DMobileNet是MobileNet计算出的相似度，μ为多次测试后的两者最佳比例值。
本发明所提供的这种无人艇目标检测系统通过感知模块可以充分的感知周围环境，为无人艇提供障碍信息，进而为规划模块更好的服务，实现自主的路径规划。并且此系统提供云端服务，可以将无人艇实时数据保存到云端，可供仿真、训练模型使用，对科研有着十分大的作用。本发明所提供的这种无人艇目标检测方法中，用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，通过Mobilenetv3的深度可分离卷积大幅减少主干网络参数量。并在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，提升因使用Mobilenetv3网络而损失的mAP。从而在几乎不损失模型精度的情况下，大大轻量化了YOLOv4模型，进而能够很好的在无人艇这种嵌入式平台运行。本发明所提供的这种无人艇目标检测追踪系统融合了Mobilenetv3-YOLOv4目标检测算法和KCF相关滤波目标跟踪算法可以有效地实现对海面目标的尺度自适应以及对海面目标实时的检测跟踪。并且将Mobilenetv3提取的深度特征与KCF算法的HOG特征进行融合，有效解决了KCF算法HOG提取特征的问题。
本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种无人艇目标检测追踪方法，其包括如下步骤：
S1.启动目标检测追踪系统，通过自检并正常运行；
S2.感知模块采集环境信息并进行目标识别，其中环境信息包括位置信息和周围图像信息和视频信息，其中，所述步骤S2包括如下步骤：
S2.1.预先利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，通过Mobilenetv3的深度可分离卷积将标准卷积分解成的深度卷积和一个的逐点卷积；
S2.2.在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，CBAM从通道和空间两个维度计算卷积神经网络生成的特征图的注意力图，将注意力图与输入的特征图相乘，进行特征自适应学习，通道注意力模块CAM输入的特征图通过全局最大池化GMP和全局平均池化GAP得到对应的特征图，通过多层感知器得到两个特征向量，将两个特征向量的元素逐个相加累积，通过激活操作输出通道注意力特征，与最初的特征图进行相乘，进行自适应特征细化，得到新的特征图，记为F′，空间注意力模块SAM将上述通道注意力模块得到的特征图F′进行全局最大池化GMP和全局平均池化GAP，得到两个特征图，将两个特征图通道拼接，经过卷积核为7×7的卷积运算及激活操作，所得结果与输入的特征图相乘，得到所需要的特征；
还包括S2.3.YOLOv4模型与改进KCF算法的融合步骤，具体为：KCF算法分为建立模型、在线匹配、模板更新3个环节，将KCF预测的目标边界框与YOLOv4检测到的边界框相结合，以获得与跟踪目标大小相匹配的新尺度目标框，将新的目标框作为KCF的训练模板，实现KCF尺度自适应；
S3.规划模块基于感知模块获得的周围环境感知信息，实时对前进路线做出规划，提供行驶轨迹；
S4.控制模块基于规划模块提供的行驶轨迹，控制无人艇的目标追踪行动。
2.如权利要求1所述的无人艇目标检测追踪方法，其特征在于，所述KCF尺度自适应的具体步骤为：
步骤1：读入视频序列；
步骤2：KCF算法预测出目标框；
步骤3：改进的YOLOv4算法检测出视频中所有目标并计算与KCF算法预测的目标框的IOU值；
步骤4：使用IOU值最大的YOLOv4目标框作为KCF算法新的训练模板。
3.如权利要求1所述的无人艇目标检测追踪方法，其特征在于，所述步骤S2还包括S2.4步骤，对于HOG特征与深度特征融合，即使用改进YOLOv4算法中的MobileNetv3网络对目标提取深度特征并计算出的相似度与KCF算法预测的置信度HOG特征进行融合。
4.如权利要求3所述的无人艇目标检测追踪方法，其特征在于，所述MobileNetv3网络对目标提取深度特征计算出的相似度与KCF算法预测的置信度基于如下公式构建融合：
C＝μCkcf+(1-μ)DMobileNet
其中，Ckcf是KCF算法预测的置信度，DMobieNet是MobileNet计算出的相似度,μ为多次测试后的两者最佳比例值。
5.如权利要求1所述的无人艇目标检测追踪方法，其特征在于，所述的KCF算法的建立模型环节基于如下公式构建目标函数与最小化采样数据与下一帧真实目标位置的距离：
通过岭回归的方式建立目标函数:
f(xi)＝wHxi
式中：xi为样本，ω是样本xi的权重系数，ωH为ω的复共轭转置矩阵，
目标是最小化采样数据与下一帧真实目标位置的距离:
式中:yi为样本标签，yi是样本特征xi的标签值，λ是正则化参数，也称为岭系数，用于控制系统的结构复杂性以保证分类器的泛化性能，λ||w||2是正则项，防止模型出现过拟合。
6.如权利要求5所述的无人艇目标检测追踪方法，其特征在于，所述最小化采样数据与下一帧真实目标位置的距离公式基于如下公式构建损失函数最小值:对ω求微分，令导数为0，损失函数取得最小值:
w＝(XHX+λI)-1XHy
式中：I为单位矩阵，X＝[x1,x2,...,xn]T为样本矩阵，XH为X的复共轭转置矩阵，X的每一行xi T为一个样本，y为列向量，分量yi为对应样本xi T的标签。
7.如权利要求6所述的无人艇目标检测追踪方法，其特征在于，所述损失函数最小值公式基于如下公式构建w在傅里叶域的表示，利用循环矩阵对角化的性质得到w在傅里叶域的表示:
式中：表示x的离散傅里叶变换，/>为/>的共轭向量。
8.如权利要求6所述的无人艇目标检测追踪方法，其特征在于，所述w在傅里叶域的表示公式基于如下公式将ω的求解转化为高维空间中的高维权值α:
其中表示核空间的核矩阵；
α在频域的表示：
其中为K矩阵的第一行的傅里叶变换。
9.如权利要求8所述的无人艇目标检测追踪方法，其特征在于，所述KCF算法的在线匹配，是基于如下公式定义KZ是在核空间表示采样样本与训练样本相似度的核矩阵，将采样样本与训练样本作相关操作，得到响应值的频域表示:
其中是核矩阵KZ的第一行，通过傅里叶反变换将/>从频域转换到时域f，找到f最大值对应的位置即为所求。
10.如权利要求7或8所述的无人艇目标检测追踪方法，其特征在于，所述KCF算法的模块更新，是采样并结合过去时刻的模型参数，利用双线性插值的方法加入到模型参数的更新过程:
式中：为当前的模型参数，/>为当前的样本参数，分别由前一帧的/>和/>得到，θ为学习率。
11.一种无人艇目标检测追踪系统，其特征在于，其包括以下模块：
运行时框架模块：用于确保采集、预处理、识别和指令产生以独立的进程并行执行；
定位模块：通过GPS、RTK、IMU三传感器融合为无人艇提供高精度定位信息；
感知模块：包括激光雷达、超声波传感器、毫米波雷达和/或声呐探测仪，并执行如权利要求1至10所述的无人艇目标检测追踪方法，以检测无人艇水面及水下环境信息，
其中，预先利用Mobilenetv3结构替换YOLOv4的主干特征提取网络CSPDarknet53，在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，通过Mobilenetv3的深度可分离卷积将标准卷积分解成的深度卷积和一个的逐点卷积；
在MobileNetv3中以及PANet与YOLO_HEAD中间加入CBAM注意力机制，CBAM从通道和空间两个维度计算卷积神经网络生成的特征图的注意力图，将注意力图与输入的特征图相乘，进行特征自适应学习，通道注意力模块CAM输入的特征图通过全局最大池化GMP和全局平均池化GAP得到对应的特征图，通过多层感知器得到两个特征向量，将两个特征向量的元素逐个相加累积，通过激活操作输出通道注意力特征，与最初的特征图进行相乘，进行自适应特征细化，得到新的特征图，记为F′，空间注意力模块SAM将上述通道注意力模块得到的特征图F′进行全局最大池化GMP和全局平均池化GAP，得到两个特征图，将两个特征图通道拼接，经过卷积核为7×7的卷积运算及激活操作，所得结果与输入的特征图相乘，得到所需要的特征；
YOLOv4模型与改进KCF算法的融合步骤，具体为：KCF算法分为建立模型、在线匹配、模板更新3个环节，将KCF预测的目标边界框与YOLOv4检测到的边界框相结合，以获得与跟踪目标大小相匹配的新尺度目标框，将新的目标框作为KCF的训练模板，实现KCF尺度自适应；
规划模块：基于定位模块获得的定位信息以及感知模块获得的周围环境感知信息，实时对前进路线做出规划，提供行驶轨迹；
控制模块：基于规划模块提供的行驶轨迹，采用模糊PID控制无人艇的目标追踪行动；
云端模块：收集无人艇航行轨迹，存储相关数据，以及模拟仿真。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210200027.XA CN114596335B (zh) | 2022-03-01 | 2022-03-01 | 一种无人艇目标检测追踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210200027.XA CN114596335B (zh) | 2022-03-01 | 2022-03-01 | 一种无人艇目标检测追踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114596335A CN114596335A (zh) | 2022-06-07 |
| CN114596335B true CN114596335B (zh) | 2023-10-31 |
Family
ID=81808400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210200027.XA Active CN114596335B (zh) | 2022-03-01 | 2022-03-01 | 一种无人艇目标检测追踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596335B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331127A (zh) * | 2022-09-27 | 2022-11-11 | 南京瀚元科技有限公司 | 一种基于注意力机制的无人机移动目标侦测方法 |
| CN117173430A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 目标跟踪控制参数获取方法、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765458A (zh) * | 2018-04-16 | 2018-11-06 | 上海大学 | 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法 |
| CN110766721A (zh) * | 2019-09-30 | 2020-02-07 | 南京航空航天大学 | 一种基于机载视觉的着舰合作目标检测方法 |
| CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
| CN112380997A (zh) * | 2020-11-16 | 2021-02-19 | 武汉巨合科技有限公司 | 基于深度学习的机型识别和起落架收放检测方法 |
| CN112560695A (zh) * | 2020-12-17 | 2021-03-26 | 中国海洋大学 | 水下目标跟踪方法、系统、存储介质、设备、终端及应用 |
| CN113240671A (zh) * | 2021-06-16 | 2021-08-10 | 重庆科技学院 | 一种基于YoloV4-Lite网络的水轮机转轮叶片缺陷检测方法 |
| CN113537244A (zh) * | 2021-07-23 | 2021-10-22 | 深圳职业技术学院 | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 |
| CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
| CN113989613A (zh) * | 2021-10-13 | 2022-01-28 | 上海海事大学 | 一种应对复杂环境的轻量级高精度船舶目标检测方法 |
| CN113989230A (zh) * | 2021-10-28 | 2022-01-28 | 华东交通大学 | 一种基于改进YOLOv4的公路路面病害检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
| US20210256385A1 (en) * | 2020-02-14 | 2021-08-19 | Northeastern University | Computer-implemented methods and systems for dnn weight pruning for real-time execution on mobile devices |
-
2022
- 2022-03-01 CN CN202210200027.XA patent/CN114596335B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765458A (zh) * | 2018-04-16 | 2018-11-06 | 上海大学 | 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法 |
| CN110766721A (zh) * | 2019-09-30 | 2020-02-07 | 南京航空航天大学 | 一种基于机载视觉的着舰合作目标检测方法 |
| CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
| CN112270347A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 一种基于改进ssd的医疗废弃物分类检测方法 |
| CN112380997A (zh) * | 2020-11-16 | 2021-02-19 | 武汉巨合科技有限公司 | 基于深度学习的机型识别和起落架收放检测方法 |
| CN112560695A (zh) * | 2020-12-17 | 2021-03-26 | 中国海洋大学 | 水下目标跟踪方法、系统、存储介质、设备、终端及应用 |
| CN113240671A (zh) * | 2021-06-16 | 2021-08-10 | 重庆科技学院 | 一种基于YoloV4-Lite网络的水轮机转轮叶片缺陷检测方法 |
| CN113537244A (zh) * | 2021-07-23 | 2021-10-22 | 深圳职业技术学院 | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 |
| CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
| CN113989613A (zh) * | 2021-10-13 | 2022-01-28 | 上海海事大学 | 一种应对复杂环境的轻量级高精度船舶目标检测方法 |
| CN113989230A (zh) * | 2021-10-28 | 2022-01-28 | 华东交通大学 | 一种基于改进YOLOv4的公路路面病害检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Huixuan Fu等.Improved YOLOv4 Marine Target Detection Combined with CBAM.《symmetry》.2021,第1-14页. * |
| 杨士远.传感器融合的无人艇水面目标跟踪方法研究.《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2021,(第4期),第C036-65页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114596335A (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10782691B2 (en) | Deep learning and intelligent sensing system integration | |
| US10936907B2 (en) | Training a deep learning system for maritime applications | |
| US20210362596A1 (en) | End-To-End Tracking of Objects | |
| US20220197281A1 (en) | Intelligent decision-making method and system for unmanned surface vehicle | |
| CN114596335B (zh) | 一种无人艇目标检测追踪方法及系统 | |
| Wang et al. | Cooperative USV–UAV marine search and rescue with visual navigation and reinforcement learning-based control | |
| CN111898635A (zh) | 神经网络的训练方法、数据获取方法和装置 | |
| KR20180057096A (ko) | 표정 인식과 트레이닝을 수행하는 방법 및 장치 | |
| Silveira et al. | An open-source bio-inspired solution to underwater SLAM | |
| Xu et al. | Deep convolutional neural network-based autonomous marine vehicle maneuver | |
| Qiao et al. | Survey of deep learning for autonomous surface vehicles in marine environments | |
| CN114937083B (zh) | 一种应用于动态环境的激光slam系统及方法 | |
| Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
| Schreiber et al. | Motion estimation in occupancy grid maps in stationary settings using recurrent neural networks | |
| CN114266889A (zh) | 图像识别方法及其装置、可读介质和电子设备 | |
| Wettergreen et al. | Development of a visually-guided autonomous underwater vehicle | |
| Lv et al. | Position correction model based on gated hybrid RNN for AUV navigation | |
| CN117452969A (zh) | 基于多模态数据处理的无人机导航方法 | |
| Son et al. | Synthetic deep neural network design for lidar-inertial odometry based on CNN and LSTM | |
| Lin et al. | Research on UUV obstacle avoiding method based on recurrent neural networks | |
| CN111008622B (zh) | 一种图像对象检测方法、装置以及计算机可读存储介质 | |
| CN116434150B (zh) | 面向拥挤场景的多目标检测跟踪方法、系统及存储介质 | |
| CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
| KR20210054355A (ko) | 시각 및 언어 기반 공간 탐색 시스템 | |
| Karampinis et al. | Ensuring UAV Safety: A Vision-only and Real-time Framework for Collision Avoidance Through Object Detection, Tracking, and Distance Estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |