CN114005018B - 一种小算力驱动的水面无人艇多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种小算力驱动的水面无人艇多目标跟踪方法，属于智能无人智慧船舶技术领域。一种小算力驱动的水面无人艇多目标跟踪方法，所述小算力驱动的水面无人艇多目标跟踪方法包括以下步骤：步骤一、通过目标检测算法获取待跟踪水面目标的初始坐标数据与外观信息；步骤二、使用卡尔曼滤波算法对水面目标下一帧的位置进行预测；步骤三、计算新检测到的水面目标与已建立跟踪的水面目标间的归一化方差与平均色差，获取代价矩阵，使用匈牙利算法进行匹配；步骤四、利用匹配结果使用卡尔曼滤波对目标状态进行更新。本发明简化代价矩阵计算，不需要进行重识别权重预训练，且对算力的要求更低，方便部署到小型水面无人艇中。

Description

一种小算力驱动的水面无人艇多目标跟踪方法

技术领域

本发明涉及一种小算力驱动的水面无人艇多目标跟踪方法，属于智能无人智慧船舶技术领域。

背景技术

近年来，多目标跟踪算法取得了很大的发展，尤其是2017年提出的Deep-SORT算法已经取得了广泛的应用，使用Deep-SORT算法结合先进的YOLO等神经网络提升检测与跟踪效果的方法也被应用于工业领域。然而，Deep-SORT算法的跟踪策略包含一个目标检测网络与一个重识别特征提取网络，这种复杂的网络结构由于其对硬件设备的算力要求较难在小型水面无人艇中部署；同时，由于水面无人艇运行的特殊环境，构筑重识别特征提取网络所需的同一个目标的大批量数据集也存在很大的困难。

发明内容

本发明提出了一种小算力驱动的水面无人艇多目标跟踪方法，已解决现有技术中，水面无人艇搭载设备算力有限以及水面目标数据集采集困难，难以构筑重识别特征提取网络所需的同一个目标的大批量数据集的问题。

一种小算力驱动的水面无人艇多目标跟踪方法，所述小算力驱动的水面无人艇多目标跟踪方法包括以下步骤：

步骤一、通过目标检测算法获取待跟踪水面目标的初始坐标数据与外观信息；

步骤二、使用卡尔曼滤波算法对水面目标下一帧的位置进行预测；

步骤三、计算当前视频帧中新检测到的水面目标与历史视频帧中已建立跟踪的水面目标间的归一化方差与平均色差，获取代价矩阵，使用匈牙利算法进行匹配；

步骤四、利用匹配结果使用卡尔曼滤波对目标状态进行更新。

进一步的，首先，对于目标检测算法检测到的目标，利用卡尔曼滤波算法对其在下一帧中的状态进行预测，具体公式如下：

x′＝Fx (1)

P′＝FPF^T+Q (2)

式中：x为前一时刻的估计值，x′为当前时刻的预测值；F为状态转移矩阵，其值见下述公式；P为前一时刻的水面目标状态向量的协方差矩阵；Q为系统的噪声矩阵；P′为当前时刻水面目标状态向量的协方差矩阵；F^T为状态转移矩阵；F的转置，

将公式x′＝Fx展开得下式：

式中：cx,cy为检测框中心点坐标，单位为像素；w,h为检测框的长和宽，单位为像素。

进一步的，在步骤三中，具体的，利用归一化方差匹配算法以及平均色差获取已建立跟踪的水面目标与当前帧检测到的水面目标的特征距离，

具体计算公式如下：

ΔR＝C_1,R-C_2,R (6)

ΔG＝C_1,G-C_2,G (7)

ΔB＝C_1,B-C_2,B (8)

式中：T(x,y),I(x,y)为已建立跟踪的目标与当前帧检测到目标在像素坐标(x,y)处的灰度值；R为两幅图像间的归一化方差；C_1,R,C_1,G,C_1,B为已建立跟踪的目标的颜色空间均值；C_2,R,C_2,G,C_2,B为当前帧检测到的目标的颜色空间均值；ΔC为已建立跟踪目标与当前帧检测到的目标在LAB颜色空间中的距离；d_ap为加权外观距离。

进一步的，在步骤三中，具体的，还包括计算已建立跟踪目标与当前帧新检测到目标的马氏距离，并与外观距离进行加权，

具体计算公式如下：

c＝λd_ap+(1-λ)d_dis (12)

式中：d_dis(i,j)为已建立跟踪的目标y_i与新检测到目标d_j的图像距离；S_i为已建立跟踪目标的协方差矩阵，表征其不确定度；c为代价值。

进一步的，在步骤四中，具体的，最后，基于感知系统的检测结果，与上一步中的匹配结果，校正更新与检测结果相关联的卡尔曼滤波预测结果的公式如下所述：

y＝z-Hx′ (13)

S＝HP′H^T+R (14)

K＝P′H^TS^-1 (15)

x＝x′+Ky (16)

P＝(I-KH)P′ (17)

式中：z为检测到的水面目标状态向量，其尺寸为4*1，不包含速度值；H为测量矩阵，将当前时刻卡尔曼滤波的预测值投影至检测空间；R为检测系统的噪声矩阵；K为卡尔曼增益。

本发明的有以下有益效果：本发明的一种小算力驱动的水面无人艇多目标跟踪方法，这种方法基于Deep-SORT多目标跟踪算法，利用归一化方差匹配算法与平均色差的加权距离计算代价矩阵，随后使用匈牙利算法进行多目标匹配，使用卡尔曼滤波进行目标跟踪，该算法简化代价矩阵计算，不需要进行重识别权重预训练，且对算力的要求更低，方便部署到小型水面无人艇中。

附图说明

图1为本发明的一种小算力驱动的水面无人艇多目标跟踪方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明提出了一种小算力驱动的水面无人艇多目标跟踪方法，所述小算力驱动的水面无人艇多目标跟踪方法包括以下步骤：

步骤一、通过目标检测算法获取待跟踪水面目标的初始坐标数据与外观信息；

步骤二、使用卡尔曼滤波算法对水面目标下一帧的位置进行预测；

步骤三、计算当前视频帧中新检测到的水面目标与历史视频帧中已建立跟踪的水面目标间的归一化方差与平均色差，获取代价矩阵，使用匈牙利算法进行匹配；

步骤四、利用匹配结果使用卡尔曼滤波对目标状态进行更新。

具体的，一种基于Deep-SORT算法的，针对水面目标数据集采集困难，水面无人艇搭载设备算力有限问题的小算力驱动的水面无人艇多目标跟踪方法。由于归一化方差匹配算法与平均色差的加权距离计算简便，且能够较好地代表水面目标的纹理特征与颜色特征的相似程度，因此，对这两种距离进行加权，结合马氏距离求得代价矩阵，即可在算力有限的情形下对水面目标进行良好的跟踪。

进一步的，首先，对于目标检测算法检测到的目标，利用卡尔曼滤波算法对其在下一帧中的状态进行预测，具体公式如下：

x′＝Fx (1)

P′＝FPF^T+Q (2)

式中：x为前一时刻的估计值，x′为当前时刻的预测值；F为状态转移矩阵，其值见下述公式；P为前一时刻的水面目标状态向量的协方差矩阵；Q为系统的噪声矩阵；P′为当前时刻水面目标状态向量的协方差矩阵；F^T为状态转移矩阵；F的转置，

将公式x′＝Fx展开得下式：

式中：cx,cy为检测框中心点坐标，单位为像素；w,h为检测框的长和宽，单位为像素。

进一步的，在步骤三中，具体的，利用归一化方差匹配算法以及平均色差获取已建立跟踪的水面目标与当前帧检测到的水面目标的特征距离，

具体计算公式如下：

ΔR＝C_1,R-C_2,R (6)

ΔG＝C_1,G-C_2,G (7)

ΔB＝C_1,B-C_2,B (8)

式中：T(x,y),I(x,y)为已建立跟踪的目标与当前帧检测到目标在像素坐标(x,y)处的灰度值；R为两幅图像间的归一化方差；C_1,R,C_1,G,C_1,B为已建立跟踪的目标的颜色空间均值；C_2,R,C_2,G,C_2,B为当前帧检测到的目标的颜色空间均值；ΔC为已建立跟踪目标与当前帧检测到的目标在LAB颜色空间中的距离；d_ap为加权外观距离。

进一步的，在步骤三中，具体的，还包括计算已建立跟踪目标与当前帧新检测到目标的马氏距离，并与外观距离进行加权，

具体计算公式如下：

c＝λd_ap+(1-λ)d_dis (12)

式中：d_dis(i,j)为已建立跟踪的目标y_i与新检测到目标d_j的图像距离；S_i为已建立跟踪目标的协方差矩阵，表征其不确定度；c为代价值。

具体的，在实际操作中，需要根据实际应用场景调节权值λ的大小，在水面多目标跟踪任务过程中，由于典型水面目标，诸如水面舰艇、水面浮标等目标的外观特征可能相似度很高，因此取λ的值为0.6，综合考虑外观特征距离与地理系下两目标间的距离进行匈牙利算法匹配。

进一步的，在步骤四中，具体的，最后，基于感知系统的检测结果，与上一步中的匹配结果，校正更新与检测结果相关联的卡尔曼滤波预测结果的公式如下所述：

y＝z-Hx′ (13)

S＝HP′H^T+R (14)

K＝P′H^TS^-1 (15)

x＝x′+Ky (16)

P＝(I-KH)P′ (17)

式中：z为检测到的水面目标状态向量，其尺寸为4*1，不包含速度值；H为测量矩阵，将当前时刻卡尔曼滤波的预测值投影至检测空间；R为检测系统的噪声矩阵；K为卡尔曼增益。

在方法运行过程中，首先使用卡尔曼滤波对上一帧已经建立追踪的目标进行预测，随后使用改进的多目标提取算法利用针对水面目标的代价矩阵进行匈牙利算法多目标匹配，获取匹配对后使用改进的卡尔曼滤波算法进行目标状态更新。这样就建立了完整的水面多目标跟踪算法流程。该算法具有对硬件设备要求低，不需要准备重识别数据集的优点，便于部署到小型水面无人艇当中。

以上实施示例只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种小算力驱动的水面无人艇多目标跟踪方法，其特征在于，所述小算力驱动的水面无人艇多目标跟踪方法包括以下步骤：

步骤一、通过目标检测算法获取待跟踪水面目标的初始坐标数据与外观信息；

步骤二、使用卡尔曼滤波算法对水面目标下一帧的位置进行预测；

步骤三、计算当前视频帧中新检测到的水面目标与历史视频帧中已建立跟踪的水面目标间的归一化方差与平均色差，获取代价矩阵，使用匈牙利算法进行匹配；

步骤四、利用匹配结果使用卡尔曼滤波对目标状态进行更新；

首先，对于目标检测算法检测到的目标，利用卡尔曼滤波算法对其在下一帧中的状态进行预测，具体公式如下：

x′＝Fx (1)

P′＝FPF^T+Q (2)

式中：x为前一时刻的估计值，x′为当前时刻的预测值；F为状态转移矩阵，其值见下述公式；P为前一时刻的水面目标状态向量的协方差矩阵；Q为系统的噪声矩阵；P′为当前时刻水面目标状态向量的协方差矩阵；F^T为状态转移矩阵；F的转置，

将公式x′＝Fx展开得下式：

式中：cx,cy为检测框中心点坐标，单位为像素；w,h为检测框的长和宽，单位为像素；

在步骤三中，具体的，利用归一化方差匹配算法以及平均色差获取已建立跟踪的水面目标与当前帧检测到的水面目标的特征距离，

具体计算公式如下：

ΔR＝C_1,R-C_2,R (6)

ΔG＝C_1,G-C_2,G (7)

ΔB＝C_1,B-C_2,B (8)

式中：T(x,y),I(x,y)为已建立跟踪的目标与当前帧检测到目标在像素坐标(x,y)处的灰度值；R为两幅图像间的归一化方差；C_1,R,C_1,G,C_1,B为已建立跟踪的目标的颜色空间均值；C_2,R,C_2,G,C_2,B为当前帧检测到的目标的颜色空间均值；ΔC为已建立跟踪目标与当前帧检测到的目标在LAB颜色空间中的距离；d_ap为加权外观距离。

2.根据权利要求1所述的一种小算力驱动的水面无人艇多目标跟踪方法，其特征在于，在步骤三中，具体的，还包括计算已建立跟踪目标与当前帧新检测到目标的马氏距离，并与外观距离进行加权，

具体计算公式如下：

c＝λd_ap+(1-λ)d_dis (12)

式中：d_dis(i,j)为已建立跟踪的目标y_i与新检测到目标d_j的图像距离；S_i为已建立跟踪目标的协方差矩阵，表征其不确定度；c为代价值。

3.根据权利要求1所述的一种小算力驱动的水面无人艇多目标跟踪方法，其特征在于，在步骤四中，具体的，最后，基于感知系统的检测结果，与上一步中的匹配结果，校正更新与检测结果相关联的卡尔曼滤波预测结果的公式如下所述：

y＝z-Hx′ (13)

S＝HP′H^T+R (14)

K＝P′H^TS^-1 (15)

x＝x′+Ky (16)

P＝(I-KH)P′ (17)

式中：z为检测到的水面目标状态向量，其尺寸为4*1，不包含速度值；H为测量矩阵，将当前时刻卡尔曼滤波的预测值投影至检测空间；R为检测系统的噪声矩阵；K为卡尔曼增益。