CN115063452B - 一种针对海上目标的云台摄像头跟踪方法 - Google Patents

Abstract

本发明公开了一种针对海上目标的云台摄像头跟踪方法，包括以下步骤：S1.获取云台摄像头采集的视频流数据；S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪；本发明有助于解决图像目标检测结果出现断续等不稳定现象的问题，增强目标检测算法稳定性，减少云台跟踪误差，提升人机交互效果。

Description

一种针对海上目标的云台摄像头跟踪方法

技术领域

本发明涉及目标跟踪技术领域，更具体的说是涉及一种针对海上目标的云台摄像头跟踪方法。

背景技术

近年来，随着物联网和人工智能的发展，船舶智能化程度也得到提高，其中，云台摄像头在船舶智能化中担任重要的角色，能为船长提供船舶周围的图像信息，辅助船长进行操控。

目前，相关技术中，有采用目标检测后直接开环控制云台跟踪的方法，但存在检测效果不稳定、跟踪效果差的问题，或者没有提供用户选择跟踪目标的界面，人机交互效果较差，且没有考虑特殊海上目标，如辅助船舶靠泊的趸船目标的处理手段。

因此，如何提供一种针对海上目标的云台摄像头跟踪方法来提升目标检测稳定性和跟踪效果，并且提升人机交互效果来提高云台跟踪的速度与精度是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种针对海上目标的云台摄像头跟踪方法，以解决背景技术中提到的问题。

为了实现上述目的，本发明采用如下技术方案：

一种针对海上目标的云台摄像头跟踪方法，包括以下步骤：

S1.获取云台摄像头采集的视频流数据；

S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；

S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；

S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；

S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪。

优选的，S3的具体内容包括：

S3.1对当前帧检测到的图像目标(b′_i∈Δ，i＝1,2,...,n_Λ)与当前跟踪的目标列表(b∈T,i＝1,2,...,n_T)采用匈牙利算法进行匹配；

对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b′_i,b_j)作为匈牙利算法的匹配评分标准：

d(b′_i,b_j)＝d_iou(b′_i,b_j)+d_Mahalanobis(b′_i,b_j)+d_pixel(b′_i,b_j)

式中，d_IOU(b′_i,b_j)为IOU距离，d_M(b′_i,b_j)为检测框状态变量之间的马氏距离，d_pixel(b′_i,b_j)为检测框像素距离，匹配距离评分d(b′_i,b_j)越小，表明目标b′_i,b_j之间越近似。

优选的，IOU距离d_IOU(b′_i,b_j)具体为：

式中，A和B分别为目标b′_i,b_j对应的图像检测框；

马氏距离d_M(b′_i,b_j)具体为：

式中，权值矩阵S_j为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b′_i的状态变量可表示为：x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高；

检测框像素距离d_pixel(b′_i,b_j)具体为：

式中，p′,p分别为两个检测框中的像素灰度值。

优选的，S3的具体内容还包括：

S3.2根据实际情况设定匹配距离评分d(b′_i,b_j)的阈值，对当前帧的所有检测框集合Δ，与跟踪目标列表T进行匈牙利匹配，匹配完成后，设得到n对匹配目标，则可表示为(b₁,b′₁),(b₂,b′₂),...,(b_n,b′_n)，对于跟踪列表T内剩余的未成功匹配目标，其跟踪失败次数N_failed＝N_failed+1，根据实际情况设置跟踪失败次数的阈值，当N_failed大于所述跟踪失败次数的阈值时，将其从跟踪列表T中删除，使跟踪列表T中只存储稳定跟踪的目标；

S3.3以当前帧匹配成功的图像目标b′₁,b′₂,...,b′_n作为观测，对图像目标进行卡尔曼滤波跟踪，以平滑检测框大小、位置。

优选的，S3.3的具体内容包括：

检测框的状态观测方程为：

式中，检测框的状态变量x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高，/>则为对时间的导数，ω_k,n_k分别为状态量和观测量的噪声，服从零均值高斯分布，即ω_k∈(0,Q_k),n_k∈(0,R_k)，海上目标的运动可近似看成匀速直线运动，则状态转移矩阵A_k-1为：

式中，Δt_k-1,k为k-1时刻和k时刻的时间差；

状态观测矩阵C_k为8×8大小的单位矩阵：

C_k＝diag(8,8)

卡尔曼滤波器包括预测和更新：

预测：

更新：

经过卡尔曼滤波，为检测框滤波估计后的状态值。

优选的，所述静止的海上目标的位置信息通过云台激光测距获取。

优选的，S5的具体内容为：

用户可从界面上的跟踪列表或静止目标数据库中选择目标，获取用户选择的跟踪目标指令，使用增量式PID算法控制云台对准目标；

当选择跟踪列表上的目标时，PID控制器输入为当前时刻图像目标检测框的中心与图像中心的像素差，当选择静止目标数据库中的目标时，PID控制器输入为目标方位角与当前云台转角的差值，PID控制器输出云台转动速度，云台转角由云台传感器获取，自动控制云台摄像头对准目标位置，用于特殊任务中的目标信息确认。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种针对海上目标的云台摄像头跟踪方法，通过对多帧图像目标信息进行目标匹配与滤波跟踪获取稳定跟踪的目标，解决图像目标检测结果出现断续等不稳定现象的问题，增强目标检测算法稳定性；图像目标进行卡尔曼滤波跟踪，以平滑检测框大小、位置，减少云台跟踪误差，有利于后续进行云台摄像头跟踪；将静止的海上目标存入数据库，并为用户提供选择跟踪目标的界面，提升人机交互效果，提高云台跟踪的速度与精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的针对海上目标的云台摄像头跟踪方法流程图；

图2附图为本发明提供的IOU计算示意图；

图3附图为本发明提供的静止目标数据库构建与使用流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种针对海上目标的云台摄像头跟踪方法，如图1，包括以下步骤：

S1.获取云台摄像头采集的视频流数据；

S2.对视频流数据的视频图像帧进行目标检测，获得目标类别和检测框位置信息；

S3.对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，以平滑检测框位置和形状并获取稳定跟踪目标列表；

S4.将稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；

S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪。

为了进一步实施上述技术方案，S3的具体内容包括：

S3.1对当前帧检测到的图像目标(b′_i∈Δ，i＝1,2,...,n_Λ)与当前跟踪的目标列表(b∈T,i＝1,2,...,n_T)采用匈牙利算法进行匹配；

对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b′_i,b_j)作为匈牙利算法的匹配评分标准：

d(b′_i,b_j)＝d_iou(b′_i,b_j)+d_Mahalanobis(b′_i,b_j)+d_pixel(b′_i,b_j)

式中，d_IOU(b′_i,b_j)为IOU距离，d_M(b′_i,b_j)为检测框状态变量之间的马氏距离，d_pixel(b′_i,b_j)为检测框像素距离，匹配距离评分d(b′_i,b_j)越小，表明目标b′_i,b_j之间越近似。

为了进一步实施上述技术方案，IOU距离d_IOU(b′_i,b_j)具体为：

式中，A和B分别为目标b′_i,b_j对应的图像检测框；如图2，b′_i,b_j之间的IOU距离的计算方式为A与B的交集面积除以A与B的面积和。

马氏距离d_M(b′_i,b_j)具体为：

式中，权值矩阵S_j为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b′_i的状态变量可表示为：x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高；

在本实施例中，马氏距离d_M(b′_i,b_j)为检测框与跟踪目标的分布之间的相似性。

检测框像素距离d_pixel(b′_i,b_j)具体为：

式中，p′,p分别为两个检测框中的像素灰度值。

在本实施例中，检测框像素距离d_pixel(b′_i,b_j)为两个检测框之间的平均灰度值，度量了它们的像素相似性。

为了进一步实施上述技术方案，S3的具体内容还包括：

S3.2根据实际情况设定匹配距离评分d(b′_i,b_j)的阈值，对当前帧的所有检测框集合Δ，与跟踪目标列表T进行匈牙利匹配，匹配完成后，设得到n对匹配目标，则可表示为(b₁,b′₁),(b₂,b′₂),…,(b_n,b′_n)，对于跟踪列表T内剩余的未成功匹配目标，其跟踪失败次数N_failed＝N_failed+1，根据实际情况设置跟踪失败次数的阈值，当N_failed大于所述跟踪失败次数的阈值时，将其从跟踪列表T中删除，使跟踪列表T中只存储稳定跟踪的目标；

在本实施例中，对于Δ中的某个检测框b′_i，匹配结果会出现两种情况：

1.b′_i没有在跟踪列表T中找到匹配，则视为新目标，将b′_i加入跟踪列表T，状态设为initial，初始化目标ID；

2.目标b′_i与b_j成功匹配，b_i被观测次数加1，若/>即可认定b_i为稳定跟踪目标，状态设为tracked。

S3.3以当前帧匹配成功的图像目标b′₁,b′₂,…,b′_n作为观测，对图像目标进行卡尔曼滤波跟踪，以平滑检测框大小、位置，减少云台跟踪误差。

为了进一步实施上述技术方案，S3.3的具体内容包括：

检测框的状态观测方程为：

式中，检测框的状态变量x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高，/>则为对时间的导数，ω_k,n_k分别为状态量和观测量的噪声，服从零均值高斯分布，即ω_k∈(0,Q_k),n_k∈(0,R_k)，海上目标的运动可近似看成匀速直线运动，则状态转移矩阵A_k-1为：

式中，Δt_k-1,k为k-1时刻和k时刻的时间差；

状态观测矩阵C_k为8×8大小的单位矩阵：

C_k＝diag(8,8)

卡尔曼滤波器包括预测和更新：

预测：

更新：

经过卡尔曼滤波，为检测框滤波估计后的状态值，检测框的位置、大小得到了平滑，有利于后续进行云台摄像头跟踪。

为了进一步实施上述技术方案，所述静止的海上目标的位置信息通过云台激光测距获取。

在本实施例中，如图3所示，将趸船、浮标目标的位置及种类信息存入静止目标数据库。

为了进一步实施上述技术方案，S5的具体内容为：

用户可从界面上的跟踪列表或静止目标数据库中选择目标，获取用户选择的跟踪目标指令，使用增量式PID算法控制云台对准目标；

当选择跟踪列表上的目标时，PID控制器输入为当前时刻图像目标检测框的中心与图像中心的像素差，当选择静止目标数据库中的目标时，PID控制器输入为目标方位角与当前云台转角的差值，PID控制器输出云台转动速度，云台转角由云台传感器获取，自动控制云台摄像头对准目标位置，用于特殊任务中的目标信息确认。

实际应用中，PID控制器输出根据所用云台硬件决定，本发明所用云台采用云台转动速度控制转向角。

PID控制器输入的偏差为e(n)，则增量式PID控制器的输出为u(n)：

u(n)＝K_p[e(n)-e(n-1)]+K_ie(n)+K_d[e(n)-2e(n-1)-e(n-2)]

式中，K_p,K_i,K_d分别为增量式PID控制器的比例系数、积分系数和微分系数，可根据控制效果作调整。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种针对海上目标的云台摄像头跟踪方法，其特征在于，包括以下步骤：

S1.获取云台摄像头采集的视频流数据；

S2.对所述视频流数据的视频图像帧进行目标检测，获得目标类别和位置信息；

S3.根据所述目标类别和位置信息，对检测到的目标与跟踪列表进行目标匹配和滤波跟踪，获取稳定跟踪目标列表：计算检测到的目标与跟踪列表的匹配距离评分，设定阈值并根据匹配距离评分和阈值进行目标匹配，对匹配成功的目标进行滤波跟踪并获取稳定跟踪目标列表；

S4.将所述稳定跟踪目标列表进行可视化显示，并把静止的海上目标位置信息存入数据库，用户从稳定跟踪目标列表或静止目标数据库中选择跟踪目标；

S5.获取用户选择的跟踪目标，并控制云台摄像头对准目标进行跟踪；

S3的具体内容包括：

S3.1对当前帧检测到的图像目标b′_i∈Δ，i＝1,2,...,n_Λ与当前跟踪的目标列表b∈Τ,i＝1,2,...,n_Τ用匈牙利算法进行匹配；

对于当前帧检测到的第i个检测目标和第j个跟踪目标，使用匹配距离评分d(b′_i,b_j)作为匈牙利算法的匹配评分标准：

d(b′_i,b_j)＝d_iou(b′_i，b_j)+d_Mahalanobis(b′_i,b_j)+d_pixel(b′_i,b_j)

式中，d_IOU(b′_i,b_j)为IOU距离，d_M(b′_i，b_j)为检测框状态变量之间的马氏距离，d_pixel(b′_i,b_j)为检测框像素距离，匹配距离评分d(b′_i,b_j)越小，表明目标b′_i,b_j之间越近似；

S3.2根据实际情况设定匹配距离评分d(b′_i,b_j)的阈值，对当前帧的所有检测框集合Δ，与跟踪目标列表T进行匈牙利匹配，匹配完成后，设得到n对匹配目标(b₁,b′₁),(b₂,b′₂),...,(b_n,b′_n)，对于跟踪列表Τ内剩余的未成功匹配目标，其跟踪失败次数N_failed＝N_failed+1，根据实际情况设置跟踪失败次数的阈值，当N_failed大于所述跟踪失败次数的阈值时，将其从跟踪列表Τ中删除，使跟踪列表Τ中只存储稳定跟踪的目标；

S3.3以当前帧匹配成功的图像目标b₁′,b₂′,...,b_n′作为观测，对图像目标进行卡尔曼滤波跟踪，以平滑检测框大小和位置；

S3.3的具体内容包括：

检测框的状态观测方程为：

式中，检测框的状态变量x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高，/>则为对时间的导数，ω_k,n_k分别为状态量和观测量的噪声，服从零均值高斯分布，即ω_k∈(0,Q_k),n_k∈(0,R_k)，将海上目标的运动看成匀速直线运动，则状态转移矩阵A_k-1为：

式中，Δt_k-1,k为k-1时刻和k时刻的时间差；

状态观测矩阵C_k为8×8大小的单位矩阵：

C_k＝diag(8,8)

卡尔曼滤波器包括预测和更新：

预测：

更新：

经过卡尔曼滤波，为检测框滤波估计后的状态值；

S5的具体内容为：

用户可从界面上的跟踪列表或静止目标数据库中选择目标，获取用户选择的跟踪目标指令，使用增量式PID算法控制云台对准目标；

当选择跟踪列表上的目标时，PID控制器输入为当前时刻图像目标检测框的中心与图像中心的像素差，当选择静止目标数据库中的目标时，PID控制器输入为目标方位角与当前云台转角的差值，PID控制器输出云台转速，云台转角由云台传感器获取，自动控制云台摄像头对准目标位置，用于特殊任务中的目标信息确认。

2.根据权利要求1所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，所述IOU距离d_IOU(b′_i,b_j)具体为：

式中，A和B分别为目标b′_i,b_j对应的图像检测框；

所述马氏距离d_M(b′_i,b_j)具体为：

式中，权值矩阵S_j为以卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，新检测框b′_i的状态变量可表示为：x,y为检测框左上角的像素坐标，r为检测框的宽高比，h为检测框的高；

所述检测框像素距离d_pixel(b′_i,b_j)具体为：

式中，p′,p分别为两个检测框中的像素灰度值。

3.根据权利要求1所述的一种针对海上目标的云台摄像头跟踪方法，其特征在于，所述静止的海上目标的位置信息通过云台激光测距获取。