CN110992403A - 一种实时水面船只视觉跟踪系统及其方法 - Google Patents

Abstract

本发明涉及一种实时水面船只视觉跟踪系统及其方法，该系统包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块，所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块；自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块进行不同的追踪流程。本发明提出的自适应模块，通过预测帧间误差以及误差的变化趋势，动态的调用卡尔曼滤波的预测与更新模块，相较于现有方法面对不同的应用场景拥有更强大的适应能力。

Description

一种实时水面船只视觉跟踪系统及其方法

技术领域

本发明涉及视觉信息处理领域，更具体地，涉及一种实时水面船只视觉跟踪系统及其方法。

背景技术

水面沿岸的岸基或船基会出于避障、监控等原因针对在水面航行的船只进行视觉的跟踪。现有的船只跟踪方法一般通过对摄像机获取的图像进行处理，然后在船只在图像中的位置。

申请号为CN201610770608.1，名称为《一种基于机器视觉的海面船只智能跟踪系统及其方法》的专利申请文件公开了一种船只跟踪方法，该方法以Haar+AdaBoost组合算法检测海面船只，检测结果作为跟踪器的起始帧，从而初始化跟踪器与检测器，来取代人工圈定目标区域。但在该方法对水面目标的跟踪过程中，单纯使用深度学习作为跟踪方法会导致跟踪过程fps过低，难以满足实时监测的要求。

申请号为CN201711324260.4，名称为《基于深度学习网络和均值漂移的船只自动跟踪方法及系统》的专利申请文件公开了另一种船只跟踪方法，该方法通过基于区域的卷积神经网络方式，输入视频里的船只目标样本到神经网络中，进行模型训练；提取视频初始帧数据，根据训练所得模型对初始时刻数据进行船只检测和概率密度计算；通过前一时刻的计算结果，确定当前时刻的船只跟踪结果，但是水面上的船只大小目标变化多样，而对神经网络的训练只能加强某些类别目标的表现，泛化能力较差，导致检测效果差。

发明内容

本发明为克服上述现有技术水面船只跟踪实时性和泛化能力较差的问题，提供一种实时水面船只视觉跟踪系统及其方法，通过结合深度学习与传统方法实现了高准确率与高速跟踪之间的统一，使用anchor-free网络避免人工设置目标框比例所造成的误差，并且通过自适应调节大大强化了模型的泛化能力。

为解决上述技术问题，本发明采用的技术方案是：提供一种实时水面船只视觉跟踪系统，包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块，所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块；

所述自适应模块预设有误差协方差矩阵阈值和梯度阀值，自适应模块将误差协方差矩阵阈值和梯度阀值与图像的误差值进行比较，并将根据比较结果选择卡尔曼滤波预测模块或卡尔曼滤波更新模块对图像进行进一步的处理。

该系统中，所述卡尔曼滤波更新模块使用了anchor-free的目标检测网络；所述卡尔滤波预测模块结合基础运动模型。

结合深度学习目标检测网络的卡尔曼滤波更新模块，使用了anchor-free的目标检测网络CenterNet，首先其使用性能优秀的残差卷积神经网络resnet-11对输入的视频图像进行特征提取，然后在特征图的基础上生成热力图，热力图的峰值即为船只目标的中心，接着在峰值处回归得到目标框的大小。这种类似于关键点检测的anchor-free目标检测网络方法解决了由于船只大小不规则变化导致检测效果差的问题，而网络优异的特征提取能力是本方法在复杂的水面环境下依然能有不错的检测效果。

自适应模块则会考虑到当前帧和以前帧的情况，对调用预测还是调用更新的阈值大小进行动态调整，自适应方法使得在场景较为简单时调用更多的预测模块，使我们的追踪方法在对精度影响很小的情况下有一个更快的速度，而在场景复杂的情况下则会自动调整以调用更多的更新模块，使得对追踪速度影响较小的情况下保持一个不错的精度。

利用上述系统来实现的一种实时水面船只视觉跟踪方法，包括以下的步骤：

步骤一：对图像进行预处理，将输入的视频帧图像的分辨率调整为512*512；

步骤二：自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块，若调用卡尔曼滤波预测模块，则继续步骤三，若调用卡尔曼滤波更新模块，则跳到步骤四；

步骤三：卡尔曼滤波预测模块预测图像当前帧中船只目标的位置；

步骤四：卡尔曼滤波更新模块进行更新优化当前帧中船只目标框的位置；

步骤五：计算目前卡尔曼滤波中误差协方差矩阵值并进入自适应模块更新误差协方差矩阵阈值和梯度阀值，并将新的误差协方差矩阵阈值和梯度阀值作为下一帧的图像的阀值；

步骤六：输出当前帧中船只目标框的位置。

优选的，自适应模块对于每一帧，计算其前面四帧的误差协方差矩阵的梯度值，求出一个误差值，若该误差值均大于误差协方差矩阵阈值和梯度阀值，则调用卡尔曼滤波更新模块；若该误差值小于误差协方差矩阵阈值或梯度阀值，则调用卡尔曼滤波预测模块。

优选的，误差协方差矩阵的阈值的定义如下：

其中，P_k|k代表为误差协方差矩阵；X_k代表为真实状态；

代表为在时刻k的状态的估计。

优选额，在所述步骤五中，所述自适应模块根据不同类别的船只设置有不同的误差协方差矩阵阈值和梯度阀值；当前帧调用的是预测模块，则将误差协方差矩阵阈值更新为在当前帧的误差协方差矩阵阈值基础上降低百分之三；当前帧调用的是更新模块，则将误差协方差矩阵阈值在当前帧的误差协方差矩阵阈值基础上增加百分之一；其中，通过目标检测网络区别船只的类别。

优选的，当前视频帧图像调用的卡尔曼滤波的预测模块还是卡尔曼滤波的更新模块，都会得到最新的误差协方差矩阵值；更新相关参数和动态阈值，令W＝[0.7,0.1,0.1,0.1]，则加权梯度G_{weig ht}＝G*W，如果当前帧调用的是预测模块，则阈值P_threshold＝P_threshold*(1-0.03)，若当前帧调用的是更新模块，则阈值P_threshold＝P_threshold*(1+0.01)，而G＝P_k-P_k-1。

与现有技术相比，本发明的有益效果是：

本发明结合了深度神经网络与卡尔曼滤波，将深度神经网络作为检测部分，加入到卡尔曼滤波的更新部分作为当前值，与基本运动模型的预测值结合生成更加平滑稳定的目标框；

本发明采用了anchor-free的centernet模型，并且使用resnet-11作为模型的基础框架，既保证的面对大小形状不同的船只时具有强大的泛化能力，又保证在相对较高的准确度下拥有满足实时监测要求的运行速度；

本发明提出的自适应模块，现有深度网络与传统方法结合时，多采用每隔固定帧后调用网络进行重新定位。本发明的自适应模块通过预测帧间误差以及误差的变化趋势，动态的调用卡尔曼滤波的预测与更新模块，相较于现有方法面对不同的应用场景拥有更强大的适应能力。

附图说明

图1是本发明的一种实时水面船只视觉跟踪系统的框架图；

图2是本发明的一种实时水面船只视觉跟踪系统的自适应模块框架图；

图3是本发明的一种实时水面船只视觉跟踪系统的卡尔曼滤波模块的框架图；

图4是本发明的一种实时水面船只视觉跟踪方法的获取的原始视频帧图像及其对应的热力图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例1

如图1-3所示为一种实时水面船只视觉跟踪系统的实施例，包括用于获取图像的图像获取模块、卡尔曼滤波模块和自适应模块，所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块；

所述自适应模块预设有误差协方差矩阵阈值和梯度阀值，自适应模块将误差协方差矩阵阈值和梯度阀值与图像的误差值进行比较，并将根据比较结果选择卡尔曼滤波预测模块或卡尔曼滤波更新模块对图像进行进一步的处理。

该系统中，卡尔曼滤波更新模块使用了anchor-free的目标检测网络；所述卡尔滤波预测模块结合基础运动模型。

结合深度学习目标检测网络的卡尔曼滤波更新模块，使用了anchor-free的目标检测网络CenterNet，首先其使用性能优秀的残差卷积神经网络resnet-11对输入的视频图像进行特征提取，然后在特征图的基础上生成热力图，热力图的峰值即为船只目标的中心，接着在峰值处回归得到目标框的大小。这种类似于关键点检测的anchor-free目标检测网络方法解决了由于船只大小不规则变化导致检测效果差的问题，而网络优异的特征提取能力是本方法在复杂的水面环境下依然能有不错的检测效果。

自适应模块则会考虑到当前帧和以前帧的情况，对调用预测还是调用更新的阈值大小进行动态调整，自适应方法使得在场景较为简单时调用更多的预测模块，使我们的追踪方法在对精度影响很小的情况下有一个更快的速度，而在场景复杂的情况下则会自动调整以调用更多的更新模块，使得对追踪速度影响较小的情况下保持一个不错的精度。

实施例2

如图1-4所示，本实施例在实施例1的基础上，利用实施例1的系统实现一种实时水面船只视觉跟踪方法，具体的步骤包括：

步骤一：对图像进行预处理，将输入的视频帧图像的分辨率调整为512*512使用opencv-python库来读取摄像头每一帧数据，并且使用该库中的函数cv2.resize()调整图像的分辨率。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。；

步骤二：自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块，若调用卡尔曼滤波预测模块，则继续步骤三，若调用卡尔曼滤波更新模块，则跳到步骤四；自适应模块的核心为针对不同类型的船只和船只所处的不同环境能够动态做出是该调用卡尔曼滤波的预测模块还是卡尔曼滤波的更新模块的决策，具体的流程也如图2所示，其中P thershold即为误差协方差矩阵的阈值，gradientthreshold即为梯度阈值。在卡尔曼滤波中，P值得定义如下：

其中，P_k|k代表为误差协方差矩阵；X_k代表为真实状态；

代表为在时刻k的状态的估计。

用P值，我们可以评估预测的准确性。对于自适应策略的设计，一个简单的方法是基于P值的反馈策略设计，即当P大于阈值时调用更新模型。但是，如果没有预测，这种方法就很难实现稳定精确的船只追踪，因此自适应模块还计算当前帧之前4个连续帧的P值的梯度用于预测跟踪的性能。而且，为了反映不同帧的影响，我们还根据与当前帧之间的距离，对之前四帧的梯度赋予不同的权重以得到最终的加权梯度值，即误差值；根据当前帧的距离，权重赋值为[0.7,0.1,0.1,0.1]。如果误差协方差矩阵的误差值分别小于P阈值和G阈值，则预测过程将继续进行。否则，将触发更新以更正预测。此外，由于不同的船只类别大小、运动速度不同而造成追踪难度的不同，我们为不同的船只类别设置了不同的初始P阈值。此外，在追踪过程中还将调整P阈值，以避免由于不合理初始值的选择而导致跟踪性能下降。具体地说，如果当前帧调用卡尔曼滤波的预测模块，那么P阈值将减小，以便在预测时在以下帧中容易触发更新。反之，若当前帧调用的是卡尔曼滤波的预测模块，那么P值将增加，以使接下来更容易触发卡尔曼滤波的更新模块。

步骤三：卡尔曼滤波预测模块根据基础运动模型预测图像当前帧中船只目标的位置；由于卡尔曼滤波计算量小而且效率高，此外，其严格的数学推理和运动模型知识的应用使其更具解释性，因此我们选择卡尔曼滤波作为预测跟踪模型。在大多数卡尔曼滤波应用中，为了获得准确的预测结果，一个精确的运动模型是必不可少的。然而，船舶的运动是不确定的，由于船舶和波浪的复杂动力学特性，很难对船舶的运动进行建模。建立一个精确的船只运动模型对追踪效果的提升微乎其微。因此，我们的跟踪器采用了一个简单的恒速运动模型。

步骤四：卡尔曼滤波更新模块进行更新优化当前帧中船只目标框的位置；利用简单的运动模型，卡尔曼滤波预测模块的预测结果很快就会偏离。为了准确和实时的更新方法来校正预测误差，在卡尔曼滤波更新模块中使用了一种称为CenteNet的无需提前设置目标框初始大小的目标检测方法。CenteNet将目标框的生成、特征提取、目标分类等集成到一个端到端的卷积神经网络中。如图4所示，该网络将船舶表示为目标框中心的单个点，并根据检测点的特征回归目标框的高度和长度。因此，CenterNet将船舶检测的问题转化为关键点检测和回归问题。并通过在CenterNet中使用带有18个残差模块的resnet-11网络作为特征提取网络来加速目标检测的过程。

具体的，神经网络训练所用的数据集是从船上和岸上的摄像机捕捉到的，其中包括各种类型的船只。此外，不同视频间的天气差异较大，这使得我们能够创建一个更接近真实环境的数据集。根据《船舶与海洋工程概论》的定义，我们的数据集中共包含有8类船只。同时，我们进一步对视频进行了下采样。以每秒3帧的速率采集数据集26111张，分辨率为960*544。此外，我们随机选取21111张进行训练，1000张进行验证，4000张进行测试，训练集、验证集和测试集均包含所有类别的船只。并将神经网络放入Geforce GTX Titan V GPU上进行训练，使用Adam优化器，batchsize大小为32，学习率为1.25e-4。

步骤五：计算目前卡尔曼滤波中误差协方差矩阵值并进入自适应模块更新误差协方差矩阵阈值和梯度阀值，并将新的误差协方差矩阵阈值和梯度阀值作为下一帧的图像的阀值；不管当前视频帧图像调用的卡尔曼滤波的预测模块还是卡尔曼滤波的更新模块，都会得到最新的误差协方差矩阵值。接着更新相关参数和动态阈值，令W＝[0.7,0.1,0.1,0.1]，则加权梯度G_weight＝G*W，如果当前帧调用的是预测模块，则阈值P_threshold＝P_threshold*(1-0.03)，若当前帧调用的是更新模块，则阈值P_threshold＝P_threshold*(1+0.01)，而G＝P_k-P_k-1。

步骤六：输出当前帧中船只目标框的位置。

本实施例的有益效果：本发明结合了深度神经网络与卡尔曼滤波，将深度神经网络作为检测部分，加入到卡尔曼滤波的更新部分作为当前值，与基本运动模型的预测值结合生成更加平滑稳定的目标框；

本发明采用了anchor-free的centernet模型，并且使用resnet-11作为模型的基础框架，既保证的面对大小形状不同的船只时具有强大的泛化能力，又保证在相对较高的准确度下拥有满足实时监测要求的运行速度；

本发明提出的自适应模块，现有深度网络与传统方法结合时，多采用每隔固定帧后调用网络进行重新定位。本发明的自适应模块通过预测帧间误差以及误差的变化趋势，动态地调用卡尔曼滤波的预测与更新模块，相较于现有方法，面对不同的应用场景拥有更强大的适应能力。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种实时水面船只视觉跟踪系统，包括用于获取图像的图像获取模块，其特征在于，还包括卡尔曼滤波模块和自适应模块，所述卡尔曼滤波模块包括卡尔曼滤波更新模块和卡尔曼滤波预测模块；

所述自适应模块预设有误差协方差矩阵阈值和梯度阀值，自适应模块将误差协方差矩阵阈值和梯度阀值与图像的误差值进行比较，并将根据比较结果选择卡尔曼滤波预测模块或卡尔曼滤波更新模块对图像进行进一步的处理。

2.根据权利要求1所述的一种实时水面船只视觉跟踪系统，其特征在于，所述卡尔曼滤波更新模块使用了anchor-free的目标检测网络；所述卡尔滤波预测模块结合基础运动模型。

3.利用权利要求1或2所述系统来实现的一种实时水面船只视觉跟踪方法，其特征在于，包括以下的步骤：

步骤一：对图像进行预处理；

步骤二：自适应模块根据图像的误差值将图像决定调用卡尔曼滤波预测模块或卡尔曼滤波更新模块，若调用卡尔曼滤波预测模块，则继续步骤三，若调用卡尔曼滤波更新模块，则跳到步骤四；

步骤三：卡尔曼滤波预测模块预测图像当前帧中船只目标的位置；

步骤四：卡尔曼滤波更新模块进行更新优化当前帧中船只目标框的位置；

步骤五：计算目前卡尔曼滤波中误差协方差矩阵值并进入自适应模块更新误差协方差矩阵阈值和梯度阀值，并将新的误差协方差矩阵阈值和梯度阀值作为下一帧的图像的阀值；

步骤六：输出当前帧中船只目标框的位置。

4.根据权利要求3所述的一种实时水面船只视觉跟踪方法，其特征在于，在所述步骤二中，自适应模块对于每一帧，计算其前面四帧的误差协方差矩阵的梯度值，求出一个误差值，若该误差值均大于误差协方差矩阵阈值和梯度阀值，则调用卡尔曼滤波更新模块；若该误差值小于误差协方差矩阵阈值或梯度阀值，则调用卡尔曼滤波预测模块。

5.根据权利要求3所述的一种实时水面船只视觉跟踪方法，其特征在于，误差协方差矩阵的阈值的定义如下：

其中，P_k|k代表为误差协方差矩阵；X_k代表为真实状态；

代表为在时刻k的状态的估计。

6.根据权利要求5所述的一种实时水面船只视觉跟踪方法，其特征在于，在所述步骤五中，所述自适应模块根据不同类别的船只设置有不同的误差协方差矩阵阈值和梯度阀值；当前帧调用的是预测模块，则将误差协方差矩阵阈值更新为在当前帧的误差协方差矩阵阈值基础上降低百分之三；当前帧调用的是更新模块，则将误差协方差矩阵阈值在当前帧的误差协方差矩阵阈值基础上增加百分之一；其中，通过目标检测网络区别船只的类别。

7.根据权利要求6所述的一种实时水面船只视觉跟踪方法，其特征在于，当前视频帧图像调用的卡尔曼滤波的预测模块还是卡尔曼滤波的更新模块，都会得到最新的误差协方差矩阵值；更新相关参数和动态阈值，令W＝[0.7,0.1,0.1,0.1]，则加权梯度G_weight＝G*W，如果当前帧调用的是预测模块，则阈值P_threshold＝P_threshold*(1-0.03)，若当前帧调用的是更新模块，则阈值P_threshold＝P_threshold*(1+0.01)，而G＝P_k-P_k-1。

Images