CN112507859A - 一种用于移动机器人的视觉跟踪方法 - Google Patents

Abstract

本发明公开了一种用于移动机器人的视觉跟踪方法。该方法使用一种基于HOG特征相似性计算和卡尔曼滤波反馈的全连接孪生网络跟踪算法，利用基于颜色统计的HOG特征作为外观模型，进一步区分场景中的多个相似目标，减少目标的身份跳跃。同时采用卡尔曼滤波运动模型，实现了对目标运动轨迹的准确预测，在细化边界框的同时，减少了搜索区域，解决了目标跟踪过程中的目标遮挡问题，减少了计算量。最后将跟踪目标的边界框位置信息传输给视觉伺服系统用于控制机器人。本发明有效地减少了因搜索无用区域而产生的计算资源浪费。

Description

一种用于移动机器人的视觉跟踪方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种视觉跟踪方法。

背景技术

随着人工智能技术的快速发展，各种各样的机器人逐渐走进人们的日常生活，人们已将其视为能与环境、人类和其他机器人进行自然交互、自主适应复杂动态环境并协同作业的智能伙伴。相比于传统机器人，跟随移动机器人是未来的发展趋势，它作为服务机器人的一种，其功能主要体现在以特定的移动目标作为跟踪对象，自主完成连续的跟随动作，广泛应用于特殊人群辅助(老人、残疾人)、家庭服务以及无人化物流搬运等领域。同样，跟随移动机器人越来越多的应用于军事领域和警务巡逻等任务中。自1990以来，移动机器人自动巡逻任务一直是人工智能(AI)和机器人学研究的一个热门领域,例如军方或者警方通过移动机器人对可疑目标进行持续监视和跟随任务，以防止一些犯罪行为的发生，这极大的保障了社会的安全性。

视觉信息作为最丰富的目标信息来源，它如同人体的视觉系统一样，能够直观、真实地感知机器人周围的环境状况。因而目前大多数跟随移动机器人的研究都是基于视觉传感器来实现。一个可靠的机器人监视跟踪系统的前提是基于强大的目标视觉跟踪方法。依据网络结构差异将现有的跟踪算法分为基于相关滤波的跟踪算法和基于深度学习的跟踪算法。基于相关滤波算法的引进使得目标跟踪算法产生了巨大的改善，因其具有速度快、实时性好的优点，一直受到人们的关注。然而它的缺点在于边界效应问题，会限制训练得到的滤波器的判别能力，并且在跟踪过程中当目标被遮挡时的处理问题没有进行很好的解决。基于深度学习的目标跟踪算法将每一帧图像分为目标和背景两类，利用深度卷积网络对目标进行特征提取、分类，该算法的特点是精准度高，针对复杂场景表现优越。然而在实际任务中通常只提供了视频序列的初始帧作为训练数据，因此如何在只有少量数据的前提下进行训练是首要问题。

发明内容

为了克服现有技术的不足，本发明提供了一种用于移动机器人的视觉跟踪方法。该方法使用一种基于HOG特征相似性计算和卡尔曼滤波反馈的全连接孪生网络跟踪算法，利用基于颜色统计的HOG特征作为外观模型，进一步区分场景中的多个相似目标，减少目标的身份跳跃。同时采用卡尔曼滤波运动模型，实现了对目标运动轨迹的准确预测，在细化边界框的同时，减少了搜索区域，解决了目标跟踪过程中的目标遮挡问题，减少了计算量。最后将跟踪目标的边界框位置信息传输给视觉伺服系统用于控制机器人。本发明有效地减少了因搜索无用区域而产生的计算资源浪费。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：构建基于HOG特征的相似性计算方法；

将基于颜色统计的HOG特征作为外观模型加入到SiamFC跟踪框架中，具体如下：

设定x为目标人物的初始模板图像，z为下一时间段帧摄像头实时拍摄的一组图像，z≥2；

采用SiamFC跟踪框架判断初始模板图像x和图像组z之间的相似性，保留SiamFC跟踪框架输出响应图中大于设定阈值的高分区域图像，记为y；

对初始模板图像和高分区域图像提取HOG特征向量，利用Pearson相关系数建立初始模板图像与高分区域图像之间的相似性对比：

其中

和

是初始模板图像x和高分区域图像y的期望值，x_j和y_j分别表示初始模板图像与高分区域图像的HOG特征向量，N为高分区域图像数量；

Pearson_x,y值在区间[-1，1]内，当Pearson_x,y大于高阈值H时表示初始模板图像与高分区域图像为高相似性；在某一时刻t，如果Pearson_x,y小于低阈值L，则将t-1时刻的实时目标图像作为新的初始模板图像；

步骤2：将连续N幅高分区域图像中的目标边界框信息输入卡尔曼滤波器，输入表示为T^t＝[bbox^t-(N-1),bbox^t-(N-2),...,bbox^t]，卡尔曼滤波器的输出为bbox^*，将bbox^*作为t+1时刻目标的位置估计，并更新bbox位置；bbox^t-(N-1),bbox^t-(N-2),...,bbox^t表示连续N幅高分区域图像中目标边界框信息；

根据目标位置和尺度分布原理，在当前帧中以更新后bbox的中心位置作为搜索区域的中心，提取出图像中目标矩形框大小的α倍作为新的待搜索区域；

步骤3：将步骤2获得的待搜索区域的坐标位置输入到移动机器人的视觉伺服系统中，完成基于图像的视觉伺服控制的目标跟踪。

优选地，所述H＝0.7，L＝0.3。

由于采用了本发明提出的一种用于移动机器人的视觉跟踪方法，带来了如下有益效果：

1.跟踪算法的本质是一个模板匹配的过程，当场景内存在多个相似目标时，响应图中会产生多个高分区域。本发明将HOG特征集成到SiamFC中，作为对SiamFC中多个相似区域进一步判别的依据，有效的解决了响应图中产生多个高分区域的误导。

2.本发明使用衰减记忆卡尔曼滤波器对目标运动信息进行建模，当目标被遮挡时保持跟踪器的稳定性，同时利用运动信息对待搜索区域进行裁剪，减少因搜索无用区域而产生的计算资源浪费。

附图说明

图1为本发明方法的移动机器人跟踪方案的整体架构图。

图2为本发明方法的网络整体架构图。

图3为本发明方法与改进前的方法在公开数据集上的性能对比。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1和图2所示，本发明提供一种用于移动机器人的视觉跟踪方法，包括以下步骤：

步骤1：构建基于HOG特征的相似性计算方法；

将基于颜色统计的HOG特征作为外观模型加入到SiamFC跟踪框架中，具体如下：

设定x为目标人物的初始模板图像，z为下一时间段帧摄像头实时拍摄的一组图像，z≥2；

采用SiamFC跟踪框架判断初始模板图像x和图像组z之间的相似性，保留SiamFC跟踪框架输出响应图中大于设定阈值的高分区域图像，记为y；

对初始模板图像和高分区域图像提取HOG特征向量，利用Pearson相关系数建立初始模板图像与高分区域图像之间的相似性对比：

其中

和

是初始模板图像x和高分区域图像y的期望值，x_j和y_j分别表示初始模板图像与高分区域图像的HOG特征向量，N为高分区域图像数量；

Pearson_x,y值在区间[-1，1]内，当Pearson_x,y大于高阈值0.7时表示初始模板图像与高分区域图像为高相似性；在某一时刻t，如果Pearson_x,y小于低阈值0.3，则将t-1时刻的实时目标图像作为新的初始模板图像；

步骤2：将连续N幅高分区域图像中的目标边界框信息输入卡尔曼滤波器，输入表示为T^t＝[bbox^t-(N-1),bbox^t-(N-2),...,bbox^t]，卡尔曼滤波器的输出为bbox^*，将bbox^*作为t+1时刻目标的位置估计，并更新bbox位置；bbox^t-(N-1),bbox^t-(N-2),...,bbox^t表示连续N幅高分区域图像中目标边界框信息；

根据目标位置和尺度分布原理，在当前帧中以更新后bbox的中心位置作为搜索区域的中心，提取出图像中目标矩形框大小的α倍作为新的待搜索区域；

步骤3：将步骤2获得的待搜索区域的坐标位置输入到移动机器人的视觉伺服系统中，完成基于图像的视觉伺服控制的目标跟踪。

具体实施例：

1、设计一种基于HOG特征相似性计算的算法(HM-Siam)，沿用通用的SiamFC的跟踪框架，即把跟踪任意目标的问题看成是相似性问题。使用一个函数f(x,y)来比较样本图像x和搜索图像y的相似性。如果两个图像描述的是同一个目标，则返回高分，否则返回低分。其中x为目标人物的初始模板图像，z为下一时刻帧摄像头实时拍摄的一组图像(z≥2)。但是SiamFC仅使用最后一层中的特征来生成最终的Score Map，这些特征对噪声具有鲁棒性，但缺乏目标的详细信息，因此它们的区分度还不够高。

目标的外观信息始终是表征一个目标的强有力的先验知识。因此，基于颜色统计的模型可以为视觉跟踪问题提供强大的信息，该模型提供的信息可以看作是先验信息，而该信息正是SiamFC所缺乏的。HOG特征作为一种强有力的外观信息可以有效区分不同的目标，将其集成到算法中，作为对SiamFC产生的多个相似区域进一步判别的依据，即对网路输出的响应图中的多个高分区域，分别提取HOG特征，然后将实时目标轨迹与初始目标进行匹配，从而提高跟踪方法的鲁棒性。利用该特征，可以跟踪长期遮挡的目标，有效地减少目标的身份跳变，提高目标跟踪的精度。在线目标跟踪时，在外观空间中，利用Pearson相关系数建立目标与轨迹之间的相似性对比。给定目标人物的RGB图像I_i，外观表示被表述为f_i＝H_HOG(I)。直接利用HOG特征向量之间的Pearson相关系数来测量两幅图像I_i和I_j的距离。

其中

和

是图像x和y的期望值，x_j和y_j表示模板帧与当前帧的HOG特征序列。Pearson_x,y值在区间[-1，1]上，当值越接近1的时候，其评价结果越接近主观评价。设置阈值为0.7，当大于0.7时为高相似性。当相似性较低的时候，则认为目标进入了遮挡区域，当相似性较高的时候，则认为目标是正常运行过程中。当某一个时刻t，若HOG相似性指标突然变小至0.3以下时，则记录t-1时刻的目标作为模板对原有的模板进行更新。

2、当场景中出现与目标外观非常相似的干扰物时，再加上目标自身的旋转、形变、运动模糊等都会导致跟踪失败。本方法引入卡尔曼滤波方法，以对目标的运动轨迹进行稳定的预测，并且跟踪过程中的目标搜索区域可以根据卡尔曼滤波获得的目标位置进行裁剪。同时，还使用获取的运动信息来指导跟踪过程，以应对目标被遮挡的情况。卡尔曼滤波器将接受目标轨迹的边界框信息(长度为N帧)作为输入，表示为T^t＝[bbox^t-(N-1),bbox^{t -(N-2)},...,bbox^t]并输出bbox^*，作为t+1时刻目标轨迹的位置估计，并更新bbox位置。然后根据视频中目标位置和尺度的分布原理，在当前帧中以更新后bbox的中心位置作为搜索区域的中心，提取出图像中目标矩形框大小的α倍作为的待搜索区域。

3、将新获得的待搜索区域，也就是目标的边界框的坐标位置输入到移动机器人的视觉伺服系统中，完成基于图像的视觉伺服控制的目标跟踪。

如图3所示，为本发明方法与改进前的方法在公开数据集上的性能对比，能够看出，本方法取得了较好的效果。

Claims (2)

1.一种用于移动机器人的视觉跟踪方法，其特征在于，包括以下步骤：

步骤1：构建基于HOG特征的相似性计算方法；

将基于颜色统计的HOG特征作为外观模型加入到SiamFC跟踪框架中，具体如下：

设定x为目标人物的初始模板图像，z为下一时间段帧摄像头实时拍摄的一组图像，z≥2；

采用SiamFC跟踪框架判断初始模板图像x和图像组z之间的相似性，保留SiamFC跟踪框架输出响应图中大于设定阈值的高分区域图像，记为y；

对初始模板图像和高分区域图像提取HOG特征向量，利用Pearson相关系数建立初始模板图像与高分区域图像之间的相似性对比：

其中

和

是初始模板图像x和高分区域图像y的期望值，x_j和y_j分别表示初始模板图像与高分区域图像的HOG特征向量，N为高分区域图像数量；

Pearson_x,y值在区间[-1，1]内，当Pearson_x,y大于高阈值H时表示初始模板图像与高分区域图像为高相似性；在某一时刻t，如果Pearson_x,y小于低阈值L，则将t-1时刻的实时目标图像作为新的初始模板图像；

步骤2：将连续N幅高分区域图像中的目标边界框信息输入卡尔曼滤波器，输入表示为T^t＝[bbox^t-(N-1),bbox^t-(N-2),...,bbox^t]，卡尔曼滤波器的输出为bbox^*，将bbox^*作为t+1时刻目标的位置估计，并更新bbox位置；bbox^t-(N-1),bbox^t-(N-2),...,bbox^t表示连续N幅高分区域图像中目标边界框信息；

根据目标位置和尺度分布原理，在当前帧中以更新后bbox的中心位置作为搜索区域的中心，提取出图像中目标矩形框大小的α倍作为新的待搜索区域；

步骤3：将步骤2获得的待搜索区域的坐标位置输入到移动机器人的视觉伺服系统中，完成基于图像的视觉伺服控制的目标跟踪。

2.根据权利要求1所述的一种用于移动机器人的视觉跟踪方法，其特征在于，所述H＝0.7，L＝0.3。

Images