CN108381554A - 基于wifi辅助定位的视觉跟踪移动机器人及控制方法 - Google Patents

Abstract

本发明公开了一种基于WIFI辅助定位的视觉跟踪移动机器人及控制方法。视觉跟踪移动机器人包括机器人壳体、底盘、舵机云台、视觉模块、WIFI‑AP模块、控制模块、驱动器、驱动电机、驱动轮和万向轮。控制模块与舵机云台、视觉模块、WIFI‑AP模块和驱动器电性连接；舵机云台置于机器人壳体外侧的顶部，视觉模块安装在舵机云台上；WIFI‑AP模块至少设置3个，安装在机器人壳体外侧不同位置；控制模块接收视觉模块采集的信号，产生驱动指令，实现目标跟踪，控制模块接收WIFI‑AP模块采集的信号进行机器人位置定位。本发明将移动机器人视觉跟踪和WIFI定位有效融合在一起，实现对特定目标的持续跟踪，提高定位精度和鲁棒性。

Description

基于WIFI辅助定位的视觉跟踪移动机器人及控制方法

技术领域

本发明属于移动机器人技术领域，特别涉及了一种视觉跟踪移动机器人及控制方法。

背景技术

目标跟踪是计算机视觉领域的一个重要问题，广泛应用于自动监控、人机交互、军事侦察等领域。视觉模块可以使机器能够通过计算机获得人眼的视觉特征，根据编程实现对指定目标的跟踪、识别与定位，并将目标的各项物理参数(如类别、位置、速度、个数等)提供给控制器，以便执行机器人后续的功能。视觉跟踪作为计算机视觉的一部分，广泛应用于移动机器人的自主跟踪当中。

然而在人类生活的复杂场景中，由于目标的特点和环境的变化，机器人跟踪系统难以确定统一的目标，这对机器人视觉跟踪系统的设计提出了严峻的挑战。由于视觉传感器(摄像头)的物理特性和算法问题，对于外界环境的光照变化以及跟踪目标的外观变形、快速运动、运动模糊、背景相似干扰甚至遮挡等情况，往往会产生较大误差，跟丢目标的情况时有发生。而一般的目标跟踪算法在跟丢目标后只会在当前可见区域内重新进行检测。所以仅通过视觉传感器来进行目标跟踪的方法会有很大的局限性。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供基于WIFI辅助定位的视觉跟踪移动机器人及控制方法，将移动机器人视觉跟踪和WIFI定位有效融合在一起，实现对特定目标的持续跟踪，提高定位精度和鲁棒性。

为了实现上述技术目的，本发明的技术方案为：

一种基于WIFI辅助定位的视觉跟踪移动机器人，包括机器人壳体、底盘、舵机云台、视觉模块、WIFI-AP模块、控制模块、驱动器、驱动电机、驱动轮和万向轮；控制模块与舵机云台、视觉模块、WIFI-AP模块和驱动器电性连接；舵机云台置于机器人壳体外侧的顶部，视觉模块安装在舵机云台上；WIFI-AP模块至少设置3个，安装在机器人壳体外侧边缘不同位置；驱动轮和万向轮设置在底盘的底部，驱动轮跟随驱动电机转动，驱动电机受驱动器驱动，控制模块接收视觉模块采集的信号，产生驱动指令，实现目标跟踪，控制模块接收WIFI-AP模块采集的信号进行机器人位置定位。

进一步地，还包括至少4个红外模块，其中2个红外模块设置在机器人壳体的前端中间位置，其余2个红外模块分别安装在机器人壳体的两侧，4个红外模块分别与控制模块电性连接。

进一步地，还包括无线通信模块，该无线通信模块与控制模块电性连接，控制模块通过无线通信模块与用户的智能终端进行无线通信，接收智能终端下发的机器人控制指令。

进一步地，驱动电机设置2个，每个驱动电机对应1个驱动轮，2个驱动轮分别设置在底盘的左右两侧，通过差速实现机器人转向；万向轮设置2个，分别设置在底盘的前后两侧。

基于上述视觉跟踪移动机器人的控制方法，包含视觉跟踪方法、WIFI定位方法和红外避障方法。

进一步地，所述视觉跟踪方法采用平移滤波器、尺度滤波器和长时记忆滤波器三种相关滤波器融合的方法；平移滤波器用于检测目标及其周围环境的外观变化，它采用局部灰度直方图与方向梯度直方图共同作为训练样本；尺度滤波器用于预测目标尺度的变化，它采用方向梯度直方图作为训练样本；长时记忆滤波器用于保持目标外观的长期记忆，它采用局部灰度直方图与方向梯度直方图融合特征。

进一步地，各滤波器的响应函数：

上式中，F^-1表示傅里叶逆变换，表示与z的核相关矩阵的傅里叶形式，为傅里叶域中学习的目标模板，z为以上一帧中目标位置为中心的图像块，A表示对应的滤波器，⊙表示Hadamard积；

设置以下2个置信度参数T_r和APCE：

T_r＝F_max＝max(f_L(z))

上式中，f_L(z)为长时记忆滤波器的响应函数，F_min＝min(f_L(z))，F_w,h为f_L(z)在图像第w行第h列的像素点响应值，w∈{1,2,...W}，h∈{1,2,...,H}，W和H为单帧图像的宽和高；

预先设定阈值T_a、T_b和T_s，当T_r≥T_a且APCE≥T_b时，更新长时记忆滤波器，当T_r＜T_s时，说明目标丢失或漂移，将长时记忆滤波器的输出作为在线SVM分类器的正、负样本，恢复丢失或漂移的目标，并初始化视觉跟踪方法。

进一步地，长时记忆滤波器的更新公式如下：

x^t＝(1-η)x^t-1+ηx^t

A^t＝(1-η)A^t+ηA^t

上式中，x^t和分别为更新前、后第t帧图像的目标特征，A^t和分别为更新前、后第t帧图像的长时记忆滤波器，η为学习率，η∈(0,1)。

进一步地，当T_r＜T_s时，即目标丢失或漂移时，启动WIFI定位方法，采用三边定位方法，定位公式如下：

(x₁-x₀)²+(y₁-y₀)²＝d₁ ²

(x₂-x₀)²+(y₂-y₀)²＝d₂ ²

(x₃-x₀)²+(y₃-y₀)²＝d₃ ²

上式中，(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别为3个WIFI-AP模块的坐标，(x₀,y₀)是用户的智能终端的坐标，d₁、d₂、d₃为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)到(x₀,y₀)的距离，WIFI-AP模块与用户的智能终端的距离d通过下式计算：

上式中，RSSI为WIFI信号强度，R为发射端和接收端相隔1米时的信号强度，n为环境衰减因子。

进一步地，所述红外避障方法为，当机器人壳体外侧前端中间位置的2个红外模块同时输出低电平，说明机器人前方存在障碍，控制模块通过中断函数优先进行避障，通过控制驱动电机使机器人首先后退预设的距离，然后转向避开障碍；若机器人壳体左、右两侧的红外模块，其中一个输出高电平，另一个输出低电平，则通过控制驱动电机使机器人首先后退预设的距离，然后向输出高电平的一侧偏转。

采用上述技术方案带来的有益效果：

本发明将移动机器人视觉跟踪和WIFI定位有效融合在一起，能够在目标在出视野的情况或者目标可信度低时，通过WIFI辅助定位对机器人的位置进行校正，使机器人能够有效的跟踪特定目标，并且能使视觉模块重新定位，实现对特定目标特征的持续跟踪，提高定位精度和鲁棒性。

附图说明

图1为本发明的视觉跟踪移动机器人的外形示意图；

图2为本发明的视觉跟踪移动机器人的结构示意图；

图3为本发明的机器人控制方法流程图；

图4为本发明的视觉跟踪方法框架图；

图5为本发明中各模块的连接示意图；

图6为本发明中WIFI定位的原理示意图。

标号说明：1-机器人壳体；2-舵机云台；3-视觉模块；4-WIFI-AP模块；5-驱动器；6-控制模块；7-红外模块；8-驱动电机；9-右侧电源；10-蓝牙模块；11-开关；12-万向轮；13-左侧电源；14-底盘。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1-2所示，一种基于WIFI辅助定位的视觉跟踪移动机器人，包括机器人壳体1、舵机云台2、视觉模块3、WIFI-AP模块4、驱动器5、控制模块6、红外模块7、驱动电机8、右侧电源9、蓝牙模块10、开关11、万向轮12、左侧电源13、底盘14。其中：

机器人壳体1由四瓣组成，WIFI-AP模块4安装在机器人壳体1前部；舵机云台2安装在机器人壳体1上部；视觉模块3安装在舵机云台2上，由右侧电源9进行供电；WIFI-AP模块4、驱动器5、控制模块6、红外模块7、驱动电机8、蓝牙模块10、由左侧电源13进行供电，所述开关11、蓝牙模块10、红外模块7安装在底盘14上，控制线路与控制模块6相连；驱动器5、控制模块6分别安装在底盘14的左右两侧。

蓝牙模块10可以与特定目标的手机进行配对，通过手机蓝牙控制机器人的软启动与停止。

WIFI-AP模块4具有三个，在机器人外壳1周身呈三角布置；所述的红外模块7具有四个，其中在机器人前部布置有两个，左右两侧各一个。

驱动电机8具有两个，呈左右分布，安装在底盘14底部，通过差速转向；万向轮12具有两个，呈前后分布，安装在底盘14底部，万向轮12底部与驱动电机8轮子在同一水平面。

如图3-6所示，移动机器人通过视觉模块进行跟踪，当目标发生出视野的情况或者目标可信度阈值低于设定数值时，通过WIFI定位对机器人的位置进行校正，使视觉模块可以重新定位，实现对特定目标特征的持续跟踪。

视觉模块3通过IIC通讯协议与控制模块6进行通讯；蓝牙模块10通过UART通讯协议与控制模块6进行通讯；WIFI-AP模块4、红外模块7通过I/O口与控制模块6进行通讯。

机器人通过开启机器人电源并通过蓝牙连接到用户的手机，当蓝牙连接成功时，用户通过手机控制机器人的软启动和停止；之后视觉模块采集跟踪对象的特征，机器人通过视觉跟踪算法跟随目标。当目标离开视野范围或者目标可信度低于设定数值时，WIFI定位系统开始工作，进行辅助定位并使机器人跟踪目标。直到目标重新出现在摄像头视野中时，机器视觉模块重新检测到目标后继续跟踪，机器人在此循环中持续工作。当机器人前方具有障碍物时，红外模块利用中断处理优先进行自动避障。

视觉跟踪算法采用平移滤波器A_T、尺度滤波器A_S和长时记忆滤波器A_L三种相关滤波器融合的架构。其中跟踪器包括平移和尺度估计。首先从第F_t帧中寻找到目标，并从平移滤波器A_T的相关响应图中推断出第F_t+1帧中的目标位置，然后利用尺度滤波器A_S预测目标的尺度变化，期间利用长时记忆滤波器A_L谨慎地学习和保持目标外观的长期记忆。跟踪器通过长时记忆滤波器A_L与在线SVM分类器协作进行重检测，用于进行目标的长期跟踪。为了谨慎地更新长时记忆滤波器A_L以保持模型的稳定性，本发明不仅采用置信度参数T_r＝max(f(z))，还加入了平均相关峰值能量(average peak-to-correlation energy,APCE)作为第二个置信度参数，只有当两个参数同时满足更新条件，长时记忆滤波器A_L才进行更新。如果目标在相机视野中消失造成视觉跟踪失败，或者目标可信度阈值T_r低于设定值T_s时，转为WIFI辅助定位。

在本发明中，平移滤波器A_T采用局部灰度直方图(HOI)与方向梯度直方图(HOG)共同训练的策略；尺度滤波器A_S采用方向梯度直方图(HOG)作为训练样本来预测目标对象的尺度变化；长时记忆滤波器A_L采用局部灰度直方图(HOI)与方向梯度直方图(HOG)融合特征，利用谨慎的学习率来保持目标的长期记忆。

本发明的视觉跟踪算法的具体实现方式为，在大小为W×H的图像片x上，所述的相关滤波器通过搜索响应映射中最大值的位置来定位目标对象，响应映射函数f(z)形式如下：

上式中，F^-1表示傅里叶逆变换，表示与z的核相关矩阵的傅里叶形式，为傅里叶域中学习的目标模板，z为以上一帧中目标位置为中心的图像块，A表示对应的滤波器，⊙表示Hadamard积。

设置以下2个置信度参数T_r和APCE：

T_r＝F_max＝max(f_L(z))

上式中，f_L(z)为长时记忆滤波器的响应函数，F_min＝min(f_L(z))，F_w,h为f_L(z)在图像第w行第h列的像素点响应值，w∈{1,2,...W}，h∈{1,2,...,H}，W和H为单帧图像的宽和高。APCE表示响应图的波动程度和检测到的目标的置信度。即目标在图像中出现时(没有被遮挡)，APCE值将变大，除了目标处有一个尖峰外，其余位置响应图将变得平滑，当目标被遮挡时APCE值将显著减少。

预先设定阈值T_a、T_b和T_s，当T_r≥T_a且APCE≥T_b时，更新长时记忆滤波器，当T_r＜T_s时，说明目标丢失或漂移，将长时记忆滤波器的输出作为在线SVM分类器的正、负样本，恢复丢失或漂移的目标，并初始化视觉跟踪方法。

长时记忆滤波器的更新公式如下：

x^t＝(1-η)x^t-1+ηx^t

A^t＝(1-η)A^t+ηA^t

上式中，x^t和分别为更新前、后第t帧图像的目标特征，A^t和分别为更新前、后第t帧图像的长时记忆滤波器，η为学习率，η∈(0,1)。

如今在智能手机上，WIFI已经成了不可或缺的一部分，并且具有唯一的MAC地址，由于MAC地址是格式单一、编码唯一的特点，可以用来作为目标定位的工具。由于可以通过系统SDK获取到周围各个AP(Access Point)发送的信号强度RSSI及AP地址，利用RSSI来定位目前是最常用的方法之一。

当T_r＜T_s时，即目标丢失或漂移时，启动WIFI定位方法，采用三边定位方法，定位公式如下：

(x₁-x₀)²+(y₁-y₀)²＝d₁ ²

(x₂-x₀)²+(y₂-y₀)²＝d₂ ²

(x₃-x₀)²+(y₃-y₀)²＝d₃ ²

上式中，(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别为3个WIFI-AP模块的坐标，(x₀,y₀)是用户手机的坐标，d₁、d₂、d₃为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)到(x₀,y₀)的距离，WIFI-AP模块与用户手机的距离d通过下式计算：

上式中，RSSI为WIFI信号强度，R为发射端和接收端相隔1米时的信号强度，n为环境衰减因子。

本发明的红外避障方法为，当机器人壳体外侧前端中间位置的2个红外模块同时输出低电平，说明机器人前方存在障碍，控制模块通过中断函数优先进行避障，通过控制驱动电机使机器人首先后退预设的距离，然后转向避开障碍；若机器人壳体左、右两侧的红外模块，其中一个输出高电平，另一个输出低电平，则通过控制驱动电机使机器人首先后退预设的距离，然后向输出高电平的一侧偏转。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种基于WIFI辅助定位的视觉跟踪移动机器人，其特征在于：包括机器人壳体、底盘、舵机云台、视觉模块、WIFI-AP模块、控制模块、驱动器、驱动电机、驱动轮和万向轮；控制模块与舵机云台、视觉模块、WIFI-AP模块和驱动器电性连接；舵机云台置于机器人壳体外侧的顶部，视觉模块安装在舵机云台上；WIFI-AP模块至少设置3个，安装在机器人壳体外侧边缘不同位置；驱动轮和万向轮设置在底盘的底部，驱动轮跟随驱动电机转动，驱动电机受驱动器驱动，控制模块接收视觉模块采集的信号，产生驱动指令，实现目标跟踪，控制模块接收WIFI-AP模块采集的信号进行机器人位置定位。

2.根据权利要求1所述基于WIFI辅助定位的视觉跟踪移动机器人，其特征在于：还包括至少4个红外模块，其中2个红外模块设置在机器人壳体的前端中间位置，其余2个红外模块分别安装在机器人壳体的两侧，4个红外模块分别与控制模块电性连接。

3.根据权利要求1所述基于WIFI辅助定位的视觉跟踪移动机器人，其特征在于：还包括无线通信模块，该无线通信模块与控制模块电性连接，控制模块通过无线通信模块与用户的智能终端进行无线通信，接收智能终端下发的机器人控制指令。

4.根据权利要求1所述基于WIFI辅助定位的视觉跟踪移动机器人，其特征在于：驱动电机设置2个，每个驱动电机对应1个驱动轮，2个驱动轮分别设置在底盘的左右两侧，通过差速实现机器人转向；万向轮设置2个，分别设置在底盘的前后两侧。

5.基于权利要求2所述视觉跟踪移动机器人的控制方法，其特征在于：包含视觉跟踪方法、WIFI定位方法和红外避障方法。

6.根据权利要求5所述控制方法，其特征在于：所述视觉跟踪方法采用平移滤波器、尺度滤波器和长时记忆滤波器三种相关滤波器融合的方法；平移滤波器用于检测目标及其周围环境的外观变化，它采用局部灰度直方图与方向梯度直方图共同作为训练样本；尺度滤波器用于预测目标尺度的变化，它采用方向梯度直方图作为训练样本；长时记忆滤波器用于保持目标外观的长期记忆，它采用局部灰度直方图与方向梯度直方图融合特征。

7.根据权利要求6所述控制方法，其特征在于，各滤波器的响应函数：

上式中，F^-1表示傅里叶逆变换，表示与z的核相关矩阵的傅里叶形式，为傅里叶域中学习的目标模板，z为以上一帧中目标位置为中心的图像块，A表示对应的滤波器，⊙表示Hadamard积；

设置以下2个置信度参数T_r和APCE：

T_r＝F_max＝max(f_L(z))

上式中，f_L(z)为长时记忆滤波器的响应函数，F_min＝min(f_L(z))，F_w,h为f_L(z)在图像第w行第h列的像素点响应值，w∈{1,2,...W}，h∈{1,2,...,H}，W和H为单帧图像的宽和高；

预先设定阈值T_a、T_b和T_s，当T_r≥T_a且APCE≥T_b时，更新长时记忆滤波器，当T_r＜T_s时，说明目标丢失或漂移，将长时记忆滤波器的输出作为在线SVM分类器的正、负样本，恢复丢失或漂移的目标，并初始化视觉跟踪方法。

8.根据权利要求7所述控制方法，其特征在于，长时记忆滤波器的更新公式如下：

x^t＝(1-η)x^t-1+ηx^t

A^t＝(1-η)A^t+ηA^t

上式中，x^t和分别为更新前、后第t帧图像的目标特征，A^t和分别为更新前、后第t帧图像的长时记忆滤波器，η为学习率，η∈(0,1)。

9.根据权利要求7所述控制方法，其特征在于，当T_r＜T_s时，即目标丢失或漂移时，启动WIFI定位方法，采用三边定位方法，定位公式如下：

(x₁-x₀)²+(y₁-y₀)²＝d₁ ²

(x₂-x₀)²+(y₂-y₀)²＝d₂ ²

(x₃-x₀)²+(y₃-y₀)²＝d₃ ²

上式中，(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别为3个WIFI-AP模块的坐标，(x₀,y₀)是用户的智能终端的坐标，d₁、d₂、d₃为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)到(x₀,y₀)的距离，WIFI-AP模块与用户的智能终端的距离d通过下式计算：

上式中，RSSI为WIFI信号强度，R为发射端和接收端相隔1米时的信号强度，n为环境衰减因子。

10.根据权利要求5所述控制方法，其特征在于，所述红外避障方法为，当机器人壳体外侧前端中间位置的2个红外模块同时输出低电平，说明机器人前方存在障碍，控制模块通过中断函数优先进行避障，通过控制驱动电机使机器人首先后退预设的距离，然后转向避开障碍；若机器人壳体左、右两侧的红外模块，其中一个输出高电平，另一个输出低电平，则通过控制驱动电机使机器人首先后退预设的距离，然后向输出高电平的一侧偏转。