CN102662410A - 一种面向运动目标追踪的视觉系统及其控制方法 - Google Patents

Abstract

本发明公开了一种面向运动目标追踪的视觉系统及其控制方法，涉及视觉系统领域，摄像机实时采集图像，并将图像传输给车载计算机，车载计算机对图像进行处理，获取平台的运动方向、距离和速度，并将运动方向、距离和速度传输给控制电路，控制电路将运动方向转换为电压信号、速度转换为方波信号，距离转换为控制时间，在控制时间内将电压信号和方波信号传输给与步进电机相连接的驱动电路，驱动电路将电压信号和方波信号转换为驱动信号，通过驱动信号控制步进电机的转动。通过本发明使得被跟踪目标保持在移动机器人的有效观察范围内，从而达到准确跟踪目标的目的。

Description

一种面向运动目标追踪的视觉系统及其控制方法

技术领域

本发明涉及视觉系统领域，尤其涉及一种面向运动目标追踪的视觉系统及其控制方法。

背景技术

目前，移动机器人已经逐步走向实用化，尤其是搭载有视觉传感器的移动机器人，通过采集的图像可以获得丰富的外界信息，以辅助其完成跟踪、识别、建图以及其他的任务。因为大多数移动机器人的设计原因，移动机器人本体高度不高。所以移动机器人上的视觉传感器在跟踪高度不超过机器人本体的目标时效果良好。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

由于跟踪距离以及高度的变化，跟踪目标可能超出机器人的观察范围，在机器人进行跟踪时会发生丢失跟踪目标的情况，容易造成跟踪错误。

发明内容

本发明提供了一种面向运动目标追踪的视觉系统及其控制方法，本发明根据跟踪距离和高度的变化，实现了视觉系统的高度可调节，扩大了机器人的观察范围，减少了丢失被跟踪目标的情况，详见下文描述：

一种面向运动目标追踪的视觉系统，包括：云台支架，在所述云台支架上平行设置有滑轨，在所述滑轨的任意位置上设置有平台，所述平台上设置有摄像机安装位，所述摄像机安装位上设置有摄像机；在所述云台支架底部设置有步进电机安装架，所述步进电机安装架上设置有步进电机；在所述步进电机的轴上设置有驱动轮；所述云台支架顶部设置有皮带固定轮；所述皮带固定轮和所述驱动轮通过皮带传动，所述皮带和所述平台固定连接，所述摄像机实时采集图像，并将所述图像传输给车载计算机，所述车载计算机对所述图像进行处理，获取所述平台的运动方向、距离和速度，并将所述运动方向、所述距离和所述速度传输给控制电路，所述控制电路将所述运动方向转换为电压信号、所述速度转换为方波信号，所述距离转换为控制时间，在所述控制时间内将所述电压信号和所述方波信号传输给与所述步进电机相连接的驱动电路，所述驱动电路将所述电压信号和所述方波信号转换为驱动信号，通过所述驱动信号控制所述步进电机的转动。

所述控制电路包括：第一电源接入插口、控制芯片、转换芯片和串口；

所述串口接收所述车载计算机发送的所述平台的运动方向、距离和速度，通过所述转换芯片将转换后的运动方向、距离和速度传输给所述控制芯片，所述控制芯片将所述转换后的运动方向转换为电压信号、速度转换为方波信号，距离转换为控制时间，在所述控制时间内将所述电压信号和所述方波信号传输给与所述步进电机相连接的所述驱动电路；所述第一电源接入插口为所述控制芯片和所述转换芯片提供工作电源。

所述驱动电路包括：第二电源接入插口、驱动芯片和驱动接口；

所述驱动芯片接收所述控制电路发送的所述电压信号和所述方波信号，将所述电压信号和所述方波信号转换为驱动信号，通过所述驱动接口将所述驱动信号传输至所述步进电机，通过所述驱动信号控制所述步进电机的转动；所述第二电源接入插口为所述驱动芯片提供工作电源。

所述方法包括以下步骤：

(1)所述车载计算机在所述图像上建立图像坐标系uo₀v和成像平面坐标系xo₁y；

(2)所述车载计算机在所述图像上识别被跟踪目标，获取所述被跟踪目标的中心(u_t,v_t)，其中，v_k=v_t-v₀，y_k=v_kd_y，v为所述被跟踪目标在所述图像坐标系下的偏移量，y为所述被跟踪目标在所述成像平面坐标系下的偏移量；

(3)所述车载计算机通过所述被跟踪目标在所述成像平面坐标系下的偏移量y_k获取所述平台的运动方向；

(4)所述车载计算机通过所述被跟踪目标在所述成像平面坐标系下的偏移量y_k、所述摄像机的焦距f和所述摄像机镜头到所述被跟踪目标的距离l获取所述平台的运动距离Δh，Δh=yl/f；

(5)所述车载计算机通过连续三次所述被跟踪目标在所述成像平面坐标系下的偏移量获取所述平台的速度v_p；

(6)所述车载计算机将所述平台的运动方向、所述距离Δh和所述速度v_p传输给所述控制电路；

(7)所述控制电路将所述运动方向转换为所述电压信号、所述速度v_p转换为所述方波信号，将所述运动距离Δh转换为所述控制时间。

所述图像坐标系uo₀v具体为：所述图像的左上角像素点定义为坐标原点o₀，坐标轴以像素作为单位长度；

所述成像平面坐标系xo₁y具体为：坐标原点o₁是摄像机镜头的光轴与所述图像的交点，在所述图像坐标系上的坐标为(u₀,v₀)，每个像素在x轴和y轴上的物理尺寸为dx与dy，则两个坐标系的关系为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right].$

所述所述车载计算机通过连续三次所述被跟踪目标在所述成像平面坐标系下的偏移量y获取所述平台的速度具体包括：

1）获取所述被跟踪目标在所述成像坐标系下沿y轴方向的速度y_kv和加速度y_ka；

y_kv=(y_k-y_k-1)/Δt，y_ka=(y_kv-(y_k-1-y_k-2)/Δt)/Δt，

其中，y_k-2，y_k-1和y_k分别是所述被跟踪目标在k-2时刻，k-1时刻和k时刻在所述成像平面坐标系下y轴方向的偏移量，y_kv是所述被跟踪目标k时刻在所述成像平面坐标系下沿y轴方向的运动速度；y_ka是所述被跟踪目标k时刻沿y轴方向运动的加速度，Δt=pt_c，t_c为所述摄像机的图像采集间隔；p为设定参数；

2）获取所述平台的速度v_p；

v_p=k₁Δh+k₂y_kv+k₃y_ka，k₁=k_vl/f，k₂=l/f，k₃=lΔt/f，k_v为可调参数。

所述将所述运动距离Δh转换为所述控制时间具体为：

获取所述步进电机的驱动频率f_s和运动步数S，通过所述驱动频率f_s和所述运动步数S获取所述控制时间t_k；

其中，f_s=|v_p/S₀|，S=|Δh/S₀|，S₀是所述步进电机每走一步对应的所述平台升降的高度，S₀=ω₀×r，ω₀为所述步进电机的步进角，r为所述驱动轮的半径，t_k=S /f_s。

本发明提供的技术方案的有益效果是：

本发明提供了一种面向运动目标追踪的视觉系统及其控制方法，在移动机器人平台上安装面向被跟踪目标的视觉系统，移动机器人通过驱动云台支架上安装的步进电机达到控制摄像机升降的目的；在使用过程中，当被跟踪目标位置改变到将要离开移动机器人的纵向有效观察范围时，通过摄像机和车载计算机得到平台的运动方向、速度和距离，并通过控制电路和驱动电路将运动方向和速度转换为驱动信号，将距离转换为控制时间，在控制时间内，驱动信号控制步进电机的转动，使得被跟踪目标始终保持在移动机器人的有效观察范围内，从而达到准确跟踪运动目标的目的。

附图说明

图1为本发明提供的一种面向运动目标追踪的视觉系统的结构示意图；

图2为本发明提供的云台的侧视图；

图3为本发明提供的控制电路的原理图；

图4为本发明提供的驱动电路的原理图；

图5为本发明提供的图像坐标系和成像平面坐标系的示意图；

图6为本发明提供的运动距离的计算示意图；

图7为本发明提供的一种面向运动目标追踪的控制方法的流程图。

附图中，各标号所代表的部件列表如下：

1：云台支架；                        2：滑轨；

3：平台；                            4：皮带固定轮；

5：驱动轮；                          6：皮带；

7：步进电机安装架；                  8：步进电机；

9：摄像机安装位；                    10：摄像机；

11：车载计算机；                     12：控制电路；

13：驱动电路；                       121：第一电源接入插口；

122：控制芯片；                      123：转换芯片；

124：串口；                          131：第二电源接入插口；

132：驱动芯片；                      133：驱动接口。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了根据跟踪距离和高度的变化，实现视觉系统的高度可调节，扩大机器人的观察范围，减少了丢失被跟踪目标的情况，本发明实施例提供了一种面向运动目标追踪的视觉系统及其控制方法，参见图1和图2，详见下文描述：

一种面向运动目标追踪的视觉系统，包括：云台支架1，在云台支架1上平行设置有滑轨2，在滑轨2的任意位置上设置有平台3，平台3上设置有摄像机安装位9，摄像机安装位9上设置有摄像机10；在云台支架1底部设置有步进电机安装架7，步进电机安装架7上设置有步进电机8；在步进电机8的轴上设置有驱动轮5；云台支架1顶部设置有皮带固定轮4；在皮带固定轮4和驱动轮5上套接有皮带6，皮带6和平台3固定连接，摄像机10实时采集图像，并将图像传输给车载计算机11，车载计算机11对图像进行处理，获取平台3的运动方向、距离和速度，并将运动方向、距离和速度传输给控制电路12，控制电路12将运动方向转换为电压信号、速度转换为方波信号，距离转换为控制时间，在控制时间内将电压信号和方波信号传输给与步进电机8相连接的驱动电路13，驱动电路13将电压信号和方波信号转换为驱动信号，通过驱动信号控制步进电机8的转动。

其中，参见图3，控制电路12包括：第一电源接入插口121、控制芯片122、转换芯片123和串口124；

串口124接收车载计算机11发送的平台3的运动方向、距离和速度，通过转换芯片123将转换后的运动方向、距离和速度传输给控制芯片122，控制芯片122将转换后的运动方向转换为电压信号、速度转换为方波信号，距离转换为控制时间，在控制时间内将电压信号和方波信号传输给与步进电机8相连接的驱动电路13；第一电源接入插口121为控制芯片122和转换芯片123提供工作电源。

其中，具体实现时，本发明实施例对控制芯片122和转换芯片123的型号不做限制，本发明实施例中的控制芯片122以ATmega128L芯片为例进行说明。

其中，参见图4，驱动电路13包括：第二电源接入插口131、驱动芯片132和驱动接口133；

驱动芯片132接收控制电路12发送的电压信号和方波信号，将电压信号和方波信号转换为驱动信号，通过驱动接口133将驱动信号传输至步进电机8，通过驱动信号控制步进电机8的转动；第二电源接入插口131为驱动芯片132提供工作电源。

其中，具体实现时，本发明实施例对驱动芯片132的型号不做限制，本发明实施例中的驱动芯片132以THB6064H芯片为例进行说明。

参见图5、图6和图7，一种面向运动目标追踪的控制方法，该方法包括以下步骤：

101：车载计算机11在图像上建立图像坐标系uo₀v和成像平面坐标系xo₁y；

其中，图像坐标系uo₀v中将图像的左上角像素点定义为坐标原点o₀，坐标轴以像素作为单位长度。

其中，成像平面坐标系xo₁y中坐标原点o₁是摄像机镜头的光轴与图像的交点，x和y是以物理单位度量的成像平面坐标系坐标；o₁在图像坐标系上的坐标为(u₀,v₀)，每个像素在x轴和y轴上的物理尺寸为dx与dy，则两个坐标系的关系为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

102：车载计算机11在图像上识别被跟踪目标，获取k时刻被跟踪目标的中心(u_t,v_t)；

其中，v_k=v_t-v₀，y_k=v_kd_y，v_k为k时刻被跟踪目标在图像坐标系下沿v轴方向的偏移量，y_k为被跟踪目标在成像平面坐标系下沿y轴方向的偏移量。

其中，具体实现时，本发明实施例通过一个矩形框框出被跟踪目标，将矩形框的中心作为被跟踪目标的中心(u_t，v_t)，还可以采用其他方法确定被跟踪目标的中心，本发明实施例对此不做限制。

103：车载计算机11通过被跟踪目标第k时刻在成像平面坐标系下沿y轴方向的偏移量y_k获取平台3的运动方向；

其中，偏移量y_k的取值为正表明平台3向上运动，取值为负表明平台3向下运动。

104：车载计算机11通过被跟踪目标在成像平面坐标系下的偏移量y_k、摄像机10的焦距f和摄像机镜头到被跟踪目标的距离l获取平台3的运动距离Δh；

其中，Δh=y_kl/f。

具体实现时，本发明实施例通过激光测距仪测量摄像机镜头到被跟踪目标的距离l，还可以采用其他方法确定摄像机镜头到被跟踪目标的距离，本发明实施例对此不做限制。

105：车载计算机11通过连续三次被跟踪目标在成像平面坐标系下的偏移量获取平台3的速度v_p；

其中，该步骤具体为：

1）获取被跟踪目标在成像坐标系下沿y轴方向的速度y_kv和加速度y_ka；

由连续三次获得的被跟踪目标在成像平面坐标系下的偏移量y_k-2，y_k-1和y_k计算出被跟踪目标在成像平面坐标系中的运动速度y_kv以及加速度y_ka。

y_kv=(y_k-y_k-1)/Δt，y_ka=(y_kv-(y_k-1-y_k-2)/Δt)/Δt，

其中，y_k-2和y_k-1分别是被跟踪目标在k-2时刻和k-1时刻在成像平面坐标系下沿y轴方向的偏移量，其中，k的取值大于等于1，在k=1时刻y_k-2=0，y_k-1=0，在k=2时刻y_k-2=0，y_kv是被跟踪目标k时刻中在成像平面坐标系下沿y轴方向的运动速度；y_ka是被跟踪目标k时刻沿y轴方向运动的加速度，Δt=pt_c，t_c为摄像机10的图像采集间隔；p为设定参数，表示图像更新p帧。

其中，在实际控制时，可根据实际情况，图像每更新p（参数可调）帧，车载计算机11下发的控制命令更新一次。

2）获取平台3的速度v_p。

其中，该步骤具体为：

v_p=k₁Δh+k₂y_kv+k₃y_ka，k₁=l/(ft_D)，k₂=l/f，k₃=lΔt/f。t_D为可调参数，根据实际应用中跟踪要求进行设定，本发明实施例对此不做限制。

106：车载计算机11将平台3的运动方向、距离Δh和速度v_p传输给控制电路12；

107：控制电路12将运动方向转换为电压信号、速度转换为方波信号，将运动距离Δh转换为控制时间t_k。

其中，将运动距离Δh转换为控制时间t_k具体为：

获取步进电机8的驱动频率f_s和运动步数S，通过驱动频率f_s和运动步数S获取控制时间t_k。

其中，f_s=|v_p/S₀|，S=|Δh/S₀|，S₀是步进电机8每走一步对应的平台3升降的高度，S₀=ω₀×r，ω₀为步进电机8的步进角，r为驱动轮5的半径，t_k=S/f_s。

其中，控制电路12将运动方向转换为电压信号、速度转换为方波信号为本领域技术人员所公知的，本发明实施例在此不再赘述。

其中，实际操作中，当还在控制时间t_k内，车载计算机11下发了新的控制命令，则对控制时间t_k更新，在新的控制时间t_k内，步进电机8执行新的动作。

其中，驱动电路13将电压信号和方波信号转换为驱动信号为本领域技术人员所公知的，本发明实施例在此不再赘述。

综上所述，本发明实施例提供了一种面向运动目标追踪的视觉系统及其控制方法，在移动机器人平台上安装面向运动目标追踪的视觉系统，移动机器人通过驱动云台支架上安装的步进电机达到控制摄像机升降的目的；在使用过程中，当被跟踪目标位置改变到将要离开移动机器人的纵向有效观察范围时，通过摄像机和车载计算机得到平台的运动方向、速度和距离，并通过控制电路和驱动电路将运动方向和速度转换为驱动信号，将距离转换为控制时间，在控制时间内，驱动信号控制步进电机的转动，使得被跟踪目标始终保持在移动机器人的有效观察范围内，从而达到准确跟踪运动目标的目的。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向运动目标追踪的视觉系统，包括：云台支架，其特征在于，在所述云台支架上平行设置有滑轨，在所述滑轨的任意位置上设置有平台，所述平台上设置有摄像机安装位，所述摄像机安装位上设置有摄像机；在所述云台支架底部设置有步进电机安装架，所述步进电机安装架上设置有步进电机；在所述步进电机的轴上设置有驱动轮；所述云台支架顶部设置有皮带固定轮；所述皮带固定轮和所述驱动轮通过皮带传动，所述皮带和所述平台固定连接，所述摄像机实时采集图像，并将所述图像传输给车载计算机，所述车载计算机对所述图像进行处理，获取所述平台的运动方向、距离和速度，并将所述运动方向、所述距离和所述速度传输给控制电路，所述控制电路将所述运动方向转换为电压信号、所述速度转换为方波信号，所述距离转换为控制时间，在所述控制时间内将所述电压信号和所述方波信号传输给与所述步进电机相连接的驱动电路，所述驱动电路将所述电压信号和所述方波信号转换为驱动信号，通过所述驱动信号控制所述步进电机的转动。

2.根据权利要求1所述的一种面向运动目标追踪的视觉系统，其特征在于，所述控制电路包括：第一电源接入插口、控制芯片、转换芯片和串口；

所述串口接收所述车载计算机发送的所述平台的运动方向、距离和速度，通过所述转换芯片将转换后的运动方向、距离和速度传输给所述控制芯片，所述控制芯片将所述转换后的运动方向转换为电压信号、速度转换为方波信号，距离转换为控制时间，在所述控制时间内将所述电压信号和所述方波信号传输给与所述步进电机相连接的所述驱动电路；所述第一电源接入插口为所述控制芯片和所述转换芯片提供工作电源。

3.根据权利要求1所述的一种面向运动目标追踪的视觉系统，其特征在于，所述驱动电路包括：第二电源接入插口、驱动芯片和驱动接口；

所述驱动芯片接收所述控制电路发送的所述电压信号和所述方波信号，将所述电压信号和所述方波信号转换为驱动信号，通过所述驱动接口将所述驱动信号传输至所述步进电机，通过所述驱动信号控制所述步进电机的转动；所述第二电源接入插口为所述驱动芯片提供工作电源。

4.一种用于权利要求1所述的一种面向运动目标追踪的视觉系统的控制方法，其特征在于，所述方法包括以下步骤：

(1)所述车载计算机在所述图像上建立图像坐标系uo₀v和成像平面坐标系xo₁y；

(2)所述车载计算机在所述图像上识别被跟踪目标，获取所述被跟踪目标在k时刻的中心(u_t,v_t)，其中，v_k=v_t-v₀，y_k=v_kdy，v_k为所述被跟踪目标在所述图像坐标系下沿v轴方向的偏移量，y_k为所述被跟踪目标在所述成像平面坐标系下沿y轴方向的偏移量；

(3)所述车载计算机通过所述被跟踪目标在所述成像平面坐标系下沿y轴方向的偏移量y_k获取所述平台的运动方向；

(4)所述车载计算机通过所述被跟踪目标在所述成像平面坐标系下的偏移量y_k、所述摄像机的焦距f和所述摄像机镜头到所述被跟踪目标的距离l获取所述平台的运动距离Δh，Δh=y_kl/f；

(5)所述车载计算机通过连续三次所述被跟踪目标在所述成像平面坐标系下的偏移量获取所述平台的速度v_p；

(6)所述车载计算机将所述平台的运动方向、所述距离Δh和所述速度v_p传输给所述控制电路；

(7)所述控制电路将所述运动方向转换为所述电压信号、所述速度v_p转换为所述方波信号，将所述运动距离Δh转换为所述控制时间。

5.根据权利要求4所述的控制方法，其特征在于，

所述图像坐标系uo₀v具体为：所述图像的左上角像素点定义为坐标原点o₀，坐标轴以像素作为单位长度；

所述成像平面坐标系xo₁y具体为：坐标原点o₁是摄像机镜头的光轴与所述图像的交点，在所述图像坐标系上的坐标为(u₀,v₀)，每个像素在x轴和y轴上的物理尺寸为dx与dy，则两个坐标系的关系为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right].$

6.根据权利要求5所述的控制方法，其特征在于，所述所述车载计算机通过连续三次所述被跟踪目标在所述成像平面坐标系下的沿y轴方向偏移量获取所述平台的速度具体包括：

1）获取所述被跟踪目标在所述成像坐标系下沿y轴方向的速度y_kv和加速度y_ka；

y_kv=(y_k-y_k-1)/Δt，y_ka=(y_kv-(y_k-1-y_k-2)/Δt)/Δt，

其中，y_k-2，y_k-1和y_k分别是所述被跟踪目标在k-2时刻，k-1时刻和k时刻在所述成像平面坐标系下y轴方向的偏移量，y_kv是所述被跟踪目标k时刻在所述成像平面坐标系下沿y轴方向的运动速度；y_ka是所述被跟踪目标k时刻沿y轴方向运动的加速度，Δt=pt_c，t_c为所述摄像机的图像采集间隔；p为设定参数；

2）获取所述平台的速度v_p；

v_p=k₁Δh+k₂y_kv+k₃y_ka，k₁=l/ft_D，k₂=l/f，k₃=lΔt/f，t_D为可调参数。

7.根据权利要求6所述的控制方法，其特征在于，所述将所述运动距离Δh转换为所述控制时间具体为：

获取所述步进电机的驱动频率f_s和运动步数S，通过所述驱动频率f_s和所述运动步数S获取所述控制时间t_k；

其中，f_s=|v_p/S₀|，S=|Δh/S₀|，S₀是所述步进电机每走一步对应的所述平台升降的高度，S₀=ω₀×r，ω₀为所述步进电机的步进角，r为所述驱动轮的半径，t_k=S/f_s。

Images