CN106371461A - 一种基于视觉伺服的视频追踪飞行目标控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉伺服的视频追踪飞行目标控制系统及方法，所述系统包括拥有旋转自由度的双轴直接驱动系统，包括第一连杆和第二连杆，所述第二连杆位于第一连杆上部，所述第二连杆顶部安装摄像机用于追踪飞行目标，所述第一连杆底部安装控制模块和五个声音传感器阵列，采用被动声定位算法来捕捉飞行目标第一次出现时的初始位置。当目标一旦出现可由系统底层被动声定位算法获得初始位置，随后系统基于运动学分析，以及交互矩阵可获得系统各关节参数向量和目标特征参数之间的关系，最后基于预测控制驱动系统整体装置进行运动追踪。

Description

一种基于视觉伺服的视频追踪飞行目标控制系统及方法

技术领域

本发明涉及一种基于视觉伺服的视频追踪飞行目标控制系统，属于视频监控技术领域。

背景技术

视频跟踪系统是指系统利用CCD摄像机捕获移动对象并将它们显示在图像序列,然后实现一个精确的伺服跟踪后自动在视频序列上应用一些图像处理。它涉及众多应用,其中包括安全和监控,动物跟踪,交通管制和电视指导等等。

对于低空飞行目标跟踪系统,由于环境噪声的影响,系统经常会变得不稳定,需要手动干预。为了提高自动化和智能化,可以考虑更加具有鲁棒性的控制方法和多个传感器信息融合。

监控系统监控区域固定，无法对目标进行监控跟踪，有效记录目标特征和行为。而传统视频跟踪系统在飞行目标出现时通常需要手动操作给定初始位置,不能实现自动跟踪。声源被动定位算法可以用来测量移动目标的移动方向。然而,一个有效的目标识别和智能跟踪不能只由声音信息获得。

因此如何在目标出现时快速定位捕捉，并自动追踪以便记录其特征和行为是视频自动追踪亟待解决的问题

发明内容

本发明目的在于解决上述问题，提出一种跟踪方法和自动控制装置，采用声音传感器和摄像机采集信息来实时自动追踪低空飞行的目标。

本发明的技术方案如下：

一种基于视觉伺服的视频追踪飞行目标控制系统，所述系统包括拥有旋转自由度的双轴直接驱动系统，包括第一连杆和第二连杆，所述第二连杆位于第一连杆上部，所述第二连杆顶部安装摄像机用于追踪飞行目标，所述第一连杆底部安装控制模块和五个声音传感器阵列，采用被动声定位算法来捕捉飞行目标第一次出现时的初始位置。

一种基于视觉伺服的视频追踪飞行目标控制，利用上述的系统，包括如下步骤：

(1)、使用声音传感器阵列捕捉飞行目标出现时初始位置；

(2)、根据图像平面期望位置与初始位置特征误差实施模型预测控制算法，得到最优控制输入；

(3)、再通过坐标变换、控制模块驱动系统连杆运动，从而使摄像机在新的位置捕捉新的目标图像特征，通过图像处理得到当前特征值，再次与期望位置进行比较，不断循环以上步骤实现系统自动跟踪任务。

上述步骤(1)中飞行目标出现时的初始位置的获得方法如下：

两个连杆分别长l₁和l₂，俯仰角θ和方位角为两个连杆的关节角度；P点为目标点，相对于摄像机的坐标Xc-Yc-Zc为相对于基坐标X0-Y0-Z0为因此两坐标间的坐标变换为⁰T_c：

五个声音传感器阵列坐标分别为M₀(0,0,0),M₁(D,0,0)，M₂(0,D,0)，M₃(-D,0,0)，M₄(0,-D,0)；目标点P相对于基坐标的球面坐标为(R,θ_p)，D是传感器距离中心基坐标原点的距离，R是原点到目标点P的距离，和θ_p是目标点相对于基坐标原点的方位角和俯仰角；t_i(i＝1,2,3,4)是声源到第i个传感器的时间；因此目标点P的定位用如下公式表示：

其中C是超声波在空气中传播速度，因为在实际情况中R＞＞Cτ_i，由此得到初始位置的俯仰角和方位角计算近似如下：

${\mathrm{\θ}}_p\≈\arcsin \left(\frac{C}{D}\sqrt{{(t_1-t_3)}^2+{(t_2-t_4)}^2}\right)---\left(5\right)$

上述步骤(2)中模型预测的控制算法如下：

根据公式(1)和⁰P＝⁰T_c ^cP，关节角运动速度和图像特征s＝[u,v]^T的导数有如下关系，其中(u,v)为目标点在图像平面像素坐标：

$\stackrel{\·}{s}=J_{\mathrm{\θ}}{v}_{\mathrm{\θ}}---\left(6\right)$

其中J_θ是图像像素特征有关的矩阵：

将公式(6)离散化，采样时间为T得到：

s(k+1)＝s(k)+TJ_θ(k)v_θ(k) (8)

以上代表下一时刻预测的图像变化特征，进一步递归得到一系列预测特征：

s(k+i)＝s(k+i-1)+TJ_θ(k+i-1)v_θ(k+i-1) (9)

预测k时刻的特征值s(k)由摄像机使用适当的检测算子获得，同时为了保证目标在视野内，需要根据分辨率考虑视觉约束：

(x_g(k+i),y_g(k+i))∈[u_min,v_min；u_max,v_max] (10)

因此在控制域内，基于图像平面特征值和关节角速度的代价函数为：

$J=\underset{i=1}{\overset{N_p}{\mathrm{\Σ}}}{e}^T(k+i)Qe(k+i)+\underset{i=0}{\overset{N_c-1}{\mathrm{\Σ}}}{v}_{\mathrm{\θ}}^T(k+i){\mathrm{Wv}}_{\mathrm{\θ}}(k+i)---\left(11\right)$

e(k+i)＝s(k+i)-s_d(k+i)为图像特征误差，s_d(k+i)是目标图像位于图像中心的特征值常数即期望位置，Q、W为权值矩阵；通过优化公式(11)得到预测关节角输入速度，实现下一步控制。

上述步骤(3)中新的目标图像特征，通过图像处理得到当前特征值的方法如下：

根据基于图像的视觉伺服基本原理，目标P点在图像平面像素坐标(u,v)可表示为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& 0& u_0\\ 0& \mathrm{\α}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]---\left(12\right)$

(u₀,v₀)为摄像机光轴在图像平面的中心点，α为摄像机的放大系数为已知参数。

将某一特定时刻整体投影图像作为其特征，ο(t)为目标投影，则i+j时序的特征m_ij定义如下：

m_ij＝∫∫_o(t)f(u,v)dudv (13)

图像特征值表示为0、1顺序的组合即s＝[m₁₀/m₀₀,m₀₁/m₀₀]^T＝[x_g,y_g]^T，是目标物体图像平面的重力中心，根据公式(6)和(7)以及l_s<<z_c，基于形心的矩阵解析形式如下：

其中x_g,y_g为图像平面特征值坐标，为目标俯仰角，通过权利要求4中方法得到的预测输入v_θ控制驱动连杆运动，再由以上公式(6)、(14)获得当前图像特征值。

本发明所达到的有益效果：

当目标一旦出现可由系统底层被动声定位算法获得初始位置，随后系统基于运动学分析，以及交互矩阵可获得系统各关节参数向量和目标特征参数之间的关系，最后基于预测控制驱动系统整体装置进行运动追踪。

附图说明

图1是系统结构示意图；

图2是为五个声音传感器阵列；

图3是摄像机成像模型；

图4是控制系统模块架构。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于视觉伺服的视频追踪飞行目标控制系统，所述系统包括拥有旋转自由度的双轴直接驱动系统，包括第一连杆和第二连杆，所述第二连杆位于第一连杆上部，所述第二连杆顶部安装摄像机用于追踪飞行目标，所述第一连杆底部安装控制模块和五个声音传感器阵列，采用被动声定位算法来捕捉飞行目标第一次出现时的初始位置。

如图4所示，一种基于视觉伺服的视频追踪飞行目标控制，利用上述的系统，包括如下步骤：

(1)、使用声音传感器阵列捕捉飞行目标出现时初始位置；

(2)、根据图像平面期望位置与初始位置特征误差实施模型预测控制算法，得到最优控制输入；

(3)、再通过坐标变换、控制模块驱动系统连杆运动，从而使摄像机在新的位置捕捉新的目标图像特征，通过图像处理得到当前特征值，再次与期望位置进行比较，不断循环以上步骤实现系统自动跟踪任务。

上述步骤(1)中飞行目标出现时的初始位置的获得方法如下：

如图1、图3所示，两个连杆分别长l₁和l₂，俯仰角θ和方位角为两个连杆的关节角度；P点为目标点，相对于摄像机的坐标Xc-Yc-Zc为相对于基坐标X0-Y0-Z0为因此两坐标间的坐标变换为⁰T_c：

如图2所示，五个声音传感器阵列坐标分别为M₀(0,0,0),M₁(D,0,0)，M₂(0,D,0)，M₃(-D,0,0)，M₄(0,-D,0)；目标点P相对于基坐标的球面坐标为(R,θ_p)，D是传感器距离中心基坐标原点的距离，R是原点到目标点P的距离，和θ_p是目标点相对于基坐标原点的方位角和俯仰角；t_i(i＝1,2,3,4)是声源到第i个传感器的时间；因此目标点P的定位用如下公式表示：

其中C是超声波在空气中传播速度，因为在实际情况中R＞＞Cτ_i，由此得到初始位置的俯仰角和方位角计算近似如下：

${\mathrm{\&theta;}}_p\&ap;\arcsin \left(\frac{C}{D}\sqrt{{(t_1-t_3)}^2+{(t_2-t_4)}^2}\right)---\left(5\right)$

上述步骤(2)中模型预测的控制算法如下：

根据公式(1)和⁰P＝⁰T_c ^cP，关节角运动速度和图像特征s＝[u,v]^T的导数有如下关系，其中(u,v)为目标点在图像平面像素坐标：

$\stackrel{\&CenterDot;}{s}=J_{\mathrm{\&theta;}}{v}_{\mathrm{\&theta;}}---\left(6\right)$

其中J_θ是图像像素特征有关的矩阵：

将公式(6)离散化，采样时间为T得到：

s(k+1)＝s(k)+TJ_θ(k)v_θ(k) (8)

以上代表下一时刻预测的图像变化特征，进一步递归得到一系列预测特征：

s(k+i)＝s(k+i-1)+TJ_θ(k+i-1)v_θ(k+i-1) (9)

预测k时刻的特征值s(k)由摄像机使用适当的检测算子获得，同时为了保证目标在视野内，需要根据分辨率考虑视觉约束：

(x_g(k+i),y_g(k+i))∈[u_min,v_min；u_max,v_max] (10)

因此在控制域内，基于图像平面特征值和关节角速度的代价函数为：

$J=\underset{i=1}{\overset{N_p}{\mathrm{\&Sigma;}}}{e}^T(k+i)Qe(k+i)+\underset{i=0}{\overset{N_c-1}{\mathrm{\&Sigma;}}}{v}_{\mathrm{\&theta;}}^T(k+i){\mathrm{Wv}}_{\mathrm{\&theta;}}(k+i)---\left(11\right)$

e(k+i)＝s(k+i)-s_d(k+i)为图像特征误差，s_d(k+i)是目标图像位于图像中心的特征值常数即期望位置，Q、W为权值矩阵；通过优化公式(11)得到预测关节角输入速度，实现下一步控制。

上述步骤(3)中新的目标图像特征，通过图像处理得到当前特征值的方法如下：

根据基于图像的视觉伺服基本原理，目标P点在图像平面像素坐标(u,v)可表示为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\&alpha;}& 0& u_0\\ 0& \mathrm{\&alpha;}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]---\left(12\right)$

(u₀,v₀)为摄像机光轴在图像平面的中心点，α为摄像机的放大系数为已知参数。

将某一特定时刻整体投影图像作为其特征，ο(t)为目标投影，则i+j时序的特征m_ij定义如下：

m_ij＝∫∫_o(t)f(u,v)dudv (13)

图像特征值表示为0、1顺序的组合即s＝[m₁₀/m₀₀,m₀₁/m₀₀]^T＝[x_g,y_g]^T，是目标物体图像平面的重力中心，根据公式(6)和(7)以及l_s<<z_c，基于形心的矩阵解析形式如下：

其中x_g,y_g为图像平面特征值坐标，为目标俯仰角，通过权利要求4中方法得到的预测输入v_θ控制驱动连杆运动，再由以上公式(6)、(14)获得当前图像特征值。

实施例：

使用CTFT-01视频追踪系统，系统包括一个双轴直接驱动系统(第一个连杆的长度是l₁＝235mm第二个l₂＝235mm,350mm,关节的运动范围角度θ₁和θ₂分别为360°和180°。)，摄像机分辨率为320×240，每帧成像时间40ms，安装在第二个连杆顶部。控制模块和声传感器安装在系统底部。频率600mhz的DM6437DSP处理器和专用TVP5146视频芯片可有效保证系统的快速反应。输出的PWM信号发送给步进电机驱动控制电机运动。同时,跟踪结果通过视频连接接口由电视显示设备监控。

视频跟踪系统的最终任务是跟踪低空飞行目标(例如飞机的飞行高度是40-200米之间,速度小于300km/h)并能在一段时间内保持目标图像在视频图像平面的中心附近。摄像机坐标系与末端执行器坐标系重合。假设在整个跟踪过程飞行物体相对于大地坐标是一个线性均匀运动系统。首先当目标出现由附图2中的声音定位系统确定目标初始位置，快速捕捉到目标，根据图像平面期望位置与初始位置特征误差实施预测控制算法，根据代价公式(14)可得到最优控制输入，再通过坐标变换图4中控制模块驱动系统连杆运动，从而末端摄像机在新的位置捕捉新的目标图像特征，通过图像处理得到当前特征值，再次与期望特征值进行比较，不断循环以上步骤实现系统自动跟踪任务。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于视觉伺服的视频追踪飞行目标控制系统，其特征在于：所述系统包括拥有旋转自由度的双轴直接驱动系统，包括第一连杆和第二连杆，所述第二连杆位于第一连杆上部，所述第二连杆顶部安装摄像机用于追踪飞行目标，所述第一连杆底部安装控制模块和五个声音传感器阵列，采用被动声定位算法来捕捉飞行目标第一次出现时的初始位置。

2.一种基于视觉伺服的视频追踪飞行目标控制，其特征在于利用权利要求1所述的系统，包括如下步骤：

(1)、使用声音传感器阵列捕捉飞行目标出现时初始位置；

(2)、根据图像平面期望位置与初始位置特征误差实施模型预测控制算法，得到最优控制输入；

(3)、再通过坐标变换、控制模块驱动系统连杆运动，从而使摄像机在新的位置捕捉新的目标图像特征，通过图像处理得到当前特征值，再次与期望位置进行比较，不断循环以上步骤实现系统自动跟踪任务。

3.根据权利要求2所述的一种基于视觉伺服的视频追踪飞行目标控制方法，其特征在于：所述步骤(1)中飞行目标出现时的初始位置的获得方法如下：

两个连杆分别长l₁和l₂，俯仰角θ和方位角为两个连杆的关节角度；P点为目标点，相对于摄像机的坐标Xc-Yc-Zc为相对于基坐标X0-Y0-Z0为因此两坐标间的坐标变换为⁰T_c：

五个声音传感器阵列坐标分别为M₀(0,0,0),M₁(D,0,0)，M₂(0,D,0)，M₃(-D,0,0)，M₄(0,-D,0)；目标点P相对于基坐标的球面坐标为D是传感器距离中心基坐标原点的距离，R是原点到目标点P的距离，和θ_p是目标点相对于基坐标原点的方位角和俯仰角；t_i(i＝1,2,3,4)是声源到 第i个传感器的时间；因此目标点P的定位用如下公式表示：

其中C是超声波在空气中传播速度，因为在实际情况中R＞＞Cτ_i，由此得到初始位置的俯仰角和方位角计算近似如下：

。

4.根据权利要求2所述的一种基于视觉伺服的视频追踪飞行目标控制方法，其特征在于：所述步骤(2)中模型预测的控制算法如下：

根据公式(1)和⁰P＝⁰T_c ^cP，关节角运动速度和图像特征s＝[u,v]^T的导数 有如下关系，其中(u,v)为目标点在图像平面像素坐标：

其中J_θ是图像像素特征有关的矩阵：

将公式(6)离散化，采样时间为T得到：

s(k+1)＝s(k)+TJ_θ(k)v_θ(k) (8)

以上代表下一时刻预测的图像变化特征，进一步递归得到一系列预测特征：

s(k+i)＝s(k+i-1)+TJ_θ(k+i-1)v_θ(k+i-1) (9)

预测k时刻的特征值s(k)由摄像机使用适当的检测算子获得，同时为了保证目标在视野内，需要根据分辨率考虑视觉约束：

(x_g(k+i),y_g(k+i))∈[u_min,v_min；u_max,v_max] (10)

因此在控制域内，基于图像平面特征值和关节角速度的代价函数为：

e(k+i)＝s(k+i)-s_d(k+i)为图像特征误差，s_d(k+i)是目标图像位于图像中心的特征值常数即期望位置，Q、W为权值矩阵；通过优化公式(11)得到预测关节角输入速度，实现下一步控制。

5.根据权利要求2所述的一种基于视觉伺服的视频追踪飞行目标控制方法，其特征在于所述步骤(3)中新的目标图像特征，通过图像处理得到当前特征值的方法如下：

根据基于图像的视觉伺服基本原理，目标P点在图像平面像素坐标(u,v)可表示为：

(u₀,v₀)为摄像机光轴在图像平面的中心点，α为摄像机的放大系数为已知参数。

将某一特定时刻整体投影图像作为其特征，ο(t)为目标投影，则i+j时序的特征mij定义如下：

m_ij＝∫∫_o(t)f(u,v)dudv (13)

图像特征值表示为0、1顺序的组合即s＝[m₁₀/m₀₀,m₀₁/m₀₀]^T＝[x_g,y_g]^T，是目标物体图像平面的重力中心，根据公式(6)和(7)以及l_s<<z_c，基于形心的矩阵解析形式如下：

其中x_g,y_g为图像平面特征值坐标，为目标俯仰角，通过权利要求4中方法得到的预测输入v_θ控制驱动连杆运动，再由以上公式(6)、(14)获得当前图像特征值。