CN102355574A - 机载云台运动目标自主跟踪系统的图像稳定方法 - Google Patents

Abstract

本发明涉及一种基于类人眼复合运动的机载云台运动目标自主跟踪系统的图像稳定方法。它包括无人飞行器及其飞控系统、机载云台摄像机、机载图像处理单元和机载仿生控制微处理器。其步骤为：姿态传感器测量小型无人飞行器的姿态位置，并且视觉传感器采集摄像机的目标信息，两者信息经过相应的A/D转换，数字滤波之后，根据建立的眼球复合运动的输入关系进行运算处理，获得跟踪目标与摄像机视轴的相对偏差，并进行相应的标度转换，将处理好的信息作为机载云台控制器的控制律，分别控制机载云台电机，实现眼球复合运动的特性。这种方法根据跟踪的运动目标位置信息与无人飞行器的姿态信息，通过本发明上述步骤，可以对机载云台进行实时调节，可以实现无人飞行器在颠簸环境中，对可疑的运动目标进行自主跟踪，并能对跟踪图像具有一定的稳定作用。

Description

机载云台运动目标自主跟踪系统的图像稳定方法

技术领域

    本发明涉及一种目标自主跟踪系统的图像稳定方法，特别是一种基于类人眼复合运动的机载云台目标自主跟踪系统的图像稳定方法。

背景技术

    对动态目标的自主跟踪是视觉监测监控系统的关键技术。在一些具体的监控系统中，摄像机往往装在一些小型无人飞行器上，通过有效控制小型无人飞行器的姿态信息和机载云台，使被跟踪的地面运动目标始终保持在图像中心位置，并将图像传回地面指挥中心，辅助监控人员对可疑目标进行跟踪监视，扩大监控的范围，减轻监控人员的劳动强度，增强了监控的可靠性，具有广泛的军用与民用价值。

    目前的基于视觉的监控系统主要集中在一些公共场所、重要部门等，监控摄像头通常都是固定安装的，监控的场景范围比较有限，通过监控人员操作摄像机运动跟踪可疑目标，基本上没有识别和自动跟踪的功能，属于被动监视。为了扩大监控范围，常采用多摄像头监控，相邻摄像头的监控范围部分重叠，场景固定，摄像头不能对可疑运动目标进行跟踪监视，而且此种方法成本较高。因此，许多研究机构将摄像机安装在机载转动伺服云台上。在控制机载云台的过程中，云台的调节主要集中在图像处理方面，通过图像处理，提取图像特征检测目标并进行匹配等获取目标偏差位置，从而使目标处于摄像机的图像中心位置。但是，在运动目标自主跟踪系统中，由于复杂的非结构环境、目标位置的动态变化、小型无人飞行器姿态变化以及机体振动等影响，因此对单纯通过图像处理方法来调节伺服云台，补偿范围小，图像稳定性差，在跟踪过程中容易出现目标丢失。

发明内容

    本发明的目的在于针对已有技术存在的缺陷,提供一种新的基于类人眼复合运动的机载云台目标跟踪系统的图像稳定方法，用于提高无人机机载视频系统的动态目标跟踪性能。

    为达到上述目的，本发明的构思是：人眼具有很多特殊功能，这是因为人眼眼球在脑认知学习以及眼球运动神经回路的控制下，可以实现眼球的多种运动，例如前庭动眼反射、视动反射、急动，平滑追踪运动等。然而在大多数情况下，人眼获得外界信息不是一种运动完成的，例如人类在颠簸的环境中仍能实时注视或跟踪运动的目标，这是由于人眼的前庭动眼反射以及平滑跟踪运动所组成复合运动。类人眼的前庭动眼反射与平滑追踪融合复合运动控制系统的数学模型如附图1所示，已被生理学实验所证实。在这个系统中，无人飞行器相当于人的头部，机载传感器相当于人的前庭器官，机载摄像机相当于眼球，机载云台相当于眼球外部的六条眼肌，通过图像采集卡获得偏差信息类似于人眼视网膜的滑动误差。机载云台的运动控制系统采用类人眼的前庭动眼反射和平滑追踪运动融合的复合运动系统模型，使得当跟踪目标的位置发生动态变化时，尽管受到无人机机体振动以及姿态变化的影响,仍能使跟踪运动目标处于图像位置的中心区域。

    根据上述构思，本发明采用如下技术方案：

    一种机载云台运动目标自主跟踪系统的图像稳定方法，其特征在于采用人眼的前庭动眼反射与平滑追踪融合的眼球复合运动控制系统数学模型进行运算，以获得在颠簸环境下机载云台在跟踪动态目标中的图像信息稳定可靠。系统的操作步骤如下：

1）选定跟踪目标：监控人员通过控制小型无人飞行器与机载云台，选定需跟踪的可疑目标；

2）传感器测量：姿态传感器测量小型无人飞行器的姿态位置，视觉传感器（摄像机）通过图像采集卡获得跟踪目标信息； 

3）A/D转换：对传感器（姿态与视觉）得到的连续模拟量通过A/D转换后得到数字量采样信号；

4）数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

5）标度转换：分别对视频传感器和姿态传感器进行相应的标定与转换；

6）信息融合：对采集到目标图像偏差信息与无人飞行器姿态信息以及机载云台姿态信息根据建立的眼球复合运动的输入关系，进行相应的运算处理，从而获得跟踪目标与摄像机视轴的相对偏差；

7）系统控制运算：获得的运动平台运动参数值通过处理器的控制算法，得到机载云台补偿偏差所需旋转的速度和方向；

8）控制云台转动：将得到的摄像机云台所需旋转的速度和方向，发送给机载云台的电机，控制摄像机的运动；

9）监控人工干预:地面工作站监控人员如果发现目标丢失,重复步骤1）到步骤9)循环，如果目标跟踪处于图像监控中，按正常的步骤。

       上述的控制运算采用了人眼的前庭动眼反射与平滑追踪融合的复合运动控制系统数学模型，如附图1和图2所示：

       图中眼球半规管的传递函数表示为：

                   （1）

       等式（1）中，

是半规管主要纤维的调制发射率的拉式变换，

是头部旋转角加速度的拉式变换，

是半规管的时间常数，根据生理学实验，

=16s。

       眼球的数学模型是可以近似用一阶传递函数近似表示：

                      （2）

       等式（2）中，

是眼球装置的时间常数，

=0.24s。

        神经积分器的传递函数可表示为：

                   （3）

       在等式（3）中，

是积分器的时间常数，

是神经直接通路的增益，在正常情况下，

=25s，=0.24。

       在系统中有一个高精度重复误差控制器被设计用来补偿误差：

 

                     （4）

       等式4中

表示滤波器的时间常数，

=0.2s；

是重复误差补偿间隔时间，

=0.012s。

       图3中的系统数学模型可表示为等式（5）：

 （5）

    其中模型的输出

是视轴转角，模型的输入

是头部运动转角， 运动目标的位置。α、λ、γ分别是神经回路对头部角速度信号、被跟踪目标的角位移和角速度的转换增益，取值范围0～1。

       根据上述数学模型，编好控制芯片的程序，即计算出所需的控制量，发送给机载云台的电机，从而使跟踪的运动目标处于摄像机图像中心。

       本发明与现有技术相比，具有如下显著特点：本发明设计的自主跟踪系统机载云台系统图像稳定方法利用类人眼复合运动的数学控制模型，方法简单、易行，处理器只要接受传感器数据将自动按照编好的程序进行简单运算，就可以控制摄像机云台的电机以一定的速度按相应的方向旋转，不仅能实现运动目标的跟踪，而且可以补偿飞行器姿态变化引起的图像不稳定。

附图说明

       图1为类人眼复合运动控制系统的数学模型；

       图2 为本发明方法的控制操作流程图；

       图3为本发明的一个应用实例的系统构成示意图；

       图4为本发明的一个应用实施例的系统控制框图。

具体实施方式

       本发明的一个优选实例如下详述：

1、 实施例一: 一种机载云台运动目标自主跟踪系统的图像稳定方法，其特征在于将眼球的前庭动眼反射和平滑追踪运动融合一起,即为眼球的复合运动，并采用的基于这种类人眼的复合运动控制系统的数学模型对机载云台进行控制，以达到无人飞行器在恶劣环境下，仍能稳定平稳的实时跟踪运动目标；

   其操作步骤如下： 

   1)选定跟踪目标：监控人员通过控制小型无人飞行器与机载云台，选定所需跟踪的    可疑目标；

2)传感器测量：姿态传感器测量小型无人飞行器的姿态位置，视觉传感器—摄像机通过图像采集卡获得跟踪目标信息； 

   3)A/D转换：对传感器（姿态与图像）得到的连续模拟量通过A/D转换后得到数字量采样信号；

4)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

5)标度转换：分别对视觉传感器和姿态传感器进行相应的标定与转换；

   6)信息融合：对采集到目标图像偏差信息与无人飞行器姿态信息以及机载云台姿态信息根据建立的眼球复合运动的输入关系，进行相应的运算处理，从而获得跟踪目标与摄像机视轴的相对偏差；

   7)系统控制运算：获得的运动平台运动参数值通过处理器的控制算法，得到补偿偏差机载云台所需旋转的速度和方向；

   8)控制云台转动：将得到的摄像机云台所需旋转的速度和方向，发送给机载云台的电机，控制摄像机的运动;

   9)监控人工干预:地面工作站监控人员如果发现目标丢失,重复步骤1）到步骤9)循环，如果目标跟踪处于图像监控中，按正常的步骤。

参见图1, 上述步骤7)中的控制运算采用运算模型根据权利要求1所述的机载云台运动目标自主跟踪系统的图像稳定方法，其特征在于所述步骤7）中的控制算法，所采用的算法模型如下： 

其中模型的输出

是视轴转角，模型的输入

是头部运动转角， 

运动目标的位置；

、、

分别是神经回路对头部角速度信号、被跟踪目标的角位移和角速度的转换增益，取值范围0～1；是半规管的时间常数， 

=16s；

是眼球装置的时间常数，

=0.24s；是积分器的时间常数， 

是神经直接通路的增益，在正常情况下，

=25s， =0.24；

表示滤波器的时间常数， 

=0.2s；

是重复误差补偿间隔时间，根据传感器数据采集频率可进行调整，这里一般选用

=0.012s；

和

分别代表对视网膜滑动位移和速度误差重复补偿的权值，

=2.5，

=1。

实施例二:

       参见图2,本机载云台运动目标自主跟踪系统的图像稳定方法,其特征在于

参见图3和图4，本基于类人眼复合运动的机载云台运动目标自主跟踪系统的图像稳定方法，用于小型无人飞行器的野外低空监控系统，系统包括地面控制系统1和机载控制系统2和小型无人飞行器3。机载系统2包括飞行控制系统单元15和基于类人眼的控制算法的摄像机云台控制系统13。飞控传感器系统（陀螺仪、高度计、速度计）16采集相应的信息，通过A/D输入到飞行控制系统。飞控导航系统（电子罗盘和GPS）通过RS-232与飞控系统提供导航信息。地面手动操作可以使用RC触发器5与RC接收器发送操作命令，通过模拟开关6将命令输入飞行控制单元15。飞行控制单元15根据上述的采集到的信息和命令，对执行单元4（控制阀、舵机和升降机）控制，从而控制无人飞行器的姿态。地面控制中心7通过数据链8和RS-232发送命令并接收飞控系统15的信息反馈。飞控系统单元15与摄像机控制单元13通过串口通信。摄像机控制单元13，根据图像处理单元11的信息反馈，结合类人眼复合运动的控制算法，通过发送PWM波控制机载云台转动，摄像机将获得的信息，传输到图像处理单元11。图像处理单元11采集到的信息,传输到摄像机控制单元,并与获得无人飞行器姿态信息进行融合,通过仿生算法进行运算控制机载云台的运动。另一方面图像处理单元11通过图像数据链9，最终发送到地面监视器11。无人飞行器为上海箭微机电技术有限公司研制的超小型旋翼飞行器，型号为SUAV-X160。图像处理单元11的图像数据采集卡为加拿大Matrox公司生产，数据处理采用美国德州仪器公司的DSP图像处理套件，型号为TMDX320026711。数据链8采用美国Maxstream生产的XStream XH9-019PKC-R,导航系统17磁罗盘采用德国生产E-compass-3磁罗盘和GPS采用中国台湾的RGM300。传感器系统16中速度计采用SK－W型空速计，陀螺采用ENC-03J角速率陀螺。飞行控制单元15和摄像机控制单元13采用美国德州仪器公司的DSPTMS320F2812，摄像机系统采用日本Cannon公司的集成电机和摄像机为一体的二维云台VC-C50iR，有方位和俯仰两个旋转方向；地面系统1中，地面控制中心7和地面检测中心11均采用笔记本电脑ThinkPad T61。

本控制方法的控制步骤为：

a.    首先通过控制飞行器姿机载云台的位置,使可疑目标处于摄像机图像的视轴位置;

b.    在机载系统2中将姿态传感器组16检测到无人飞行器的飞行姿态信号传送至摄像机飞行器的非空单元,并通过SPI传递到图像控制单元13处理；

c.    视觉传感器(摄像机)13检测到的跟踪目标信息传递图像处理单元11,经过采样量化等处理,获得目标期望位置与实际位置的偏差;

d.    根据姿态传感器系统16和图像处理单元的11的信息，通过摄像机控制单元13，进行信息融合,按照类人眼复合运动系统控制模型算法处理运算,其中包括数字滤波、标度转换和控制运算，运算后得到机载云台系统所需旋转角度、速度和方向。

e.    视频传感器系统（摄像机）12通过串口把采集的视频传送给图像处理单元11；

f.    图像处理单元11视频数据链传送到地面监视器10，供监控人员观察，监控人员如果发现跟踪可疑目标丢失，可以通过地面控制中心7以及数据传输链8向飞行控制单元15以及摄像机控制单元13发送命令，确定跟踪目标；

g.    地面控制中心7通过数据链接受飞行控制单元15的信息，同时也发送对飞行控制单元发送命令，数据链与飞行控制单元是通过RS-232连接；

h.    地面监控人员可以通过手柄控制RC触发器与RC接收器5通过模拟开关6对飞行控制单元15进行实时控制。

Claims (2)

1.一种机载云台运动目标自主跟踪系统的图像稳定方法，其特征在于将眼球的前庭动眼反射和平滑追踪运动融合一起,即为眼球的复合运动，并采用的基于这种类人眼的复合运动控制系统的数学模型对机载云台进行控制，以达到无人飞行器在恶劣环境下，仍能稳定平稳的实时跟踪运动目标；

其操作步骤如下： 

1)选定跟踪目标：监控人员通过控制小型无人飞行器与机载云台，选定所需跟踪的可疑目标；

2)传感器测量：姿态传感器测量小型无人飞行器的姿态位置，视觉传感器—摄像机通过图像采集卡获得跟踪目标信息； 

3)A/D转换：对传感器（姿态与图像）得到的连续模拟量通过A/D转换后得到数字量采样信号；

4)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

5)标度转换：分别对视觉传感器和姿态传感器进行相应的标定与转换；

6)信息融合：对采集到目标图像偏差信息与无人飞行器姿态信息以及机载云台姿态信息根据建立的眼球复合运动的输入关系，进行相应的运算处理，从而获得跟踪目标与摄像机视轴的相对偏差；

7)系统控制运算：获得的运动平台运动参数值通过处理器的控制算法，得到补偿偏差机载云台所需旋转的速度和方向；

8)控制云台转动：将得到的摄像机云台所需旋转的速度和方向，发送给机载云台的电机，控制摄像机的运动；

9)监控人工干预:地面工作站监控人员如果发现目标丢失,重复步骤1）到步骤9)循环，如果目标跟踪处于图像监控中，按正常的步骤。

2.根据权利要求1所述的机载云台运动目标自主跟踪系统的图像稳定方法，其特征在于所述步骤7）中的控制算法，所采用的算法模型如下： 

    其中模型的输出

是视轴转角，模型的输入

是头部运动转角， 

运动目标的位置；

、

、分别是神经回路对头部角速度信号、被跟踪目标的角位移和角速度的转换增益，取值范围0～1；

是半规管的时间常数， 

=16s；是眼球装置的时间常数，

=0.24s；

是积分器的时间常数， 

是神经直接通路的增益，在正常情况下，

=25s， 

=0.24；

表示滤波器的时间常数， 

=0.2s；是重复误差补偿间隔时间，根据传感器数据采集频率可进行调整，这里一般选用

=0.012s；

和

分别代表对视网膜滑动位移和速度误差重复补偿的权值，

=2.5，

=1。

Images