CN101567970A - 基于反馈神经积分器的类人眼异向运动控制方法 - Google Patents

Abstract

本发明涉及一种基于仿生眼异向运动原理的运动平台上双摄像机监控方法减小盲区的方法。该方法是基于人类眼球异向运动的原理，当装载有摄像机的运动平台与目标区域产生相对位置变化时，该方法可以分别自主控制调节这两个摄像机的角度和方向，使目标区域始终处于两个摄像机的公共视场，从而获得目标区域的三维深度信息。该方法主要通过传感器测量运动平台的运动参数后，摄像机控制单元对上述参数进行A/D转换、数字滤波、标度转换和控制运算后，得到摄像机云台电机补偿平台的移动所需要旋转的角度和方向。此控制信号通过串口驱动运动平台上摄像机云台的电机旋转。因此，采用本方法进行简单运算，就可以控制摄像机云台的电机以一定的速度按相应的方向旋转，消除装载有摄像机平台运动时带来的盲区。

Description

基于反馈神经积分器的类人眼异向运动控制方法

技术领域

本发明涉及一种基于反馈神经积分器的类人眼异向运动控制系统。

背景技术

在监测监控，视觉测距定位等系统中，需要获得实时准确的三维深度信息，众所周知，为了准确实时的获得三维深度信息，需要保证被测目标始终处于两个摄像机的公共视场当中，然而，对于一些需要将摄像机安装到运动平台的情况，传统的双摄像头监控测距系统存在盲区，不能使目标区域始终在公共视场内，如图2所示。现有的对于两个摄像机处于移动平台上的测距系统一般是图像处理的方法，来获得深度信息，这种方法也称为帧内稳像，用维纳滤波或逆滤波等方法复原线运动形成的模糊图像，但这种方法所能复原的程度是极其有限的，处理速度很慢，无法满足实时性的要求。

发明内容

本发明的目的是针对现有技术存在的问题和不足，提供一种基于反馈神经积分器的类人眼异向运动控制方法，根据两个摄像机所在的移动平台与被测目标的位置变化，分别对运动平台上两个摄像机进行实时控制，消除盲区，使被测目标的区域始终处于这两个摄像头的公共视场当中，从而获得实时准确的三维深度信息。图3是我们发明的这种方法的效果示意图。

为达到上述目的，本发明的构思是：人眼的异向运动是人眼同时注视空间内不同距离目标时，双眼同时、等量、等速度地向相反方向运动，使被注视的目标处于两眼的公共视场当中。图4所示的是根据解剖学和生理神经学建立的仿生眼双目异向运动控制系统的数学模型，该模型已被生理学试验证实。图5是图4的简化图。运动平台上的两个摄像机，分别表示人的人的两个眼睛，通过仿生眼异向运动的控制算法调节这两个摄像机，从而使被测目标的区域处于两个摄像机的公共视场当中。

根据上述构思，本发明采用以下述技术方案实现：

一种基于反馈神经积分器的类人眼异向运动控制方法，其特征在于基于反馈神经积分器，精确实现人类眼球的异向运动，控制操作步骤如下：

1)传感器测量：测量摄机运动平台与被测目标位置参数的连续模拟量；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量采样信号；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值即运动平台的运动参数值，同时将步骤1)测量的结果计算转化为摄像机I和II光轴与被测目标的夹角(为了便于控制，设摄像机I和II与被测目标的夹角分别为正值和负值)；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需要旋转的速度和方向。

6)控制双摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的角度和速度，发送给摄像机云台电机，控制摄像机的运动。

上述的控制算法采用了人眼的视动反射的数学模型，如附图4和图5所示：

图中，模型的输入量T_l(s)和T_r(s)分别是被测目标与摄像机I和II的光轴的位置夹角，模型的输出量E_l(s)和E_r(s)。

图中眼球运动装置的传递函数P(s)为：

$P\left(s\right)=\frac{K_p}{T_{p}s+1}---\left(1\right)$

T_p代表眼球运动装置的时间常数，T_p＝0.28s；K_p代表眼球运动装置的增益，K_p＝1。

图中反馈神经积分器中的传递函数F(s)为：

$F\left(s\right)=\frac{K_f}{T_{f}s+1}---\left(2\right)$

T_f代表眼球运动装置的时间常数，T_f＝0.28s，K_f代表神经积分器的增益K_f＝1。

图5中的系统数学模型可表示为等式(3)和等式(4)：

$E_l\left(s\right)=\frac{[T_l\left(s\right)-E_l\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\γ}-\mathrm{\σ\μ})+\mathrm{\κ\ρ\δ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\λ}-\mathrm{\υ\σ})]+T_f{\mathrm{\κ\ρ\δs}}^2\}}{T_f{T}_p{s}^2+[(1+{\mathrm{\κ\ηK}}_f)T_p+T_p]s+1+\mathrm{\κ\η}{K}_f}{K}_p---\left(3\right)$

$+\frac{[T_r\left(s\right)-E_r\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\μ}-\mathrm{\σ\γ})-\mathrm{\κ\δ\σ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\υ}-\mathrm{\λ\σ})-T_f{\mathrm{\κ\δ\σs}}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_p]s+1+\mathrm{\κ\η}{K}_f}{K}_p$

$E_r\left(s\right)=\frac{[T_r\left(s\right)-E_r\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\γ}-\mathrm{\σ\μ})+\mathrm{\κ\ρ\δ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\λ}-\mathrm{\υ\σ})]+T_f{\mathrm{\κ\ρ\δs}}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_f]s+1+\mathrm{\κ\η}{K}_f}{K}_p---\left(4\right)$

$+\frac{[T_l\left(s\right)-E_l\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\μ}-\mathrm{\σ\γ})-\mathrm{\κ\δ\σ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\υ}-\mathrm{\λ\σ})-T_f\mathrm{\κ\δ\σ}{s}^2\}}{T_f{T}_p{s}^2+[(1+{\mathrm{\κ\ηK}}_f)T_p+T_f]s+1+\mathrm{\κ\η}{K}_f}{K}_p$ 其中γ，μ，ν，λ，κ，η，σ，g_l，g_m，β₁，β₂，γ₁，γ₂，γ₃，代表眼球神经回路中相应常数增益，T_p代表眼球运动装置的时间常数，T_f代表反馈神经积分器的时间常数。为了简化建模，ρ＝g_lβ₁+g_mγ₁+g_mβ₂γ₃，ρ_r＝g_lβ₁+g_mγ₂+g_mβ₁γ₃。根据生理学试验数据γ＝0.3，μ＝0.25，ρ＝7.5，σ＝5，ν＝1，λ＝8，κ＝0.1，η＝5，δ＝0.25。

根据上述数学模型，编好单片机的程序，即可计算出所需的控制量，发送给摄像机云台的电机，控制摄像机的运动。

本发明与现有技术相比，具有如下显而易见的特点和优点：本发明设计的运动平台上双摄像机可以根据仿生眼异向运动原理，根据目标的位置移动，像人类眼球一样，两摄像机自主实时地调节，从而使被测目区域处于两摄像机的公共视场当中，获得三维深度信息。单片机只要接受传感器数据将自动按照编好的程序进行简单运算，就可以控制摄像机云台的电机以一定的命令按相应的方向旋转，实时补偿平台自身的运动，消除盲区现象。

附图说明

图1利用本发明方法的控制操作流程图；

图2传统双摄像机获得深度信息的示意图；

图3基于异向运动原理的双摄像机获得深度信息的示意图；

图4基于反馈神经积分器的仿生眼异向运动控制系统图；

图5仿生眼异向运动控制系统简图；

图6实例的系统示意图；

图7实例的系统框图。

具体实施方式

本发明的一个优选实施例如下详述：参见图5，本基于仿生眼异向运动原理的运动平台上双摄像机监控系统减小盲区的方法，基于人类眼球异向运动的原理，当装载有双摄像机的运动平台与目标区域产生位置变化时，控制该双摄像机的角度和方向，使目标区域始终处于两个摄像机的公共视场，从而获得目标区域的三维深度信息。其控制操作步骤如下：

1)传感器测量：测量摄像机运动平台与被测目标位置参数；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值，即运动平台的运动参数值，同时将1)部测量的结果计算转化为两个摄像机的光轴与被测目标的夹角；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需旋转的速度和方向。

6)控制摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的速度和方向，发送给摄像机云台的电机，控制摄像机的运动。

参见图6和图7，本基于仿生眼异向运动原理的运动平台上双摄像机监控系统减小盲区的方法，用于小型无人旋翼机的野外定点着陆系统，系统包括地面控制系统1和机载控制系统2和小型无人旋翼机3。机载系统2包括飞行控制系统单元15和基于仿生眼的双摄像机控制系统13。飞控传感器系统(陀螺仪、高度计、速度计)16采集相应的信息，通过A/D输入到飞行控制系统。飞控导航系统(电子罗盘和GPS)通过RS-232与飞控系统提供导航信息。地面手动操作可以使用RC触发器5与RC接收器发送操作命令，通过模拟开关6将命令输入飞行控制单元15。飞行控制单元15根据上述的采集到的信息和命令，对执行单元4(控制阀、舵机和升降机)控制，从而控制无人旋翼机的姿态。地面控制中心7通过数据链8和RS-232发送命令并接收飞控系统15的信息反馈。飞控系统单元15与摄像机控制单元13通过串口通信。摄像机控制单元13，根据图像处理单元11的信息反馈，结合仿生眼异向运动的控制算法，通过发送PWM波控制摄像机I和II，摄像机将获得的信息，传输到图像处理单元11。图像处理单元11通过图像数据链9，最终发送到地面监视器11。无人飞行器为上海箭微机电技术有限公司研制的超小型旋翼飞行器，型号为SUAV-X160。图像处理单元11的图像数据采集卡为加拿大Matrox公司生产，数据处理采用美国德州仪器公司的DSP图像处理套件，型号为TMDX320026711。数据链8采用美国Maxstream生产的XStream XH9-019PKC-R，导航系统17磁罗盘采用德国生产E-compass-3磁罗盘和GPS采用中国台湾的RGM300。传感器系统16中速度计采用SK-W型空速计，陀螺采用ENC-03J角速率陀螺。飞行控制单元15和摄像机控制单元13采用美国德州仪器公司的DSPTMS320F2812，摄像机系统采用日本Cannon公司的集成电机和摄像机为一体的二维云台VC-C50iR，有方位和俯仰两个旋转方向；地面系统1中，地面控制中心7和地面检测中心11均采用笔记本电脑ThinkPad T61。

本控制方法的控制步骤为：

a.在机载系统2中将传感器组16感知无人飞行器的飞行速度信号传送至摄像机图像13处理；

b.根据传感器系统16和图像处理单元的11的信息，双摄像机控制单元13，对摄像机云台电机进行控制，其中包括数字滤波、标度转换和控制运算，运算后得到摄像机云台系统12的摄像机I云台电机和摄像机II云台电机旋转角度和方向。

c.摄像机系统12通过串口把采集的视频传送给图像处理单元11；

d.图像处理单元11视频数据链传送到地面监视器10，供有关人员观察；

e.地面控制中心7通过数据链接受飞行控制单元15的信息，同时也发送对飞行控制单元发送命令，数据链与飞行控制单元是通过RS-232连接；

f.地面监控人员可以通过手柄控制RC触发器与RC接收器5通过模拟开关6对飞行控制单元15进行实时控制。

本控制方法用于上述系统中的控制，效果良好，当小型无人旋翼机野外定点着陆时后，可以清晰的获得定位点区域的信息，甚至可以达到着陆的零盲区，从而减少损失。

Claims (2)

1、一种基于反馈神经积分器的类人眼异向运动控制方法，其特征在于基于反馈神经积分器，精确实现人类眼球的异向运动，控制操作步骤如下：

1)传感器测量：测量摄像机运动平台与被测目标位置参数的连续模拟量；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量采样信号；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值，即运动平台的运动参数值，同时将步骤1)测量的结果计算转化为两个摄像机的光轴与被测目标的夹角；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需旋转的速度和方向；

6)控制摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的速度和方向，发送给摄像机云台的电机，控制摄像机的运动。

2、根据权利要求1所述的反馈神经积分器的人眼异向运动控制方法，其特征在于所述步骤5)中的控制算法，所采用的算法模型如下：算法模型的输入量T_l(s)和T_r(s)分别是被测目标与摄像机I和II的光轴的位置夹角，模型的输出量分别是E_l(s)和E_r(s)。

$E_l\left(s\right)=\frac{[T_l\left(s\right)-E_l\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\γ}-\mathrm{\σ\μ})+\mathrm{\κ\ρ\δ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\λ}-\mathrm{\υ\σ})]+T_f\mathrm{\κ\ρ\δ}{s}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_p]s+1+\mathrm{\κ\η}{K}_f}{K}_p$

$+\frac{[T_r\left(s\right)-E_r\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\μ}-\mathrm{\σ\γ})-\mathrm{\κ\δ\σ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\υ}-\mathrm{\λ\σ})-T_f\mathrm{\κ\δ\σ}{s}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_p]s+1+\mathrm{\κ\η}{K}_f}{K}_p$

$E_r\left(s\right)=\frac{[T_r\left(s\right)-E_r\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\γ}-\mathrm{\σ\μ})+\mathrm{\κ\ρ\δ}]+s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\λ}-\mathrm{\υ\σ})]+T_f\mathrm{\κ\ρ\δ}{s}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_f]s+1+\mathrm{\κ\η}{K}_f}{K}_p$

$+\frac{[T_l\left(s\right)-E_l\left(s\right)]\left\{\right[\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\μ}-\mathrm{\σ\γ})-\mathrm{\κ\δ\σ}]s+\mathrm{\κ}{K}_f\mathrm{\η}(\mathrm{\ρ\υ}-\mathrm{\λ\σ})-T_f\mathrm{\κ\δ\σ}{s}^2\}}{T_f{T}_p{s}^2+[(1+\mathrm{\κ\η}{K}_f)T_p+T_f]s+1+\mathrm{\κ\η}{K}_f}{K}_p$

其中γ，μ，ν，λ，κ，η，σ，g_l，g_m，β₁，β₂，γ₁，γ₂，γ₃，分别代表眼球神经元间回路中相应常数增益，T_p代表眼球运动装置的时间常数，K_p代表眼球运动装置的增益，T_f代表反馈神经积分器的时间常数，K_f是代表反馈神经积分器的增益；为了简化建模，ρ＝g_lβ₁+g_mγ₁+g_mβ₂γ₃，ρ_r＝g_lβ₁+g_mγ₂+g_mβ₁γ₃；

根据生理学试验数据γ＝0.3，μ＝0.25，ρ＝7.5，σ＝5，ν＝1，λ＝8，κ＝0.1，η＝5，δ＝0.25.T_f＝0.28s，K_f＝1，T_p＝0.28s，K_p＝1。

Images