CN101729783A - 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法 - Google Patents

Abstract

本发明涉及一种基于类人眼眼球前庭动眼反射的双目视觉系统在颠簸环境中图像稳定的控制方法，其特征在于当摄像机所处的平台本身在颠簸环境中，该系统可以模拟人眼的眼球双目前庭动眼反射，从而补偿由于双摄像机平台颠簸带来的视觉误差。该方法主要通过传感器测量运动平台的运动参数后，摄像机控制单元对上述参数进行A/D转换、数字滤波、标度转换和控制运算后，得到摄像机云台电机补偿平台的移动所需要旋转的角度和方向。此控制信号通过串口驱动运动平台上摄像机云台的电机旋转。因此，采用本方法进行简单运算，就可以控制摄像机云台的电机以一定的速度按相应的方向旋转，消除装载有摄像机平台运动时由于本身旋转或者左右摆动带来的视觉误差。

Description

基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法

技术领域

本发明涉及一种基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法。

背景技术

在监测监控以及自主视觉追踪目标过程中，常常有机载PTZ(即Pan-Tilt-Zoom的缩写)摄像机，是处于颠簸环境中，这使监控或者跟踪的目标时常出现“跟丢”或者“脱靶”。为了使被跟踪的地面移动目标始终保持在图像中心位置，并将图像传回地面指挥中心，我们基于类人眼眼球前庭动眼反射建立一种基于类人眼球前庭动眼反射的双目视觉稳定系统。改系统可广泛用于军事侦察、武器投放、对地攻击、反恐防暴、交通监控、紧急情况服务援助、摄影测绘和勘察等领域，因此得到了世界上许多国家的极大关注，国内外很多大学、公司等研究机构，纷纷开展了这方面的研究工作。但是，双摄像机平台在颠簸环境中跟踪及监控目标过程中，由于双摄像机平台、机载PTZ摄像机和被跟踪及监控目标三者均在运动中，而且机载双摄像机运动平台的本身的振动对图像稳定性的影响也很大，使得现有针对从静止摄像机获得场景的目标识别和跟踪方法很难适用。而在跟踪及监控问题上，前期国内外研究的焦点主要还是集中在图像处理方面，摄像机自身运动只是运用图像处理方法如仿射变形算法等进行补偿，因而图像的稳定性不理想，被跟踪及监控目标容易逃出视野。

发明内容

本发明的目的是针对现有技术存在的问题和不足，提供一种基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法。根据两个摄像机所在的运动平台旋转角度与相对被测目标的左右平移摆动加速度，分别对运动平台上两个摄像机进行实时控制，使目标始终在两个摄像机的光柱中心，避免目标“跟丢”或者“脱靶”。

为达到上述目的，本发明的构思是：人眼之所以具有在运动时仍然可以跟踪注视运动中的物体而且图像清晰这样的视觉功能，是因为人眼眼球在其神经回路的控制下，可以实现急动性眼球运动、平滑性眼球运动、前庭动眼反射、视机性反射等运动形式。前庭动眼反射是前庭刺激引起的反射性眼球运动，也就是当头部位置突然改变时，产生与头转动方向相反的眼球运动，使眼的位置在头和身体的姿势改变时保持不变，以维持视网膜成像的稳定。图2所示的是根据解剖学和生理神经学建立的仿生眼眼球前庭动眼反射控制系统的数学模型，该模型已被生理学试验证实。图3是图1的简化图。运动平台上的两个摄像机，分别表示人的人的两个眼睛，通过仿生眼前庭动眼反射控制算法调节这两个摄像机，从而当双摄像机所处的运动平台发生颠簸运动时候，使目标始终在两个摄像机的光柱中心，避免目标“跟丢”或者“脱靶”。

根据上述构思，本发明采用以下述技术方案实现：

一种基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法。其特征在于基于人眼的前庭动眼反射控制模型，精确实现人类眼球的前庭反射反射，控制操作步骤如下：

1)传感器测量：测量摄机运动平台与被测目标位置参数的连续模拟量；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量采样信号；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值即运动平台的运动参数值，同时将步骤1)测量的结果计算转化为摄像机I和II光轴与被测目标的夹角(为了便于控制，设摄像机I和II与被测目标的夹角分别为正值和负值)；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需要旋转的速度和方向。

6)控制双摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的角度和速度，发送给摄像机云台电机，控制摄像机的运动。

上述的控制算法采用了人眼的视动反射的数学模型，如附图4和图5所示：图中C(s)表示眼球半规管的传递函数：

$C\left(s\right)=\frac{T_c}{s{T}_c+1}---\left(1\right)$

等式(1)中，T_c是半规管的时间常数，根据生理学试验，T_c＝16s。图中O(s)表示眼球半规管的传递函数：

$O\left(s\right)=\frac{1}{s{T}_o+1}---\left(2\right)$

等式(2)中T_o＝0.2s。图中眼球运动装置的传递函数P(s)为：

$P\left(s\right)=\frac{E\left(s\right)}{\mathrm{\ΔM}\left(s\right)}=\frac{1/k}{r/\mathrm{ks}+1}=\frac{K_e}{T_{e}s+1}---\left(3\right)$

其中K_e＝0.25deg/spikess^-1，T_e＝0.24s。图中N(s)不完全的神经积分器是类似于动眼装置的一个一阶低通滤波器：

$N\left(s\right)=\frac{T_v}{{\mathrm{sT}}_v+1}---\left(4\right)$

等式(4)中T_v＝25s。图3中的系统数学模型可表示为等式(5)和等式(6)：算法模型的输入量H(s)_ang是表示摄像机平台旋转的角度，

是表示双摄像机平台左右摆动的加速度，模型的输出量分别是E_l(s)和E_r(s)，E_l(s)是左边的摄像头输出，E_r(s)右边摄像头的输出。

$\left\{\right[H{\left(s\right)}_{\mathrm{ang}}{s}^2\mathrm{aC}\left(s\right)(\frac{T_v}{{\mathrm{sT}}_v+1}+n)({-\mathrm{\ρ}}_r-\mathrm{\ρ})+{\stackrel{\·\·}{H}}_{\mathrm{lin}}\left(s\right)\frac{1}{{\mathrm{sT}}_o+1}\mathrm{\β}(\frac{T_v}{{\mathrm{sT}}_v+1}+m)({-\mathrm{\ρ}}_r$

$-\mathrm{\ρ}\left]\right\}\frac{K_e}{T_{e}s+1}=E_r\left(s\right)---\left(5\right)$

$\left\{\right[H{\left(s\right)}_{\mathrm{ang}}{s}^2\mathrm{aC}\left(s\right)(\frac{T_v}{{\mathrm{sT}}_v+1}+n)({\mathrm{\ρ\ρ}}_r+\mathrm{\ρ})+{\stackrel{\·\·}{H}}_{\mathrm{lin}}\left(s\right)\frac{1}{{\mathrm{sT}}_o+1}\mathrm{\β}(\frac{T_v}{{\mathrm{sT}}_v+1}+m)({\mathrm{\ρ}}_r+\mathrm{\ρ})\left]\right\}\frac{K_e}{T_{e}s+1}$

$=E_r\left(s\right)---\left(6\right)$

其中α，β，β₁，β₂，α₁，α₂，α₃，g_m，g₁，m，n，分别代表眼球神经元间回路中相应常数增益，T_p代表眼球运动装置的时间常数，K_p代表眼球运动装置的增益，T_f代表反馈神经积分器的时间常数，K_f是代表反馈神经积分器的增益。为了简化建模，ρ_r＝g_lβ₂+g_ma₂+g_mβ₁a₃，ρ＝g_lβ₁+g_ma₁+g_mβ₂α₃。根据生理学试验数据，T_o＝0.2s，T_c＝16s，K_e＝0.25deg/spikess^-1，T_e＝0.24s，T_v＝25s ρ_r＝0.5，ρ＝1.5，a＝2，m＝0.01，n＝0.24，β＝1.2。

根据上述数学模型，编好单片机的程序，即可计算出所需的控制量，发送给摄像机云台的电机，控制摄像机的运动。

本发明与现有技术相比，具有如下显而易见的特点和优点：本发明设计的运动平台上双摄像机可以根据仿生眼眼球前庭动眼反射，当运动平台发生旋转与摆动的时候，像人类眼球一样，两摄像机自主实时地调节，从而使被使目标图像稳定，获得三维深度信息。单片机只要接受传感器数据将自动按照编好的程序进行简单运算，就可以控制摄像机云台的电机以一定的命令按相应的方向旋转，实时补偿平台自身的运动。

附图说明

图1利用本发明方法的控制操作流程图；

图2仿生眼前庭动眼反射控制系统图；

图3仿生眼前庭动眼反射控制系统简图；

图4实例的系统示意图；

图5实例的系统框图。

具体实施方式

本发明的一个优选实施例如下详述：

参见图1，本基于仿生眼前庭动眼反射原理的运动平台上双摄像机监控系统稳定图像的方法，基于人类眼球前庭动眼反射的原理，当装载有双摄像机的运动平台发生旋转或者左右平移摆动时，控制该双摄像机的角度和方向，使补偿由于震动带来的图像偏差，从而获得目标区域的三维深度信息。其控制操作步骤如下：

1)传感器测量：测量摄像机运动平台与被测目标位置参数；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值，即运动平台的运动参数值，同时将1)部测量的结果计算转化为两个摄像机的光轴与被测目标的夹角；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需旋转的速度和方向。

6)控制摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的速度和方向，发送给摄像机云台的电机，控制摄像机的运动。

参见图4和图5，本基于仿生眼前庭动眼反射的原理的运动平台上双摄像机监控系统补偿由于运动平台发生旋转或平移带来图像误差的方法，用于小型无人旋翼机的野外低空监控系统，系统包括地面控制系统1和机载控制系统2和小型无人旋翼机3。机载系统2包括飞行控制系统单元15和基于仿生眼的双摄像机控制系统13。飞控传感器系统(陀螺仪、高度计、速度计)16采集相应的信息，通过A/D输入到飞行控制系统。飞控导航系统(电子罗盘和GPS)通过RS-232与飞控系统提供导航信息。地面手动操作可以使用RC触发器5与RC接收器发送操作命令，通过模拟开关6将命令输入飞行控制单元15。飞行控制单元15根据上述的采集到的信息和命令，对执行单元4(控制阀、舵机和升降机)控制，从而控制无人旋翼机的姿态。地面控制中心7通过数据链8和RS-232发送命令并接收飞控系统15的信息反馈。飞控系统单元15与摄像机控制单元13通过串口通信。摄像机控制单元13，根据图像处理单元11的信息反馈，结合仿生眼前庭动眼反射的控制算法，通过发送PWM波控制摄像机I和II，摄像机将获得的信息，传输到图像处理单元11。图像处理单元11通过图像数据链9，最终发送到地面监视器11。无人飞行器为上海箭微机电技术有限公司研制的超小型旋翼飞行器，型号为SUAV-X160。图像处理单元11的图像数据采集卡为加拿大Matrox公司生产，数据处理采用美国德州仪器公司的DSP图像处理套件，型号为TMDX320026711。数据链8采用美国Maxstream生产的XStream XH9-019PKC-R，导航系统17磁罗盘采用德国生产E-compass-3磁罗盘和GPS采用中国台湾的RGM300。传感器系统16中速度计采用SK-W型空速计，陀螺采用ENC-03J角速率陀螺。飞行控制单元15和摄像机控制单元13采用美国德州仪器公司的DSPTMS320F2812，摄像机系统采用日本Cannon公司的集成电机和摄像机为一体的二维云台VC-C50iR，有方位和俯仰两个旋转方向；地面系统1中，地面控制中心7和地面检测中心11均采用笔记本电脑ThinkPad T61。

本控制方法的控制步骤为：

a.在机载系统2中将传感器组16感知无人飞行器的飞行速度信号传送至摄像机图像13处理；

b.根据传感器系统16和图像处理单元的11的信息，双摄像机控制单元13，对摄像机云台电机进行控制，其中包括数字滤波、标度转换和控制运算，运算后得到摄像机云台系统12的摄像机I云台电机和摄像机II云台电机旋转角度和方向。

c.摄像机系统12通过串口把采集的视频传送给图像处理单元11；

d.图像处理单元11视频数据链传送到地面监视器10，供有关人员观察；

e.地面控制中心7通过数据链接受飞行控制单元15的信息，同时也发送对飞行控制单元发送命令，数据链与飞行控制单元是通过RS-232连接；

f.地面监控人员可以通过手柄控制RC触发器与RC接收器5通过模拟开关6对飞行控制单元15进行实时控制。

本控制方法用于上述系统中的控制，效果良好，当小型无人旋翼机野外监控时，补偿由于运动平台发生旋转或平移带来图像误差。

Claims (2)

1.一种基于类人眼眼球前庭动眼反射的双目视觉系统在颠簸环境中图像稳定的控制方法，其特征在于采用的双目视觉系统当摄像机所处的平台本身在颠簸环境中，该系统可以模拟人眼的眼球双目前庭动眼反射，从而补偿由于双摄像机平台颠簸带来的视觉误差，控制操作步骤如下：

1)传感器测量：摄像机运动平台与被测目标位置参数的连续模拟量；

2)A/D转换：对传感器得到的连续模拟量通过A/D转换后得到数字量采样信号；

3)数字滤波：对采样信号进行平滑加工，增强有效信号，消除或减少噪声；

4)标度转换：进行传感器的标定，得到与传感器输出值相对应的输入值，即运动平台的运动参数值，同时将步骤1)测量的结果计算转化为两个摄像机的光轴与被测目标的夹角；

5)系统控制运算：获得的运动平台运动参数值通过单片机的控制算法，得到摄像机云台补偿载体快速运动所需旋转的速度和方向；

6)控制摄像机运动：将得到的摄像机云台补偿载体快速运动所需旋转的速度和方向，发送给摄像机云台的电机，控制摄像机的运动。

2.根据权利要求1所述的双目前庭动眼反射运动模型的控制方法，其特征在于所述步骤5)中的控制算法，所采用的算法模型如下：算法模型的输入量H(s)_ang是表示摄像机平台旋转的角度，是表示双摄像机平台左右摆动的加速度，模型的输出量分别是E_l(s)和E_r(s)，E_l(s)是左边的摄像头输出，E_r(s)右边摄像头的输出；

$\left\{\right[H{\left(s\right)}_{\mathrm{ang}}{s}^2\mathrm{\αC}\left(s\right)(\frac{T_v}{s{T}_v+1}+n)(-{\mathrm{\ρ}}_{\mathrm{\γ}}-\mathrm{\ρ})]+{\stackrel{\·\·}{H}}_{\mathrm{lin}}\left(s\right)\frac{1}{s{T}_o+1}\mathrm{\β}(\frac{T_v}{s{T}_v+1}+m)(-{\mathrm{\ρ}}_{\mathrm{\γ}}$

$-\mathrm{\ρ}\left]\right\}\frac{K_e}{T_{e}s+1}=E_r\left(s\right)$

$\left\{\right[H{\left(s\right)}_{\mathrm{ang}}{s}^2\mathrm{\αC}\left(s\right)(\frac{T_v}{s{T}_v+1}+n)({\mathrm{\ρ}}_{\mathrm{\γ}}-\mathrm{\ρ})]+{\stackrel{\·\·}{H}}_{\mathrm{lin}}\left(s\right)\frac{1}{s{T}_o+1}\mathrm{\β}(\frac{T_v}{s{T}_v+1}+m)({\mathrm{\ρ}}_{\mathrm{\γ}}+\mathrm{\ρ})]\}\frac{K_e}{T_{e}s+1}$

$=E_r\left(s\right)$

其中α，β，β₁，β₂，α₁，α₂，α₃，g_m，g_l，m，n，分别代表眼球神经元间回路中相应常数增益，α，代表半规管与前庭神经核间的增益，β代表耳石器管与前庭神经核间的增益，β₁代表外展神经核与前庭神经核间常数增益，β₂表示对侧前庭器官与外展神经核间增益，α₁代表外展神经核与动眼神经核间常数增益，α₂代表外展神经核与对侧动眼核间常数增益，α₃外展核与对侧动眼核的常数增益，g_m表示内直肌的常数增益，g_l外直肌的常数增益，m代表平移前庭动眼反射在神经积分器中的增益，n代表旋转前庭动眼反射在神经积分器中的增益。T_p代表眼球运动装置的时间常数，K_p代表眼球运动装置的增益，T_f代表反馈神经积分器的时间常数，K_f是代表反馈神经积分器的增益。为了简化建模，ρ_r＝g_lβ₂+g_ma₂+g_mβ₁a₃，ρ＝g_lβ₁+g_ma₁+g_mβ₂a₃。根据生理学试验数据，T_o＝0.2s，T_c＝16s，K_e＝0.25deg/spikess^-1，T_e＝0.24s，T_v＝25s ρ_r＝0.5，ρ＝1.5，a＝2，m＝0.01，n＝0.24，β＝1.2。

Images