CN1219397C - 仿生型自动视觉和视线控制系统及方法 - Google Patents

Abstract

本发明公开了一种仿生型自动视觉及视线控制系统及方法，它包括两个摄像机组(10)，每个摄像机组由一台广角机和一台望远机并排设置组成，每台广角机或望远机由两台或三台电动机带动，可作两个或三个自由度的转动。这种系统能进行快速目标定位、高精度视线跟踪和具有大范围补偿因自身运动所引起的视线偏离的能力。特别是该系统可以确保两个摄像机组同时定位和跟踪同一目标。该系统不仅可用于各种固定场所的监视、防卫及看护，也适用于安装在各种运动体上，如车辆、飞机、轮船及军事设备上等，还可用于制作各种机器人的眼睛。

Description

仿生型自动视觉和视线控制系统及方法

技术领域

本发明涉及一种仿生型自动视觉和视线控制系统及方法，是和人的双眼的功能相似的，可以进行目标定位、视线跟踪、和补偿因自身运动所引起的视线偏离，特别是本系统可以确保同时定位和跟踪同一目标，易于精确测量目标的位置和距离。

背景技术

现有技术的自动监视系统的目标定位方法，一般是采用视觉反馈控制一种方法，使目标定位的速度受到一定限制，特别是自身运动时的快速定位和高精确度的跟踪难以解决。又因为定位和跟踪用的是同一台摄像机，所以视线的跟踪控制不可能有高的精度。补偿摄像机自身运动的方法只是通过图像处理进行微小移动的调节，类似于应用摄像机的防手颤动的处理，因此可补偿的范围较小。特别是当使用两台以上摄像机时，各摄像机之间是相对固定的，或是各自单独控制的，无法确保每台摄像机定位或跟踪同一目标。

发明内容

本发明所要解决的技术问题是提供一种仿生型的自动视觉和视线控制系统及方法，其利用了人的双眼的神经系统的控制原理，能快速进行目标定位、高精度地进行视线跟踪，大范围地补偿因自身运动所引起的视线偏离，能确保两个摄像机给定位和跟踪同一个目标。

本发明通过下述技术方案予以实现：

本发明的仿生型自动视觉和视线控制系统的基本结构为由中央处理器控制的双眼结构，每只眼为一个摄像机组，所述摄像机组由两台摄像机头并排设置而成。一台是装有广角镜头的摄像机头(以下简称“广角机”)，相当于人的视网膜上没有中心窝的眼睛，另一台是装有望远镜头的摄像机头(以下简称“望远机”)，相当于人眼视网膜的中心窝。每只眼睛由至少两台电动机带动，可作至少两个自由度的旋转。

所述自动视觉和视线控制系统包括中央处理器、摄像机组、电动机、转角及平移传感器，所述摄像机组至少包括两台并排设置的摄像机，所述摄像机一台为广角机，另一台为望远机，所述的摄像机组分别由至少两台电动机带动，可作至少两个自由度方向的旋转；所述的摄像机将物体信号传递给中央处理器，中央处理器通过图像处理算出对象物体相对于各摄像机的速度和位置(对象物体相对于摄像机光轴的误差)；所述的转角传感器安装于各电动机上，可测量电动机的转角信号并输入给中央处理器；所述的中央处理器根据所述速度、位置、电动机的现在转角得出每个电动机的目标转角，以控制电动机运动从而带动各摄像机快速定位并跟踪运动的对象物体。

进一步地，本发明还提供一种用于控制上述仿生型自动视觉和视线控制系统的方法，其包括如下步骤：当广角机的视野里出现“感兴趣”的物体时，中央处理器通过图像处理换算出物体的方向，控制电动机，从而带动摄像机组迅速转动(对应人眼的“急动性眼球运动”)，把视线对准该物体，使该物体成为广角机视野的中心。所述的“感兴趣”的物体可根据客户要求而定，如视野中运动速度最快的物体、特定颜色的物体、特定形状的物体、通过键盘或荧屏等外部接口指定的物体等等。把广角机和望远机并排贴近设置，当物体成为广角机视野中心时，该物体也就自然地进入了望远机视野，从而，通过望远机便得到了清晰图像。然后在望远机视野中找到特征点并使视线(视野中心)对准该点(称“注视”)。中央处理器根据望远机输入的图像信号，通过图像处理算出对象物体相对于各摄像机的速度和误差；所述传感器测量电动机的加速度和角加速度信号并输入给中央处理器；所述的中央处理器根据所述速度、误差、加速度和角加速度数据得出各摄像机组对应的电动机的转角，以控制电动机运动从而带动各摄像机跟踪运动的对象物体，从而使得当该物体运动时，视线便自动跟踪该物体；(对应人眼的“平滑性眼球运动”)。当广角镜中出现了多个“感兴趣”的物体时，按上述步骤逐个定位、跟踪物体。

另外，当需要把该系统装到运动体上时，可在头部(相对固定于两眼旋转中心的基盘)装上一对3自由度的转角加速度传感器和一对3自由度的平移加速度传感器，测出头部的运动信号，该信号直接被用于眼球的前馈运动控制，使得该视觉系统具备了补偿由自身运动引起的视线偏离的能力(对应于人眼的“前庭动眼反射”)。具体说是：在所述的摄像机组的旋转中心设有一个基盘，所述的基盘由至少1个电动机带动，可作至少1个自由度的旋转，所述基盘的两侧装有可以测量基盘旋转运动及平移运动的转角及平移加速度传感器，所述的转角及平移加速度传感器将上述测量信号传送给中央处理器，以补偿基盘的振动或移动。

1.广角机采用“急动性反射控制曲线”来进行前馈控制，因而可达到伺服电机所可能达到的最快速度的定位；先快速定位然后跟踪，快速定位的信号来自于广角机，跟踪的信号来自于望远机。2.再通过加速度信号的前馈控制，调节摄像机位置，来补偿“头部”的运动。3.利用视觉反馈控制。使系统补偿自身运动引起视偏移的范围大，定位速度快、精度高。确保两眼(两个摄像机组)紧紧地盯住同一目标。

采用以上技术方案，本自动视觉和视线控制系统用于监视系统时，能自动对在场者依次进行高清晰度的拍摄，实时记录每个在场者的行踪，自动发出各种级别的警报，并且能补偿自身振动。该系统可用于各种固定场所的室内外监视、或进行近距离的低空监视，作为雷达的补充。该系统还可用于各种运动装置及设备上，如汽车、火车、飞机、轮船及军事装备。使得对被视线跟踪的人或物进行快速和高精度的打击变得很容易实现，这个控制原理，还适用于制作各种机器人的眼睛。

附图说明

图1是两眼视线运动控制系统的构成；

图2是两眼视线运动系统的坐标系；

图3是两眼左右运动控制系统方框图；

图4是两眼上下运动控制系统方框图。

具体实施方式：

两眼视线运动控制系统如图1所示，每只眼睛由两台摄像机组成，一台装有广角镜头，另一台装有望远镜头，两摄像机头平行放置，越近越好。该视觉装置的运动系统共有5个自由度，每只眼睛(摄像机)分别由两台电动机带动，有2个自由度(必要时可增加一台电动机，达到3个自由度，该第3个自由度为绕视轴旋转的自由度)，头颈部(基盘)由1台电动机带动，可进行1个自由度的旋转，(根据需要，该头颈部可增至由3个电动机带动，进行3个自由度的旋转)。

基盘19相对固定于两个摄像机组10的旋转中心。电动机控制回路为：由中央处理器18发出数字信号输入到D/A变换器15，在D/A变换器15进行数模转换后，将模拟信号输入到电动机驱动器13，由电动机驱动器13驱动电动机20、1、2、3、4，而相应的设置于电动机上的转角传感器分别将电动机20、1、2、3、4的转角信号输入计数器，再由计数器回传给中央处理器18。

各摄像机10的图像经图像及声音处理卡17送入中央处理器18，通过图像处理，算出对象物体相对于各个摄像机组10的速度和误差。

转角及平移加速度传感器11测出头部转动及平移运动产生的信号，通过A/D变换卡输入到中央处理器18。

头部两侧麦克风12的声音经图像及声音处理卡17送入中央处理器18。系统的坐标如图2所示，其中xA-l-yA-l-zA-l和xA-r-yA-r-zA-r为固定于左右加速度传感器的坐标；xE-l-yE-l-zE-l和xE-r-yE-r-zE-r为固定于左右眼球的坐标；xO-l-yO-1-zO-l和xO-r-yO-r-zO-r为固定于左右眼窝的坐标，即原点与固定于左右眼球的坐标相同，但相对与头部固定。θ₁，θ₂表示电动机1，2，的转角，即坐标xE-l-yE-l-zE-l和xE-r-yE-r-zE-r分别围绕zO-l和zO-r的旋转角。θ₃，θ₄表示电动机3，4的转角，即坐标xE-l-yE-1-zE-l和xE-r-yE-r-zE-r分别围绕yO-l和yO-r的旋转角。₁，₂表示目标围绕左右眼窝固定坐标的zO-l和zO-r轴的转角；₃，₄表示目标围绕左右眼窝固定坐标的yO-l和yO-r轴的转角。图中的坐标均为左右对称，即电动机1、2和电动机3、4的旋转方向相反。

两眼的左右运动控制系统方框图如图3所示，_t-l，_t-r表示通过左右眼的望远机测出的目标与视线的横向误差，_w-l，_w-r表示通过左右眼的广角机测出的目标与视线的横向误差。_t-l，_t-r和_w-l，_w-r都对应于₁-θ₁，₂-θ₂只是所用摄像机不同(见图2)。

和

分别为左右加速度传感器测出的加速度和角加速度(见图2)。图3中除广角机测出的_w-l，_w-r的信号回路以外的控制系统的传递函数可表示如下：

${\mathrm{\θ}}_1\left(s\right)+{\mathrm{\θ}}_2\left(s\right)=\frac{T_{\mathrm{vm}}(\mathrm{\ρ}-{\mathrm{\ρ}}_r)}{1+T_{\mathrm{vm}}(\mathrm{\ρ}-{\mathrm{\ρ}}_r)(\mathrm{\σ}-{\mathrm{\σ}}_r)+T_{\mathrm{vm}}(1+(\mathrm{\ρ}-{\mathrm{\ρ}}_r)(\mathrm{\η}-{\mathrm{\η}}_r))s}$

$x[-({\mathrm{\κ}}_x-{\mathrm{\κ}}_{\mathrm{xr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{x}}_{A-l}\left(s\right)+{\stackrel{\·\·}{x}}_{A-r}\left(x\right))-({\mathrm{\κ}}_y-{\mathrm{\κ}}_{\mathrm{yr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{y}}_{A-l}\left(s\right)+{\stackrel{\·\·}{y}}_{A-r}\left(s\right))$

                                    ..........................(1)

${\mathrm{\θ}}_1\left(s\right)-{\mathrm{\θ}}_2\left(s\right)=\frac{T_{\mathrm{vm}}(\mathrm{\ρ}+{\mathrm{\ρ}}_r)}{1+T_{\mathrm{vm}}(\mathrm{\ρ}+{\mathrm{\ρ}}_r)(\mathrm{\σ}+{\mathrm{\σ}}_r)+T_{\mathrm{vm}}(1+(\mathrm{\ρ}+{\mathrm{\ρ}}_r)(\mathrm{\η}+{\mathrm{\η}}_r))s}$

$x[-({\mathrm{\κ}}_x+{\mathrm{\κ}}_{\mathrm{xr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{x}}_{v-l}\left(s\right)-{\stackrel{\·\·}{x}}_{v-r}\left(s\right))-({\mathrm{\κ}}_y+{\mathrm{\κ}}_{\mathrm{yr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{y}}_{v-l}\left(s\right)-{\stackrel{\·\·}{y}}_{v-r}\left(s\right))$

                                    ..........................(2)

其中，T_vm，T_v，T_s为时间定数，ρ，ρ_r，σ，σ_r，η，η_r，κ_x，κ_xr，κ_y，κ_yr，κ_，κ_r等全是正参数。

表示通过左右眼的望远机测出的目标相对与视线的速度。式(1)为转眼运动(vergence)的方程式，式(2)为共轭运动(conjugate)的方程式，通过式(1)+式(2)和式(1)-式(2)可得出每个电动机的转角。从式(1)，式(2)可以看出，共轭运动的应答速度(和时间常数T_vm[1+(ρ-ρ_r)(η-η_r)]/[1+T_vm(ρ-ρ_r)(σ-σ_r)]的倒数成正比)大于转眼运动的应答速度(和时间常数T_vm[1+(ρ+ρ_r)(η+η_r)]/[1+T_vm(ρ+ρ_r)(σ+σ_r)]的倒数成正比)。这项特性是确保两眼同时注视同一目标的关键。

广角机测出的信号_w-l，_w-r用来选择最佳“急动性反射”控制曲线，再由此曲线控制电机快速旋转，达到冲动性眼球运动的效果。当进行“急动性反射”控制时，望远机来的控制信号要切除。

“急动性反射”控制曲线的生成是根据线性傅立叶级数得到。设，把视线从现在位置转向目标位置需要时间T，则控制曲线f(t)可近似由m条周期为T，T/2，T/3，…T/m的正弦和余弦曲线组和而成。即，

$f\left(t\right)=\frac{a_0}{2}+\underset{n=1}{\overset{m}{\mathrm{\Σ}}}(a_n\cos \frac{2\mathrm{n\π}}{T}t+b_n\sin \frac{2\mathrm{n\π}}{T}t)$

其中，a0，an，bn利用反复学习式傅立叶反变换法把控制误差进行反变换求得。

即，

$a_n[i+1]=a_n\left[i\right]+k_a\frac{4}{T}{\∫}_0^T(R\left(t\right)-\mathrm{\θ}\left(t\right)_i)\cos \frac{2\mathrm{n\π}}{T}\mathrm{tdt}---(n=\mathrm{0,1,2},3\·\·\·m)$

$b_n[i+1]=b_n\left[i\right]+k_b\frac{4}{T}{\∫}_0^T(R\left(t\right)-\mathrm{\θ}\left(t\right)_i)\sin \frac{2\mathrm{n\π}}{T}\mathrm{tdt}---(n=\mathrm{0,1,2},3\·\·\·m)$

其中i是学习次数，R(t)是由广角机测出的误差换算出的电动机的最佳轨迹，i(t)是第i次学习时的电动机的转角。电动机1，2用同样方法同时进行学习。这样，每条曲线只需要2m(一般，m＜10)个参数即可实现和保存。因每只“眼”有数十万条“急动性反射”控制曲线，这种方法可节省大量存储器容量，便于快速调出。

两眼的上下运动控制系统方框图如图4所示，ψ_t-l，ψ_t-r表示通过左右眼的望远机测出的目标与视线的纵向误差，ψ_w-l，ψ_w-r表示通过左右眼的广角机测出的目标与视线的纵向误差。

和

分别为左右加速度传感器测出的加速度和角加速度(见图2)。图4和图3的控制原理完全相同。只是上下运动时的转眼运动在生理学领域里尚未发现，因此，设ρ＝ρ_r即控制时θ₃将与θ₄相同。

两眼左右运动方框图图3和两眼上下运动方框图图4，图中

和 和

和

和 分别为左右加速度传感器测出的平移加速度和转角加速度信号(二种传感器统称为转角及平移加速度传感器11)。这对加速度传感器测出的头部运动信号，直接被用于眼球的前馈运动控制，相当于前庭动眼反射，使该视觉系统具备补偿自身振动的能力。该控制系统不直接使用平移加速度和旋转加速度信号，而是把这些信号漏积分处理(T/(Ts+1))后使用。

若该自动视觉和视线控制系统用于监视并装在某空间很大的室内，天花板或视野开阔处可增加一只固定式的天眼，即一台带超广角镜头的摄象机头(俗称“鱼眼”)，可把监视范围内的所有运动物体的运动过程全部记录下来，并把感兴趣的物体传给两眼视线控制系统。

该监视系统还可装入麦克风，对现场的声音进行处理和定位。

本自动视觉和视线控制系统，基本件是一对眼睛(即两组摄像机)，装在何处可具体设计，也可装二对或多对眼睛，每只眼可增加任意组摄像范围或望远能力不同的摄像机。在多对眼睛的情况下，中央处理器最优先处理的一对眼精称主眼。可实现每对眼精同时定位和跟踪同一目标，而各对眼同时监视各不同的目标(相当于每个人某一时刻只能盯住一个物体，而几个人便可同时盯住几个物体)。

Claims (9)

1、一种仿生型自动视觉和视线控制系统，包括中央处理器(18)、摄像机组(10)、电动机、转角及平移传感器，其特征在于，所述摄像机组(10)至少包括两台并排设置的摄像机，所述摄像机一台为广角机，另一台为望远机，所述的摄像机组由至少两台电动机带动，可作至少两个自由度方向的旋转；所述的摄像机将物体信号传递给中央处理器，中央处理器通过图像处理算出对象物体相对于各摄像机的速度和误差；所述的传感器安装于各电动机上，可测量电动机的转角信号并输入给中央处理器；所述的中央处理器根据所述速度、误差、转角信号得出每个电动机的转角，以控制电动机运动从而带动各摄像机快速定位并跟踪运动的对象物体。

2、根据权利要求1所述的仿生型自动视觉和视线控制系统，其特征在于，所述的摄像机组(10)由三台电动机带动，可作三个自由度方向的旋转。

3、根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，所述的摄像机组(10)有两组，该两摄像机组的旋转中心设在一个基盘(19)上，所述的基盘由至少1个电动机带动，可作至少1个自由度的旋转，所述基盘(19)的两侧装有可以测量基盘旋转运动及平移运动的转角及平移加速度传感器(11)，所述的转角及平移加速度传感器将测量到的信号传送给中央处理器用于补偿基盘的振动或移动。

4、根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，还设有与中央处理器相连的声音处理卡(17)，及一与所述的声音处理卡(17)相连的麦克风(12)。

5、根据权利要求1或2所述的仿生型自动视觉和视线控制系统，其特征在于，还包括至少一台与中央处理器相联的固定安装于视野开阔处的摄像机头。

6、一种控制权利要求1所述的仿生型自动视觉和视线控制系统的方法，其特征在于，包括如下步骤：

1)、当广角机的视野里出现“感兴趣”的物体时，中央处理器通过图像处理换算出对象物体的方向，控制电动机，从而带动摄像机组迅速转动，把视线对准该物体，使该物体进入广角机视野的中心，由于广角机和望远机并排贴进设置，当物体在广角机的中心时，该物体就自然进入望远机视野；

2)、中央处理器根据望远机输入的图像信号，通过图像处理算出对象物体相对于各摄像机的速度和位置；所述转角传感器测量出电动机的转角信号并输入给中央处理器；所述的中央处理器根据所述速度、位置、转角数据得出各摄像机组对准对象物体所需要的各电动机的转角，及使摄像机组跟踪对象物体所需要的各电动机的角速度，以控制电动机运动从而带动各摄像机跟踪运动的对象物体，从而使得当该物体运动时，视线便自动跟踪该物体；

3)、当广角机中出现多个“感兴趣”的物体时，按上述步骤逐个进行定位、跟踪。

7、根据权利要求6所述的仿生型自动视觉和视线控制方法，其特征在于，所述的两个摄像机组左右运动的控制系统传递函数可表示为：

${\mathrm{\θ}}_1\left(s\right)+{\mathrm{\θ}}_2\left(s\right)=\frac{T_{\mathrm{vm}}(\mathrm{\ρ}-{\mathrm{\ρ}}_r)}{1+T_{\mathrm{vm}}\left({\mathrm{\ρ}-\mathrm{\ρ}}_r\right)\left({\mathrm{\σ}-\mathrm{\σ}}_r\right)+T_{\mathrm{vm}}(1+(\mathrm{\ρ}-{\mathrm{\ρ}}_r)\left({\mathrm{\η}-\mathrm{\η}}_r\right))s}$

$\×[-({\mathrm{\κ}}_x-{\mathrm{\κ}}_{\mathrm{xr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{x}}_{A-l}\left(s\right)+{\stackrel{\·\·}{x}}_{A-r}\left(s\right))-({\mathrm{\κ}}_y-{\mathrm{\κ}}_{\mathrm{yr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{y}}_{A-l}\left(s\right)+{\stackrel{\·\·}{y}}_{A-r}\left(s\right))$

${\mathrm{\θ}}_1\left(s\right)+{\mathrm{\θ}}_2\left(s\right)=\frac{T_{\mathrm{vm}}(\mathrm{\ρ}+{\mathrm{\ρ}}_r)}{1+T_{\mathrm{vm}}\left({\mathrm{\ρ}+\mathrm{\ρ}}_r\right)\left({\mathrm{\σ}+\mathrm{\σ}}_r\right)+T_{\mathrm{vm}}(1+(\mathrm{\ρ}+{\mathrm{\ρ}}_r)\left({\mathrm{\η}+\mathrm{\η}}_r\right))s}$

$\×[-({\mathrm{\κ}}_x-{\mathrm{\κ}}_{\mathrm{xr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{x}}_{v-l}\left(s\right)+{\stackrel{\·\·}{x}}_{v-r}\left(s\right))-({\mathrm{\κ}}_y-{\mathrm{\κ}}_{\mathrm{yr}})\frac{T_v}{T_{v}s+1}({\stackrel{\·\·}{y}}_{v-l}\left(s\right)+{\stackrel{\·\·}{y}}_{v-r}\left(s\right))$

其中θ₁，θ₂分别表示电动机(1、2)的转角，_t-l，_t-r表示经左右眼中望远机测出的目标与视线的横向误差角度，

和

分别为左右加速度传感器测出的加速度和角加速度，T_vm，T_v，T_s为时定数，ρ，ρ_r，σ，σ_r，η，η_r，κ_x，κ_xr，κ_y，κ_yr，κ_，κ_r等为正参数，

表示经左右眼中望远机测出的目标相对于视线的速度，第一式为转眼运动的方程式，第二式为共轭运动的方程式，通过第一式加第二式和第一式减第二式可得出每个摄像机组的转角。

8、根据权利要求6所述的仿生型自动视觉和视线控制方法，其特征在于，所述步骤1)中的控制方法采用急动性反射控制曲线f(t)进行控制，f(t)是

根据线性傅立叶变换法得到，可表示为：

$f\left(t\right)=\frac{a_0}{2}+\underset{n=1}{\overset{m}{\mathrm{\Σ}}}(a_n\cos \frac{2\mathrm{n\π}}{T}t+b_n\sin \frac{2\mathrm{n\π}}{T}t)$

其中，a₀，a_n，b_n利用反复学习式傅立叶级数把控制误差进行反变换求得，即，

$a_n[i+1]=a_n\left[i\right]+k_a\frac{4}{T}{\∫}_0^T(R\left(t\right)-\mathrm{\θ}_i\left(t\right))\cos \frac{2\mathrm{n\π}}{T}\mathrm{tdt}(n=\mathrm{0,1,2,3}\·\·\·m)$

$b_n[i+1]=b_n\left[i\right]+k_b\frac{4}{T}{\∫}_0^T(R\left(t\right)-\mathrm{\θ}_i\left(t\right))\sin \frac{2\mathrm{n\π}}{T}\mathrm{tdt}(n=\mathrm{0,1,2,3}\·\·\·m)$

其中T为把视线从现在位置转向目标位置所需要的时间，i是学习次数，

R(t)是根据广角机测出的误差换算成电动机的最佳轨迹，ⁱθ(t)是第i次学习时的电动机转角。

9、根据权利要求6所述的仿生型自动视觉和视线控制方法，其特征在于，所述的加速度和角加速度信号是指设于基盘的平移加速度传感器及转角加速度传感器测到的信号，该信号输入中央处理器经过漏积分处理后才用于控制电动机的转角，以补偿基盘的振动或移动，所述的漏积分处理为信号通过传递函数T/(Ts+1))的处理。

Images