CN106454283A - 一种仿生鹰眼智能漫游跟踪装置及跟踪方法 - Google Patents

Abstract

本发明涉及一种仿生鹰眼智能漫游跟踪装置及跟踪方法。漫游跟踪装置包括仿生鹰眼视觉单元、侧视觉图像整合与目标检测单元、信息交互与处理单元、伺服驱动单元以及输出显示与控制单元。本发明采用双目大视场图像配准、拼接的方式，扩大了实时监视空域，提高了仿生鹰眼智能漫游跟踪装置在仿生视觉和目标识别领域的应用能力，克服了传统单个镜头视场角过大所导致畸变较大、多个小视场镜头拼接导致拼接处失真的情况，既满足了大空域实时监视物方场景的要求，也达到了高分辨力观测目标的目的，有效提高了目标的检测效率和准确性；同时，通过人机结合的随动/手动跟踪模式，有效提高了工程化应用价值。

Description

一种仿生鹰眼智能漫游跟踪装置及跟踪方法

技术领域

本发明涉及一种仿生视觉目标识别与跟踪技术，具体地说是一种仿生鹰眼智能跟踪装置及跟踪方法。

背景技术

鹰眼以视觉宽、目光明锐著称，这与鹰眼的生理特征密不可分。与一般生物不同，鹰眼在视网膜上存在两个中央凹——正中央凹和侧中央凹。仿生鹰眼视觉技术根据鹰眼的这种特点，已在各种球类运动中成熟使用，同时，这项技术也可进一步应用于光电侦测、光学预警、态势监视等领域。

但是，在光电侦测、光学预警、态势监视等领域的应用，存在有大视场图像分辨率不高和探测距离短的问题。

发明内容

本发明的目的就是提供一种仿生鹰眼智能漫游跟踪装置及跟踪方法，以解决传统大视场图像分辨率不高和探测距离短的问题，提升大视场系统中的目标智能化检测和识别水平，并将该装置应用于仿生视觉领域，提高目标的识别效率和检测精度。

本发明的目的之一是这样实现的：一种仿生鹰眼智能跟踪装置，包括仿生鹰眼视觉单元、侧视觉图像整合与目标检测单元、信息交互与处理单元、伺服驱动单元和输出显示与控制单元。

所述仿生鹰眼视觉单元包括左侧视觉模块、右侧视觉模块和前视觉模块，所述左侧视觉模块、所述右侧视觉模块分别设置于云台的左、右两侧，所述前视觉模块设置于云台的中间；所述左侧视觉模块与侧视觉图像整合与目标检测单元相接，用于形成左视场；所述右侧视觉模块与侧视觉图像整合与目标检测单元相接，用于形成右视场；所述左视场与所述右视场形成有部分重叠区域的大视场，以模仿鹰的左右眼正中央凹视觉成像，监视大空域内的物方场景；所述前视觉模块分别与所述伺服驱动单元、所述信息交互与处理单元中的前视觉信息接收模块和输出显示与控制单元中的前视觉显示模块相接，以模仿鹰眼双目侧中央凹高分辨率成像；用于对落入大视场中的目标进行高出大视场分辨率的成像和跟踪测量。

所述侧视觉图像整合与目标检测单元分别与所述左侧视觉模块、所述右侧视觉模块、所述信息交互与处理单元中的目标真假判别模块和所述输出显示与控制单元中的侧视觉显示模块相接，用于左视场与右视场的图像配准和拼接，以形成大视场监视图像，并传输给输出显示与控制单元中的侧视觉显示模块，同时，采用图像处理和目标识别方法，寻找和辨识大视场中的研究目标。

所述信息交互与处理单元包括前视觉信息接收模块、目标真假判别模块和伺服单元信息传输模块；所述前视觉信息接收模块分别与所述前视觉模块、所述目标真假判别模块相接，用于接收前视觉模块传递的图像信息；所述目标真假判别模块分别与所述侧视觉图像整合与目标检测单元、所述前视觉信息接收模块、所述伺服单元信息传输模块和所述输出显示与控制单元中的侧视觉显示模块相接，用于在高出大视场分辨率的条件下对疑似目标进行进一步的识别，以确定目标是否是研究目标；所述伺服单元信息传输模块分别与所述目标真假判别模块、所述伺服驱动单元和所述输出显示与控制单元中的模式切换模块相接，用于对检测到的研究目标的像面位置、灰度和速度等参数进行处理，将其转换为实际的目标坐标、距离和速度等信息，传输给伺服驱动机构进行稳定跟踪，并将合成的实时大视场图像传输给输出显示与控制单元进行显示。

所述伺服驱动单元分别与所述前视觉模块、所述信息交互与处理单元中的所述伺服单元信息传输模块、所述输出显示与控制单元中的模式切换模块和摇杆相接，用于在随动和手动两种跟踪模式下调整前视觉模块的光轴指向，实现对研究目标的稳定跟踪。

所述输出显示与控制单元包括前视觉显示模块、侧视觉显示模块、模式切换模块和摇杆；所述前视觉显示模块与所述前视觉模块相接，用于显示前视觉模块传递的图像；所述侧视觉显示模块分别与所述侧视觉图像整合与目标检测单元、所述信息交互与处理单元中的目标真假判别模块相接，用于显示大视场监视图像和目标观测；所述模式切换模块分别与所述摇杆、所述伺服驱动单元和所述信息交互与处理单元中的所述伺服单元信息传输模块相接，用于进行随动跟踪模式与手动跟踪模式的切换——在随动跟踪模式下，将侧视觉图像整合与目标检测单元输出的像面目标信息解算为实际信息，驱动所述伺服驱动单元实现稳定跟踪；在手动跟踪模式下，使所述伺服驱动机构和所述前视觉模块直接受摇杆的控制，实现人为的目标观测；所述摇杆分别与所述模式切换模块和所述前视觉显示模块相接，用于在手动跟踪模式下的目标漫游跟踪。

所述左侧视觉模块和所述右侧视觉模块的凝视视场角≥80°×35°，且左视场与右视场的重叠区域为8°~12°；所述前视觉模块的凝视视场角≤10°×7.5°。

本发明的目的之二是这样实现的：一种仿生鹰眼智能漫游跟踪方法，包括以下步骤：

a、调整左侧视觉模块、右侧视觉模块，使左视场与右视场存在8°~12°的重叠区域，将两路信号传输到侧视觉图像整合与目标检测单元，对左视场与右视场的图像进行配准和拼接，合成为大空域实时监视场景；在此条件下，系统对物方的大视场实时成像，用于监视大空域信息，从中提取感兴趣的研究目标或区域；

b、在大空域场景中发现疑似目标之后，通过帧间差分、空域滤波等图像处理方法获取疑似目标的位置信息；若疑似目标存在其他干扰，通过侧视觉图像整合与目标检测单元予以排除，最终确定重点研究目标及其坐标信息，并在大视场中予以持续跟踪；

c、在获取感兴趣研究目标的坐标之后，通过信息交互与处理单元中的伺服单元信息传输模块将坐标传输给伺服驱动单元，并通过信息交互与处理单元中的模式切换模块切换到随动跟踪模式，伺服驱动单元驱动前视觉模块自动跟踪研究目标，更新研究目标的参数信息，并将这些信息传输到信息交互与处理单元；

d、将合成的大视场实时监视图像和小视场高分辨目标图像传输给输出显示与控制单元，供操作人员直观判读图像；若要人为仔细观察图像中某些细节，可通过信息交互与处理单元中的模式切换模块切换到手动跟踪模式，利用摇杆手动驱动前视觉模块，采用漫游方式进行观测。

本发明采用双目大视场图像配准、拼接的方式，扩大了实时监视空域，避免了单个镜头视场过大造成的畸变和多个小视场镜头在拼接处失真的问题；同时，采用高分辨力小视场镜头，运用漫游跟踪在大视场监视图像中识别目标，并具有随动和手动两种跟踪模式，较好地实现了人机结合，提高了仿生鹰眼智能漫游跟踪装置在仿生视觉和目标识别领域的应用能力。

本发明克服了传统单个镜头视场角过大所导致畸变较大、多个小视场镜头拼接导致拼接处失真的情况，既满足了大空域实时监视物方场景的要求，也达到了高分辨力观测目标的目的，有效提高了目标的检测效率和准确性；同时，通过人机结合的随动/手动跟踪模式，更有效地提高了该装置及方法的工程化应用价值。

本发明克服了传统大视场凝视镜头的畸变大、精度低的问题，在获取大空域场景的同时，可对重点研究目标或研究区域进行高分辨力检测、识别和测量，目标检测效率得到明显提升。

附图说明

图1是本发明漫游跟踪装置的结构框图与仿生鹰眼视觉单元结构示意图的组合图。

图中：1、云台，2、右侧视觉模块，3、前视觉模块，4、左侧视觉模块。

具体实施方式

实施例1：仿生鹰眼智能漫游跟踪装置。

如图1所示，本发明仿生鹰眼智能漫游跟踪装置包括仿生鹰眼视觉单元、侧视觉图像整合与目标检测单元、信息交互与处理单元、伺服驱动单元以及输出显示与控制单元等部分。

其中，仿生鹰眼视觉单元包括左侧视觉模块4、右侧视觉模块2和前视觉模块3；左侧视觉模块4、右侧视觉模块2分别设置于云台1的左、右两侧，前视觉模块3设置于云台1的中间。左侧视觉模块4与侧视觉图像整合与目标检测单元相接，用于形成左视场；右侧视觉模块2与侧视觉图像整合与目标检测单元相接，用于形成右视场。左视场与右视场形成有部分重叠区域的大视场，以模仿鹰的左右眼正中央凹视觉成像，监视大空域内的物方场景。前视觉模块3分别与伺服驱动单元和信息交互与处理单元中的前视觉信息接收模块相接，以模仿鹰眼双目侧中央凹高分辨率成像，用于对落入大视场中的目标进行高出大视场分辨率的成像和跟踪测量。

左侧视觉模块4和右侧视觉模块2可在云台1上做左右向摆动的位置调整，前视觉模块3除了可以做左右向的摆动调整外，还可以做俯仰角度的调整。左侧视觉模块4和右侧视觉模块2的凝视视场角≥80°×35°，且左视场与右视场的重叠区域为8°~12°；前视觉模块3的凝视视场角≤10°×7.5°。

仿生鹰眼视觉单元的左侧视觉模块4和右侧视觉模块2将凝视视场角≥80°×35°的左、右视场的图像通过信号线传输至侧视觉图像整合与目标检测单元，通过对左、右两个视场图像的配准和拼接，合成为大空域的监视图像，并在监视图像中发现感兴趣目标。前视觉模块3位于云台1的中央，其凝视视场角≤10°×7.5°，模仿鹰眼双目侧中央凹高分辨率成像，用于对目标进行高分辨率成像和跟踪测量。

图1中，侧视觉图像整合与目标检测单元分别与左侧视觉模块、右侧视觉模块、信息交互与处理单元中的目标真假判别模块以及输出显示与控制单元中的侧视觉显示模块相接，用于左视场与右视场的图像配准和拼接，以形成大视场监视图像，并传输给输出显示与控制单元中的侧视觉显示模块，同时，采用图像处理和目标识别方法，寻找和辨识大视场中的研究目标。

信息交互与处理单元包括前视觉信息接收模块、目标真假判别模块和伺服单元信息传输模块。前视觉信息接收模块分别与前视觉模块、目标真假判别模块相接，用于接收前视觉模块传递的图像信息。目标真假判别模块分别与侧视觉图像整合与目标检测单元、前视觉信息接收模块、伺服单元信息传输模块以及输出显示与控制单元中的侧视觉显示模块相接，用于在高分辨率的条件下对疑似目标进行进一步的识别，以确定目标是否是研究目标。伺服单元信息传输模块分别与目标真假判别模块、伺服驱动单元以及输出显示与控制单元中的模式切换模块相接，用于对检测到的研究目标的像面位置、灰度和速度等参数进行处理，将其转换为实际的目标坐标、距离和速度等信息，传输给伺服驱动机构进行稳定跟踪，并将合成的实时大视场图像传输给输出显示与控制单元进行显示。

伺服驱动单元分别与前视觉模块、信息交互与处理单元中的伺服单元信息传输模块、输出显示与控制单元中的模式切换模块和摇杆相接，用于调整前视觉模块的光轴指向，实现对研究目标的稳定跟踪。

输出显示与控制单元包括前视觉显示模块、侧视觉显示模块、模式切换模块和摇杆。前视觉显示模块与前视觉模块相接，用于显示前视觉模块传递的图像。侧视觉显示模块分别与所述侧视觉图像整合与目标检测单元以及信息交互与处理单元中的目标真假判别模块相接，用于显示大视场监视图像和进行目标观测。模式切换模块分别与摇杆、伺服驱动单元以及信息交互与处理单元中的伺服单元信息传输模块相接，用于进行随动跟踪模式与手动跟踪模式的切换——在随动跟踪模式下，将侧视觉图像整合与目标检测单元输出的像面目标信息解算为实际信息，驱动伺服驱动单元实现稳定跟踪；在手动跟踪模式下，使伺服驱动机构和前视觉模块直接受摇杆的控制，实现人为的目标观测。摇杆分别与模式切换模块和前视觉显示模块相接，用于在手动跟踪模式下的目标漫游跟踪。

侧视觉显示模块可提供大视场监视图像，用于整体把握和监视物方空域信息；前视觉显示模块可提供高分辨力目标图像，用于更直观、清晰地观测目标。

实施例2：仿生鹰眼智能漫游跟踪方法。

参看图1，本发明仿生鹰眼智能漫游跟踪方法包括以下步骤：

1、调整左侧视觉模块、右侧视觉模块，使左视场与右视场存在8°~12°的重叠区域，将两路信号传输到侧视觉图像整合与目标检测单元，对左视场与右视场的图像进行配准和拼接，合成为大空域实时监视场景；在此条件下，系统对物方的大视场实时成像，用于监视大空域信息，从中提取感兴趣的研究目标或区域。

2、在大空域场景中发现疑似目标之后，通过帧间差分、空域滤波等图像处理方法获取疑似目标的位置信息；若疑似目标存在其他干扰，通过侧视觉图像整合与目标检测单元予以排除，最终确定重点研究目标及其坐标信息，并在大视场中予以持续跟踪。

3、在获取感兴趣研究目标的坐标之后，通过信息交互与处理单元中的伺服单元信息传输模块将坐标传输给伺服驱动单元，并通过信息交互与处理单元中的模式切换模块切换到随动跟踪模式，伺服驱动单元驱动前视觉模块自动跟踪研究目标，更新研究目标的参数信息，并将这些信息传输到信息交互与处理单元。

4、将合成的大视场实时监视图像和小视场高分辨目标图像传输给输出显示与控制单元，供操作人员直观判读图像；若要人为仔细观察图像中某些细节，可通过信息交互与处理单元中的模式切换模块切换到手动跟踪模式，利用摇杆手动驱动前视觉模块，采用漫游方式进行观测。

Claims (3)

1.一种仿生鹰眼智能漫游跟踪装置，其特征是，包括仿生鹰眼视觉单元、侧视觉图像整合与目标检测单元、信息交互与处理单元、伺服驱动单元和输出显示与控制单元；

所述仿生鹰眼视觉单元包括左侧视觉模块、右侧视觉模块和前视觉模块，所述左侧视觉模块、所述右侧视觉模块分别设置于云台的左、右两侧，所述前视觉模块设置于云台的中间；所述左侧视觉模块与所述侧视觉图像整合与目标检测单元相接，用于形成左视场；所述右侧视觉模块与所述侧视觉图像整合与目标检测单元相接，用于形成右视场；所述左视场与所述右视场形成有部分重叠区域的大视场，监视大空域内的物方场景；所述前视觉模块分别与所述伺服驱动单元、所述信息交互与处理单元中的前视觉信息接收模块和输出显示与控制单元中的前视觉显示模块相接，用于对落入大视场中的目标进行高出大视场分辨率的成像显示和跟踪测量；

所述侧视觉图像整合与目标检测单元分别与所述左侧视觉模块、所述右侧视觉模块、所述信息交互与处理单元中的目标真假判别模块和所述输出显示与控制单元中的侧视觉显示模块相接，用于左视场与右视场的图像配准和拼接，以形成大视场监视图像，并传输给输出显示与控制单元中的侧视觉显示模块，同时，采用图像处理和目标识别方法，寻找和辨识大视场中的研究目标；

所述信息交互与处理单元包括前视觉信息接收模块、目标真假判别模块和伺服单元信息传输模块；所述前视觉信息接收模块分别与所述前视觉模块和所述目标真假判别模块相接，用于接收前视觉模块传递的图像信息；所述目标真假判别模块分别与所述侧视觉图像整合与目标检测单元、所述前视觉信息接收模块、所述伺服单元信息传输模块和所述输出显示与控制单元中的侧视觉显示模块相接，用于在高出大视场分辨率的条件下对疑似目标进行进一步的识别，以确定目标是否是研究目标；所述伺服单元信息传输模块分别与所述目标真假判别模块、所述伺服驱动单元和所述输出显示与控制单元中的模式切换模块相接，用于对检测到的研究目标的像面位置、灰度和速度等参数进行处理，将其转换为实际的目标坐标、距离和速度等信息，传输给伺服驱动单元进行稳定跟踪；

所述伺服驱动单元分别与所述前视觉模块、所述信息交互与处理单元中的所述伺服单元信息传输模块、所述输出显示与控制单元中的模式切换模块和摇杆相接，用于在随动和手动两种跟踪模式下调整前视觉模块的光轴指向，实现对研究目标的稳定跟踪；

所述输出显示与控制单元包括前视觉显示模块、侧视觉显示模块、模式切换模块和摇杆；所述前视觉显示模块与所述前视觉模块相接，用于显示前视觉模块传递的图像；所述侧视觉显示模块分别与所述侧视觉图像整合与目标检测单元、所述信息交互与处理单元中的目标真假判别模块相接，用于显示大视场监视图像和目标观测；所述模式切换模块分别与所述摇杆、所述伺服驱动单元和所述信息交互与处理单元中的所述伺服单元信息传输模块相接，用于进行随动跟踪模式与手动跟踪模式的切换——在随动跟踪模式下，将侧视觉图像整合与目标检测单元输出的像面目标信息解算为实际信息，驱动所述伺服驱动单元实现稳定跟踪；在手动跟踪模式下，使所述伺服驱动机构和所述前视觉模块直接受摇杆的控制，实现人为的目标观测；所述摇杆分别与所述模式切换模块和所述前视觉显示模块相接，用于在手动跟踪模式下的目标漫游跟踪。

2.根据权利要求1所述的仿生鹰眼智能漫游跟踪装置，其特征是，所述左侧视觉模块和所述右侧视觉模块的凝视视场角≥80°×35°，且左视场与右视场的重叠区域为8°~12°；所述前视觉模块的凝视视场角≤10°×7.5°。

3.一种仿生鹰眼智能漫游跟踪方法，其特征是，包括以下步骤：

a、调整左侧视觉模块、右侧视觉模块，使左视场与右视场存在8°~12°的重叠区域，将两路信号传输到侧视觉图像整合与目标检测单元，对左视场与右视场的图像进行配准和拼接，合成为大空域实时监视场景；在此条件下，系统对物方的大视场实时成像，用于监视大空域信息，从中提取感兴趣的研究目标或区域；

b、在大空域场景中发现疑似目标之后，通过帧间差分、空域滤波等图像处理方法获取疑似目标的位置信息；若疑似目标存在其他干扰，通过侧视觉图像整合与目标检测单元予以排除，最终确定重点研究目标及其坐标信息，并在大视场中予以持续跟踪；

c、在获取感兴趣研究目标的坐标之后，通过信息交互与处理单元中的伺服单元信息传输模块将坐标传输给伺服驱动单元，并通过信息交互与处理单元中的模式切换模块切换到随动跟踪模式，伺服驱动单元驱动前视觉模块自动跟踪研究目标，更新研究目标的参数信息，并将这些信息传输到信息交互与处理单元；

d、将合成的大视场实时监视图像和小视场高分辨目标图像传输给输出显示与控制单元，供操作人员直观判读图像；若要人为仔细观察图像中某些细节，可通过信息交互与处理单元中的模式切换模块切换到手动跟踪模式，利用摇杆手动驱动前视觉模块，采用漫游方式进行观测。