CN102081296A - 仿复眼视觉的动目标快速定位及全景图同步获取装置及方法 - Google Patents

Abstract

本发明涉及一种仿复眼视觉的动目标快速定位及全景图同步获取装置及方法，属于视觉系统技术领域。该视觉传感器设备主要包括：半球型角度定位罩，光纤望远镜系统，高速摄像机、图像处理器以及数字处理器。半球型角度定位罩用于控制光纤传像束物镜端视轴中心线之间的夹角；光线经过物镜、光纤束、目镜，在高速摄像机CCD上成像；利用图像处理器对图像中各区域图像进行运动检测及全景图的拼接；利用数字处理器处理矩阵M并结合位置函数获得动目标的空间位置；最后综合上述方法处理摄像机获得图像序列，得到大视场全景连续图像以及大视场中动目标的实时空间位置和运动速度。此发明具有视场大、实时定位能力强等优点，在视觉导航领域有广泛应用前景。

Description

仿复眼视觉的动目标快速定位及全景图同步获取装置及方法

技术领域

本发明涉及一种仿复眼视觉的动目标快速定位及全景图同步获取装置及方法，属于视觉系统技术领域。

背景技术

能够实现对运动目标的测量与跟踪以及对周边环境的快速感知的具有大视野范围的相关装置研制是机器视觉的基础，具有广泛的应用前景，尤其在智能机器人研究领域中具有重大意义。传统的视觉传感器研究主要包括单目、双目视觉系统：单目视觉系统普遍丢失了空间目标的三维信息，对于还原的三维空间位置准确度较低；双目视觉主要通过视差来确定目标的空间位置，准确度较高，但是计算量大，实时性较差。但是昆虫的复眼视觉系统具有快速、准确的确定猎物的方位和速度，并跟踪拦截的能力，具有灵敏度高、分辨率高、视场大等特点。复眼的视觉机制和能力对发展高速全景的低成本机器视觉具有重要的启示作用。

2D-复眼视觉结构已用于信用卡上人脸面部识别系统(Duparre et al.，AppliedOptics，August 2004，pp 4303-4310，vol.43，No.22)，通过采用具有平行光轴的平面透镜阵列来获取大视场内的外界环境信息。这样的设计结构可以通过多种方式进行制造(见专利US7700904、US7501610、US7453056、US7297926、US6236748、US6967779、US7106529B₂)，但2D-复眼结构的设计限制了视觉系统的视野范围。

3D-复眼视觉结构的设计(见专利US7376314、US6140648、US7672058)能够弥补2D-复眼视觉系统视野范围的不足，可以形成大视角的全景图，视角甚至可以扩大到360°范围；Reininge等(专利US7587109B₁)依据复眼生物学原理——复眼的结构可以分为重叠型复眼(具有高灵敏度)与并列型复眼(具有高分辨率)，设计了“重叠-并列”型3D-复眼结构，以使系统具有高的灵敏度和高分辨率：通过在混合光纤的物镜端安置重叠型和并列型透镜阵列，在另一端采用反射板控制使光线通过并列型透镜阵列聚焦到图像传感器上，获得单一、大视野范围内的正像；3D-复眼视觉系统，其视觉特性优势不仅在于能够获得更大视场的环境信息，更体现在其对视野内的动目标的快速定位、测速能力——昆虫并列型复眼具有对动目标的高灵敏度和图像重构的高分辨率等独特优势(具体见Luke P.Lee etal.，Science，310(1148-1150))。

但对于空间运动目标的快速检测和定位的方法，在专利CN200710175865中介绍了通过对多个视角的视频图像进行前景检测，得到二值前景图像；根据所述二值前景图像，建立空间场模型，在所述空间场模型中进行三维重建，得到运动目标的三维重建结果；对所述三维重建结果进行分析，在空间场中检测并定位运动目标，得到运动目标的空间位置；根据所述运动目标的空间位置，向各视角投影，确定多个视角间运动目标的对应关系，具有处理遮挡能力强、运算速度快等特点。上述的对空间运动目标的快速检测和定位方法，以上方法存在着数字图像处理量大且计算的实时性差等不足，无法形成具有大视场的全景图像。

发明内容

发明目的：本发明的目的在于提供一种通过对区域图像进行运动检测，结合目标定位和图像拼接算法，就可以快速获得运动目标和大视场背景全景图的仿复眼视觉的运动目标高速定位及全景图同步获取装置及方法。

一种仿复眼视觉的运动目标高速定位及全景图同步获取装置，其特征在于由半球型角度定位罩、光纤望远镜系统阵列、镜头转接环、高速摄像机、图像处理器、数据处理器、显示器组成；上述半球型角度定位罩上均匀分布着N个用于确定光纤望远镜单系统视轴方向的定位孔，其中半球型定位罩的半径为L，定位孔的直径为d，任意两相邻定位孔的中心轴线间的水平夹角为α，垂直方向夹角为γ；上述光纤望远镜系统阵列由N个光纤望远镜单系统构成，每个光纤望远镜单系统均由安装于半球型角度定位罩的定位孔中的物镜、与物镜相连的光纤、与光纤相连的目镜组成；上述物镜的视角为2β；述光纤望远镜单系统的视轴方向与定位孔的轴心方向的重合；上述高速摄像机通过镜头转接环与N个目镜连接，获得外界环境的数字图像；将上述高速摄像机获得的数字图像，通过图像处理器实现对数字图像信息的处理；上述数据处理器的输入端与上述图像处理器的输出端相连获取数字信号并实现数据的处理。以半球型角度定位罩球心为原点，建立球面坐标系，上述γ表示以原点为顶点、Z轴为轴的两圆锥面(以下称为锥面)间的夹角，上述α表示过Z轴的半平面(以下称为圆周面)上两光纤望远镜单系统间的夹角；上述参数满足以下关系式arctan(d/L)＜α，γ＜2β＜180°。

根据以上所述的特点，采用光纤望远镜单系统阵列来模拟复眼，与传统单孔径摄像机系统相比较，具有更广的视角范围，可按照需要可实现360°视角；通过高速摄像机CCD同步采集与图像处理器对图像信息的运动检测，来模拟复眼光感受器的功能，生成具有“0”、“1”特征的矩阵，减小信息量的传递；采用数字处理器模拟昆虫对信息处理的大脑的功能，结合设定的位置函数，实现目标的快速定位；本发明从结构和对信息的处理机制上模拟昆虫复眼结构和神经机制，获得同步性好，数据处理量低和实时处理能力强的视觉传感器装置；

利用上述装置的仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特征在于包括以下步骤：

步骤1：装置结构内外参数的标定

步骤1-1：结构中符号名词的解释

在球面坐标系内，定义Z轴正方向为零度角；锥面的编号依次从半球型角度定位罩的顶端从上到下编号；每个锥面上的光纤望远镜单系统阵列，从X轴正方向按照逆时针顺序依次编号；将光纤望远镜单系统按照以上顺序依次记录在矩阵a_ij中，其中i表示光纤望远镜单系统所在的锥面，j表示光纤望远镜单系统所在的圆周面中的位置；矩阵a_ij中，有光纤望远镜单系统的对应位置的元素用“-1”表示，其余用“0”表示；矩阵a_ij中所对应的光纤望远镜单系统的位置与其在在高速摄像机CCD的成像区域一一对应；

n_i表示在锥面i中同时观察到相同动目标的光纤望远镜单系统的数目；p_i、q_i表示在锥面i上同时观察到动目标的光纤望远镜单系统最小、最大编号；α_i表示在锥面i中两光纤望远镜单系统视轴间夹角；P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))表示通过锥面i光纤望远镜单系统组合方式获得的目标的空间位置；w，u表示同时观察到相同动目标的锥面的最大层和最小层；γ_i表示锥面i与锥面i-1间的夹角；其中i＝1，2，...，I；I表示按照系统的需要设计的锥面的最大数；K表示同时观察到动目标的锥面数，其中0≤K≤I；

区域图像：光纤望远镜单系统在所对应的CCD区域上单独形成的图像区域；

步骤1-2：通过双目摄像机标定法，获得锥面i上两光纤望远镜单系统视轴间的夹角α_i，两锥面间的夹角γ_i以及光纤望远镜单系统的内参数；

步骤1-3：在光纤望远镜单系统以及定位结构确定后，就可以对空间位置区域在球面坐标系下进行空间划分；

在球面坐标系中，由于同时被相同数量光纤望远镜单系统观察到的区域只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；根据上述原理，在同一锥面上光纤望远镜单系统的组合方式唯一的决定了空间中的特定区域，就可以通过采用包含光纤望远镜单系统组合方式未知量的方程来表示与坐标系原点的最近距离，

通过几何运算，可获得在球面坐标系下与锥面i相关的目标的空间位置：

$D_i({\mathrm{\α}}_i,{\mathrm{\β}}_i,L,n_i)=D=\sqrt{{\left(\frac{L\{1-[(n_1-1){\mathrm{\α}}_i-\mathrm{\β}]\·\cos [(n_i-1){\mathrm{\α}}_i]+\sin [(n_i-1){\mathrm{\α}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\α}}_i-\mathrm{\β}\left]\right\}\tan \mathrm{\β}}\right)}^2}+{\left(\frac{L\left\{\sin \right[(n_i-1)\mathrm{\α}]-[(n_i-1)\mathrm{\α}{i}_i-\mathrm{\β}]\·\cos [(n_i-1){\mathrm{\α}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\α}}_i-\mathrm{\β}\left]\right\}}\right)}^2$

${\mathrm{\&theta;}}_i({\mathrm{\&alpha;}}_i,p_i,q_i)=\left\{\begin{array}{c}{\mathrm{\&alpha;}}_i\&times;(p_i+q_i)/2,q_i<2\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\\ {\mathrm{\&alpha;}}_i\&times;(p_i+q_i-[\frac{2\mathrm{\&pi;}}{{\mathrm{\&alpha;}}_i}\left]\right)/2,q_i\&GreaterEqual;\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\end{array}\right.$

综合所有锥面中获得的目标空间位置，得到动目标在球面坐标系下与所有锥面相关的空间位置P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))，其中

α_i，β，L已知，未知量n_i，w，u，K，p_i，q_i可以通过下述步骤3-1中对矩阵的处理获得；

步骤2：利用光纤望远镜系统阵列结构模拟复眼的“小眼”阵列，通过高速相机(6)获得通过“小眼”成像的图像序列；

步骤3：实现对动目标的定位、测速：

步骤3-1：矩阵a_ij信号的采集与处理

运动检测：采用背景消除法结合差分运动分析法判断图像序列中帧图像的光纤望远镜单系统对应的区域图像中是否有运动目标，将检测到运动的区域图像所对应矩阵a_ij中对应位置元素填“1”表示，否则为“0”；

数据处理器：将矩阵中值为“1”的元素与邻近元素存在“8-邻域”关系的，定义这些具有“8-邻域”关系、值为“1”的元素同属于一个连通集，即认为该系列光纤望远镜系统集合中发现的为同一运动目标，否则为不同目标；将矩阵a_ij通过上述关系进行处理，将具有连通集的元素赋值到三维矩阵M_a×b×c中，其中矩阵M_a×b中包含了某一动目标某时刻的空间位置，C表示该帧图像中所具有的运动目标的数目；参数n_i，p_i，q_i，w，u，K可以通过对矩阵M_a×b×c的分析获得；

步骤3-2运动目标的定位、测速，

上述步骤3-1阐述了针对帧图像中动目标信息的处理，通过以上处理可以获得在某时刻t目标的空间位置；将步骤3-1中获得未知量n_i，p_i，q_i，w，u，K代入P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))中就可以得到动目标的径向分量v_n和圆周分量ω_n代表的空间位置；

v_n指目标为沿视轴方向的运动的径向分量；ω_n指目标为沿圆周方向运动的角分量

采用以上对帧图像中目标的定位方法对图像序列进行处理，就可以获得目标的运动速度；运动目标的速度可分解为沿视轴方向的半径分量v_n和沿圆周方向的角分量ω_n；通过不同时刻获得的目标空间位置，计算出运动目标的速度：

ω_n＝Δθ/Δt＝[θ(t₂)-θ(t₁)]/Δt；

v_n＝ΔP/Δt＝-[P(t₂)-P(t₂)]/Δt；

运动目标的角速度、速度为矢量，角速度约定沿逆时针方向运动为正方向，沿顺时针方向运动为负方向；径向速度约定沿轴向探测器方向运动为正方向，反之为负方向；

步骤4：利用图像处理器(8)对获取的帧图像中的区域图像的矫正、剪切和拼接获得大视场的全景图。

根据上述步骤1-3的描述，由于同时被相同数量光纤望远镜单系统观察到的区域只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；与以往的双目视觉对运动目标的定位方法比较，该方法在系统硬件确定后，获得某时刻动目标空间位置的方程式P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))，并将方程式存储在数字处理器中，在对目标进行定位时，只需将权利要求3步骤3-1中处理得到的未知量代入方程中，就可以获得目标的空间位置；数据处理量小，提高目标定位的实时处理速度；

根据步骤3-1的描述，首先通过背景消除法结合差分运动分析法判断图像序列中每帧图像区域中是否有运动目标，将检测到运动的图像区域所对应矩阵a_ij中；其次通过数据处理器，将矩阵a_ij中元素通过“8-邻接”连通域方法赋值到三维矩阵M_a×b×c中，通过对矩阵M_a×b×c的处理获得参数n_i，p_i，q_i，w，u，K；

通过“8-邻接”连通域的方法处理矩阵a_ij来判断各光纤望远镜单系统获得的目标的相似关系，避免采用以往的目标的颜色、轮廓等相似度特征的数字图像处理方法，具有信息处理量小，运算速度快，且满足本发明所需的对运动目标是否为同一运动目标的判断的要求。

上述步骤4所述实现对大视场图像的拼接方法，其特征在于：上述步骤2中所述大视场的全景图是由以下方法生成的：

透镜的焦距f，目标物体与相机的距离D，半球型定位罩的半径L，单个光纤望远镜系统在CCD上的成像区域为W×H像素，W为长，H为宽，透镜的视角夹角一半β，以及视轴中心线在水平方向的夹角α_i，垂直方向的夹角为γ_i；通过对区域图像的剪切和拼接获得大视场全景图像；

在水平方向两端的剪切量为：

同理可得垂直方向上的剪切量

其中

数据D可以通过目标定位获得。

图像拼接算法，包括有相位相关度法，变换优化法，基于几何特征的图像对齐等方法，但是这些算法要求高，运算复杂，很难满足实时性较高的系统的要求；

上述步骤4中所述大视场的全景图可以由以下方法生成的：所采用的图像剪切法是在物镜端视角以及视轴中心线彼此间夹角确定后，通过剪切掉一个固定量的图像区域，然后直接进行图像拼接，该方法处理速度快；

总体说来，本发明模仿生物并列型复眼结构，采用光纤望远镜单系统阵列来模拟复眼，与传统单孔径摄像机系统相比较，具有更广的视角范围，可按照需要可实现360°视角；通过高速摄像机CCD同步采集与图像处理器对图像信息的运动检测，来模拟复眼光感受器的功能，生成具有“0”、“1”特征的矩阵，减小信息量的传递；采用数字处理器模拟昆虫对信息处理的大脑的功能，结合设定的位置函数，实现目标的快速定位；本发明装置从结构和对信息的处理机制上模拟昆虫复眼结构和神经机制，具有的视场大、信息处理量小、实时性强、能对动目标快速跟踪定位等特点。

附图说明

图1仿复眼视觉系统的结构原理图；

图2半球型定位结构三维；

图3光纤透镜的结构原理图；

图4数字图像处理流程图；

图5系统各参数示意图；

图6定位方法的原理示意图；

图7光纤望远镜单系统在摄像机中成像对应区域，左图表示光纤望远镜单系统排列示意，右图是成像在高速摄像机中的对应区域图像示意；

图中标号名称：1、半球型角度定位罩，2、物镜，3、光纤，4、目镜，5、镜头转接环，6、高速摄像机，7、导线，8、图像处理器，9、数据处理器，10、显示器，①②③...表示同一锥面上光纤望远镜单系统的编号。

具体实施过程

本发明设计了一种能够实现对运动目标快速定位以及全景图同步实现的方法和装置，主要硬件部分：一个半球型仿复眼定位结构，N个光纤望远镜单系统，一台高速相机以及图像处理器，数字处理器。

一种仿复眼视觉的运动目标高速定位及全景图同步获取装置，其特征在于：

由半球型角度定位罩1、光纤望远镜系统阵列、镜头转接环5、高速摄像机6、图像处理器8、数据处理器9、显示器10组成；

上述半球型角度定位罩1上均匀分布着N个定位孔，其中半球型定位罩的半径为L，定位孔的直径为d，任意两相邻定位孔的中心轴线间的水平夹角为α，垂直方向夹角为γ；

上述光纤望远镜系统阵列由N个光纤望远镜单系统构成，每个光纤望远镜单系统均由安装于半球型角度定位罩1的定位孔中的物镜2、与物镜相连的光纤3、与光纤相连的目镜4组成；上述物镜2的视角为2β；述光纤望远镜单系统的视轴方向与定位孔的轴心方向的重合；

上述高速摄像机6通过镜头转接环5与N个目镜4连接，获得外界环境的数字图像；将上述高速摄像机6获得的数字图像，通过图像处理器8实现对数字图像信息的处理；上述数据处理器(9)的输入端与上述图像处理器8的输出端相连获取数字信号并实现数据的处理。

以半球型角度定位球心为原点，建立球面坐标系，上述γ表示以原点为顶点、Z轴为轴的两圆锥面(以下称为锥面)间的夹角，α表示过Z轴的半平面(以下称为圆周面)上两光纤望远镜单系统间的夹角；上述参数满足以下关系式arctan(d/L)＜α，γ＜2β＜180°，见图5

利用上述装置的仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特征在于包括以下步骤：

步骤1：装置结构内外参数的标定

步骤1-1：结构中符号名词的解释

在球面坐标系内，定义Z轴正方向为零度角；锥面的编号依次从半球型角度定位罩的顶端从上到下编号；每个锥面上的光纤望远镜单系统阵列，从X轴正方向按照逆时针顺序依次编号(见图5中①②③...)；将光纤望远镜单系统按照以上顺序依次记录在矩阵a_ij中，其中i表示光纤望远镜单系统所在的锥面，j表示光纤望远镜单系统所在的圆周面的位置；矩阵a_ij中，有光纤望远镜单系统的对应位置的元素用“-1”表示，其余用“0”表示；将矩阵a_ij中所指对应的光纤望远镜单系统成像在高速摄像机的CCD的特定区域内；

n_i表示在锥面i中同时观察到动目标的光纤望远镜单系统的数目；p_i、q_i表示在锥面i上同时观察到动目标的光纤望远镜单系统最小和最大编号；α_i表示在锥面i光纤望远镜单系统视轴间的夹角；P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))表示通过锥面i光纤望远镜单系统组合方式获得的目标的空间位置；w，u表示同时观察到动目标的锥面的最大层和最小层；γ_i表示锥面i与锥面i-1间的夹角；其中i＝1，2，...，I；I表示按照系统的需要设计的锥面的最大数；K(0≤K≤I)表示同时观察到动目标的层数；符号指代示意见图5

区域图像：是指帧图像中通过光纤望远镜单系统阵列单独成像对应的区域图像；具体形式见图7。

步骤1-2：通过双目摄像机标定法，获得锥面i上两光纤望远镜单系统视轴间的夹角α_i，两锥面间的夹角γ_i以及光纤望远镜单系统的内参数；

摄像机标定方法主要可以分为摄像机自标定法、传统标定方法和基于主动视觉的摄像机标定方法三大类。本研究中采用张正友提出的平面模板两步法首先利用线性和非线性方法求取内外参数的初值，然后再解非线性最小化方程，来对内外参数求精。

张正友平面模板两步法：参考文献《A Flexible New Technique for Camera Calibration》

光纤望远镜单系统C1与世界坐标系相对位置的外部参数为旋转矩阵R1和平移矩阵t1，光纤望远镜单系统C2与世界坐标系相对位置的外部参数为旋转矩阵R2和平移向量t2，对于空间任意一点P，如它在世界坐标系、光纤望远镜单系统坐标系C1和光纤望远镜单系统坐标系C2下的非齐次坐标分别为x_w，x_c1，x_c2，

则有

x_c1＝R₁x_w+t₁

x_c2＝R2x_w+t₂

通过消去式中的x_w可以得到

x_c1＝R₁R₂ ^-1x_c2+t₁-R₁R₂ ^-1t₂

因此，两个光纤望远镜单系统之间的几何关系可用以下R和t表示：

R＝R₁R₂ ^-1

T＝t₁-R₁R₂ ^-1t₂

当获得两个光纤望远镜单系统标定矩阵对于同一副图像的旋转矩阵和平移矩阵R1、t1和R2、t2时，根据上式可以获得双目纤望远镜单系统间的相对几何位置R和T，从而获得锥面i上两光纤望远镜单系统视轴间的夹角α_i，两锥面间的夹角γ_i以及光纤望远镜单系统的内参数。

步骤1-3：在光纤望远镜单系统以及定位结构确定后，就可以对空间位置区域在球面坐标系下进行空间划分；

在球面坐标系中，在同一锥面上光纤望远镜单系统的组合方式唯一的决定了空间中的特定区域(见图6)，有且只有在特定位置的三个光纤望远镜单系统同时观察到的区域为图中A区域，光纤望远镜单系统不同的组合方式决定了空间中不同的位置；在图中可以发现，同时被相同数量光纤望远镜单系统观察到的区域只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；按照此原理就可以通过采用包含光纤望远镜单系统组合方式未知量的方程来表示与坐标系原点的最近距离，

通过几何运算，可获得在球面坐标系下与锥面i相关的目标的空间位置：

$D_i({\mathrm{\&alpha;}}_i,{\mathrm{\&beta;}}_i,L,n_i)=D=\sqrt{{\left(\frac{L\{1-[(n_1-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}]\&CenterDot;\cos [(n_i-1){\mathrm{\&alpha;}}_i]+\sin [(n_i-1){\mathrm{\&alpha;}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left]\right\}\tan \mathrm{\&beta;}}\right)}^2}+{\left(\frac{L\left\{\sin \right[(n_i-1)\mathrm{\&alpha;}]-[(n_i-1)\mathrm{\&alpha;}{i}_i-\mathrm{\&beta;}]\&CenterDot;\cos [(n_i-1){\mathrm{\&alpha;}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left]\right\}}\right)}^2$

${\mathrm{\&theta;}}_i({\mathrm{\&alpha;}}_i,p_i,q_i)=\left\{\begin{array}{c}{\mathrm{\&alpha;}}_i\&times;(p_i+q_i)/2,q_i<2\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\\ {\mathrm{\&alpha;}}_i\&times;(p_i+q_i-[\frac{2\mathrm{\&pi;}}{{\mathrm{\&alpha;}}_i}\left]\right)/2,q_i\&GreaterEqual;\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\end{array}\right.$

综合所有锥面中获得的目标空间位置，得到动目标在球面坐标系下与所有锥面相关的空间位置P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))，其中

α_i，β，L已知，未知量n_i，w，u，K，p_i，q_i可以通过下述步骤3-1中对矩阵的处理获得。

步骤2：利用光纤望远镜系统阵列结构模拟复眼的“小眼”阵列，通过高速相机(6)获得通过“小眼”成像的图像序列。

步骤3：通过以下方式实现动目标定位：

步骤3-1：矩阵a_ij信号的采集与处理

运动检测：采用背景消除法结合差分运动分析法判断图像序列中每帧图像区域中是否有运动目标，将检测到运动的图像区域所对应矩阵a_ij中对应位置元素填“1”表示，否则为“0”；

数据处理器：将矩阵中值为“1”的元素与邻近的元素存在“8-邻域”关系的定义这些值为“1”元素同属于一个连通集，即认为该系列光纤望远镜系统集合中发现的为同一运动目标，否则为不同目标；将矩阵a_ij通过上述关系进行处理，将具有连通集的元素赋值到三维矩阵M_a×b×c中，其中矩阵M_a×b中包含了某一动目标某时刻的空间位置，C表示该帧图像中所具有的运动目标的数目；参数n_i，p_i，q_i，w，u，K可以通过对矩阵M_a×b×c的分析获得；

通过矩阵a_ij形成三维矩阵M_a×b×c的举例说明

$a_{\mathrm{ij}}=\left[\begin{array}{cccccccccc}1& 1& 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1& 1& 1\\ 0& 0& 0& 0& 0& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0& 1& 1& 1& 1& 1\end{array}\right]$

通过以上矩阵中值为“1”的元素存在与邻近元素存在“8-邻接”关系的系列元素集同属于一个连通集，就可以获得具有两个连通集的M_a×b×c矩阵，M⁽¹⁾、M⁽²⁾则包含了两个不同运动目标的位置特征值；其中

$M^{\left(1\right)}=\left[\begin{array}{cccccccccc}1& 1& 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right],$ $M^{\left(2\right)}=\left[\begin{array}{cccccccccc}0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1& 1& 1\\ 0& 0& 0& 0& 0& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0& 1& 1& 1& 1& 1\end{array}\right]$

“8-邻接”——参考文献：Milan Sonka《Image Processing，Analysis，and Machine Vision(second edition)》p48

两点间的距离可以表示为在数字删格上从起点移动到终点所需要的最少的基本步数。如果只允许横向移动和纵向移动，就是距离D₄，也成为“城市街区”距离；如果在数字栅格中允许沿对角线方向移动，就可以得到距离D₈，常称之为“棋盘”距离。距离D₈等于棋子从一处移动到另一处所需的步数。

D₈[(i，j)，(h，k)]＝max{|i-h|，|j-k|}

在数字图像中，像素邻接性是一个重要概念，通常将两个像素之间的距离D₈＝1称为“8-邻接”。

步骤3-2运动目标的定位、测速，

上述步骤3-1，阐述了针对帧图像中动目标信息的处理，通过以上处理可以获得在某时刻t目标的空间位置；将步骤3-1中获得未知量n_i，p_i，q_i，w，u，K代入P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))中就可以得到动目标的径向分量v_n和圆周分量ω_n代表的空间位置；

采用同样的方法，对图像序列进行处理，就可以获得不同时刻动目标的空间位置，可计算得到动目标的运动速度；运动目标的速度可分解为沿视轴方向的半径分量v_n和沿圆周方向的角分量ω_n；通过不同时刻获得的目标空间位置，计算出运动目标的速度：

ω_n＝Δθ/Δt＝[θ(t₂)-θ(t₁)]/Δt；

v_n＝ΔP/Δt＝-[P(t₂)-P(t₂)]/Δt；

运动目标的角速度、速度为矢量，角速度约定沿逆时针方向运动为正方向，沿顺时针方向运动为负方向；径向速度约定沿轴向探测器方向运动为正方向，反之为负方向；

步骤4：利用图像处理器(8)对获取的帧图像中的区域图像的矫正、剪切和拼接获得大视场的全景图；

透镜的焦距f，目标物体与相机的距离D，半球型定位罩的半径L，单个光纤望远镜系统在CCD上的成像区域为W×H(长×宽)像素，透镜的视角夹角一半β，以及视轴中心线在水平方向的夹角α_i，垂直方向的夹角为γ_i；通过对区域图像的剪切和拼接获得大视场全景图像；

在水平方向两端的剪切量为：

同理可得垂直方向上的剪切量

其中

数据D可以通过目标定位获得。

就图像拼接算法而言，包括有相位相关度法，变换优化法，基于几何特征的图像对齐等方法，但是这些算法要求高，运算复杂，很难满足实时性较高的系统的要求；

图像拼接技术：图像拼接技术就是将数张有重叠部分的图像拼成一幅大型的无缝的高分辨率图像的技术。图像配准和图像融合是图像拼接技术的两个关键技术，图像拼接技术的区别很大程度上取决于图像配准技术。

基于轮廓特征的配准算法：首先对图像进行直方图均衡和去噪处理，再对图像进行轮廓提取，然后对提取的轮廓进行配准，进而确定重叠区域。轮廓的匹配准则可以选择链码相关或者其他一些相似性准则，入主轴和不变矩等。

本发明的实现过程：

设计加工视角为2β光纤望远镜系统和一个半球型定位结构，把光纤望远镜系统按照相邻物镜视轴夹角水平方向为α、垂直方向为γ固定在半球型定位结构上；外界环境信息通过光纤望远镜系统在高速摄像机6上成像——光纤望远镜系统的目镜端与高速摄像机CCD的像素区域对应，实现对光纤传导图像的数字化；导线7将数字图像导入图像处理器8中，采用数字图像处理方法实现大视场图像拼接；然后将运动检测的结果通过数字处理器9，通过方程求解获得目标空间位置；当实时对视频图像处理时，获得不同时刻目标的空间位置，从而获得动目标的运动速度；实现大视场全景图以及运动目标的空间目标及运动速度在显示器10中显示。从而同步完成大视场图像拼接与动目标的实时定位。

Claims (3)

1.一种仿复眼视觉的运动目标高速定位及全景图同步获取装置，其特征在于：

由半球型角度定位罩(1)、光纤望远镜系统阵列、镜头转接环(5)、高速摄像机(6)、图像处理器(8)、数据处理器(9)、显示器(10)组成；

上述半球型角度定位罩(1)上均匀分布着N个定位孔，其中半球型定位罩的半径为L，定位孔的直径为d，任意两相邻定位孔的中心轴线间的水平夹角为α，垂直方向夹角为γ；

上述光纤望远镜系统阵列由N个光纤望远镜单系统构成，每个光纤望远镜单系统均由安装于半球型角度定位罩(1)的定位孔中的物镜(2)、与物镜相连的光纤(3)、与光纤相连的目镜(4)组成；上述物镜(2)的视角为2β；上述光纤望远镜单系统的视轴方向与定位孔的轴心方向的重合；

上述高速摄像机(6)通过镜头转接环(5)与N个目镜(4)连接，获得外界环境的数字图像；将上述高速摄像机(6)获得的数字图像，通过图像处理器(8)实现对数字图像信息的处理；上述数据处理器(9)的输入端与上述图像处理器(8)的输出端相连获取数字信号并实现数据的处理；

以半球型角度定位罩球心为原点，建立球面坐标系，上述γ表示以原点为顶点、Z轴为轴的两圆锥面(以下称为锥面)间的夹角，上述α表示过Z轴的半平面(以下称为圆周面)上两光纤望远镜单系统间的夹角；上述参数满足以下关系式arctan(d/L)＜α，γ＜2β＜180°。

2.根据权利要求1仿复眼视觉的运动目标高速定位及全景图同步获取装置的仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特征在于包括以下步骤：

步骤1：装置结构内外参数的标定

步骤1-1：结构中符号名词的解释

在球面坐标系内，定义Z轴正方向为零度角；锥面的编号依次从半球型角度定位罩的顶端从上到下编号；每个锥面上的光纤望远镜单系统阵列，从X轴正方向按照逆时针顺序依次编号；将光纤望远镜单系统按照以上顺序依次记录在矩阵a_ij中，其中i表示光纤望远镜单系统所在的锥面，j表示光纤望远镜单系统所在的圆周面中的位置；矩阵a_ij中，有光纤望远镜单系统的对应位置的元素用“-1”表示，其余用“0”表示；矩阵a_ij中的元素位置根据所对应的光纤望远镜单系统的关系与其在高速摄像机CCD的成像区域一一对应；

n_i表示在锥面i中同时观察到相同动目标的光纤望远镜单系统的数目；p_i、q_i表示在锥面i上同时观察到动目标的光纤望远镜单系统最小、最大编号；α_i表示在锥面i中两光纤望远镜单系统视轴间夹角；P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))表示通过锥面i光纤望远镜单系统组合方式获得的目标的空间位置；w，u表示同时观察到相同动目标的锥面的最大层和最小层；γ_i表示锥面i与锥面i-1间的夹角；其中i＝1，2，...，I；I表示按照系统的需要设计的锥面的最大数；K表示同时观察到动目标的锥面数，其中0≤K≤I；

区域图像：光纤望远镜单系统在所对应的CCD区域上单独形成的图像区域；

步骤1-2：通过双目摄像机标定法，获得锥面i上两光纤望远镜单系统视轴间的夹角α_i，两锥面间的夹角γ_i以及光纤望远镜单系统的内参数；

步骤1-3：在光纤望远镜单系统以及定位结构确定后，就可以对空间位置区域在球面坐标系下进行空间划分；

在球面坐标系中，由于同时被相同数量光纤望远镜单系统观察到的区域只存在角度上的差别，被不同数量摄像机观察到的区域只存在视轴方向上半径的差别；且被同时观察到的空间区域可以唯一的通过光纤望远镜单系统的数目和不同的组合方式表示；根据上述原理，在同一锥面上光纤望远镜单系统的组合方式唯一的决定了空间中的特定区域，就可以通过采用包含光纤望远镜单系统组合方式未知量的方程来表示与坐标系原点的最近距离，

通过几何运算，可获得在球面坐标系下与锥面i相关的目标的空间位置：

$D_i({\mathrm{\&alpha;}}_i,{\mathrm{\&beta;}}_i,L,n_i)=D=\sqrt{{\left(\frac{L\{1-[(n_1-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}]\&CenterDot;\cos [(n_i-1){\mathrm{\&alpha;}}_i]+\sin [(n_i-1){\mathrm{\&alpha;}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left]\right\}\tan \mathrm{\&beta;}}\right)}^2}+{\left(\frac{L\left\{\sin \right[(n_i-1)\mathrm{\&alpha;}]-[(n_i-1)\mathrm{\&alpha;}{i}_i-\mathrm{\&beta;}]\&CenterDot;\cos [(n_i-1){\mathrm{\&alpha;}}_i\left]\right\}}{\{1-[(n_i-1){\mathrm{\&alpha;}}_i-\mathrm{\&beta;}\left]\right\}}\right)}^2$

${\mathrm{\&theta;}}_i({\mathrm{\&alpha;}}_i,p_i,q_i)=\left\{\begin{array}{c}{\mathrm{\&alpha;}}_i\&times;(p_i+q_i)/2,q_i<2\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\\ {\mathrm{\&alpha;}}_i\&times;(p_i+q_i-[\frac{2\mathrm{\&pi;}}{{\mathrm{\&alpha;}}_i}\left]\right)/2,q_i\&GreaterEqual;\mathrm{\&beta;}/{\mathrm{\&alpha;}}_i\end{array}\right.$

综合所有锥面中获得的目标空间位置，得到动目标在球面坐标系下与所有锥面相关的空间位置P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))，其中

α_i，β，L已知，未知量n_i，w，u，K，p_i，q_i可以通过下述步骤3-1中对矩阵的处理获得；

步骤2：利用光纤望远镜系统阵列结构模拟复眼的“小眼”阵列，通过高速相机(6)获得通过“小眼”成像的图像序列；

步骤3：实现对动目标的定位、测速：

步骤3-1：矩阵a_ij信号的采集与处理

运动检测：采用背景消除法结合差分运动分析法判断帧图像的光纤望远镜单系统对应的区域图像中是否有运动目标，将检测到运动的区域图像所对应矩阵a_ij中对应位置元素填“1”表示，否则为“0”；

数据处理器：将矩阵中值为“1”的元素与邻近元素存在“8-邻域”关系的，定义这些具有“8-邻域”关系、值为“1”的元素同属于一个连通集，即认为该系列光纤望远镜系统集合中发现的为同一运动目标，否则为不同目标；将矩阵a_ij通过上述关系进行处理，将具有连通集的元素赋值到三维矩阵M_a×b×c中，其中矩阵M_a×b中包含了某一动目标某时刻的空间位置，C表示该帧图像中所具有的运动目标的数目；参数n_i，p_i，q_i，w，u，K可以通过对矩阵M_a×b×c的分析获得；

步骤3-2运动目标的定位、测速，

上述步骤3-1阐述了针对帧图像中动目标信息的处理，通过以上处理可以获得在某时刻t目标的空间位置；将步骤3-1中获得未知量n_i，p_i，q_i，w，u，K代入P(D(α_i，β，L，n_i，K)，θ(α_i，p_i，q_i，w，u，K))中就可以得到动目标的径向分量v_n和圆周分量ω_n代表的空间位置；

v_n指目标为沿视轴方向的运动的径向分量；ω_n指目标为沿圆周方向运动的角分量

采用以上对帧图像中目标的定位方法对图像序列进行处理，就可以获得目标的运动速度；运动目标的速度可分解为沿视轴方向的半径分量v_n和沿圆周方向的角分量ω_n；通过不同时刻获得的目标空间位置，计算出运动目标的速度：

ω_n＝Δθ/Δt＝[θ(t₂)-θ(t₁)]/Δt；

v_n＝ΔP/Δt＝-[P(t₂)-P(t₂)]/Δt；

运动目标的角速度、速度为矢量，角速度约定沿逆时针方向运动为正方向，沿顺时针方向运动为负方向；径向速度约定沿轴向探测器方向运动为正方向，反之为负方向；

步骤4：利用图像处理器(8)对获取的帧图像中的区域图像的矫正、剪切和拼接获得大视场的全景图。

3.根据权利要求2所述仿复眼视觉的运动目标高速定位及全景图同步获取方法，其特征在于：上述步骤4中所述大视场的全景图是由以下方法生成的：

透镜的焦距f，目标物体与相机的距离D，半球型定位罩的半径L，单个光纤望远镜系统在CCD上的成像区域为W×H像素，W为长，H为宽，透镜的视角夹角一半β，以及视轴中心线在水平方向的夹角α_i，垂直方向的夹角为γ_i；通过对区域图像的剪切和拼接获得大视场全景图像；

在水平方向两端的剪切量为：

同理可得垂直方向上的剪切量

其中

数据D可以通过目标定位获得。

Images