CN101561270A - 嵌入式全向球视觉目标检测和移动监控系统及方法 - Google Patents

Abstract

嵌入式全向球视觉目标检测和移动监控系统及方法。全向球视觉是指具有全球域视野的视觉系统，可一次性采集整个全球域的全部场景而无须摄像机的回转和扫描。本系统包括全向球视觉图像成像系统(包括两个鱼眼式全景镜头、两个CMOS图像采集芯片、FPGA控制器和SRAM存储芯片)，以及多路DSP并行图像处理器(包括一个主控DSP和两路DSP并行图像处理器)。成像系统通过两个鱼眼式全景镜头配合双CMOS芯片采集全向球视觉图像，主控DSP负责数据的调度和通讯，双路并行DSP相互独立，可并行处理静态航标的识别跟踪和动态目标的实时监测。本发明集成度高、体积小、处理速度快，尤其适用于安全监控、移动车体导航等军用或民用领域。

Description

嵌入式全向球视觉目标检测和移动监控系统及方法

【技术领域】：

本发明属于嵌入式图像处理技术领域，特别涉及一种嵌入式全向球视觉的移动检测系统及方法。

【背景技术】：

当前的全景图像采集普遍采用以下两种技术：(1)单一镜头多次采样拼接；(2)曲面镜头或镜面反射式镜头图像采集。前者图像拼接方法原始数据量大，算法复杂，一般只能做静态图像拼接，无法完成实时成像。而采用非常规镜头方法只能采集到一个半球面图像，无法做到真正的全球域“无死角”的实时采集。以后出现的全球域摄像系统大多采用超过四五个镜头的多头摄像机拼合的形式如加拿大Point Grey Research Inc.的六镜头组合的Ladybug全景视频采集系统等，但也不能完全覆盖整个球域场景。近期，日本岩手大学研制出一种双鱼眼镜头对接的全景视觉系统SpherEye，将双鱼眼图像通过折射镜片映射到同一块图像传感器上，实现了对全向视觉图像的采集，用于汽车自动导航领域，然而其仅具备全向视觉图像的采集功能并未集成配套的图像处理装置和相关的处理软件，也未涉及更多地应用开发。同时，单一传感器采集两幅鱼眼图像不可避免的影响到图像的质量和图像的分辨率，削弱了全景监测的效果。

而且传统视觉系统由于视场角的限制，必须配备一套随动机械云台装置，来采集多幅图像和锁定目标，这样不仅增加了整个系统的体积，导致性能下降，同时也会带来更多不稳定参数导致误差增多。而且随动系统在目标跟踪时存在滞后、灵活性差，且目标容易丢失。另外，由于视角的限制，很多视场信息被丢弃，无法做到真正的全球域视野。

嵌入式系统以其特有的灵活性、准确性、稳定性、可重复性、体积小、功耗小，尤其是可编程性和易于实现自适应处理等特点，已经在数据、语音、视像信号等高速数学运算和实时处理方面得到广泛的应用，嵌入式系统将在未来图像和语音处理领域中起着主导的作用。以FPGA+DSP为基本框架构建智能相机已是目前较为成熟的技术。但大多数嵌入式系统都采用单芯片或者主从式芯片结构，对于运算量大的数字图像处理，或者视频跟踪处理往往只能实现单路或串行远算，但当需要多种算法并行运算的复杂情况时，(如多目标跟踪)则会有极大局限性。而对全向球视觉的大场景图像的采集与处理，特别是涉及多目标多任务的场合构建多DSP的实时系统则是必需的解决方案。

全向球视觉具有全球域视野图像，配合以目标检测功能，非常适合于监控领域，但绝大多数应用都是固定相机，配合全景镜头进行定点监控，而对于移动检测领域则很少涉及。主要由于移动监控系统不仅要保证对动态的目标进行实时监测，同时还要满足自身移动定位导航，这需要多种识别跟踪算法并行运算，对于系统硬件的并行处理功能要求较高。

【发明内容】：

本发明目的是克服现有技术存在的上述不足，提供一种基于多DSP的嵌入式全向球域超大视场角的图像成像系统，并以此为基础建立一整套多目标检测和移动监控系统及其处理方法。

该方法可同时采集整个全球域视觉图像，而不需要安装机械随动平台系统，基于多DSP的硬件架构，进行多种图像跟踪监测算法的并行运算，协同处理的嵌入式系统硬件架构将有效地保障视觉系统对包含大量信息的全球域图像序列进行多种高级处理的实时性与可靠性。对静态航标识别跟踪和对动态目标实时监测并行进行，配合相应的导航算法，可以完成自引导车移动监控，敏感目标捕获，现场巡查，环境监测等任务。本系统及方法具有一体化、小型化、高效可靠等特点，适合于对体积要求严格，需要高实时性处理速度的车载移动以及智能监控领域。同时，本发明也适合于需要多种图像算法并行处理的高端应用领域。

本发明提供的嵌入式全向球视觉目标检测和移动监控系统，包括(见附图1)：

全向球视觉图像成像系统：包括背靠固定的两个鱼眼式全景镜头，分别与两个鱼眼式全景镜头连接的两个可编程面阵CMOS图像采集芯片，两个CMOS图像采集芯片通过FPGA控制器连接SRAM存储芯片；该成像系统用于一次获取整个全球域的图像信息，并通过FPGA将采集到的图像数据存储到SRAM芯片中；所述的两个鱼眼式全景镜头朝向相反安装，背靠固定，通过全向球视觉系统的一次拍摄，可分别获得左右半球域的视觉图像。无需单一镜头多次拍摄，将显著降低两幅鱼眼图像边缘的差异；同时，镜头相对固定，减少镜头标定时由于位移可能产生的误差。

一个主控DSP(TMS320VC5502)：与SRAM存储芯片连接，负责两路图像处理DSP的数据分配调度与合成，以及用于进行信息综合和导航策略选择，并将制导控制信号通过以太网通讯接口或者串口输出；

两路DSP并行图像处理器：包括分别通过各自对应的FIFO芯片与主控DSP连接的两个高性能图像处理DSP(TMS320DM642)，两个图像处理DSP同时分别与SRAM存储芯片连接；用于对不同目标的图像数据并行进行不同的处理过程，并由主控DSP负责两路图像处理DSP的数据分配调度与合成。其中静态航标识别与跟踪由第一路图像处理DSP承担，算法采用基于概率预测的粒子滤波跟踪算法；第二路图像处理DSP主要负责对全向球视觉图像进行实时监测，算法采用光流法对机动目标进行实时检测。两种不同的图像处理算法并行执行，并通过主控DSP相互通讯并实施综合导航，满足移动监测制导的特殊需求。

所述的两个图像处理DSP分别与存放各自DSP程序的FLASH芯片连接，系统上电后，用于自动将相应程序引导入DSP中运行。

本发明提供的嵌入式全向球视觉目标检测和移动监控方法包括以下步骤：

第一、由两个鱼眼式全景镜头同时分别对监控区域进行图像拍摄；

第二、由两路CMOS图像采集芯片分别采集两路鱼眼式全景镜头的图像，并将所采集的左右半球图像放入SRAM存储芯片中进行暂存，此时，就能够将获取的全球域图像输出用于观察；

第三、用两路图像处理DSP分别对静态航标进行跟踪和对动态目标进行检测；

第四、由主控DSP对上步跟踪和检测的结果进行信息综合和导航策略选择，并将制导控制信号通过以太网通讯接口或者串口发送到被控端。

以上第三步所述的对静态航标的跟踪方法采用粒子滤波跟踪算法；航标为双色序列式航标，放置在车体顶部；粒子滤波是一种统计滤波方法，它依据大数定理采用蒙特卡罗方法来求解贝叶斯估计中的积分运算，并利用重要抽样在动态状态空间上得到一组不断更新的粒子，来逼近待估计状态的后验概率密度，其中，这些粒子与一组权值一一对应；假设在一维空间中观测值的序列表示为{z＝(z₁，z₂，...，z_M)}，观测值的概率密度为p(z|x)，x也为一维量；通过贝叶斯公式我们可以得到后验概率公式：

$p\left(X_t\right|Z_t)\≈\mathrm{kp}\left(Z_t\right|X_t)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{t-1}^{\left(i\right)}p\left(X_t\right|X_{t-1}^{\left(i\right)}),$

其中，p(z_t|x_t)称为似然性，表征系统状态由x_t-1转移到x_t后和观测值的相似程度；p(x_t|z_1：t-1)为上一步系统状态转移过程所得，称为先验概率；p(z_t|z_t-1)称为证据，通常为归一化常数。

粒子滤波器对目标的跟踪提供了一个鲁棒性很强的框架，他既不受限于线性系统也不要求噪声是高斯的。

粒子滤波跟踪包括：粒子集初始化、移动粒子、计算粒子权值、权值标准化、重采样、预测目标当前位置五个步骤。

第三步所述的对动态目标的实时检测采用光流法，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势，它可以求得稠密处所对应物体的运动信息；由光流场可以计算场景中物体的运动和结构；

记在时刻t时，图像上的点(x，y)处的灰度值为P(x，y，t)，它是场景中时刻t时某物体上某一点(X，Y，Z)在图像上的像，在时刻t+Δt时，这一点运动到(X十ΔX，Y十ΔY，Z十ΔZ)，其在图像上的像变为(x十Δx，y+Δy)，于是时刻t十Δt时图像上点(x+Δx，y+Δy)处的灰度值可记为P(x+Δx，y+Δy，t+Δt)，假定它与P(x，y，t)相等，经过变换可以推导出光流场的基本计算公式：

${(\▿P)}^T\·U=-\frac{\∂P}{\∂t},$

其中： $\▿P=\left[\begin{array}{c}\frac{\∂P}{\∂x}\\ \frac{\∂P}{\∂y}\end{array}\right],$ $U=\left[\begin{array}{c}u\\ v\end{array}\right],$ 是图像灰度值的梯度，U是光流场；

在对机动目标检测时，我们首先将采集到的原始图像转化为低分辨率的金字塔图像，金字塔序列计算公式为：

$I_{k-1}(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}w(m,n)I_k(2i+m,2j+n)$

然后对金字塔图像中所有的像素区域进行一次光流平均计算，同时根据静态航标Δt时刻中的相对位移作为阈值，进行光流量与之判断，将光流量大于阈值的区域设定为机动目标，反之，设定为背景，分割光流场中的背景和机动目标，即可初步检测出图像中的机动目标区域，最后对监测区域进行逆金字塔计算，就可以检测到准确的机动目标。

第四步所述的进行信息综合和导航策略选择是指移动车体导航。主控DSP可以根据接收到的两个跟踪器发送的信息，实现航迹导航和追踪导航的自动切换。

当自主导航过程中无机动目标出现时，主控DSP接收静态航标跟踪器发送的全景图像中左右双色航标的位置信息，通过坐标变换推导出车体在环境空间的坐标位姿，以此进行定位并进行相应的信息综合和导航策略选择。移动车体位姿推导的具体过程如下：如图8所示，以航标A，航标B为X轴，建立世界坐标系。航标的世界坐标系分别为：(X1，Y1)，(X2，Y2)，图像坐标为(X1’，Y1’)和(X2’，Y2’)。车体的世界坐标系设为(X0，Y0)。鱼眼镜头中心设为(X0’，Y0’)。本鱼眼镜头严格满足等距投影定理，即投影距离与目标仰角满足r_i＝kw_i，，其中ri为图像中目标与镜头中心的投影距离，k为镜头投影系数，wi为该目标与镜头在实际空间中的仰角。同时航标在车体正前方投影的空间角度等于航标的映射角度，即θ′₁＝θ₁，θ′₂＝θ₂，并且可由公式 ${\mathrm{\θ}}_i=\arctan \left(\frac{Y_i^{\′}-Y_0^{\′}}{X_i^{\′}-X_0^{\′}}\right),$ i＝1，2求出。航标高度H1，H2，航标间距L，全向球视觉镜头高度H0为已知参数，配合航标仰角θ1，θ2，和鱼眼镜头投影系数k，可以推导出车体在世界坐标系下的空间坐标：

$\left\{\begin{array}{c}{X}_0=(H_1-H_0)\sin {\mathrm{\θ}}_1\tan \left(\frac{r_1}{k}\right)\\ Y_0=\frac{H_1-H_0}{\tan {\mathrm{\θ}}_1}\end{array}\right.$

再计算出车体位置和航标中心线的偏差Δr，根据公式：

SpeedL＝Speed+K*Δr

SpeedR＝Speed-K*Δr

计算出车体左右轮速度，实现航标导航。

当自主导航过程中检测到机动目标时，由机动目标跟踪器向主控DSP发出始能信号，主控DSP自动切换到追踪导航策略。追踪导航策略利用机动目标跟踪器经连通域分析计算出的机动目标在图像中的位置，求出该位置与图像中心线的偏差Δr′，根据公式：

SpeedL＝Speed-(K×Δr′)

SpeedR＝Speed+(K×Δr′)

计算出车体左右轮速度，实现寻迹导航。

本发明的优点和积极效果：

●基于双鱼眼式全景镜头建立的全向球视觉图像采集系统。可一次性同步采集整个全球域的图像而无须摄像机的回转和扫描能将周围环境内上、下、左、右、前、后的全部景物“一眼看遍”，真正做到无死角。

●本发明依托于嵌入式DSP平台，将双鱼眼镜头采集装置和嵌入式处理器进行一体化设计，构成一套完整的、软硬件结合的、实时性强、集成度高、稳固性好的图像处理硬件构架平台。

●本发明配备多路DSP并行图像处理器。多路DSP的并行硬件设计方案有利于软件模块化与功能扩展，满足不同算法模块的并行执行。保证了数据处理的高效性和系统实时性，同时也具有通用性，尤其是需要并行处理两种以上高级图像处理算法，可以满足应用对实时性和并行处理能力的高端需求。

●本发明设计的多目标检测和车体导航算法。非常适合于移动监控、动态探测和伺服制导等领域应用。

【附图说明】：

图1是嵌入式全向球视觉目标检测和移动监控方法的流程框图；

图2是嵌入式全向球视觉目标检测和移动监控系统的硬件架构；

图3是全向球视觉图像输出显示；

图4是系统总线原理图；

图5是存放初始图像的SRAM电路原理图；

图6是存放DSP程序的FLASH电路原理图；

图7是串口通讯接口电路原理图；

图8是全向球视觉车体定位示意图。

【具体实施方式】：

实施例1、嵌入式全向球视觉目标检测和移动监控系统

如图2所示，嵌入式全向球视觉目标检测和移动监控系统的硬件构架，主要包括：

全向球视觉图像成像系统：

包括两个FE185C046HA-1鱼眼镜头，具有185°超大广角，两个鱼眼镜头彼此背向水平、光轴轴心重合，可以覆盖360°×360°全球域视野；图像采集芯片采用两块MT9T001型CMOS芯片，各自独立，分别与两个鱼眼式全景镜头连接，并通过FPGA控制器连接SRAM存储芯片；两块MT9T001型CMOS芯片同时受Cyclone IIC35型FPGA控制，用于采集两路鱼眼镜头的图像(图5)；

多路DSP并行图像处理器包括：

一个主控DSP(TMS320VC5502)：与SRAM存储芯片连接，负责两路图像处理DSP的数据分配调度与合成，以及用于进行信息综合和导航策略选择，并将制导控制信号通过以太网通讯接口或者串口输出；

两路DSP并行图像处理器：包括分别通过各自对应的FIFO芯片与主控DSP连接的两个图像处理DSP(TMS320DM642)，两个图像处理DSP同时分别与SRAM存储芯片连接；用于对不同目标的图像数据并行进行不同的处理过程，并由主控DSP负责两路图像处理DSP的数据分配调度与合成。

FPGA利用与主控DSP(TMS320VC5502)的外部中断口相连的IO口DSP INT4请求中断操作(如图4所示)，主控DSP响应外部中断，并在中断服务程序中通知两个图像处理DSP(TMS320DM642)通过数据总线ED[0:63]、地址总线EA[0:22]以及相应的控制总线，从SRAM中读取全向球视觉图像，两个图像处理DSP通过FIFO芯片(采用CYPRESS公司的FIFO芯片CY7C419)实现与主控DSP间的数据通信；所述的多路DSP并行图像处理器中的两个图像处理DSP分别与存放各自DSP程序的FLASH芯片连接(采用4MB的FLASH芯片AM29LV033C，图6)，系统上电后，用于自动将相应程序引导入DSP中运行；串口和网络通讯接口芯片分别采用TL16C752B和LXT971A负责制导控制信号的输出(图7)。

实施例2、嵌入式全向球视觉目标检测和移动监控方法

下面用实用案例具体说明本发明的实验步骤与实用效果。

本实例以基于双色航标导航为基础，主要完成一个全球域视觉采集，静态双色航标跟踪和动态目标检测并行处理，车体移动导航的自引导车的移动监控实例。

步骤一：全向球视觉图像采集：

第一、在自引导车顶部放置如实施例1中所述的全向球视觉监控系统。由两个鱼眼式全景镜头同时分别对监控区域进行图像拍摄；

第二、由两路CMOS图像采集芯片分别采集两路鱼眼式全景镜头的图像，所采集的图像为两幅分辨率为720X576的左右半球图像(图3所示)。FPGA控制图像数据，并将所采集的左右半球图像放入SRAM存储芯片中进行暂存，供后续程序应用。此时，就能够将获取的全球域图像输出用于观察；

第三、用两路图像处理DSP分别对静态航标进行跟踪和对动态目标进行检测；

1、静态航标识别跟踪：导航航标我们采用色斑状的双色航标，分别为蓝色和黄色，分别将蓝色Y、Cb、Cr阈值限定范围为80＜Y＜120、130＜Cb＜160、100＜Cr＜125，黄色Y、Cb、Cr阈值限定范围为90＜Y＜130、70＜Cb＜100、130＜Cr＜160。图像处理DSP利用设置的颜色阈值对全屏范围内的每一像素点进行分类判定，分别统计属于蓝色和黄色范围内的像素坐标，并对属于各自范围内的像素坐标利用求平均值的方式，获得蓝色和黄色目标的中心位置分别为右镜头采集图像中(385，148)和左镜头采集图像中(393，147)(图3中十字标记处)，作为粒子滤波跟踪的初始位置。

接下来进行粒子滤波跟踪：粒子滤波跟踪包括：粒子集初始化、移动粒子、计算粒子权值、权值标准化、重采样、预测目标当前位置五个步骤。

第3.1步，粒子集初始化，在第一帧图像中分别计算以蓝色和黄色目标中心位置30×30范围内图像的颜色直方图，作为目标直方图。然后分别在两个目标的中心15×15范围内随机产生150个30×30的方框，即粒子，并统计每一个粒子的颜色直方图。

第3.2步，移动粒子。当下一帧图像到来时，根据上一帧中每个粒子的位置(x，y)，随机移动到新的位置(x+Range×random，y+Range×random)，Range为移动范围，本实施例中取15，random为-1～1的随机数。

第3.3步，计算粒子权值。利用 $p\left(z\right|x)=2\exp \left(\underset{m}{\mathrm{\Σ}}(-\frac{|x-z_m|}{\mathrm{count}*20})\right)$ 计算每个粒子的权值，式中x为多值目标颜色直方图，Zm为对应粒子的颜色直方图，count为粒子个数；

第3.4步，权值标准化。在计算完所有粒子权值后，将每个粒子的权值与所有粒子的权值和相除，进行权值标准化，使得每个粒子权值的取值范围变为0～1之间；

第3.5步，粒子重采样。如果粒子的权值小于阈值α(α＝所有粒子平均权值×K，K值越大参与粒子重采样的粒子越多，此值根据跟踪所需精度进行调节，本实施例中K＝0.2)，则表示该粒子代表目标位置的概率很低，需要重新采样以保证尽可能多的粒子能够参与下一步的目标预测。参照第3.2步的方法，将这些粒子随机移动一个位置产生新的粒子，并计算权值；

第3.6步，预测目标当前位置。设定阈值β(β＝所有粒子平均权值×K′，K′值越小参与预测的粒子越多，此值根据跟踪所需精度进行调节，本实施例中K′＝0.8)分别统计两个目标中权值大于β的粒子，这些粒子权值的平均值即为两个目标的预测位置。最后将两个目标的图像坐标信息作为参数，传输到主控DSP中，供其应用。

2、机动目标实时检测：在一路图像处理DSP跟踪静态航标的同时，另一路图像处理DSP通过光流法实现对机动目标的实时监测，由于移动监控时，机体存在移动性，所以需要一种改进的光流法去除背景的光流干扰。设时刻t时中，图像上的任意一点(x，y)处的灰度值为P(x，y，t)，它是场景中时刻t时某物体上某一点(X，Y，Z)在图像上的像。在时刻t+Δt时，这一点运动到(X十ΔX，Y十ΔY，Z十ΔZ)，其在图像上的像变为(x十Δx，y+Δy)，于是时刻t十Δt时图像上点(x+Δx，y+Δy)处的灰度值可记为P(x+Δx，y+Δy，t+Δt)，假定它与P(x，y，t)相等，经过变换可以推导出光流场的基本计算公式：

${(\▿P)}^T\·U=-\frac{\∂P}{\∂t}$

其中 $\▿P=\left[\begin{array}{c}\frac{\∂P}{\∂x}\\ \frac{\∂P}{\∂y}\end{array}\right]$ $U=\left[\begin{array}{c}u\\ v\end{array}\right],$

是图像灰度值的梯度，U是光流场。为较少计算量，我们设定将每隔6×8像素的区域，对图像中所有的像素区域进行一次光流平均计算，同时根据静态航标Δt时刻中的相对位移作为阈值，进行光流量与之判断，将光流量大于阈值的区域设定为机动目标，反之，设定为背景，分割光流场中的背景和机动目标。

在本实例中，设Δt为2秒，当车体速度保持在0.2m/s的速度行进中，计算出静态航标的光流向量为 $U_0=\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]=\left[\begin{array}{c}10\\ 15\end{array}\right],$ 同时计算图像中各个区域的光流向量 $U_i=\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right],$ 并将各点的光流向量于航标的光流向量进行对比ΔU_i＝|u₀-u_i|+|v₀-v_i|，当ΔUi小于设定阈值时，认为此区域为机动目标点，最后将所有的机动目标点连通域统计后，检测出机动目标。并将其实时监控的目标信息，传送到主控DSP中，再通过网络通讯发送到外部设备中，提供移动监控功能。

第四、车体制导策略设定和导航控制输出：

在主控DSP中进行车体制导策略设定，首先主控DSP接收一路图像处理DSP所跟踪的静态航标信息，如图8所示，以航标A，航标B为X轴，建立世界坐标系。航标的世界坐标系分别为：(X1，Y1)，(X2，Y2)，图像坐标为(X1’，Y1’)和(X2’，Y2’)。车体的世界坐标系设为(X0，Y0)。鱼眼镜头中心设为(X0’，Y0’)。本鱼眼镜头严格满足等距投影定理，即投影距离与目标仰角满足r_i＝kw_i，同时航标在车体正前方投影的空间角度等于航标的映射角度，即θ′₁＝θ₁，θ′₂＝θ₂，并且可由公式 ${\mathrm{\θ}}_i=\arctan \left(\frac{Y_i^{\′}-Y_0^{\′}}{X_i^{\′}-X_0^{\′}}\right),$ i＝1，2求出。航标高度H1，H2，航标间距L，全向球视觉镜头高度H0为已知参数，配合航标仰角θ1，θ2，可以推导出车体在世界坐标系下的空间坐标：

$\left\{\begin{array}{c}{X}_0=(H_1-H_0)\sin {\mathrm{\θ}}_1\tan \left(\frac{r_1}{k}\right)\\ Y_0=\frac{H_1-H_0}{\tan {\mathrm{\θ}}_1}\end{array}\right.$

本实例中两个航标的坐标为右镜头图像中(385，148)和左镜头图像中(393，147)，两航标高度265cm，间距325cm，本实例采用的鱼眼镜头中心为(382，277)，镜头高度为83cm，投影系数k为3.2。经过计算，车体的空间坐标为(153，4)。并根据导航策略，控制车体移动。在本实例中，车体制导方法设定为沿两个航标中心线移动，车体位置和中心线的偏差r为10.5，根据公式

SpeedL＝Speed+K*Δr

SpeedR＝Speed-K*Δr

设定车体左右轮速度，Speed为左、右轮默认速度、为0.2米每秒，K等于0.007(K值需根据不同的移动载体求出)。按照公式进行计算，结果为左轮速度0.326米每秒，右轮速度0.126米每秒。

Claims (4)

1、嵌入式全向球视觉目标检测和移动监控系统，其特征在于该系统包括：

全向球视觉图像成像系统：包括背靠固定的两个鱼眼式全景镜头，分别与两个鱼眼式全景镜头连接的两个可编程面阵CMOS图像采集芯片，两个CMOS图像采集芯片通过FPGA控制器连接SRAM存储芯片；该成像系统用于一次获取整个全球域的图像信息，并通过FPGA将采集到的图像数据存储到SRAM芯片中；

一个主控DSP：与SRAM存储芯片连接，负责两路图像处理DSP的数据分配调度与合成，以及用于进行信息综合和导航策略选择，并将制导控制信号通过以太网通讯接口或者串口输出；

两路DSP并行图像处理器：包括分别通过各自对应的FIFO芯片与主控DSP连接的两个图像处理DSP，两个图像处理DSP同时分别与SRAM存储芯片连接；用于对不同目标的图像数据并行进行不同的处理过程，并由主控DSP负责两路图像处理DSP的数据分配调度与合成。

2、根据权利要求1所述的嵌入式全向球视觉目标检测和移动监控系统，其特征在于所述的两个图像处理DSP分别与存放各自DSP程序的FLASH芯片连接，系统上电后，用于自动将相应程序引导入DSP中运行。

3、一种嵌入式全向球视觉目标检测和移动监控方法，其特征在于该方法包括以下步骤：

第一、由两个鱼眼式全景镜头同时分别对监控区域进行图像拍摄；

第二、由两路CMOS图像采集芯片分别采集两路鱼眼式全景镜头的图像，并将所采集的左右半球图像放入SRAM存储芯片中进行暂存，此时，就能够将获取的全球域图像输出用于观察；

第三、用两路图像处理DSP分别对静态航标进行跟踪和对动态目标进行检测，两路图像处理流程并行进行，并在处理中可以实时交换信息；

第四、由主控DSP对上步跟踪和检测的结果进行信息综合和导航策略选择，并将制导控制信号通过以太网通讯接口或者串口发送到被控端。

4、根据权利要求3所述的方法，其特征在于第四步所述的进行信息综合和导航策略选择是指移动车体导航，即主控DSP可以根据接收到的两路DSP并行图像处理器发送的信息，实现航迹导航和追踪导航的自动切换；

当自主导航过程中无机动目标出现时，主控DSP接收静态航标跟踪在全景图像中左右双色航标的位置信息，通过坐标变换推导出车体在环境空间的坐标位姿，以此进行定位并进行相应的信息综合和导航策略选择，位姿推导公式为：

$\left\{\begin{array}{c}{X}_0=(H_1-H_0)\sin {\mathrm{\θ}}_1\tan \left(\frac{r_1}{k}\right)\\ Y_0=\frac{H_1-H_0}{\tan {\mathrm{\θ}}_1}\end{array}\right.$

其中，(X0，Y0)为车体空间坐标，r为全景图像中航标与鱼眼中心的投影距离，H1为航标高度，H0为全向球视觉镜头高度，θ1，θ2为计算的航标仰角，k为鱼眼镜头投影系数，再计算出车体位置和航标中心线的偏差Δr，根据公式：

SpeedL＝Speed+K*Δr

SpeedR＝Speed-K*Δr

计算出车体左右轮速度，实现航标导航；

当自主导航过程中检测到机动目标时，由机动目标跟踪器向主控DSP发出始能信号，主控DSP自动切换到追踪导航策略，追踪导航策略利用机动目标跟踪器经连通域分析计算出的机动目标在图像中的位置，求出该位置与图像中心线的偏差Δr′，根据公式：

SpeedL＝Speed-(K×Δr′)

SpeedR＝Speed+(K×Δr′)

计算出车体左右轮速度，实现寻迹导航。

Images