CN102332165B - 复杂背景下动目标或弱小目标的实时鲁棒跟踪装置 - Google Patents

Abstract

本发明涉及一种复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，该装置的目标图像预处理单元对输入的图像进行预处理；直方图统计单元进行计算和处理得到图像的灰度直方图；计算灰度图像特征单元计算灰度直方图中最大灰度值x_max与非零的最小灰度值x_min之差Δx，计算最大灰度值的像素的个数y_max与非零的最小灰度值的像素的个数y_min之差Δy；判断单元根据Δx和Δy自主判断该图像是属于低对比度、弱小目标的情况还是复杂背景条件的情况；然后装置自主决定采用相应的跟踪方法进行目标跟踪并输出跟踪结果。本发明采用图像灰度直方图中的能够有效表征图像的对比度以及灰度复杂度两种特征综合判决，取得了很好的判决结果。

Description

复杂背景下动目标或弱小目标的实时鲁棒跟踪装置

技术领域

本发明属于数字图像处理及电子学技术领域，涉及到一种复杂背景下高速动目标或弱小目标的实时鲁棒跟踪装置。

背景技术

目标跟踪是一项融合图像处理、模式识别、概率论及随机过程、泛函及优化和偏微分方程等多学科的复杂课题，其一直是计算机视觉领域的重要研究课题，被广泛应用在智能人机交互、医疗诊断、安防监控、汽车智能交通等方面。

目标跟踪的难题有：

1)由于视角、时间等变化造成的光照变化，由于目标旁边的物体的阴影造成的光照不均；

2)目标缩放、旋转、形变等变化；

3)目标部分遮挡、或全部遮挡；

4)目标高速运动以及造成的图像模糊；

目前目标跟踪的方法主要有基于特征匹配的、基于检测的和基于滤波预测的方法等三大类，其中比较热门的有SIFT特征匹配、MeanShiff、粒子滤波等方法。SIFT特征点匹配虽然对于目标旋转、缩放、形变等有很好的鲁棒性，但其计算量大、需要的存储空间也很大；MeanShiff即均值漂移方法，使用核直方图作为目标模型可抗部分边缘遮挡，但对全部遮挡则失去鲁棒性；粒子滤波方法采用概率论方法预测目标位置，对于遮挡有一定鲁棒性，但其计算量大、定位不够精确。因此寻找一种对弱小目标、目标缩放形变以及目标阻塞等都有很好的鲁棒性，同时又能够满足实时要求的综合方法是非常有现实意义的，同时也是必需的。

发明内容

本发明要解决的技术问题是提供一种能够实时自主判决当前跟踪环境以及目标类型，并自主决策采取对应的跟踪方式进行鲁棒跟踪的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，该装置利用灰度直方图作为图像的统计特征，对于噪声不敏感，同时能够很好的反映图像的复杂度，且易于硬件上的计算。

为了解决上述技术问题，本发明的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置包括：

目标图像预处理单元：对输入的图像进行预处理，并选定目标；

直方图统计单元：对经过预处理后的图像进行计算和处理得到其图像的灰度直方图；

计算灰度图像特征单元：计算灰度直方图中最大灰度值x_max与非零的最小灰度值x_min之差Δx，即非零灰度值的个数；计算最大灰度值的像素的个数y_max与非零的最小灰度值的像素的个数y_min之差Δy；

判断单元：若Δx小于灰度差A，且Δy小于像素个数差阈值B，则自主判断该图像是属于低对比度、弱小目标的情况，否则自主判断该图像是属于复杂背景条件的情况；

低对比度、弱小目标跟踪单元；

复杂背景下高速运动目标跟踪单元；

跟踪结果输出单元。

本发明采用图像灰度直方图中的两种特征综合判决，分别是图像的对比度(最大和最小灰度值之差)，以及直方图中计数为非零的灰度级的个数，这两种特征易于计算同时能够有效表征图像的对比度以及灰度复杂度，以此为判据取得了很好的判决结果。

低对比度、弱小目标跟踪单元包括：

图像增强，并计算增强效果的图像灰度直方图的模块；

求取灰度级隶属度的模块：利用式(1)求取灰度级r_i从属于模糊子集A_k的程度，即隶属度μ(r_i)(i＝1，2......L-1)，L为图像的灰度级数量，A_k＝{μ(r₀)/r₀，μ(r₁)/r₁，K，μ(r_k-1)/r_k-1}，k为小于L的正整数；

$\mathrm{\&mu;}\left(r_i\right)=\left\{\begin{array}{cc}1& r_i\&le;t-w\\ -1/2w{r}_i+1/2\mathrm{wt}+0.5& t-w<r_i\&le;t+w\\ 0& r_i>t+w\end{array}\right.---\left(1\right)$

式(1)中2w等于增强效果的图像灰度直方图中最大灰度值x′_max与非零的最小灰度值x′_min之差Δx′，t为图像中非零像素灰度值的中值；

计算各灰度级在图像中出现的概率p(r_i)的模块：利用式(2)计算各灰度级在图像中出现的概率p(r_i)；

$p\left(r_i\right)=\frac{h\left(r_i\right)}{M\&times;N}---\left(2\right)$

其中，h(r_i)为根据增强效果的图像灰度直方图统计的r_i灰度级的像素个数，M×N为图像像素数；

求各模糊集合对应熵的模块：利用式(3)、(4)求取模糊集合对应熵H；

H＝-P(A_k)log_eP(A_k)    (3)

$P\left(A_k\right)=\underset{i=0}{\overset{k-1}{\mathrm{\&Sigma;}}}\mathrm{\&mu;}\left(r_i\right)P\left(r_i\right)---\left(4\right)$

求极值熵对应的灰度值，并将其作为模糊阈值的模块：

用模糊阈值对图像进行目标与背景分割的模块；

计算目标质心位置的模块；

目标位置输出模块。

本发明中提出的使用降半梯形分布来构造隶属函数，不仅计算复杂度低、计算量小，而且分割效果很好。

所述复杂背景下高速运动目标跟踪单元包括起始帧图像读取模块，目标粗定位模块；

所述目标粗定位模块包括：

粒子产生模块：起始时，以目标位置为中心线性降概率分布选定N个像素，即产生N个粒子；

目标起始位置X⁰ _obj，第i个粒子的起始位置

为

$X_i^0=X_{\mathrm{obj}}^0+D*\mathrm{rand}\left(\right)*\left[\begin{array}{cc}\cos (2\mathrm{\&pi;}*\mathrm{rand}\left(\right))& 0\\ 0& \sin (2\mathrm{\&pi;}*\mathrm{rand}\left(\right))\end{array}\right]---\left(7\right)$

其中D为搜索区域的半径，rand()为[01]的随机数；

计算目标在当前帧图像中最可能出现的位置

的模块：采用一阶自回归模型(即式(8))对各粒子进行传播；

$X_i^k={\mathrm{\&alpha;}}_0+{\mathrm{\&alpha;}}_1{X}_i^{k-1}+{\mathrm{\&epsiv;}}_i---\left(8\right)$

其中

为第i个粒子的当前帧位置，

为第i个粒子的上一帧位置，ε_i为独立同分布平稳白噪声，此处α₀＝0，α₁＝1；

计算各粒子与原目标的相关系数

作为粒子的权值，同时采用整体线性加权的方式利用式(10)估计出目标在当前帧图像中最可能出现的位置

完成目标的粗定位；

$R_i^k=\frac{\underset{n=-l}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{m=-h}{\overset{h-1}{\mathrm{\&Sigma;}}}|I_k(x_i^k+m,y_i^k+n)-I_0(x_i^0+m,y_i^0+n)|}{2l\&times;2h}---\left(9\right)$

式(9)中，2l和2h分别是以粒子为中心的小区域的高度和宽度，

为第i个粒子的当前帧位置横坐标，为第i个粒子的当前帧位置纵坐标，

为当前帧图像

点像素的灰度值，

为第i个粒子的起始帧位置横坐标，

为第i个粒子的起始帧位置纵坐标，

为起始帧图像

点像素的灰度值；

$X_{\mathrm{obj}}^k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{X}_i^k{R}_i^k---\left(10\right)$

本发明采用一阶自回归模型对各粒子进行传播，并且采用线性降概率分布产生粒子，与传统的粒子滤波方法相比优点是更符合人眼视觉机制。

所述复杂背景下高速运动目标跟踪单元还可以包括第一特征点提取模块，第二特征点提取模块，特征点匹配模块；

所述第一特征点提取模块和第二特征点提取模块各包含一个积分图像计算模块、一个盒子滤波器和一个特征向量计算模块；

积分图像计算模块：利用式(11)、(12)迭代计算得到图像任意点(x，y)的积分图像ii(x，y)；

S(x，y)＝S(x，y-1)+i(x，y)    (11)

ii(x，y)＝ii(x-1，y)+S(x，y)    (12)

其中i(x，y)为图像任意点(x，y)的灰度值，s(x，y)表示一列图像的积分，且s(x，-1)＝0，ii(-1，y)＝0；

盒子滤波器：利用积分图像计算得到图像上任意点的滤波值；

特征向量计算模块：对于盒子滤波器计算得到的滤波值，计算其局部极值，将这些局部极值点作为特征点，计算其周围p×q区域内的梯度方向作为特征向量；

特征点匹配模块：将第一特征点提取模块从起始帧图像中提取的目标特征点与第二特征点提取模块从当前帧图像中提取的目标特征点进行匹配，从而确定目标的精确位置。

本发明中采用积分图和不同尺度的盒子滤波器建立多尺度图像组，进行特征点提取，只需要计算一次积分图像，就可以得出任一点的滤波值，而与盒子滤波器的大小无关，从而大大减化了计算量，并且保持了特征点的丰富性，实时性高、对于目标遮挡、旋转变形等有很好的鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置结构框图。

图2为本发明中低对比度、弱小目标跟踪单元结构框图。

图3为本发明中复杂背景下高速运动目标跟踪单元结构框图。

图4为本发明的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置主程序流程图。

图5为图像灰度直方图特征示意图。

图6为低对比度、弱小目标跟踪单元程序流程图。

图7为隶属函数构造中的降半梯度示意图。

图8为复杂背景下高速运动目标跟踪单元目标粗定位程序流程图。

图9(a)为人眼视觉机制示意图，图9(b)以目标中心为中心的线性降概率分布示意图。

图10(a)、10(b)为计算积分图示意图。

图11(a)、11(b)为离散化二阶高斯偏导数和近似的盒子滤波器示意图。

图12为采用现有技术和本发明对图像进行分割的效果对比图。

图13为采用本发明对弱小目标进行跟踪的结果图。

图14为采用本发明对飞机过塔尖的部分跟踪结果图。

图15为采用本发明对旋转运动的汽车过树的部分跟踪结果图。

具体实施方式

如图1所示，本发明的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置包括目标图像预处理单元；直方图统计单元；计算灰度图像特征单元；判断单元；低对比度、弱小目标跟踪单元；复杂背景下高速运动目标跟踪单元；跟踪结果输出单元。

如图2所示，所述低对比度、弱小目标跟踪单元包括：图像增强，并计算增强效果的图像灰度直方图的模块；求取各灰度级r_i隶属度的模块；计算各灰度级在图像中出现的概率p(r_i)的模块；求各模糊子集对应熵的模块；求极值熵对应的灰度值，并将其作为模糊阈值的模块；用模糊阈值对图像进行目标与背景分割的模块；计算目标质心位置的模块；目标位置输出模块。

如图3所示，所述复杂背景下高速运动目标跟踪单元包括：起始帧图像读取模块，第一特征点提取模块，目标粗定位模块：第二特征点提取模块，特征点匹配模块；目标粗定位模块包括粒子产生模块和计算目标在当前帧图像中最可能出现的位置

的模块；第一特征点提取模块和第二特征点提取模块各包含一个积分图像计算模块、一个盒子滤波器和一个特征向量计算模块。

本发明通过FPGA、SDRAM和DSP编程实现。可见光相机或红外相机接入接口转换芯片DS90CR288，将CameraLink格式的数据信号转换成TTL信号，接入FPGA，FPGA将实时采集的图像数据存入SDRAM中；经过FPGA进行图像预处理将采集到的图像存入SDRAM，当SDRAM存入一帧图像后，DSP启动DMA从SDRAM中读入内部内存，进行目标跟踪的相关处理，DSP每次计算结束后将跟踪结果叠加在图像上并存入SDRAM中，与此同时将计算得出目标位置，通过串口ST16C650传给控制计算机或者传动装置；FPGA再将SDRAM中的图像送入D/A转换芯片ADV7194经过数模转换，生成标准视频输出给监视器。

FPGA采用高性能的XILINX公司的V2P4，具有40万的系统门，800多个逻辑单元，500K的RAM，28个18×18bit乘法器，高达300MHz的系统带宽。

SDRAM采用ISSI公司的高速存储芯片IS42S16400，具有64Mb的存储空间，方便图像数据的存储和读取。

本发明的核心处理器DSP采用Ti公司高性能的DSP(TMS320C6416)主频1G Hz，运算速度可达8000MIPS，最高速指令周期时间为1.0-ns，每周期可执行8条32bit指令，具有VelociTI.2先进VLIW结构内核，8个独立的功能单元，6个ALU(32、40bit)，每个单元每周期都可完成一个32bit、两个16bit或者4个8bit算术运算。2个乘法器支持每周期完成4个16×16Bit乘法(结果是32bit)或者8个8×8bit乘法(结果是16bit)，可以编排并行流水汇编，达到了算法的实时性要求。

本发明为嵌入式设备，只要与相机连接正确，通电后即可进行处理工作。

如图4所示，实现目标跟踪主程序流程如下：

对输入的图像进行预处理，并选定目标；

对经过预处理后的图像进行计算和处理得到其图像的灰度直方图；

计算灰度直方图中最大灰度值x_max与非零的最小灰度值x_min之差Δx，即非零灰度值的个数；计算最大灰度值的像素的个数y_max与非零的最小灰度值的像素的个数y_min之差Δy，如图5所示；

若Δx小于灰度差A(一般取15≤A≤40)，且Δy小于像素个数差阈值B(一般取40≤B≤70)，则自主判断该图像是属于低对比度、弱小目标的情况，否则自主判断该图像是属于复杂背景条件的情况；根据判断结果采取相应的跟踪方法；

跟踪结果输出；

采集下一帧图像。

所述低对比度、弱小目标跟踪单元可以采用递归滤波、匹配滤波器、多级假设检验或动态规划等现有技术实现低对比度、弱小目标的跟踪。

所述低对比度、弱小目标跟踪单元还可以采用模糊集理论的思想，以最大熵原则作为原则，对于不同帧图像自适应得到其灰度阈值并将目标从背景中分割出来，实现对弱小目标的跟踪。

由于本算法设计的主要目的是实现对低对比度图像的分割。这类图像的共同特点是整幅图像的信息主要集中在一个狭窄的灰度带上，背景和目标主要集中在两个不同的灰度级上，也就是说通过设置一个阈值能够把背景和目标分成两个有意义的部分，因此只要通过模糊阈值法找到一个阈值，使用这个阈值进行划分就能得到背景区域的正确划分，同时也就得到目标区域的正确划分。

低对比度、弱小目标跟踪单元程序流程如图6所示。

设一幅图像有L个灰度级，用Ω＝{r₀，r₁，Λ，r_L-1}表示，就不同的灰度阈值而言某一灰度级属于亮的集合还是暗的集合是一个模糊概念，根据模糊理论通过构造隶属函数μ(r_i)，i＝0，1，Λ，L-1把Ω映射到[0，1]之间来确定一个模糊子集A，它描述了原灰度集集合中各灰度级从属于该模糊子集A的程度。当设定某一阈值以后，可以得到每个灰度级属于亮或暗的程度(也称为隶属度)。模糊子集A可表示为：

A＝{μ(r₀)/r₀，μ(r₁)/r₁，K，μ(r_L-1)/r_L-1}    (5)

随着选取阈值的不同，可以得到不同模糊子集。设U＝{A₁，A₂，ΛA_k}表示模糊子集的一个有限分割，其中A_k＝{μ(r₀)/r₀，μ(r₁)/r₁，K，μ(r_k-1)/r_k-1}。A_k的概率

其中

h(r_i)为根据增强后图像灰度直方图统计的r_i灰度级的像素个数，M×N为图像像素数。

依据信息论的知识，熵可以写成如下形式：

H＝-P(A_k)log_eP(A_k)    (3)

根据最大熵原则，当熵值最大时对应分割点为理想分割点。即与最大熵值H_max对应的灰度值r_k即为模糊阈值。

本发明采用图7所示的分布作为隶属函数，依图斜线部分可写成如下形式：

$\mathrm{\&mu;}\left(r_i\right)=\frac{r_i-(t+w)}{(t-w)-(t+w)}=-\frac{1}{2w}{r}_i+\frac{1}{2w}t+0.5---\left(6\right)$

其中2w等于增强效果的图像灰度直方图中最大灰度值x′_max与非零的最小灰度值x′_min之差Δx′，t为图像中非零像素灰度值的中值。

它表达的含义是：把一幅图像的各个灰度级属于暗区域的程度看作一个模糊子集合，从该图可以看到随着灰度级的增高，属于暗区域的程度降低，其中w的值决定该隶属函数的形状，即决定各灰度级从属于暗区域的程度。当以该模糊集合为参数通过最大熵原则就可找到一个理想阈值。

基于以上分析过程本发明提出使用半梯形分布构造整个隶属函数，可表示为

$\mathrm{\&mu;}\left(r_i\right)=\left\{\begin{array}{cc}1& r_i\&le;t-w\\ -1/2w{r}_i+1/2\mathrm{wt}+0.5& t-w<r_i\&le;t+w\\ 0& r_i>t+w\end{array}\right.---\left(1\right)$

本发明中提出的使用降半梯形分布来构造隶属函数，不仅计算复杂度低、计算量小，而且分割效果很好(如图10所示)。

如图8所示，所述复杂背景下高速运动目标跟踪单元目标粗定位程序流程如下：

读取起始帧图像：

初始化时，对于以选定的目标位置为中心的搜索区域以符合人眼视觉机制的分布选定N个像素，即产生N个粒子。

如图9(a)所示，为人眼的视网膜锥状体示意图，从中可以看出人眼对中间的物体赋有更高的关注度，基于此本发明采用以目标中心为中心的线性降概率分布(如图9(b))进行粒子的产生。

目标起始位置X⁰ _obj，第i个粒子的起始位置

为

$X_i^0=X_{\mathrm{obj}}^0+D*\mathrm{rand}\left(\right)*\left[\begin{array}{cc}\cos (2\mathrm{\&pi;}*\mathrm{rand}\left(\right))& 0\\ 0& \sin (2\mathrm{\&pi;}*\mathrm{rand}\left(\right))\end{array}\right]---\left(7\right)$

其中D为搜索区域的半径，rand()为[01]的随机数；

采用一阶自回归模型(即式(8))对各粒子进行传播

$X_i^k={\mathrm{\&alpha;}}_0+{\mathrm{\&alpha;}}_1{X}_i^{k-1}+{\mathrm{\&epsiv;}}_i---\left(8\right)$

其中

为第i个粒子的当前帧位置，

为第i个粒子的上一帧位置，ε_i为独立同分布平稳白噪声，此处α₀＝0，α₁＝1；

计算各粒子与原目标的相关系数

作为粒子的权值，同时采用整体线性加权的方式利用式(9)估计出目标在当前帧图像中最可能出现的位置

完成目标的粗定位；

$R_i^k=\frac{\underset{n=-l}{\overset{l-1}{\mathrm{\&Sigma;}}}\underset{m=-h}{\overset{h-1}{\mathrm{\&Sigma;}}}|I_k(x_i^k+m,y_i^k+n)-I_0(x_i^0+m,y_i^0+n)|}{2l\&times;2h}---\left(8\right)$

式(8)中，2l和2h分别是以粒子为中心的小区域的高度和宽度，(本发明中对2l和2h的数值没有严格的规定，当2l和2h的取值较小时，计算速度较快但定位准确性低，而当2l和2h的取值较大时，计算速度较慢但定位准确性高)。

为第i个粒子的当前帧位置横坐标，

为第i个粒子的当前帧位置纵坐标，

为当前帧图像

点像素的灰度值，

为第i个粒子的起始帧位置横坐标，

为第i个粒子的起始帧位置纵坐标，

为起始帧图像

点像素的灰度值；

$X_{\mathrm{obj}}^k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{X}_i^k{R}_i^k---\left(10\right)$

所述复杂背景下高速运动目标跟踪单元还可以采用传统的粒子滤波方法对目标进行粗定位。

复杂背景下高速运动目标跟踪单元还可以对于粗定位得到的位置周围进行特征点提取精匹配的思想获得目标的精确位置。具体实施过程：首先在第一帧对选定的目标采用改进的SIFT算子提取特征点，而后在后续各帧对粗定位得到的位置周围采用改进的SIFT算子提取特征点，与原始目标特征点进行匹配，得到目标的精确位置。

目前特征点效果较好的SIFT特征算子，其在计算时首先建立高斯差分金字塔图像进行特征点提取，其计算量大、存储空间要求较大不利于硬件的实现，所以本发明中采用积分图和不同尺度的盒子滤波器建立多尺度图像组，进行特征提取。

如图10(a)所示，图像任意点(x，y)的积分图像用ii(x，y)表示，即图10(a)中阴影部分，公式为

其中i(x′，y′)，表示图像上点(x′，y′)的灰度值。ii(x，y)可以用(10)、(11)式迭代计算得到：

S(x，y)＝S(x，y-1)+i(x，y)      (11)

ii(x，y)＝ii(x-1，y)+S(x，y)    (12)

其中i(x，y)为图像任意点(x，y)的灰度值，s(x，y)表示一列图像的积分，且s(x，-1)＝0，ii(-1，y)＝0。求积分图像，只需遍历一次图像，计算开销很小。如图10(b)所示，不管窗口D的大小如何，它的灰度值总和都可以用1、2、3、4点的积分图像计算出来，即ii(x，y)₄+ii(x，y)₁-ii(x，y)₂-ii(x，y)₃。

盒子滤波器近似高斯滤波器，盒子滤波器只需要计算一次积分图像，就可以得出任一点的滤波值，而与盒子滤波器的大小无关，从而大大减化了计算量，并且保持了特征点丰富的性能。

如图11(a)所示，箭头左侧为y方向离散化二阶高斯偏导，箭头右侧为对应的近似盒子滤波器；图11(b)所示，箭头左侧为xy方向离散化二阶高斯偏导，箭头右侧为对应的近似盒子滤波器。

对于得到的滤波结果，计算其局部极值(即对于某点，若其滤波结果比其邻域上其他点的滤波结果都要大或者都小时，称其为局部极值)，将得到的局部极值点作为特征点，计算其周围16*16区域内的梯度方向作为特征向量，与起始帧对选定的目标提取的改进SIFT算子特征点进行匹配，从而确定目标的精确位置。

所述复杂背景下高速运动目标跟踪单元可以采用上述改进的SIFT算子提取目标特征点，与起始帧图像中目标特征点进行匹配，得到目标的精确位置，也可以采用传统的SIFT算子提取目标特征点，与起始帧图像中目标特征点进行匹配，得到目标的精确位置。

部分试验结果如图12-16所示。

图13到图16为本发明的实验跟踪结果图。

图12中，(a)为实验的原图，(b)、(c)、(d)、(e)分别为类间方差法、求最小模糊度方法、H.D CHENG方法和本发明使用的方法的分割效果图，从图中可以看出本发明效果最为理想。

图13为本发明对弱小目标的跟踪结果图。

图14为飞机过塔尖的部分跟踪结果，从图中可以看出本发明对于目标的部分遮挡有很好的鲁棒性。

图15旋转运动的汽车过树的部分跟踪结果图，从图中可以看出本发明对于目标旋转等形变以及遮挡同时发生时的鲁棒性；

复杂背景下高速动目标或弱小目标的实时鲁棒跟踪装置其特征在于：

1)将硬件上的分层次结构与软件设计上的层次化、模块化相结合，高速交叉运行，加快速度，提高使用效率；

2)对于当前图像中目标及背景的具体情况能够自主判决并采取相应的处理方法；

3)对于多种跟踪难题如弱小目标、目标旋转(算子)、部分或全部遮挡(粒子传播)、光照变化(算子)等都有很好的鲁棒性。

本发明装置是一种对多种情况下进行目标实时鲁棒跟踪的嵌入式装置。

具体实现步骤如下：

1)对于输入的图像首先进行预处理

2)计算其图像的直方图特征及对比度，以此作为判决依据，自主判断该图像是属于低对比度弱小目标的情况，还是属于复杂背景条件下；

3)当处于低对比度弱小目标的情况下，采用图像增强、运用模糊集理论自适应选取阈值的方式进行图像分割，找到目标；对于复杂背景条件下，采用蒙特卡洛思想与多尺度特征匹配相结合的跟踪方法，通过粗、精定位等过程实现对目标的精确跟踪；

4)输出跟踪结果；

5)进行下一帧图像的处理，直到最后一帧。

本发明中设计的跟踪装置旨在实现鲁棒和实时性(计算速度)的平衡，从而实现在实际中应用。故装置的各部分都考虑易于硬件的实现，同时节省计算开销。

在低对比度、弱小目标的情况下，采用直方图拉伸进行图像增强，然后采用模糊熵阈值基本原理是利用模糊理论及最大模糊嫡原则找到最佳灰度阈值，把目标从背景中分割出来。

对于复杂背景条件下，采用蒙特卡洛思想预测目标的粗略位置，而后采用Lindeberg提出的尺度空间理论建立多尺度特征向量，将其与目标多尺度特征匹配，从而精确目标位置。

本发明的技术效果体现在：集成化高、小型化、实时性高、对于低对比度弱小目标、目标遮挡、旋转变形等有很好的鲁棒性。

本发明的复杂背景下高速动目标或弱小目标的实时鲁棒跟踪装置，将不同波段的相机输出的图像(输出频率可以达到25Hz)经过采集、存储、跟踪处理、数模转换后，输出跟踪结果到监视器，通过串口输出目标信息可进行运动控制。

本发明是以DSP+FPGA为核心器件和以串口进行通信的一种全自动嵌入式装置，在目标跟踪过程中，无需人工操作，使系统具有了小型化、集成化、实时性高、自动化程度高的特点。

本发明采用自主决策的跟踪方法，跟踪装置能够根据当前的图像判断其属于弱小目标跟踪类或者复杂背景跟踪类，跟踪装置在作出判断后，能够自主决定采用相应的跟踪方法进行目标跟踪，实现自动化。

对于弱小目标跟踪，本发明采用模糊熵阈值方法，将图像的灰度级由降半梯度的隶属函数映射到(0，1)区间，以最大熵原则自适应的求得当前帧的阈值从而将弱小目标从图像中分割出来，以实现跟踪。

对于复杂背景情况下的目标跟踪，采用蒙特卡洛思想进行目标粗定位，其中在初始化粒子时采用了人眼注意机制；对粗定位的目标范围进行精确的特征点匹配，从而精确定位目标，在特征点提取过程中采用了积分图和盒子滤波器简化的方法，建立多尺度图像组。

Claims (4)

1.一种复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，其特征在于包括： 

目标图像预处理单元：对输入的图像进行预处理，并选定目标； 

直方图统计单元：对经过预处理后的图像进行计算和处理得到其图像的灰度直方图； 

计算灰度图像特征单元：计算灰度直方图中最大灰度值x_max与非零的最小灰度值x_min之差Δx，即非零灰度值的个数；计算最大灰度值的像素的个数y_max与非零的最小灰度值的像素的个数y_min之差Δy； 

判断单元：若Δx小于灰度差阈值A，15≤A≤40，且Δy小于像素个数差阈值B,则自主判断该图像是属于低对比度、弱小目标的情况，否则自主判断该图像是属于复杂背景条件的情况； 

低对比度、弱小目标跟踪单元:采用直方图拉伸进行图像增强，然后采用模糊熵阈值基本原理利用模糊理论及最大模糊嫡原则找到最佳灰度阈值，把目标从背景中分割出来；

复杂背景下高速运动目标跟踪单元：采用蒙特卡洛思想预测目标的粗略位置，而后采用Lindeberg提出的尺度空间理论建立多尺度特征向量，将其与目标多尺度特征匹配，从而精确目标位置；

跟踪结果输出单元。 

2.根据权利要求1所述的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，其特征在于所述低对比度、弱小目标跟踪单元包括： 

图像增强，并计算增强效果的图像灰度直方图的模块； 

求取灰度级隶属度的模块：利用式（1）求取灰度级r_i从属于模糊子集A_k的程度，即隶属度μ(r_i)(i=1,2......L-1)，L为图像的灰度级数量，k为小于L的正整数； 

式（1）中2w等于增强效果的图像灰度直方图中最大灰度值x'_max与非零的最小灰度值x′_min 之差△x'，t为图像中非零像素灰度值的中值； 

计算各灰度级在图像中出现的概率p(r_i)的模块：利用式（2）计算各灰度级在图像中出现的概率p(r_i)； 

其中，h(r_i)为根据增强效果的图像灰度直方图统计的r_i灰度级的像素个数，M×N为图像像素数； 

求各模糊集合对应熵的模块：利用式（3）、（4）求取模糊集合对应熵H； 

H=-P(A_k)log_eP(A_k)  （3） 

求极值熵对应的灰度值，并将其作为模糊阈值的模块： 

用模糊阈值对图像进行目标与背景分割的模块； 

计算目标质心位置的模块； 

目标位置输出模块。 

3.根据权利要求1所述的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，其特征在于所述复杂背景下高速运动目标跟踪单元包括起始帧图像读取模块，目标粗定位模块； 

所述目标粗定位模块包括： 

粒子产生模块：起始时，以目标位置为中心线性降概率分布选定N个像素，即产生N个粒子； 

目标起始位置X⁰ _obj，第i个粒子的起始位置

为 

其中D为搜索区域的半径，rand()为[0，1]的随机数； 

计算目标在当前帧图像中最可能出现的位置的模块：采用一阶自回归模型，即式(8)，对各粒子进行传播； 

其中

为第i个粒子的当前帧位置，

为第i个粒子的上一帧位置，ε_i为独立同分布平稳白噪声，此处α₀=0,α₁=1； 

计算各粒子与原目标的相关系数

作为粒子的权值，同时采用整体线性加权的方式利用式（10）估计出目标在当前帧图像中最可能出现的位置

完成目标的粗定位； 

式（9）中，2l和2h分别是以粒子为中心的小区域的高度和宽度，

为第i个粒子的当前帧位置横坐标，

为第i个粒子的当前帧位置纵坐标，

为当前帧图像 

点像素的灰度值，

为第i个粒子的起始帧位置横坐标，为第i个粒子的起始帧位置纵坐标，

为起始帧图像

点像素的灰度值； 

。 

4.根据权利要求3所述的复杂背景下动目标或弱小目标的实时鲁棒跟踪装置，其特征在于所述复杂背景下高速运动目标跟踪单元还包括第一特征点提取模块，第二特征点提取模块，特征点匹配模块； 

所述第一特征点提取模块和第二特征点提取模块各包含一个积分图像计算模块、一个盒子滤波器和一个特征向量计算模块； 

积分图像计算模块：利用式(11)、(12)迭代计算得到图像任意点(x,y)的积分图像ii(x,y)； 

S(x,y)=S(x,y-1)+i(x,y)      (11) 

ii(x,y)=ii(x-1,y)+S(x,y)   (12) 

其中i(x,y)为图像任意点(x,y)的灰度值，S(x,y)表示一列图像的积分，且S(x,-1)=0，ii(-1,y)=0； 

盒子滤波器：利用积分图像计算得到图像上任意点的滤波值； 

特征向量计算模块：对于盒子滤波器计算得到的滤波值，计算其局部极值，将这些局部极值点作为特征点，计算其周围p×q区域内的梯度方向作为特征向量； 

特征点匹配模块：将第一特征点提取模块从起始帧图像中提取的目标特征点与第二特征点提取模块从当前帧图像中提取的目标特征点进行匹配，从而确定目标的精确位置。 

Images