CN101860729A - 一种用于全方位视觉的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种用于机器人全方位视觉导航的目标跟踪方法，包括：用鱼眼镜头进行全方位图像采集；针对鱼眼镜头采集的图像进行跟踪初始化，跟踪初始化过程中以HSV颜色特征空间构造待跟踪图像目标的特征参数；使用待跟踪目标颜色组合特征直方图及直方图概率分布特征在鱼眼镜头采集的畸变图像中寻找待跟踪目标的位置并设置相应标记。通过使用本发明提供的方法，可以使待跟踪目标与背景可分离性增强，即使图像有明显的视觉畸变也可跟踪目标，目标跟踪系统具有实时性、鲁棒性和精确性。特别是在光照变化且背景复杂的情况下，该法能有效地解决目标因全遮挡或移出视野后再现的跟踪恢复问题，以及目标在视野中移动速度剧烈变化情况下的目标跟踪问题。

Description

一种用于全方位视觉的目标跟踪方法

【技术领域】：本发明属于机器人导航技术领域。特别是一种以人工智能技术实现的以图像目标为依据的决定机器人行动的智能视觉机器人技术。

【背景技术】：

机器人是自动执行特定工作的机器装置。机器人可接受人预先设置的指令程序，执行各类拟人工作，是取代或是协助人类从事繁重、危险工作的最佳选择，机器人在制造业、建筑业，安全监查等诸多领域具有重要应用。

伴随着计算机技术的发展，机器人技术和应用也得到了迅速发展，技术应用也更加广泛，特别是具有类人类视觉的机器人具有很强的应用潜力和商业价值。鱼眼镜头是全方位目标跟踪的技术关键，是机器人视觉实时导航系统中的关键部件。目前已有多种使用鱼眼镜头的实时全方位跟踪算法，其中基于连续自适应均值漂移跟踪算法已经得到较好的发展和应用，该算法在原有的均值漂移算法的基础之上得到很好的改进和发展。经实验验证，该算法的运算量小、识别跟踪速度快、鲁棒性好，满足目标跟踪的实时性和准确性要求。虽然该算法解决了视觉导航机器人的诸多问题，但该算法在应用中也存在缺陷。比如：当被跟踪的目标移动出摄像的视野或是被其他物体全部遮挡时、当环境光照发生变化时，目标跟踪就有可能失败。

【发明内容】：本发明目的是解决在复杂背景下当被跟踪目标移出摄像的视野或是被其他物体全部遮挡时、或当环境光照发生变化时目标跟踪可能失败的问题，提供一种用于全方位视觉的目标跟踪方法，本发明通过新型组合跟踪算法对采用鱼眼镜头的全方位视觉中的目标进行跟踪。

本发明算法的主要思想是通过连续自适应均值漂移算法，依据目标的色彩直方图来进行跟踪，并通过卡尔曼滤波进行校正和预测目标的位置和速度。在目标“丢失”的情况下，先进行全视野的搜索，等搜索到具有同样色彩的目标时，在其所在位置进行局部校正，并使用归一化互相关技术的模板匹配算法来确定目标是否为原先的待跟踪目标。在目标运动形变和外部光照缓变的情况下，使用该方法进行跟踪目标的效果较为理想。

本发明提供的用于全方位视觉的目标跟踪方法的具体内容包括：

第一步、采用带有鱼眼镜头的图像采集系统捕获一帧全方位景物的图像信息；

第二步、对整体图像进行全景畸变校正；

第三步、按图像区域确定被跟踪目标，计算被跟踪目标区域的颜色直方图；

第四步、采用带有鱼眼镜头的图像采集系统捕获另一帧全方位景物的图像信息；

第五步、采用局部图像矫正、卡尔曼滤波算法、单一变量归一化互相关模板匹配算法、改进型连续自适应均值漂移跟踪算法相结合的算法对全方位景物的图像信息进行处理，确定被跟踪目标的空间位置并输出跟踪结果；

第六步、当被跟踪目标找到时，从第四步继续进行后续操作。当被跟踪目标丢失时，采用扩大搜索区域到全视野搜索的方法进行目标搜索，确定被跟踪目标是否再现；当搜索到物体时，再进行鱼眼图像局部畸变矫正和模板匹配校准搜索区域，以确定所搜索到的物体是否为被跟踪目标，否则重新全视野搜索直至重新搜索到被跟踪目标。

以上第五步所述内容是本发明提出的改进型连续自适应均值漂移目标跟踪算法的技术特征。其中，

所述的连续自适应均值漂移目标跟踪算法是：

在连续视频图像处理中，针对运动目标的动态概率分布有较好的自适应性，可以根据物体的颜色特征实现搜索区域的灵活调整；连续自适应均值漂移目标跟踪算法的前提理论算法是颜色直方图的反相投影；

算法采用了HSV颜色空间，进而克服了RGB颜色空间的易受光照影响等缺点，有效的保证了跟踪物体的颜色特征的稳定性；

其中直方图反向投影计算，均值漂移算法是该算法的重要组成部分；

反向投影计算解决了借助颜色直方图将HSV颜色空间的原始图像转换成色彩概率分布图像；直方图反向投影的主要思路是用颜色直方图的像素统计量依次表示原始序列图像中相对应的像素，再通过量化获得色彩概率分布图像；在原始序列图像中，光强度的值是通过像素来描述的，而在色彩概率分布图像中，像素表示的是跟踪目标在此出现的概率大小；

使用均值漂移算法解决了逐帧搜索和跟踪目标的问题；该算法通过核密度估计的无参数快速模式匹配，用迭代的方式来搜索和跟踪目标；该算法提取了跟踪区域的色度分量，并对其进行了一维直方图处理，进而得到直方图反向投影的数据；

使用连续自适应均值漂移算法初始化搜索窗口的位置及其参数，随后采用均值漂移算法计算搜索窗口的新位置及其参数，并将结果保留；然后在下一帧图像的处理过程中，依靠该结果重新设定搜索窗口的位置和参数；如此往复，直到收敛为止；

本文方法在目标丢失时，将连续自适应均值漂移算法搜索窗口扩大到全视野来搜索目标；该改进型的连续自适应均值漂移算法在目前计算机硬件条件下能够满足系统的高实时性和鲁棒性的要求，同时在物体运动位移很大的情况下，可以通过处理一两帧图像就可以迅速恢复跟踪。

所述的模板匹配算法为单一变量归一化互相关模板匹配法以提高跟踪算法的处理速度，只在目标丢失的情况下采用该算法；

该算法的处理思想是：选取大小为I×I的原始图像M和大小为J×J的模板N，其中I，J均表示像素且I远大于J；将模板N在图像M上以由上至下，由左至右的顺序进行遍历匹配，选取互相关值最大的子图M^i，j，位置作为目标跟踪位置；其相关系数R(x，y)方程式如下：

$R(x,y)=\frac{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]\×[N(i,j)-\stackrel{\‾}{N}]}{\sqrt{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]}^2\×\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[N(i,j)-\stackrel{\‾}{N}]}^2}}$

所述的卡尔曼滤波算法的内容包括：

卡尔曼滤波是在最小均方误差准则下的线性系统最优估计方法，是以预测结果和修正结果来进行递推滤波的；卡尔曼滤波的算法思路是获得最小的估计误差和无偏估计；其中卡尔曼滤波先经过初始化系统、预测下一帧结果以及数据更新来完成状态估计；卡尔曼滤波器是对随机信号进行最优滤波处理的递归型滤波器，能同时使每个信号分量的均方估计误差最小；

卡尔曼滤波器的数学模型设定为：

系统状态方程：x(k)＝Ax(k-1)+w(k-1)

系统观测方程：y(k)＝Cx(k)+v(k)

设向量x(k)是k时刻的随机信号向量；A为系统转移矩阵，C为系统的测量矩阵；y(k)为k时刻的测量值；w(k-1)为k-1时刻的状态噪声向量；w(k-1)的概率分布为p(w(k-1))～N(0，Q(k))，其中Q(k)是状态噪声协方差矩阵；v(k)是在k时刻的观测噪声向量；v(k)的概率分布为p(v(k))～N(0，R(k))，其中R(k)是观测噪声的协方差矩阵；其中状态噪声向量和观测噪声向量彼此相互独立，且均与初始状态独立。

所述的局部图象矫正的方法是：

在全方位图像实时校正中，当入射角小于等于65°时使用正交校正模型，大于65°小于等于75°时使用等立体角校正模型，大于75°时使用等距校正模型；由于校正计算的计算过程耗时量大，所以只对目标可能出现的区域进行局部图像矫正以满足系统的实时性要求；

在校正模型中令M′(x′，y′)为鱼眼图像中的一点，M(x，y)为校正后的点，(x′₀，y′₀)为鱼眼图像的中心，r′为M′到中心点的距离，(x₀，y₀)为校正后图像的中心，r为M到校正后中心点的距离，z为校正后平面的高度；

D.等距校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \frac{r^{\′}}{f}}{r^{\′}}+x_0$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \frac{r^{\′}}{f}}{r^{\′}}+y_0$

E.等立体角校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{2f}\right]}{r^{\′}}+x_0$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{2f}\right]}{r^{\′}}+y_0$

F.正交校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \left[\arcsin \frac{r^{\′}}{f}\right]}{r^{\′}}+x_0$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \left[\arcsin \frac{r^{\′}}{f}\right]}{r^{\′}}+y_0.$

本发明的优点及效果：

通过使用本发明提供的方法，可以使待跟踪目标与背景可分离性增强，即使图像有明显的视觉畸变也可跟踪目标，目标跟踪系统具有实时性、鲁棒性和精确性。特别是在光照变化且背景复杂的情况下，该法能有效地解决目标因全遮挡或移出视野后再现的跟踪恢复问题，以及加速度剧烈变化的目标跟踪问题。

【附图说明】：

图1是本发明方法组合算法框图；

图2是连续自适应均值漂移跟踪算法的流程图；

图3是实施例中被跟踪目标原图；

图4是被跟踪目标的反向投影计算效果图；

图5是被跟踪目标区域颜色直方图；

图6用于实验的机器人自引导车AGV

图7是局部与全部遮挡情况下的目标跟踪实验过程。其中，(a)是目标跟踪前初始化目标结果、(b)是目标局部遮挡后的跟踪、(c)是目标全部遮挡后的跟踪、(d)是目标局部再现后的跟踪效果、(e)目标全部再现后的跟踪效果。图中目标用白色方框标记被跟踪目标。

图8是复杂背景下目标运动出视野的跟踪实验过程；其中，(a)是目标跟踪前目标初始化目标结果、(b)是目标移动到鱼眼镜头视野边缘的跟踪结果、(c)是目标移动出鱼眼镜头视野的跟踪结果、(d)是目标从视野另一端再现的跟踪效果。图中目标用白色方框标记被跟踪目标。

【具体实施方式】：

实施例1：

本发明提供的用于全方位视觉的目标跟踪方法的具体过程如下：

1、全方位视觉是通过捕获一帧广角图像来获得三维空间中全部景物的图像信息(其中：方位角可达360°，天顶角可达180°)。该技术具有采集信息量大和观察方位广等特点，被广泛地应用于视频监控等领域，是有较高研究价值的视觉感知技术之一。采用鱼眼镜头是构建全方位视觉该技术的一种有效方式。鱼眼镜头是一种焦距极短的广角镜头。它的视角接近或等于180°。

2、鱼眼镜头所采集的图像存在着严重的畸变，为了克服畸变带来的目标跟踪误差，采用了局部图象矫正与卡尔曼滤波算法、归一化模板匹配算法、改进型连续自适应均值漂移跟踪算法相结合的算法，提高了系统的目标跟踪的正确率和实时性。

2.1连续自适应均值漂移跟踪算法属于运动跟踪算法的范畴，是均值漂移算法的改进和升华。该算法的跟踪依据是被跟踪目标的颜色特征。其中反向投影计算，均值漂移算法和连续均值漂移算法是该算法的3个重要组成部分。

2.1.1、反向投影计算主要过程如下：计算被跟踪目标的颜色直方图；将原始图像转成色彩概率分布图像。

2.1.2、均值漂移算法解决了逐帧跟踪物体的问题，并基于核密度估计的无参数快速模式匹配，用迭代的方式来搜索和跟踪目标。

2.1.3、连续自适应均值漂移算法采用了HSV颜色空间，进而克服了RGB空间的种种不足(如受光照影响较大，容易丢失色彩信息等)。该算法提取了跟踪区域的色度分量，并对其进行了一维直方图处理，获得反向投影图。

本文方法对连续自适应均值算法做出了优化和改进。即在目标丢失时，将搜索窗口扩大到全视野来搜索目标。该改进型的连续自适应均值算法在目前计算机硬件条件下能够满足系统的高实时性和鲁棒性的要求，同时在物体运动位移很大的情况下，可以通过处理一两帧图像就可以迅速恢复跟踪。

点(x，y)处的像素值设为T(x，y)，其零阶距(1)，一阶距(2)、(3)及其二阶距(4)、(5)、(6)表示为：

$N_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}T(x,y)$

$N_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σx}}T(x,y)$

$N_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yT}(x,y)$

$N_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}T(x,y)$

$N_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}T(x,y)$

$N_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyT}(x,y)$

由下式可以得到搜素窗口的质心：

$(x_i,y_i)=(\frac{N_{10}}{N_{00}},\frac{N_{01}}{N_{00}})$

图2是连续自适应均值漂移跟踪算法的流程图。

单一变量归一化互相关模板匹配法较好的抗干扰性使得该算法广泛应用于图像识别领域，但是该算法计算量较大，因此对硬件配置要求较高。为了提高本文所研究的跟踪算法的处理速度，只在目标丢失的情况下采用。

该算法的处理思想是：选取大小为I×I的原始图像M和大小为J×J的模板N，其中I，J均表示像素且I远大于J。将模板N在图像M上以由上至下，由左至右的顺序进行遍历匹配，选取互相关值最大的子图M^i，j，位置作为目标跟踪位置。其相关系数R(x，y)方程式如下：

$R(x,y)=\frac{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]\×[N(i,j)-\stackrel{\‾}{N}]}{\sqrt{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]}^2\×\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[N(i,j)-\stackrel{\‾}{N}]}^2}}$

在背景有严重干扰且环境光照变化不剧烈的情况下，本文所提的方法能够对失踪(因全遮挡或移出视野或剧烈运动)后重现的目标进行搜索和匹配，以确定跟踪目标，完成跟踪任务。

在目标跟踪过程中，往往会伴随着光照微变的情况，所以目标的颜色特征会发生变化，这时会出现目标丢失的现象。同时，当目标随机运动或受到遮挡或运动出可视范围时，也会跟踪失败。传统的连续自适应均值漂移跟踪算法也不能解决上述问题。在大量实验的前提下，提出了结合了鱼眼镜头局部畸变矫正、卡尔曼滤波、模板匹配和全视野搜索的改进型连续自适应均值算法算法。其框图如图1。

在目标跟踪时，当被跟踪目标丢失后再现时，采用扩大搜索区域进行全视野搜索，当搜索到物体时，在进行鱼眼图像局部畸变矫正和模板匹配校准搜索区域，以确定所搜索物体为跟踪目标，否则重新全视野搜索。

实施例2

实验的环境是在PC上完成的。工作环境：CPU为AMD4200，内存4G，显卡512M，以及装配鱼眼镜头的USB口的CCD数字摄像机，采集图像分辨率为512*384像素，可跟踪的目标大小范围为5*3～455*320像素。

实验中不同时刻的被跟踪目标在鱼眼镜头中的跟踪效果图如下所示，其中图5是初始时刻所设置的跟踪区域颜色直方图；图6(a)是目标运动时，跟踪的结果；(b)是目标处于局部遮挡时的跟踪效果；(c)是目标处于全部被遮挡时的状态；(d)是目标处于局部再现时，跟踪窗再次锁定目标；(e)是目标全部出现时跟踪效果；图7(a)跟踪目标初始状态；(b)表示目标运动到鱼眼镜头边缘；(c)表示目标运动出视野的跟踪状态；(d)是目标再现于鱼眼镜头视野的跟踪效果。

图(8)是导航系统在航标被全遮挡或移出视野后再次出现时的跟踪航标实验的结果。在图(a)中，系统有效排除背景干扰进行对目标的跟踪。在图(b)中，目标移动到强光区域，被系统有效排除了光照变化和干扰的影响，实现了准确的跟踪。在图(c)中，目标被人为的全部遮挡。在图(d)中，目标出现后被系统识别和跟踪，有效克服了光照影响。在图(e)中，目标全部移动出镜头视野。在图(f)中，系统精确地锁定且跟踪到全部出现于镜头视野中的目标；此时的目标是在光变的情况下做高速不规则运动出现的。由此可见，采用所提的组合跟踪算法的AGV导航系统对于解决光变情况下的目标的跟踪恢复问题具有较好的效果，同时也满足了系统的实时性和鲁棒性的要求。

本文提出的组合跟踪算法可以较好地实现随机运动目标跟踪。在鱼眼镜头图像边缘的图像畸变很严重，跟踪的精确度比在中心区域要差。表1是不同目标在不同跟踪条件下的实验测量结果统计。

表1.目标跟踪实验结果

参考文献

[1]贾云得  吕宏静  徐岸  刘万春.一种鱼眼镜头成像立体视觉系统的标定方法[J].计算机学报，Nov.2000，23(11)：1216-1219.

[2]J.Weng.P.Cohen，and M.Herniou，Camera Calibration with Distortion Models andAccuracy Evaluation[J]，IEEE Trans.Pattern Analysis and Machine Intelligence，Oct.1992，14(10)：965-980

[3]M.J.Swain，D.H.Ballard，Indexing via color histograms.Proceedings of ImageUnderstanding Workshop，1990，623-630.C

[4]Donghe Yang，Jinsong Xia.Face Tracking Based on CamShift Algorithm and MotionPrediction[C].Intelligent Systems and Applications，2009.ISA 2009.International Workshopon.23-24May 2009

[5]Greg Welch，Gray Bishop.An Introduction to the Kalman Filter[J].UNC-Chapel Hill，TR95-041，April 5，2004.

Claims (5)

1.一种用于全方位视觉的目标跟踪方法，其特征在于该方法包括：

第一步、采用带有鱼眼镜头的图像采集系统捕获一帧全方位景物的图像信息；

第二步、对整体图像进行全景畸变校正；

第三步、按图像区域确定被跟踪目标，计算被跟踪目标区域的颜色直方图；

第四步、采用带有鱼眼镜头的图像采集系统捕获另一帧全方位景物的图像信息；

第五步、采用局部图像矫正、卡尔曼滤波算法、单一变量归一化互相关模板匹配算法、改进型连续自适应均值漂移目标跟踪算法相结合的算法对全方位景物的图像信息进行处理，确定被跟踪目标的空间位置并输出跟踪结果；

第六步、当被跟踪目标找到时，从第四步继续进行后续操作；当被跟踪目标丢失时，采用扩大搜索区域到全视野搜索的方法进行目标搜索，确定被跟踪目标是否再现；当搜索到物体时，再进行鱼眼图像局部畸变矫正和模板匹配校准搜索区域，以确定所搜索到的物体是否为被跟踪目标，否则重新全视野搜索直至重新搜索到被跟踪目标。

2.根据权利要求1所述的方法，其特征在于第五步所述的改进型连续自适应均值漂移目标跟踪算法是：

在连续视频图像处理中，针对运动目标的动态概率分布的自适应性和物体的颜色特征实现搜索区域的灵活调整；

算法采用了HSV颜色空间，克服了RGB颜色空间目标色彩分类易受光照干扰的缺点，有效的保证了被跟踪物体颜色特征的稳定性；

算法中使用了反向投影计算，又称为直方图背投影，它主要用于解决如下问题：即计算跟踪目标的颜色直方图，并借助颜色直方图将HSV颜色空间的原始图像转换成色彩概率分布图像；

使用均值漂移算法解决了逐帧搜索和跟踪目标的问题；该算法通过核密度估计的无参数快速模式匹配，用迭代的方式来搜索和跟踪目标；该算法提取了跟踪区域的色度分量，并对其进行了一维直方图处理，进而得到直方图反向投影的数据；

使用连续自适应均值漂移算法初始化搜索窗口的位置及其参数，随后采用均值漂移算法计算搜索窗口的新位置及其参数，并将结果保留；然后在下一帧图像的处理过程中，依靠该结果重新设定搜索窗口的位置和参数；如此往复，直到收敛为止；

本文方法在目标丢失时，将连续自适应均值漂移算法搜索窗口扩大到全视野来搜索目标；该改进型的连续自适应均值漂移算法在目前计算机硬件条件下能够满足系统的高实时性和鲁棒性的要求，同时在物体运动位移很大的情况下，可以通过处理一两帧图像就可以迅速恢复跟踪。

3.根据权利要求1所述的方法，其特征在于第五步所述的模板匹配算法，该方法是使用单一变量归一化互相关模板匹配算法以提高跟踪算法的处理速度。由于该算法运算速度较慢，所以只在目标丢失的情况下采用该算法；

该算法的处理思想是：选取大小为I×I的原始图像M和大小为J×J的模板N，其中I，J均表示像素且I远大于J；将模板N在图像M上以由上至下，由左至右的顺序进行遍历匹配，选取互相关值最大的子图M^i，j，位置作为目标跟踪位置；其相关系数R(x，y)方程式如下：

$R(x,y)=\frac{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]\×[N(i,j)-\stackrel{\‾}{N}]}{\sqrt{\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[M^{x,y}(i,j)-\stackrel{\‾}{M^{x,y}}]}^2\×\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}{[N(i,j)-\stackrel{\‾}{N}]}^2}}---\left(1\right)$

4.根据权利要求1所述的方法，其特征在于第五步所述的卡尔曼滤波算法的内容包括：

卡尔曼滤波是在最小均方误差准则下的线性系统最优估计方法，是以预测结果和修正结果来进行递推滤波的；卡尔曼滤波的算法思路是获得最小的估计误差和无偏估计；其中卡尔曼滤波先经过初始化系统、预测下一帧结果以及数据更新来完成状态估计；卡尔曼滤波器是对随机信号进行最优滤波处理的递归型滤波器，能同时使每个信号分量的均方估计误差最小；

卡尔曼滤波器的数学模型设定为：

系统状态方程：x(k)＝Ax(k-1)+w(k-1)       (2)

系统观测方程：y(k)＝Cx(k)+v(k)           (3)

设向量x(k)是k时刻的随机信号向量；A为系统转移矩阵，C为系统的测量矩阵；y(k)为k时刻的测量值；w(k-1)为k-1时刻的状态噪声向量；w(k-1)的概率分布为p(w(k-1))～N(0，Q(k))，其中Q(k)是状态噪声协方差矩阵；v(k)是在k时刻的观测噪声向量；v(k)的概率分布为p(v(k))～N(0，R(k))，其中R(k)是观测噪声的协方差矩阵；其中状态噪声向量和观测噪声向量彼此相互独立，且均与初始状态独立。

5.根据权利要求1所述的方法，其特征在于第五步所述的局部图像矫正的方法是：

在全方位图像实时校正中，当入射角小于等于65°时使用正交校正模型，大于65°小于等于75°时使用等立体角校正模型，大于75°时使用等距校正模型；由于校正计算的计算过程耗时量大，所以只对目标可能出现的区域进行局部图像矫正以满足系统的实时性要求；

在校正模型中令M′(x′，y′)为鱼眼图像中的一点，M(x，y)为校正后的点，(x′₀，y′₀)为鱼眼图像的中心，r′为M′到中心点的距离，(x₀，y₀)为校正后图像的中心，r为M到校正后中心点的距离，z为校正后平面的高度；

A.等距校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \frac{r^{\′}}{f}}{r^{\′}}+x_0---\left(9\right)$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \frac{r^{\′}}{f}}{r^{\′}}+y_0$

B.等立体角校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{2f}\right]}{r^{\′}}+x_0---\left(10\right)$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{2f}\right]}{r^{\′}}+y_0$

C.正交校正模型为：

$x=\frac{z(x^{\′}-x_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{f}\right]}{r^{\′}}+x_0---\left(11\right)$

$y=\frac{z(y^{\′}-y_0^{\′})\tan \left[2\arcsin \frac{r^{\′}}{f}\right]}{r^{\′}}+y_0.$

Images