CN105741324A - 移动平台上的运动目标检测识别与跟踪方法 - Google Patents

Abstract

本发明提供了一种移动平台上的运动目标检测识别与跟踪方法，包括移动平台上的运动目标检测识别和视频检测中的运动目标跟踪，前者使用光流法检测出所有移动目标，然后采用识别的方法对检测到的目标进行二次处理；后者采用基于特征融合的粒子滤波跟踪算法。本发明的优点是：1)使用光流检测替换SVM识别算法中的滑动窗口，将两者有机结合，可以进一步提取出感兴趣的目标。为进一步提高识别的有效性，提出针对特定目标的颜色识别方法，进一步确定目标是否为我们感兴趣的目标。2)使用HSV颜色特征和LBP纹理特征作为跟踪算法的处理对象，既保证了跟踪的准确率，又能够在光照强度频繁变化的情况下保证跟踪的鲁棒性。

Description

移动平台上的运动目标检测识别与跟踪方法

技术领域

本发明涉及一种移动平台上的运动目标检测识别与跟踪方法，属于计算机图像处理技术领域。

背景技术

以图像视频资料为研究对象的目标检测、识别和跟踪技术是计算机视觉领域中的一个重要研究方向，其设置的视频采集工具为固定于一处无法移动的平台，这种采集多使用背景建模法进行移动目标的检测。而随着各种移动平台如无人飞机、自动驾驶车辆、移动机器人等的发展，仅在固定平台上对移动目标进行信息处理，已经远远不能满足需求。同时由于背景建模法要求采集平台是固定不能移动的条件已经不能满足，所以背景建模法已不适用于移动平台运动目标检测。因此，研究移动平台上的目标检测、识别和跟踪技术，成为图像处理领域的一个新的热点。我们通过机器人平台上携带的摄像头，以行人和球体作为运动目标，在机器人移动状态下采集视频，从视频中提取并识别运动目标，并实现视频监测中对运动目标的检测追踪。

目前移动平台上的运动目标检测识别与跟踪技术中，光流检测算法可以提取出移动平台上的运动目标，但也正因为光流法能够检测出所有的运动目标，因而目的性不强，不能够有效提取我们感兴趣的目标。SVM识别算法能够识别出目标，因而可以解决这一问题，但传统的SVM识别算法一般使用滑动窗口扫描图像，检测识别目标物体，因而计算开销十分之大，因而又带来了新的问题。对于识别出的物体实现跟踪，一般采用颜色模型特征，这就造成了容易受光线变化干扰的问题；而用于户外的移动机器人，会由于其姿态的变化造成与光源角度的变化造成光线变化，影响视频中目标跟踪效果。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种移动平台上的运动目标检测识别与跟踪方法，可以进一步提高识别的有效性和跟踪的准确性。

按照本发明提供的技术方案，所述移动平台上的运动目标检测识别与跟踪方法，包括移动平台上的运动目标检测识别和视频检测中的运动目标跟踪，其中，所述移动平台上的运动目标检测识别的方法为：首先使用光流法检测出所有移动目标，然后采用识别的方法对检测到的目标进行二次处理，即使用特定目标的颜色识别方法进一步对移动颜色目标进行选择，和使用基于SVM的行人检测进一步对行人目标进行选择提取；

所述视频检测中的运动目标跟踪，采用基于特征融合的粒子滤波跟踪算法，即使用HSV颜色特征和LBP纹理特征作为跟踪算法的处理对象，包括以下步骤：

步骤1、开始跟踪程序。

步骤2、获取一帧图像，并判断该帧是否是第一帧图像，若是，则进行图像初始化操作；初始化操作包括获取跟踪目标、粒子分配；

步骤3、图像初始化时需要对图像内容进行备份操作并把备份转为灰度图，此后使用鼠标标定跟踪目标，并把粒子平均分配给每个目标；

步骤4、在标定跟踪目标之后，计算每个目标的LBP直方图，并计算每个标定区域HSV颜色直方图分布情况，并将每个粒子权重设置为0；

步骤5、初始化结束，返回获取下一帧图像；

步骤6、系统状态转移，粒子随机分布，计算各粒子的LBP直方图，并计算粒子转移前后直方图的相似度，以确定粒子权重，并针对每个目标标准化权重；

步骤7、根据粒子权重为每个目标重新分配粒子；

步骤8、显示粒子；

步骤9、若跟踪结束，退出程序；否则返回步骤2获取下一帧图像，继续处理目标跟踪。

具体的，所述颜色识别需要首先对目标的RGB颜色空间三个分量进行提取并做耦合处理，从而得到能够检测出目标物体的阈值，然后将该阈值赋值给识别模块，从而能够识别出该具有该颜色特征的目标物体。

所述颜色识别方法采用RGB颜色特征，对目标物体进行阈值分割，从而检测出目标物体；首先通过试验获得特定目标物体的RGB阈值，然后直接使用采集到的彩色图像，对图像的行、列分别进行扫描统计，将扫描结果与RGB阈值进行对比处理，从而检测出目标物体；颜色耦合的处理方法为，在进行阈值设定时，R、G、B三个分量需要满足以下条件：

$\left\{\begin{array}{c}B>B\_th\\ B-G>BG\_dif\\ RB-R>BR\_dif\\ B>{\mathrm{BG}}_{scale}*G\\ B>{\mathrm{BR}}_{scale}*R\end{array}\right.$

其中，B_th为蓝色B的阈值，BG_dif为蓝色B和绿色G的差分阈值，BR_dif为蓝色B和红色R的差分阈值，BG_scale为蓝色B和绿色G的比例阈值，BR_scale为蓝色B和红色R的比例阈值；分别按行和按列扫描图像，统计红色像素的个数，当某行或者某列的红色像素个数超过一定阈值时，就认为是红色色块；对于确定的红色色块区域，长宽各增加一个裕量来确定目标区域；通过引入耦合操作，降低因光照、颜色相似等原因产生的误检。

所述基于SVM的行人检测使用HOG特征，然后同行人模板库进行匹配，从而实现行人检测。

具体的，所述基于SVM的行人检测中，HOG特征计算的步骤是，首先将输入的彩色图像转换为灰度图；然后对输入图像进行归一化处理，使用的方法是Gamma校正法；经过归一化之后，图像的对比度得到调整，从而减小光照变化和阴影对检测产生的影响；然后计算梯度获取目标物体的轮廓信息；把梯度投影到单元梯度方向从而获得编码并提供给局部图像区域；对所有块中的单元进行归一化处理，而且归一化进一步减小阴影和光线变化对检测的影响；最后，在检测窗口中收集所有的HOG特征，并将这些HOG特征组成分类器用于分类。

本发明的优点是：

1)使用光流检测替换SVM识别算法中的滑动窗口，将两者有机结合，可以进一步提取出感兴趣的目标。为进一步提高识别的有效性，提出针对特定目标的颜色识别方法，进一步确定目标是否为我们感兴趣的目标。

2)使用HSV颜色特征和LBP纹理特征作为跟踪算法的处理对象，既保证了跟踪的准确率，又能够在光照强度频繁变化的情况下保证跟踪的鲁棒性。

附图说明

图1是阈值检测效果图。

图2是移动平台上的运动目标检测(光流法+颜色识别)程序流程图。

图3是移动平台上的运动目标检测(光流法+SVM行人检测)程序流程图。

图4是视频检测中的运动目标跟踪程序流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明包括以下步骤：

步骤1、移动平台上的运动目标检测识别。

我们首先使用光流法检测出所有移动目标，然后采用识别的方法对检测到的目标进行二次处理，即使用特定目标的颜色识别方法进一步对移动颜色目标进行选择和使用基于SVM的行人检测进一步对行人目标进行选择提取。

颜色识别需要首先对目标的RGB颜色空间三个分量进行提取并做耦合处理，从而得到能够检测出目标物体的阈值，然后将该阈值赋值给识别模块，从而能够识别出该具有该颜色特征的目标物体。SVM行人检测则是使用HOG特征，然后同行人模板库进行匹配，从而实现行人检测。

步骤1.1光流法——初步目标提取：

光流法是根据光流的特性来检测运动目标的。光流指的是相对于二维图像平面，三维空间中的场景和目标发生运动时,它们在这个二维图像平面上的投影就会形成相应的运动,该运动表现为图像平面亮度模式的流动,因而形象地称之为光流。整体思路是通过检测并标记前后两帧角点，检测出运动方向与其他大多数不一致的角点，那么这些不一致的角点所形成的运动便可以看作是移动目标的光流方向。将光流包含在内的轮廓，即为所希望提取出的运动目标物体所在区域。我们采用Harris焦点，对图像中所有的像素点，求解整幅图像的二阶导数，形成二维Hessian矩阵：

$H\left(p\right)=\left(\begin{array}{cc}\frac{{\∂}^{2}I}{\∂x^2}& \frac{{\∂}^{2}I}{\∂x\∂y}\\ \frac{{\∂}^{2}I}{\∂x\∂y}& \frac{{\∂}^{2}I}{\∂y^2}\end{array}\right)$

然后通过每点周围小窗口的二阶导数图像的自相关矩阵形成焦点，该自相关矩阵的定义为：

$M\left(x,y\right)\left(\begin{array}{cc}\underset{-K\≤i,j\≤K}{\Σ}{W}_{i,j}{I_x}^2(x+i,y+j)& \underset{-K\≤i,j\≤K}{\Σ}{W}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)\\ \underset{-K\≤i,j\≤K}{\Σ}{W}_{i,j}{I}_x(x+i,y+j)I_y(x+i,y+j)& \underset{-K\≤i,j\≤K}{\Σ}{W}_{i,j}{I_y}^2(x+i,y+j)\end{array}\right)$

其中，I(x，y，t)为图像上的点(x，y)在时刻t的灰度，I_x、I_y是利用水平、竖直差分算子对每个像素进行滤波以求得的，W_i，j为归一化的光流权重比例，(-K，K)组成窗口内每一像素点的编号。

步骤1.2.1颜色识别算法——进一步特征选取(用于颜色目标)：

光流法+颜色识别的流程如图1所示。采用RGB颜色特征，对目标物体进行阈值分割，从而检测出目标物体。我们首先通过试验获得特定目标物体的RGB阈值，然后直接使用采集到的彩色图像，对图像的行、列分别进行扫描统计，将扫描结果与RGB阈值进行对比处理，从而检测出目标物体。以蓝色目标为例，来说明颜色耦合的处理方法。在进行阈值设定时，R、G、B三个分量需要满足以下条件：

$\left\{\begin{array}{c}B>B\_th\\ B-G>BG\_dif\\ RB-R>BR\_dif\\ B>{\mathrm{BG}}_{scale}*G\\ B>{\mathrm{BR}}_{scale}*R\end{array}\right.$

其中，B_th为蓝色B的阈值，BG_dif为蓝色B和绿色G的差分阈值，BR_dif为蓝色B和红色R的差分阈值，BG_scale为蓝色B和绿色G的比例阈值，BR_scale为蓝色B和红色R的比例阈值。分别按行和按列扫描图像，统计红色像素的个数，当某行或者某列的红色像素个数超过一定阈值时，就认为是红色色块。对于确定的红色色块区域，长宽各增加一个裕量来确定目标区域。通过引入耦合操作，大大降低因光照、颜色相似等原因产生的误检。阈值检测效果如图2所示。

步骤1.2.2SVM识别算法——进一步特征选取(用于行人检测)：

光流法+SVM行人检测的流程如图3所示。在行人检测中，HOG特征计算的步骤是，首先将输入的彩色图像转换为灰度图；然后对输入图像进行归一化处理，使用的方法是Gamma校正法。经过归一化之后，图像的对比度得到调整，从而减小光照变化和阴影对检测产生的影响。然后计算梯度获取目标物体的轮廓信息。把梯度投影到单元梯度方向从而获得编码并提供给局部图像区域。为方便起见对所有块中的单元进行归一化处理，而且归一化进一步减小阴影和光线变化对检测的影响。最后，在检测窗口中收集所有的HOG特征，并将这些HOG特征组成分类器用于分类。

步骤2、视频检测中的运动目标跟踪。

针对粒子滤波跟踪算法受光线干扰严重的问题，提出了基于特征融合的粒子滤波跟踪算法，即：使用HSV颜色特征和LBP纹理特征作为跟踪算法的处理对象，既保证了视频检测目标跟踪的准确率，又能够在光照强度频繁变化的情况下保证跟踪的鲁棒性。详细步骤见流程图4。

步骤2.1、开始跟踪程序。

步骤2.2、获取一帧图像，并判断该帧是否是第一帧图像。若是，则进行图像初始化操作。初始化操作包括获取跟踪目标、粒子分配等等。

步骤2.3、图像初始化时需要对图像内容进行备份操作并把备份转为灰度图，此后使用鼠标标定跟踪目标，可以选定多台目标，并把粒子平均分配给每个目标；

步骤2.4、在标定跟踪目标之后，计算每个目标的LBP直方图，并计算每个标定区域HSV颜色直方图分布情况，并将每个粒子权重设置为0；

步骤2.5、初始化结束，返回获取下一帧图像；

步骤2.6、系统状态转移，粒子随机分布，计算各粒子的LBP直方图，并计算粒子转移前后直方图的相似度，以确定粒子权重，并针对每个目标标准化权重；

步骤2.7、根据粒子权重为每个目标重新分配粒子；

步骤2.8、显示粒子；

步骤2.9、若跟踪结束，退出程序；否则返回获取下一帧图像，继续处理目标跟踪。

表1跟踪实验性能指标数据

Claims (5)

1.移动平台上的运动目标检测识别与跟踪方法，其特征是，包括移动平台上的运动目标检测识别和视频检测中的运动目标跟踪，

所述移动平台上的运动目标检测识别的方法为：首先使用光流法检测出所有移动目标，然后采用识别的方法对检测到的目标进行二次处理，即使用特定目标的颜色识别方法进一步对移动颜色目标进行选择，和使用基于SVM的行人检测进一步对行人目标进行选择提取；

所述视频检测中的运动目标跟踪，采用基于特征融合的粒子滤波跟踪算法，即使用HSV颜色特征和LBP纹理特征作为跟踪算法的处理对象，包括以下步骤：

步骤1、开始跟踪程序。

步骤2、获取一帧图像，并判断该帧是否是第一帧图像，若是，则进行图像初始化操作；初始化操作包括获取跟踪目标、粒子分配；

步骤3、图像初始化时需要对图像内容进行备份操作并把备份转为灰度图，此后使用鼠标标定跟踪目标，并把粒子平均分配给每个目标；

步骤4、在标定跟踪目标之后，计算每个目标的LBP直方图，并计算每个标定区域HSV颜色直方图分布情况，并将每个粒子权重设置为0；

步骤5、初始化结束，返回获取下一帧图像；

步骤6、系统状态转移，粒子随机分布，计算各粒子的LBP直方图，并计算粒子转移前后直方图的相似度，以确定粒子权重，并针对每个目标标准化权重；

步骤7、根据粒子权重为每个目标重新分配粒子；

步骤8、显示粒子；

步骤9、若跟踪结束，退出程序；否则返回步骤2获取下一帧图像，继续处理目标跟踪。

2.如权利要求1所述的移动平台上的运动目标检测识别与跟踪方法，其特征是，所述颜色识别需要首先对目标的RGB颜色空间三个分量进行提取并做耦合处理，从而得到能够检测出目标物体的阈值，然后将该阈值赋值给识别模块，从而能够识别出该具有该颜色特征的目标物体。

3.如权利要求2所述的移动平台上的运动目标检测识别与跟踪方法，其特征是，所述颜色识别方法采用RGB颜色特征，对目标物体进行阈值分割，从而检测出目标物体；首先通过试验获得特定目标物体的RGB阈值，然后直接使用采集到的彩色图像，对图像的行、列分别进行扫描统计，将扫描结果与RGB阈值进行对比处理，从而检测出目标物体；颜色耦合的处理方法为，在进行阈值设定时，R、G、B三个分量需要满足以下条件：

$\left\{\begin{array}{c}B>B\_th\\ B-G>BG\_dif\\ RB-R>BR\_dif\\ B>{\mathrm{BG}}_{scale}*G\\ B>{\mathrm{BR}}_{scale}*R\end{array}\right.$

其中，B_th为蓝色B的阈值，BG_dif为蓝色B和绿色G的差分阈值，BR_dif为蓝色B和红色R的差分阈值，BG_scale为蓝色B和绿色G的比例阈值，BR_scale为蓝色B和红色R的比例阈值；分别按行和按列扫描图像，统计红色像素的个数，当某行或者某列的红色像素个数超过一定阈值时，就认为是红色色块；对于确定的红色色块区域，长宽各增加一个裕量来确定目标区域；通过引入耦合操作，降低因光照、颜色相似等原因产生的误检。

4.如权利要求1所述的移动平台上的运动目标检测识别与跟踪方法，其特征是，所述基于SVM的行人检测使用HOG特征，然后同行人模板库进行匹配，从而实现行人检测。

5.如权利要求4所述的移动平台上的运动目标检测识别与跟踪方法，其特征是，所述基于SVM的行人检测中，HOG特征计算的步骤是，首先将输入的彩色图像转换为灰度图；然后对输入图像进行归一化处理，使用的方法是Gamma校正法；经过归一化之后，图像的对比度得到调整，从而减小光照变化和阴影对检测产生的影响；然后计算梯度获取目标物体的轮廓信息；把梯度投影到单元梯度方向从而获得编码并提供给局部图像区域；对所有块中的单元进行归一化处理，而且归一化进一步减小阴影和光线变化对检测的影响；最后，在检测窗口中收集所有的HOG特征，并将这些HOG特征组成分类器用于分类。