CN104835182A - 摄像机上实现动态目标实时跟踪的方法 - Google Patents

Abstract

本发明涉及一种摄像机上实现动态目标实时跟踪的方法，所述的方法包括摄像机采集所述的动态目标的图像；控制模块基于SVM方法特征检测以及基于相邻帧差法运动检测对所述的动态目标的图像进行分析；所述的摄像机根据所述的控制模块的分析结果调整所述的摄像机的方向及位置，以实现对所述的动态目标的跟踪。采用该种结构的摄像机上实现动态目标实时跟踪的方法，同时采用SVM方法检测和相邻帧差法运动检测，具有更好的检测能力，能更精确的捕捉到目标位置，并能控制摄像机对目标进行有效跟踪，对于复杂背景的适应能力，很大程度上降低了静态目标误检率，克服SVM方法检测时动态背景适应能力的问题，应用范围广泛。

Description

摄像机上实现动态目标实时跟踪的方法

技术领域

本发明涉及计算机技术领域，尤其涉及目标检测及跟踪，具体是指一种摄像机上实现动态目标实时跟踪的方法。

背景技术

当前可行的人物检测技术主要分两类：基于外形检测的方法和基于运动检测的方法。

一、基于外形检测的方法

是指通过分析待检测图像的边缘和纹理特征来检测。主要分为三类：

1)基于人体建模的方法

主要是指根据人体结构的特点，构造一些人物的参数模型，包括2D和3D的。在检测时提取待检测图像的原始特征来求解模型。该类方法的有点是可以处理遮挡问题，重建人物姿态，不足之处在于人体建模比较困难，求解也相当复杂。

2)基于模版匹配的方法

主要是通过制作一些人物的轮廓模版，然后再检测时提取待检测图像的轮廓与模版库中的模版比较得到检测结果。该方法的优点是计算上简单，不足之处在于一个较完备模版库的建立比较困难。

3)基于统计学习的检测方法

主要是从大量训练样本中通过机器学习寻找其内置的模式，从而得到相应的分类器。基于分类的优点是算法鲁棒性强，对于不同光线和场景的人物均具有较好检测能力。不足之处在于训练样本库的建立以及针对人物检测这一特定问题需要对机器学习算法作特殊定制。一般来说，机器学习分两步：第一是特征提取，第二是设计分类器的训练。特征提取是为了得到图像最关键的特征，设计分类器训练是为了提高分类器的泛化能力，也就是提高我们检测算法的鲁棒性。机器学习方法主要有三种：人工神经网络、SVM以及AdaBoost。

人工神经网络的思想是通过学习的方法将模式的特征隐含在一系列的网络参数中，可以描述极为复杂的模式。

SVM方法是一种统计学习方法，它遵循结构风险最小化原则，具有良好的泛化性，是一种具有广泛应用前景的小样本机器学习方法。

AdaBoost是一种分类器组合的策略，它的目的是将一些弱分类器组合成一个强分类器。AdaBoost得到的分类器具有较好的推广性能。

然而很多实验结果表明在复杂背景纹理中的检测结果还不是特别理想。

二、基于运动检测的方法

运动检测多是基于底层视频信息的检测。是指从图像序列中将前景变化区域从背景图像中提取出来。从方法上看大概有如下几类：

1)相邻帧差法

相邻帧差法是通过递归方程式从日常规则中得到训练规则，并利用训练规则来实现目标检测的算法。检测过程中，该类方法主要利用时间信息，通过比较图像序列中连续2、3帧中所有对应位置像素点，并根据规则计算对应像素点的差值，如果差值大于一定的阈值，就认为该点对应位置有运动目标存在并提取该运动目标。它采用单台摄像机，对动态环境有较强自适应性，但一般来说使用该方法不能完全提取相关的特征像素点，得到的背景并非纯背景图像，所以检测得到的运动目标结果并不十分精确。

2)光流法

光流是图像亮度的运动信息描述，基于图像中相邻点的亮度是相似的这一个前提，即图像中亮度变化平稳，在该前提下光流法将3维空间的图像表面亮度点的速率信息映射为近似的2维运动场来计算。在目标检测过程中，应用运动目标随时间变化的流矢量特性在图像序列中检测运动区域。由于采用了光流场信息，可以得到完整的运动信息，能很好的从背景中检测得到不同的运动目标等前景，甚至可以检测到运动目标的一部分。因此可以采用单一摄像机运动过程中独立运动目标的检测，不过算法要对所有帧中的所有像素进行计算，所有计算量大，算法复杂耗时，如果没有专门的硬件设备支持，很难实现视频实时检测。

3)背景减法

相对于其他方法而言简单易于实现，利用当前图像与背景图像的差来检测运动区域。一般能够提供最完全的特征数据，适用于背景已知的情况。其关键所在是如何自动获得场景的静态背景模型。目前最简单的背景模型是时间平均图像。然而在场景中，背景往往是不固定的，会随着光线、运动以及背景物体的移入/移出等变化而动态变化，背景模型必须及时适应这些变化。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种采用运动检测方法辅助SVM方法检测、运动检测结果来参与最后决策、克服SVM方法检测时动态背景适应能力的问题的摄像机上实现动态目标实时跟踪的方法。

为了实现上述目的，本发明的摄像机上实现动态目标实时跟踪的方法具有如下构成：

该摄像机上实现动态目标实时跟踪的方法，其主要特点是，所述的方法包括以下步骤：

(1)摄像机采集所述的动态目标的图像；

(2)控制模块基于SVM方法特征检测以及基于相邻帧差法运动检测对所述的动态目标的图像进行分析；

(3)所述的摄像机根据所述的控制模块的分析结果调整所述的摄像机的方向及位置，以实现对所述的动态目标的跟踪。

进一步地，所述的摄像机采集所述的动态目标的图像，具体包括以下步骤：

(1.1)所述的摄像机采集所述的动态目标的视频图像；

(1.2)所述的摄像机分析获取所述的视频图像中的静态图像；

(1.3)所述的摄像机对所述的静态图像进行缩放和编码，以形成格式统一的图像；

(1.4)所述的摄像机抽取所述的格式统一的图像的Y分量以生成灰度图像并输出该灰度图像。

进一步地，所述的控制模块基于SVM方法特征检测以及基于相邻帧差法运动检测对所述的动态目标的图像进行分析，具体为：

所述的控制模块基于SVM方法特征检测对所述的动态目标的图像进行分析并基于相邻帧差法运动检测对所述的动态目标的图像进行分析，并根据SVM方法特征检测获得的分析结果以及相邻帧差法运动检测获得的分析结果得到所述的动态目标的目标位置。

更进一步地，所述的控制模块基于SVM方法特征检测对所述的动态目标的图像进行分析，具体包括以下步骤：

(2.1.a)所述的控制模块基于sobel算子以及所述的动态目标的图像构造sobel边缘图像；

(2.1.b)所述的控制模块根据所述的sobel边缘图像构造centrist特征图像；

(2.1.c)所述的控制模块对所述的centrist特征图形进行直方图统计；

(2.1.d)所述的控制模块根据所述的直方图统计获取SVM方法特征检测的分析结果。

更进一步地，所述的基于相邻帧差法运动检测对所述的动态目标的图像进行分析，具体包括以下步骤：

(2.2.a)所述的控制模块对相连续的两帧图像作差，以获得差值图像；

(2.2.b)所述的控制模块对所述的差值图像的每个像素进行阈值判断以获取二值图像；

(2.2.c)所述的控制模块对所述的二值图像的像素进行判断以获得一组运动区域；

(2.2.d)所述的控制模块根据该运动区域获得基于相邻帧差法运动检测的分析结果。

进一步地，所述的摄像机根据所述的控制模块的分析结果调整所述的摄像机的方向及位置，具体包括以下步骤：

(3.1)所述的摄像机获取摄像机预置位；

(3.2)所述的摄像机获取当前位置；

(3.3)所述的摄像机根据所述的控制模块的分析结果获取目标位置；

(3.4)所述的摄像机根据当前位置和目标位置计算摄像机的运动方向及角度；

(3.5)所述的摄像机移动至所述的目标位置。

采用了该发明中的摄像机上实现动态目标实时跟踪的方法，与现有技术相比，具有以下有益效果：

在实际应用中，为了保证一定的检测速度和检测率，采用适量的检测样本数进行SVM训练，训练得到的特征模型去对摄像机静态图像进行基于SVM方法人物检测，其检测结果存在误检，并且对于复杂背景的适应能力不强；而运动检测对动态环境有较强的自适应性，结合运动检测后，很大程度上降低了静态目标误检率；本发明同时采用SVM方法检测和运动检测的系统具有更好的检测能力，能更精确的捕捉到目标位置，并能控制摄像机对目标进行有效跟踪，克服SVM方法检测时动态背景适应能力的问题，应用范围广泛。

附图说明

图1为本发明的摄像机上实现动态目标实时跟踪的方法的步骤流程图。

图2为本发明的基于SVM方法特征检测的步骤流程图。

图3为本发明的基于相邻帧差法运动检测的步骤流程图。

图4为本发明的调整摄像机的方向及位置的步骤流程图。

图5为本发明的调整摄像机的方向及位置的结构示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

请参阅图1至图5所示，本发明在执行之前需进行SVM离线训练，挑选正负样本进行SVM训练，得到SVM特征检测模型。此特征检测模型将用于图像分析中的基于SVM方法特征检测。

本发明主要包含图像采集、图像分析以及跟踪参数计算等三个部分。

一、图像采集

通过摄像机获取视频流，在视频流中捕捉静态图像，经过缩放、编码后，再进行灰度抽取，形成供图像分析用的图像数据。

图像分析过程需要的是256×144大小的灰度图像，而摄像机获取的图像一般是分辨率远大于此的彩色图像，而且其图像编码格式也多种多样，因此需要将捕捉到的摄像机视频流中的静态图像先缩放至256×144大小，并编码成统一格式的图像。然后抽取图像的Y分量，生成分析所需的灰度图像。

二、图像分析

本发明中对图像采集最后处理所得到的图像数据采用基于SVM方法特征检测与基于相邻帧差法运动检测相结合的方法进行图像分析，检测目标位置。

该方法通过对图像分别进行特征检测和运动检测，得到特征检测结果和运动检测结果。根据运动检测得到的运动检测结果，将在其左右设置区域外的特征检测结果进行过滤，过滤后分别求取特征检测结果的上下左右的平均值，得到的平均区域范围即为检测结果，其中心位置为目标位置。

1)特征检测

基于SVM方法特征检测是一种基于外形检测的方法，是通过分析图像的边缘和纹理特征来检测目标的。在进行特征检测之前，应先进行SVM离线训练，挑选适量的正负样本图片输入SVM训练器进行SVM训练，通过训练得到特征检测所需的SVM特征模型。

a)提取sobel边缘

边缘是图像最基本的特征，所谓边缘，就指周围灰度强度有反差变化的那些像素的集合，是纹理分析和图像识别的重要基础。我们采用基于sobel算子的边缘提取，Sobel算子是一阶导数的边缘检测算子，在算法实现过程中，通过3×3模板作为核与图像中的每个像素点做卷积和运算，然后选取合适的阈值以提取边缘。Sobel卷积因子为：

Gx的sobel的卷积因子为：

-1	0	+1
			-2	0	+2
-1	0	+1

Gy的sobel的卷积因子为：

+1	+2	+1
			0	0	0
-1	-2	-1

该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：

$\begin{array}{cc}\mathrm{Gx}=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*A& \mathrm{Gy}=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*A\end{array}$

图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：当灰度大小超出255时，限定为255。

整张图像逐个像素的进行边缘计算，就重新构造出一副sobel边缘图像。

b)构造centrist特征图像

centrist编码的关键是像素间的比较信号，根据sobel图像像素间的大小关系，构造一个新图像，该图像仍然保留源图像的像素大小比较信号而忽略像素的值大小。CT值是通过比较一个像素与其周围八个相邻像素的比较结果来确定其度量的。由下图公式可以看出将中间像素与周围临近像素逐个比较，若中间像素小于该相邻像素，则在与其比较的相邻像素的位置置1，否则置0。

接着对比较出的八个结果按同一方向聚集形成一个八位二进制数字，进一步把该二进制数字转化为等值的十进制数字，即为该像素的CT值。遍历整个图像后，就重新构造出一张CT特征图像。

c)直方图统计

centrist描述符可以很好的表达图像的轮廓信息，设置一个维度为256的CT值直方图。每个CT值都对应直方图的一个维度，若得出图像某像素的CT值，则将此CT值对应维度的数字加1。如此遍历图像的所有像素后最终得出一个CT值直方图，此直方图即是centrist描述符。

在实际应用中，把一个图形分成若干小的图像块，分块进行直方图统计，构造特征向量。我们将输入的256×144大小的图像，按52×72大小进行分割提取，再把此小图像分割成9×4个图像小块(block)，每个2×2邻接小块设为一个超块(super-block)，共(9-1)×(4-1)＝24个超块，以每一个超块为单位提取CENTRIST描述子，则整个图像的CENTRIST描述符为256×24＝6144维大小直方图。得到6144维直方图后，按照SVM检测模型文件中的特征向量最大值和最小值对每一个维度进行归一化，这样就构造出该小图像的特征向量。

d)特征匹配

将该小图像的特征向量与SVM检测模型逐个进行匹配，得出该小图像属于正样本还是属于负样本，若结果为正样本，说明该小图像是特征检测结果，否则，即为负样本，不包含特征目标。

按照设置的横向步径和纵向步径对整张图像进行遍历后，得到一组正样本集合，即一组特征检测结果。

2)运动检测

基于相邻帧差法运动检测是通过对序列图像中相邻帧做相减运算，利用序列图像中相邻帧的强相关性进行变化检测，从而检测出运动目标。它通过直接比较相邻帧对应像素点的灰度值的不同，通过设置的阈值来提取序列图像中的运动区域。

a)对前后两帧图像逐个像素作差，得到一副差值图像。

b)对差值图像中像素逐个进行阈值判断，若该像素差值大于设置的阈值，则该像素为前景像素，将其值置为1，否则置为0。遍历所有像素点后，得到一副二值图像。

c)从左至右对二值图像进行逐列统计前景像素点个数，当得到的前景像素点个数大于设置阈值时，认为该列有变化，记录下作为变化区域的开始列。当得到的前景像素点个数小于设置阈值时，认为该列无变化，记录下作为变化区域的终止列。然后对得到的变化区域宽度进行判断，当该区域的宽度大于设定的阈值时，该变化区域为运动区域；否则当该区域的宽度小于设定的阈值时，则不是运动区域。遍历所有列后得到一组运动区域。

d)取该组运动区域的最左列和最右列作为运动区域的起止列，将这组运动区域块囊括到一个区域内，该运动区域即为运动检测结果。

三、跟踪参数计算

根据摄像机当前位置与目标位置，计算出目标距摄像机当前位置的夹角与方向，然后按转动方向及角度通过云台控制摄像机进行转动，实现目标的跟踪。如果没有检测到目标，则控制摄像机在左右预置位间进行扫描，实时检测目标出现位置，实现摄像机对目标活动的跟踪。具体请参阅图5，图5中：

∠1为0#预置位角度，用于指示摄像机初始角度；

∠2为摄像机当前位置方向与0#预置位间角度；

∠3为目标位置与摄像机当前方向中心位置间角度；

∠4＝∠1+∠2+∠3，则目标位置方位角为90度减去∠4，若目标位置方位角大于摄像机当前位置方位角，则为反向转动，小于摄像机当前位置方位角，则为正向转动。大小为目标位置方位角与摄像机当前位置方位角的差值。

为了使本领域技术人员更好地理解本发明，就本发明的技术方案给出一具体实施例，但应该注意的是，此具体实施例并非是限制性的；在发明工作前首先提取大小为56×76的样本图片，包含教师各种姿态的图片以及各种不包含教师的背景图片作为正负样本，输入SVM训练器进行离线训练，得到特征检测模型。

在发明过程中，首先进行摄像机视频流采集，在视频流中捕捉静态图像，由于摄像机采集的图像分辨率及编码方式不同，需要将捕捉到的静态图像进行缩放、编码后生成256×144大小统一格式的图像，再对图像进行抽取Y分量生成灰度图像送往教师分析进行人物检测。

教师分析接收到生成的图像数据后，进行人物检测求取教师位置。

一、进行特征检测

1)在不考虑边缘的幅值，只考虑相对大小的情况下，提取局部纹理特征，采用基于sobel算子的边缘检测方法，该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像数据作平面卷积，即可分别得出横向及纵向的梯度分量值，根据这两个分量值得到该像素点的梯度值。遍历所有像素点后，得到一副边缘梯度图像。

2)在不考虑sobel边缘特征的具体值，只根据周围像素与中心像素的大小关系分别取0/1，对边缘梯度图像进行8bit编码，得到图像的CT值。

3)对图像进行遍历，按横向步进21个像素、纵向步进12像素对图像进行分割提取。

3.1)提取大小为52×72的小图像，将小图像的CT值进行灰度值直方图统计，将统计结果归一化处理后得到该小图像的特征向量。

3.2)将此小图像的特征向量与特征模型做计算，得到该小图像是否属于正样本。

4)将整张图像遍历后得到一个正样本集合，即为该图像的特征检测结果。

二、进行运动检测

1)接收到的图像数据进行帧间差法运动检测，对前后两帧图像逐个像素作差。

2)像素差值大于设置阈值的的点即为前景像素，将该像素点值置为1，否则置为0。遍历所有像素点后，得到一副二值图像。

3)从左至右逐列统计前景像素点个数，当得到的前景像素点个数大于设置阈值时，认为该列有变化，记录下作为变化区域的起始列。当得到的前景像素点个数小于设置阈值时，认为该列无变化，记录下作为变化区域的终止列。判断该区域的宽度是否大于设定的阈值，当大于设定值时，该变化区域为运动区域，否则不是运动区域。遍历所有列后得到一组运动区域。

4)取该组运动区域的最左列和最右列作为运动区域的起止列，将这组运动区域块囊括到一个区域内，该运动区域就为运动检测结果。

三、求取检测结果

对运动检测结果区域设置区域外的特征检测结果进行过滤，设置区域为运动检测结果区域左右34大小的范围，即设置区域的左边界为运动检测结果的左侧减去34，若左边界小于0，则左边界为0；设置区域的右边界为为运动检测结果的右侧加上34，若右边界超出图像宽度256，则右边界为图像宽度256。将不包含在设置区域内的特征检测结果过滤掉，对设置区域内的特征检测结果分别求取其上下左右的平均值，得到的平均区域为特征范围，其中心位置即为教师位置。

最后，根据教师位置与摄像机当前位置可计算出教师位置距摄像机当前位置方向的夹角大小与方向，然后按转动方向及角度控制摄像机云台进行转动，实现教师的跟踪。如果没有检测到教师位置，则控制摄像机在左右预置位间进行扫描，实时检测教师出现位置。

采用了该发明中的摄像机上实现动态目标实时跟踪的方法，与现有技术相比，具有以下有益效果：

在实际应用中，为了保证一定的检测速度和检测率，采用适量的检测样本数进行SVM训练，训练得到的特征模型去对摄像机静态图像进行基于SVM方法人物检测，其检测结果存在误检，并且对于复杂背景的适应能力不强；而运动检测对动态环境有较强的自适应性，结合运动检测后，很大程度上降低了静态目标误检率；本发明同时采用SVM方法检测和运动检测的系统具有更好的检测能力，能更精确的捕捉到目标位置，并能控制摄像机对目标进行有效跟踪，克服SVM方法检测时动态背景适应能力的问题，应用范围广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的方法包括以下步骤：

(1)摄像机采集所述的动态目标的图像；

(2)控制模块基于SVM方法特征检测以及基于相邻帧差法运动检测对所述的动态目标的图像进行分析；

(3)所述的摄像机根据所述的控制模块的分析结果调整所述的摄像机的方向及位置，以实现对所述的动态目标的跟踪。

2.根据权利要求1所述的摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的摄像机采集所述的动态目标的图像，具体包括以下步骤：

(1.1)所述的摄像机采集所述的动态目标的视频图像；

(1.2)所述的摄像机分析获取所述的视频图像中的静态图像；

(1.3)所述的摄像机对所述的静态图像进行缩放和编码，以形成格式统一的图像；

(1.4)所述的摄像机抽取所述的格式统一的图像的Y分量以生成灰度图像并输出该灰度图像。

3.根据权利要求1所述的摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的控制模块基于SVM方法特征检测以及基于相邻帧差法运动检测对所述的动态目标的图像进行分析，具体为：

所述的控制模块基于SVM方法特征检测对所述的动态目标的图像进行分析并基于相邻帧差法运动检测对所述的动态目标的图像进行分析，并根据SVM方法特征检测获得的分析结果以及相邻帧差法运动检测获得的分析结果得到所述的动态目标的目标位置。

4.根据权利要求3所述的摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的控制模块基于SVM方法特征检测对所述的动态目标的图像进行分析，具体包括以下步骤：

(2.1.a)所述的控制模块基于sobel算子以及所述的动态目标的图像构造sobel边缘图像；

(2.1.b)所述的控制模块根据所述的sobel边缘图像构造centrist特征图像；

(2.1.c)所述的控制模块对所述的centrist特征图形进行直方图统计；

(2.1.d)所述的控制模块根据所述的直方图统计获取SVM方法特征检测的分析结果。

5.根据权利要求3所述的摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的基于相邻帧差法运动检测对所述的动态目标的图像进行分析，具体包括以下步骤：

(2.2.a)所述的控制模块对相连续的两帧图像作差，以获得差值图像；

(2.2.b)所述的控制模块对所述的差值图像的每个像素进行阈值判断以获取二值图像；

(2.2.c)所述的控制模块对所述的二值图像的像素进行判断以获得一组运动区域；

(2.2.d)所述的控制模块根据该运动区域获得基于相邻帧差法运动检测的分析结果。

6.根据权利要求1所述的摄像机上实现动态目标实时跟踪的方法，其特征在于，所述的摄像机根据所述的控制模块的分析结果调整所述的摄像机的方向及位置，具体包括以下步骤：

(3.1)所述的摄像机获取摄像机预置位；

(3.2)所述的摄像机获取当前位置；

(3.3)所述的摄像机根据所述的控制模块的分析结果获取目标位置；

(3.4)所述的摄像机根据当前位置和目标位置计算摄像机的运动方向及角度；

(3.5)所述的摄像机移动至所述的目标位置。