CN103077538B - 仿生模式识别目标自适应跟踪方法 - Google Patents

Abstract

本发明公开一种仿生模式识别目标自适应跟踪方法，主要解决现有技术中鲁棒性较差、对训练样本多样性要求较高的问题。其实现步骤为：(1)获取训练样本集；(2)提取训练样本特征；(3)依据训练样本灰度特征建立超香肠神经网络，依据训练样本编号特征和训练样本尺寸特征建立径向基神经网络；(4)计算超香肠神经网络与搜索区域中所有候选区域之间的欧式距离；(5)采用最小距离法获取目标位置；(6)获得目标位置在超香肠神经网络中的编号，并将其输入径向基神经网络获得目标尺寸。本发明通过对训练样本集中的训练样本进行覆盖式训练，提高了目标跟踪的鲁棒性，减少了对训练样本多样性的依赖，可用于智能机器人、智能交通系统和视频监控等领域。

Description

仿生模式识别目标自适应跟踪方法

技术领域

本发明属于目标跟踪领域，更进一步涉及一种仿生模式识别目标自适应跟踪方法，可用于智能机器人、智能交通系统和视频监控等领域。

背景技术

目标跟踪即依据事先给定的目标模板的某些特征如灰度特征、颜色特征、纹理特征、边缘特征等，采用模式识别方法在待跟踪视频图像中搜索目标，确定目标在视频图像中的位置信息和状态信息。现有的模式识别方法有模板匹配方法、BackPropagation神经网络方法等传统模式识别方法。

天津工业大学提出的专利申请“一种基于模板匹配的目标跟踪方法”(专利申请号201010529681.2，公开号CN102004898A)公开了一种基于模板匹配的目标跟踪方法。该方法将模板匹配方法的平移不变性与圆形模板的旋转不变形相结合，在目标发生较小变化时可以精确跟踪到目标。该方法仍存在的不足是对目标的学习能力不足，在目标状态发生较大变化时稳定跟踪的鲁棒性较差。

上海交通大学提出的专利申请“基于神经网络的机动目标精确跟踪方法”(专利申请号02112061.7，公开号CN1382997)公开了一种基于神经网络的机动目标精确跟踪方法。该方法采用训练Back Propagation神经网络调整系统的方法以适应目标的运动变化，对各种运动状态的机动目标具有良好自适应跟踪能力。该方法仍然存在的不足是基于分类划分的Back Propagation神经网络必须对多种不同状态的训练样本进行学习，产生划分的最优分界面才能完成对目标的精确识别，因此对训练样本的多样性要求较高。

传统模式识别方法应用在目标跟踪上存在两个缺陷：一是不具有学习能力的传统模式识别方法，例如模板匹配方法，在目标状态发生较大变化时鲁棒性较差；二是具有学习能力的传统模式识别方法，例如Back Propagation神经网络，必须对多种状态的训练样本进行学习，以产生划分的最优分界面，因此对训练样本的多样性要求较高。

发明内容

本发明的目的在于针对现有传统模式识别方法在目标跟踪中存在的不足，提出一种仿生模式识别目标自适应跟踪方法，通过对训练样本集中的训练样本进行覆盖式训练，提高目标跟踪的鲁棒性和稳定性，减少对训练样本多样性的依赖。

实现本发明的思路是：从训练样本集中提取训练样本特征，建立超香肠神经网络和径向基神经网络，使用欧式距离度量法则在搜索区域内搜索目标，计算超香肠神经网络中扩展样本与搜索区域中测试样本之间的欧式距离，采用最小距离法获得目标位置，将目标位置在超香肠神经网络中的编号输入径向基神经网络获得目标尺寸，从而实现目标的自适应跟踪。具体实现步骤包括如下：

(1)输入一段视频，采用隔帧抽取的方式选择n帧图像，以每帧图像中目标区域为中心截取训练样本，得到n个训练样本，分别将其编号为1,2,...,n，组成训练样本集；

(2)从训练样本集中提取训练样本特征，其特征包括：训练样本编号特征、训练样本灰度特征和训练样本目标尺寸特征；

(3)建立超香肠神经网络和径向基神经网络：

3a)设定覆盖参数α＝0.05，覆盖间隔k＝1/α，径向基函数个数m＝10；

3b)采用向量化方法和标准化方法对训练样本灰度特征进行预处理，并按照覆盖参数α进行加权训练，得到扩展训练样本，将所有扩展训练样本组合形成超香肠神经网络H，再将超香肠神经网络H中所有的扩展样本依次编号作为超香肠神经网络编号特征；

3c)依据覆盖间隔k更新训练样本编号特征，将更新后的训练样本编号特征与训练样本目标尺寸特征一起输入到具有m个互相连接的径向基函数R内进行训练，获得径向基神经网络W；

(4)使用欧式距离度量法则在搜索区域内搜索目标：

4a)输入一帧视频图像作为搜索区域；

4b)在搜索区域内，逐像素选择与训练样本集中训练样本同尺寸的区域作为候选区域，提取候选区域灰度特征，按照步骤3b)的方法对候选区域灰度特征进行预处理后得到测试样本，计算测试样本与超香肠神经网络H中所有扩展样本之间的欧式距离，得到一组超香肠距离；

4c)记录搜索区域内每一候选区域的最小超香肠距离，得到搜索区域距离，记录最小超香肠距离在超香肠编号特征中的编号，得到搜索区域编号；

(5)取搜索区域距离中具有最小距离的位置作为目标位置；

(6)取得搜索区域编号中目标位置处的编号，输入到径向基神经网络W，得到目标尺寸；

(7)在输入的该帧视频图像中标记出目标位置和目标尺寸，重复步骤(4)-步骤(6)，直至视频结束。

本发明与现有技术相比有以下优点：

第一，由于本发明采用超香肠神经网络对训练样本进行覆盖式训练，克服了传统模式识别方法在目标跟踪中鲁棒性较差、对训练样本多样性要求高的缺点。

第二，由于本发明采用基于径向基神经网络对训练样本目标尺寸特征进行训练，结合最小距离法获得视频图像中的目标尺寸，克服了现有技术在计算目标尺寸时对图像质量要求较高的缺点。

附图说明

图1为本发明的流程图；

图2为本发明使用的卡车视频中抽取的20帧图像；

图3为本发明使用的卡车视频的训练样本集；

图4为用本发明对卡车视频的仿真结果图。

具体实施措施

下面结合附图对本发明做进一步描述，并给出卡车视频作为实施例进行说明，但不局限于这种视频。

参照图1，对本发明的具体实现如下：

步骤1，输入一段视频，获取训练样本集：

1a)输入大小为512×384像素、长度为1000帧的卡车视频；

1b)从卡车视频的第0帧开始每隔50帧抽取一帧图像，共抽取20帧图像，如图2所示；

1c)从每帧图像中以目标区域为中心截取尺寸为80×90像素的区域作为一个训练样本，共得到20个训练样本，组成训练样本集，如图3所示。

步骤2，从训练样本集中提取训练样本特征：

2a)将训练样本集中的训练样本依次编号，第i个训练样本编号为i＝0,1,...,19，用训练样本编号i作为提取的训练样本编号特征A，则训练样本编号特征A可以表示为A＝{0,1,...,19}；

2b)将训练样本集中的训练样本由RGB图像转换为灰度图像，RGB图像中R表示红色通道、G表示绿色通道，B表示蓝色通道，灰度图像中只有灰度通道，将灰度通道作为提取的训练样本灰度特征B，训练样本灰度特征B可以表示为B=[b₀,b₁,...b₁₉，其中b_i表示编号为i的训练样本灰度特征，i＝0,1,...,19；

2c)截取训练样本集中每个训练样本的目标区域，将目标区域的尺寸作为提取的训练样本目标尺寸特征C，训练样本目标尺寸特征C可以表示为C＝[c₀,c₁,...,c₁₉]，其中c_i表示编号为i的训练样本目标尺寸特征，i＝0,1,...,19。

步骤3，建立超香肠神经网络H和径向基神经网络W：

3a)设定覆盖参数α＝0.05，覆盖间隔k＝1/α，径向基函数个数r＝10；

3b)将训练样本灰度特征B中每个训练样本灰度特征b_i按照先行后列顺序转换为向量的形式，得到训练样本向量B′＝[b′_0,b′₁...,b′₁₉]，并采用如下转换公式对其进行转换，得到预处理后训练样本B″＝[b₀″b″₁,...,b″₁₉]：

$b_i^{\″}=\frac{b_i^{\′}-b_{i\min }^{\′}}{b_{i\max }^{\′}-b_{i\min }^{\′}}$

其中b_i′表示编号为i的训练样本向量，b′_imin＝min{b′_i}表示取训练样本向量b_i′中的最小值，b′_imax＝max{b′_i}表示取训练样本向量b_i′中的最大值，b″_i表示编号为i的预处理后训练样本，i＝0,1,...,19。

3c)将预处理后训练样本B″中的训练样本b″_i-1、b″_i按照覆盖参数α进行加权训练，得到一组扩展训练样本：h_y＝{h₀,h₁,...,h_m，...,h₁₈}，

其中h_m＝(1-ω_m)×b″_i-1+ω_m×b″_i表示权重为m的扩展训练样本，

ω_m＝m×α表示权重为m的覆盖参数，m＝0,1,...,k-1表示权重，α＝0.05表示覆盖参数，k＝1α＝20表示覆盖间隔，y＝0,1,...,18；

3d)将扩展训练样本h_y组合形成超香肠神经网络H，该超香肠神经网络H可以表示为H＝{h₀,h₁,...,h_d,...,h₃₈₀}，其中h_d表示编号为d的扩展训练样本，d＝0,1,...,380；

3e)将超香肠神经网络H所有的扩展样本的编号作为超香肠神经网络编号特征D，该超香肠神经编号特征D表示为D＝{0,1,...,380}；

3f)依据覆盖间隔k更新训练样本编号特征A＝{i}，得到更新后的训练样本编号特征N＝{n}，更新公式可以表示如下：

n＝i×k

其中k＝1/α＝20表示覆盖间隔，α＝0.05表示覆盖参数，i表示编号为i的训练样本编号特征，n表示更新后训练样本编号特征，i＝0,1,...,19，n＝0,20,...,380；

3g)将更新后的训练样本编号特征N与训练样本目标尺寸特征C一起输入到具有r个互相连接的径向基函数R内进行训练，获得径向基神经网络W；

步骤4，使用欧式距离度量法则在搜索区域内搜索目标：

4a)输入一帧大小为512×384像素的卡车视频图像作为搜索区域；

4b)在搜索区域内中，从起始坐标(x,y)开始选择宽度为80像素高度为90像素的区域作为一个候选区域u_xy，所有候选区域组成候选区域集U，该候选区域集U表示为 $U=\left\{\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1q}\\ u_{21}& 22& ...& u_{2q}\\ ...& ...& u_{\mathrm{xy}}& ...\\ u_{p1}& u_{p2}& ...& u_{\mathrm{pq}}\end{array}\right\},$

其中p＝384-90＝294，q＝512-80＝532，u_xy表示起始坐标为(x,y)的候选区域，x＝1,2,...,294，y＝1,2,...,532；

4c)将候选区域集U内的每一候选区域u_xy由RGB图像转换为灰度图像，将灰度图像中的灰度通道作为提取的候选区域灰度特征u′_xy；

4d)将候选区域灰度特征u′_xy按照先行后列顺序转换为向量的形式，得到候选区域向量u″_xy，并采用如下转换公式对其进行转换，得到测试样本u″′_xy：

$u_{\mathrm{xy}}^{\″\′}=\frac{u_{\mathrm{xy}}^{\″}-u_{\min }^{\″}}{u_{\max }^{\″}-u_{\min }^{\″}}$

其中u″_xy表示候选区域向量，u″_min＝min{u″_xy}表示取候选区域向量u″_xy中的最小值，u″_max＝max{u″_xy}表示取候选区域向量u″_xy中的最大值，u″′_xy表示测试样本。

4e)计算测试样本u″′_xy与超香肠神经网络H中所有扩展样本之间的欧式距离，得到一组超香肠距离h′_xy＝{h′₀,h′₁,...,h′_d,...,h′_380}，其中h′_d＝(u″′_xy-h_d)^T(u″′_xy-h_d)，u″′_xy表示测试样本，h_d表示编号为d的扩展训练样本，d＝0,1,...,380；

4f)将搜索区域的所有超香肠距离h′_xy中的最小值h″_xy组成搜索区域距离H″，该搜索区域距离表示为 $H^{\″}=\left\{\begin{array}{cccc}{h}_{11}^{\″}& h_{12}^{\″}& ...& h_{1q}^{\″}\\ h_{21}^{\″}& h_{22}^{\″}& ...& h_{2q}^{\″}\\ ...& ...& h_{\mathrm{xy}}^{\″}& ...\\ h_{p1}^{\″}& h_{p2}^{\″}& ...& h_{\mathrm{pq}}^{\″}\end{array}\right\},$

其中h″_xy＝min{h′_xy}表示超香肠距离h′_xy中的最小值；

4g)将超香肠距离h′_xy中的最小值h″_xy在超香肠距离h′_xy中的编号d″_xy组成搜索区域编号D″，该搜索区域编号D″表示为： $D^{\″}=\left\{\begin{array}{cccc}{d}_{11}^{\″}& d_{12}^{\″}& ...& d_{1q}^{\″}\\ d_{21}^{\″}& d_{22}^{\″}& ...& d_{2q}^{\″}\\ ...& ...& d_{\mathrm{xy}}^{\″}& ...\\ d_{p1}^{\″}& d_{p2}^{\″}& ...& d_{\mathrm{pq}}^{\″}\end{array}\right\},$

其中d″_xy表示超香肠距离h′_xy中的最小值h″_xy在超香肠距离h′_xy中的编号。

步骤5，取搜索区域距离H″中具有最小值所在的位置(x₀,y₀)作为目标区域起始坐标位置，则(x₀+45,y₀+40)为目标中心位置，其中45为训练样本高度的一半，40为训练样本宽度的一半。

步骤6，将搜索区域编号D″中目标位置(x₀,y₀)处的编号输入到径向基神经网络W，得到目标尺寸S。

步骤7，在输入的该帧视频图像中标记出目标中心位置(x₀+45,y₀+40)和目标尺寸S，重复步骤4-步骤6，直至视频结束。

本发明的效果可通过以下仿真实验进一步说明：

在MATLAB软件平台下，采用本发明对大小为512×384像素、长度为1000帧的卡车视频中的卡车进行跟踪，得到卡车视频仿真效果图如图4所示，其中：

图4(a)为卡车视频中第0帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

图4(b)为卡车视频中第220帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

图4(c)为卡车视频中第580帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

图4(d)为卡车视频中第670帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

图4(e)为卡车视频中第820帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

图4(f)为卡车视频中第1000帧的仿真效果图，该图中黑框的中心位置为目标中心位置，黑框的大小为目标尺寸。

从卡车视频仿真效果图可以看出，采用本发明对卡车进行跟踪，实现了卡车在视频中的准确定位和卡车尺寸的识别，在低对比度的环境下本发明仍然有效。

以上是本发明的一个实例，并不构成对本发明的任何限制。

Claims (4)

1.一种仿生模式识别目标自适应跟踪方法，包括以下步骤：

(1)输入一段视频，采用隔帧抽取的方式选择n帧图像，以每帧图像中目标区域为中心截取训练样本，得到n个训练样本，分别将其编号为1,2,...,n，组成训练样本集；

(2)从训练样本集中提取训练样本特征，其特征包括：训练样本编号特征、训练样本灰度特征和训练样本目标尺寸特征；

(3)建立超香肠神经网络和径向基神经网络：

3a)设定覆盖参数α＝0.05，覆盖间隔k＝1/α，径向基函数个数m＝10；

3b)采用向量化方法和标准化方法对训练样本灰度特征进行预处理，并按照覆盖参数α进行加权训练，得到扩展训练样本，将所有扩展训练样本组合形成超香肠神经网络H，再将超香肠神经网络H中所有的扩展样本依次编号作为超香肠神经网络编号特征；

所述的采用向量化方法和标准化方法对训练样本灰度特征进行预处理，是将训练样本灰度特征按照先行后列的顺序转换为向量的形式，得到训练样本向量，并采用如下转换公式对其进行转换，得到预处理后的训练样本：

$y=\frac{x-x_{\min }}{x_{\max }-x_{\min }},$

其中，x表示训练样本向量，x_min＝min{x}表示取训练样本向量x中的最小值，x_max＝max{x}表示取训练样本向量x中的最大值，y表示预处理后的训练样本；

3c)依据覆盖间隔k更新训练样本编号特征，将更新后的训练样本编号特征与训练样本目标尺寸特征一起输入到具有m个互相连接的径向基函数R内进行训练，获得径向基神经网络W；

(4)使用欧式距离度量法则在搜索区域内搜索目标：

4a)输入一帧视频图像作为搜索区域；

4b)在搜索区域内，逐像素选择与训练样本集中训练样本同尺寸的区域作为候选区域，提取候选区域灰度特征，按照步骤3b)的方法对候选区域灰度特征进行预处理后得到测试样本，计算测试样本与超香肠神经网络H中所有扩展样本之间的欧式距离，得到一组超香肠距离；

4c)记录搜索区域内每一候选区域的最小超香肠距离，得到搜索区域距离，记录最小超香肠距离在超香肠编号特征中的编号，得到搜索区域编号；

(5)取搜索区域距离中具有最小距离的位置作为目标位置；

(6)取得搜索区域编号中目标位置处的编号，输入到径向基神经网络W，得到目标尺寸；

(7)在输入的该帧视频图像中标记出目标位置和目标尺寸，重复步骤(4)-步骤(6)，直至视频结束。

2.根据权利要求1所述的仿生模式识别目标自适应跟踪方法，其特征在于，步骤(1)所述的采用隔帧抽取的方式选择n帧图像，是从输入的视频中每隔t帧抽取一帧图像，一共抽取n＝L/t帧图像，其中L表示视频长度。

3.根据权利要求1所述的仿生模式识别目标自适应跟踪方法，其特征在于，步骤(2)所述的从训练样本集中提取训练样本特征，按照如下步骤进行：

2a)将训练样本集中的训练样本依次编号，将训练样本编号作为提取的训练样本编号特征；

2b)将训练样本集中的训练样本由RGB图像转换为灰度图像，RGB图像中R表示红色通道、G表示绿色通道，B表示蓝色通道，灰度图像中只有灰度通道，将灰度通道作为提取的训练样本灰度特征；

2c)截取训练样本集中训练样本的目标区域，将目标区域的尺寸作为提取的训练样本目标尺寸特征。

4.按照权利要求1所述的仿生模式识别目标自适应跟踪方法，其特征在于，步骤4b)所述的计算测试样本与超香肠神经网络H中所有扩展样本之间的欧式距离，利用如下公式计算：

d＝(g-h)^T(g-h)，

其中g表示测试样本，h表示超香肠神经网络H中扩展样本，T表示转置运算，d表示测试样本g与超香肠神经网络H中扩展样本h之间的欧式距离。