CN102722714A - 基于目标跟踪的人工神经网络扩张式学习方法 - Google Patents

Abstract

本发明公开一种基于目标跟踪的人工神经网络扩张式学习方法，主要解决现有技术中人工神经网络离线训练需要采集大量样本和不能在跟踪过程中进行权值调整、提高跟踪精度的问题。其方法步骤为：(1)建立训练样本集；(2)获取样本标准化灰度值矩阵；(3)构建人工神经网络模型；(4)搜索当前帧图像中的目标；(5)判断目标的位置个数是否为1个；(6)构建匹配模板库；(7)计算相似度；(8)获取当前帧图像中的目标(9)更新训练样本集。本发明采用扩张式学习方法，在跟踪过程中人工神经网络不断学习已检测到的目标，这样既不需要采集大量样本，又能够不断调整人工神经网络的权值，提高目标跟踪的精度。

Description

基于目标跟踪的人工神经网络扩张式学习方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种模式识别领域中的基于目标跟踪的人工神经网络扩张式学习方法。本发明通过扩张式学习方法来训练人工神经网络，然后利用人工神经网络检测图像序列中的目标，可应用于远程监控、智能交通等。

背景技术

人工神经网络是一种应用类似大脑神经突触连接的结构进行信息处理的数学模型，这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接的关系，从而达到处理信息的目的。当前，人工神经网络凭借其强大的泛化能力、自学习、自组织功能而被广泛应用于目标跟踪方面，通过选取包含目标运动动态过程中全部特征信息的训练样本集对人工神经网络进行学习训练，使得人工神经网络能够“记忆”已学习目标的某些特征，在待跟踪序列图中搜索目标最佳位置，并实现目标跟踪。

上海北控智能科技有限公司提出的专利申请“基于神经网络进行识别的算法的人脸识别方法”(专利申请号200710042383.9，公开号CN101329722)，公开了一种基于部件的多特征识别算法的人脸识别方法。该方法主要步骤包括：第一步，人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小；第二步，面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息；第三部，人脸对比：根据面部特征定位的结果，与库中的人脸对比，判断该人脸的身份信息。该方法虽然能有效识别人脸的身份信息，但仍然存在的不足是：该方法建立的人脸样本库需要大量的人脸样本，而获得这些样本需要拍摄大量的图像，再通过人工或机器标记的方法从图像中选择出合适的样本，这样会消耗较长时间和大量的资源。

上海交通大学提出的专利申请“基于神经网络的机动目标精确跟踪方法”(专利申请号02112061.7，公开号CN1382997)公开了一种基于神经网络的机动目标精确跟踪方法。该方法采用两个滤波器组成双并行结构，提取并行双滤波器的状态之差为待估计目标的状态特征向量，作为输入送给神经网络系统；在跟踪估计之前已经离线训练好的神经网络系统根据输入的特征向量，输出当前时刻待估计目标的加速度方差预测值，并利用预测值，基于当前统计模型进行自适应滤波，得到对待估计目标的快速和精确的跟踪。该方法虽然能通过神经网络调整系统方差以适应目标的运动变化，但仍然存在的不足是：该方法采用的是离线训练好的神经网络，不能在检测过程中根据检测结果进行调整以提高检测正确率，缺乏灵活性和适应性。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于目标跟踪的人工神经网络扩张式学习方法，人工神经网络通过学习待跟踪序列图第1帧图像中的目标，对整个待跟踪序列图进行跟踪，在跟踪过程中采用扩张式学习方法，不断学习已检测到的目标，这样既不需要采集大量样本，又能够不断调整人工神经网络的权值，提高目标跟踪的精度。

实现本发明的具体思路是：采用半监督方式从待跟踪序列图的第一帧图像中手动截取目标区域作为训练样本集中的样本，构建人工神经网络。随着目标不断运动，目标形态特征会发生较大变化，由于缺乏样本，这些形态特征的变化很快超出人工神经网络的泛化性，导致跟踪点漂移。本发明采用扩张式学习方法来提高人工神经网络跟踪目标的精度，将人工神经网络结合相关匹配算法对待跟踪序列图中的目标进行检测定位，找出最佳目标位置以及目标的高度和宽度，在跟踪过程中不断将已经检测到的目标区域作为样本存入训练样本集，人工神经网络不断学习训练样本集中的样本，重复以上过程，直到检测出所有待跟踪序列图中的目标，完成目标跟踪过程。

为了实现上述目的，本发明方法包括如下步骤：

(1)建立训练样本集

1a)用计算机画图程序打开待跟踪序列图的第1帧图像；

1b)手动截取待跟踪序列图第1帧图像中的目标区域，将目标区域的高度和宽度作为搜索框的高度和宽度；

1c)将第1帧图像中的目标区域作为训练样本集编号为1的样本；

1d)调用软件平台matlab的imread函数，根据训练样本集中样本的编号依次输入训练样本集中的样本对应于计算机中的存储路径和文件名称，依次输出与训练样本集中样本编号对应的样本灰度值矩阵，作为人工神经网络的输入数据；

1e)将待跟踪序列图第1帧图像作为当前帧图像，调用软件平台matlab的imread函数，输入当前帧图像对应于计算机中的存储路径和文件名称，输出当前帧图像的灰度值矩阵；

(2)获取样本标准化灰度值矩阵

根据训练样本集中样本编号依次找出与之对应的样本灰度值矩阵，在对应的样本灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，获得与训练样本集中样本编号对应的所有样本标准化灰度值矩阵；

(3)构建人工神经网络模型

3a)根据训练样本集的样本个数，设定人工神经网络的最大误差；

3b)根据训练样本集中样本的编号依次将样本标准化灰度值矩阵由输入层的两个子网络输入人工神经网络，依次获得与训练样本集中样本编号对应的样本标准化灰度值矩阵中每个元素对应的子网络的权值；

3c)输入层根据训练样本集中样本编号将与之对应的子网络的权值分别做累和运算；

3d)输出层将两个子网络累和运算的结果相减，获得差值，如果差值大于0则输出1，如果差值小于0则输出0，将输出的0的个数作为当前人工神经网络的误差；

3e)输出层判断当前人工神经网络误差是否大于人工神经网络的最大误差，如果大于最大误差，采用错误驱动准则更新样本标准化灰度值矩阵中每个元素对应的子网络的权值，否则，执行步骤(4)；

(4)搜索当前帧图像中的目标

4a)以当前帧图像的灰度值矩阵左上角第一个元素所在位置为坐标原点，将向下方向作为纵坐标的正方向，向右方向作为横坐标的正方向，相邻元素间隔坐标轴标准单位，建立坐标系，得到当前帧图像的灰度值矩阵每一元素所在位置与坐标系中坐标的对应关系；将目标统计矩阵设置为与目标待搜索灰度值矩阵尺寸大小相同的零矩阵；

4b)将搜索框的中心平移至当前帧图像的灰度值矩阵中左上角第一个元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，得到待检测区域的灰度值矩阵，如果搜索框未超出当前帧图像的灰度值矩阵，执行步骤4d)；否则，执行步骤4g)；

4d)在待检测区域的灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，得到待检测区域标准化灰度值矩阵；

4e)将待检测区域标准化灰度值矩阵由人工神经网络输入层的两个子网络输入人工神经网络，得到人工神经网络的输出；

4f)如果人工神经网络输出0，判断该元素所在位置为非目标位置，执行步骤4g)；否则，判断该元素所在位置为目标位置，根据搜索框中心对应坐标系的坐标将目标统计矩阵中对应位置的数值设为-1；

4g)按从左到右，从上到下的顺序，依次将搜索框中心平移至当前帧图像的灰度值矩阵中每一元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4h)重复步骤4c)、步骤4d)、步骤4e)、步骤4f)直到搜索完当前帧图像的灰度值矩阵右下角最后一个元素所在位置；

(5)判断目标的位置个数是否为1个

将目标统计矩阵中元素等于-1的个数作为目标的位置个数，如果目标位置个数为1，则将目标统计矩阵中-1元素所在位置作为最佳目标位置，执行步骤(8)；否则，执行步骤(6)；

(6)构建匹配模板库

6a)调用软件平台matlab的imadajust函数，根据训练样本集中样本的编号依次输入样本的灰度值矩阵，依次输出与训练样本集中样本编号对应的灰度增强的样本灰度值矩阵；

6b)根据训练样本集中样本的编号依次将灰度增强的样本灰度值矩阵作为匹配模板灰度值矩阵，存入匹配模板库；

(7)计算相似度

7a)将当前相似度设置为0；

7b)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵，得到第一个数值为-1的元素所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处；

7c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，获得待检测区域的灰度值矩阵；

7d)根据训练样本集中样本的编号依次将匹配模板库中的匹配模板灰度值矩阵与待检测区域的灰度值矩阵按相关匹配算法计算相似度，获得与训练样本集中样本编号对应的所有相似度，将所有相似度中数值最大的相似度作为最大相似度；

7e)如果得到的最大相似度大于当前相似度时，将搜索框中心所处位置作为最佳目标位置，用最大相似度的数值替换当前相似度的数值；否则，执行步骤7f)；

7f)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵中的-1元素，依次得到目标统计矩阵中元素-1所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处，重复步骤7c)、步骤7d)、步骤7e)直到搜索完目标统计矩阵中所有的-1元素；

(8)获取当前帧图像中的目标

在当前帧图像中以最佳目标位置为中心，按搜索框高度和宽度截取当前帧图像，获得目标区域；

(9)更新训练样本集

9a)如果当前帧图像的帧数是50的整数倍，则清空训练样本集中所有样本，清空匹配模板库中所有匹配模板灰度值矩阵，以此时的最佳目标位置作为搜索框中心位置，按搜索框高度的1.5倍、宽度的1.5倍截取当前帧图像，得到边缘待检测区域，分割边缘待检测区域，得到能够包含所有边缘点的最小外接矩形，在边缘待检测区域中将最小外接矩形对应的区域作为训练样本集编号为1的样本，加入训练样本集，将最小外接矩形的高度和宽度作为搜索框的高度和宽度；否则，根据训练样本集样本的个数，将获取的目标区域作为样本继续编号，存入训练样本集；

9b)如果当前帧图像的帧数小于或者等于待跟踪序列图最后一帧图像的帧数，则执行步骤1d)；否则，结束跟踪。

本发明与现有技术相比有以下优点：

第一，由于本发明采用人工神经网络扩张式学习方法进行目标跟踪，客服了现有技术需要采集大量样本进行学习的缺点，使得本发明可以仅采集待跟踪序列图第1帧图像的目标，就能准确跟踪整个待跟踪序列图目标，减少了采集样本的工作量和采集时间，能够简单、快速地进行目标跟踪。

第二，由于本发明通过扩张式学习方法对人工神经网络进行在线更新，克服了现有技术中使用离线方法训练人工神经网络，在跟踪过程中不能调整人工神经网络权值的缺点，使得本发明可以在目标跟踪过程中不断调整人工神经网络的权值，提高目标跟踪的精度。

附图说明

图1为本发明方法的流程图；

图2为本发明的仿真效果图。

具体实施措施

下面结合附图对发明做进一步描述。

结合附图1对本发明方法的具体步骤描述如下：

步骤1，建立训练样本集

检测人员用计算机画图程序打开待跟踪序列图的第1帧图像，手动截取待跟踪序列图第1帧图像中的目标区域，将目标区域的高度和宽度作为搜索框的高度和宽度，将第1帧图像中的目标区域作为训练样本集编号为1的样本。检测人员调用软件平台matlab的imread函数，根据训练样本集中样本的编号依次输入训练样本集中的样本对应于计算机中的存储路径和文件名称，依次输出与训练样本集中样本编号对应的样本灰度值矩阵，作为人工神经网络的输入数据。将待跟踪序列图第1帧图像作为当前帧图像，检测人员调用软件平台matlab的imread函数，输入当前帧图像对应于计算机中的存储路径和文件名称，输出当前帧图像的灰度值矩阵，作为目标待搜索的灰度值矩阵。

步骤2，获取样本标准化灰度值矩阵

计算机根据训练样本集中样本编号依次找出与之对应的样本灰度值矩阵，在对应的样本灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，获得与训练样本集中样本编号对应的所有样本标准化灰度值矩阵，以统一所有输入人工神经网络的数据尺寸，其中，样本标准化灰度值矩阵尺寸大小是手动截取的待跟踪序列图第1帧图像中目标区域对应的训练样本集的样本灰度值矩阵尺寸大小的5倍。

步骤3，构建人工神经网络模型

检测人员选择Sparse Network of Winnows人工神经网络，根据训练样本集的样本个数，设定人工神经网络的最大误差；其中，人工神经网络的最大误差等于训练样本集的当前样本个数乘以u，其中，u的范围为0～0.05，使得人工神经网络在误差范围内能够正确识别待跟踪序列图中的目标；

计算机根据训练样本集中样本的编号依次将样本标准化灰度值矩阵由输入层的两个子网络输入人工神经网络，依次获得与训练样本集中样本编号对应的样本标准化灰度值矩阵中每个元素对应的子网络的权值，这样可以将样本的灰度特征存储在人工神经网络中；

输入层根据训练样本集中样本编号将与之对应的子网络的权值分别做累和运算，作为输出层的输入数据；输出层将两个子网络累和运算的结果相减，获得差值，如果差值大于0则输出1，判断输入人工神经网络的矩阵是样本标准化灰度值矩阵，如果差值小于0则输出0，判断输入人工神经网络的灰度值矩阵不是样本标准化灰度值矩阵，因为输入人工神经网络的矩阵都是样本标准化灰度值矩阵，所以可以将输出的0的个数作为当前人工神经网络的误差；

输出层判断当前人工神经网络误差是否大于人工神经网络的最大误差，如果大于最大误差，采用错误驱动准则更新样本标准化灰度值矩阵中每个元素对应的子网络的权值，否则，执行步骤4。其中，错误驱动准则是将样本标准化灰度值矩阵中每个元素对应第一个子网络的权值均乘以上升因子α；将样本标准化灰度值矩阵中每个元素对应第二子网络的权值均乘以下降因子β；其中α＞1，0＜β＜1。

步骤4，搜索当前帧图像中的目标

4a)计算机以当前帧图像的灰度值矩阵左上角第一个元素所在位置为坐标原点，将向下方向作为纵坐标的正方向，向右方向作为横坐标的正方向，相邻元素间隔坐标轴标准单位，建立坐标系，得到当前帧图像的灰度值矩阵每一元素所在位置与坐标系中坐标的对应关系；将目标统计矩阵设置为与目标待搜索灰度值矩阵尺寸大小相同的零矩阵；

4b)将搜索框的中心平移至当前帧图像的灰度值矩阵中左上角第一个元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，得到待检测区域的灰度值矩阵，如果搜索框未超出当前帧图像的灰度值矩阵，执行步骤4d)；否则，执行步骤4g)；

4d)在待检测区域的灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，得到待检测区域标准化灰度值矩阵，其中，样本标准化灰度值矩阵尺寸大小是手动截取的待跟踪序列图第一帧图像中目标区域对应的训练样本集的样本灰度值矩阵尺寸大小的5倍；

4e)将待检测区域标准化灰度值矩阵由人工神经网络输入层的两个子网络输入人工神经网络，得到人工神经网络的输出；

4f)如果人工神经网络输出0，判断该元素所在位置为非目标位置，执行步骤4g)；否则，判断该元素所在位置为目标位置，根据搜索框中心对应坐标系的坐标将目标统计矩阵中对应位置的数值设为-1；

4g)按从左到右，从上到下的顺序，依次将搜索框中心平移至当前帧图像的灰度值矩阵中每一元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4h)重复步骤4c)、步骤4d)、步骤4e)、步骤4f)直到搜索完当前帧图像的灰度值矩阵右下角最后一个元素所在位置。

步骤5，判断目标位置个数是否为1个

计算机将目标统计矩阵中元素等于-1的个数作为目标的位置个数，如果目标位置个数为1，说明当前帧图像的灰度值矩阵经过人工神经网络粗搜索后，只得到一个目标位置，则将目标统计矩阵中-1元素所在位置作为最佳目标位置，执行步骤8；否则，执行步骤6，利用相关匹配算法在人工神经网络判断的基础上对目标统计矩阵进行细搜索。

步骤6，构建匹配模板库

检测人员调用软件平台matlab的imadajust函数，根据训练样本集中样本的编号依次输入样本的灰度值矩阵，依次输出与训练样本集中样本编号对应的灰度增强的样本灰度值矩阵；根据训练样本集中样本的编号依次将灰度增强的样本灰度值矩阵作为匹配模板灰度值矩阵，存入匹配模板库；为下面步骤的相关匹配算法构建匹配模板库。

步骤7，计算相似度

7a)初始化的当前相似度，将当前相似度设置为0；

7b)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵，得到第一个数值为-1的元素所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处；通过搜索目标统计矩阵，可以在人工神经网络粗搜索的基础上利用相关匹配算法进行细搜索，此时仅仅只需要进一步判断目标统计矩阵中少数-1元素所在位置哪个是最佳目标位置，而不必再重新搜索当前帧图像所有元素所在位置，减少了计算量，并避免了搜索某些会影响相关匹配算法的位置，提高了识别的精度；

7c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，获得待检测区域的灰度值矩阵；

7d)根据训练样本集中样本的编号依次将匹配模板库中的匹配模板灰度值矩阵与待检测区域的灰度值矩阵按相关匹配算法计算相似度，获得与训练样本集中样本编号对应的所有相似度，将所有相似度中数值最大的相似度作为最大相似度；其中，相关匹配算法如下：

$r_{\mathrm{ST}}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(i,j)T(i,j)}{\sqrt{\underset{i-1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(i,j)S(i,j)\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}T(i,j)T(i,j)}}}$

其中，r_ST表示待检测区域与匹配模版的相似度，S与T分别表示待检测区域的灰度值矩阵与匹配模板灰度值矩阵，M与N分别表示待检测区域的灰度值矩阵的行数和列数，S(i，j)与T(i，j)分别表示待检测区域的灰度值矩阵与匹配模版灰度值矩阵中第i行、第j列的元素的数值；

7e)如果得到的最大相似度大于当前相似度时，将搜索框中心所处位置作为最佳目标位置，用最大相似度的数值替换当前相似度的数值；否则，执行步骤7f)；

7f)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵中的-1元素，依次得到目标统计矩阵中元素-1所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处，重复步骤7c)、步骤7d)、步骤7e)直到搜索完目标统计矩阵中所有的-1元素。

步骤8，计算相似度

在当前帧图像中以最佳目标位置为中心，按搜索框高度和宽度截取当前帧图像，获得目标区域。

步骤9，更新训练样本集

9a)如果当前帧图像的帧数是50的整数倍，则清空训练样本集中所有样本，清空匹配模板库中所有匹配模板灰度值矩阵，以此时的最佳目标位置作为搜索框中心位置，按搜索框高度的1.5倍、宽度的1.5倍截取当前帧图像，得到边缘待检测区域，分割边缘待检测区域，得到能够包含所有边缘点的最小外接矩形，在边缘待检测区域中将最小外接矩形对应的区域作为训练样本集编号为1的样本，加入训练样本集，将最小外接矩形的高度和宽度作为搜索框的高度和宽度；否则，根据训练样本集样本的个数，将获取的目标区域作为样本继续编号，存入训练样本集；其中，采用自适应距离保持的水平集分割方法分割边缘待检测区域，并通过样本扩张的方法，不断更新训练样本集，使得人工神经网络能够不断学习目标的新特征，以适应目标在运动中的变化，能够提高目标跟踪的精度；

9b)如果当前帧图像的帧数小于或者等于待跟踪序列图最后一帧图像的帧数，则执行步骤1d)；否则，结束跟踪。

本发明的效果可通过以下仿真实验条件进一步说明：

1.仿真实验条件

本仿真利用MATLAB仿真平台软件。将两组从网络上下载的视频序列图作为待跟踪序列图，其中，飞机序列图一共有500帧，飞机序列图图像大小为240×320；汽车序列图一共有50帧，汽车序列图图像大小为576×768。为了说明本发明的有效性，采用现有技术Back Propagation人工神经网络方法与本发明提出的方法进行比较。

跟踪飞机序列图时，Back Propagation人工神经网络训练样本集由手动采集的飞机样本和背景样本组成，手动截取飞机序列图第1到第30帧图像中的目标区域得到30个飞机样本，飞机样本尺寸大小为50×50，对飞机序列图第1到第30帧每一帧图像都任意截取一个50×50的背景区域作为背景样本，得到30个背景样本。将选取的60个样本训练Back Propagation人工神经网络，设置Back Propagation人工神经网络隐层神经元个数为50，最大误差0.001，最大迭代次数为1000。本发明提出的方法中训练样本集只有一个手动采集的飞机样本，该飞机样本是从飞机序列图第1帧图像中手动截取的尺寸大小为50×50目标区域，设置Sparse Network of Winnows人工神经网络最大误差等于训练样本集中样本个数乘以0.03，上升因子α＝1.005，下降因子β＝0.995。

跟踪汽车序列图时，Back Propagation人工神经网络训练样本集由手动采集的汽车样本和背景样本组成，手动截取汽车序列图第1到第20帧图像中的目标区域得到20个汽车样本，汽车样本尺寸大小为70×120，对汽车序列图第1到第20帧每一帧图像都任意截取一个70×120的背景区域作为背景样本，得到20个背景样本。将选取的40个样本训练Back Propagation人工神经网络，设置Back Propagation人工神经网络隐层神经元个数为50，最大误差0.001，最大迭代次数为1000。本发明提出的方法中训练样本集只有一个手动采集的汽车样本，该汽车样本是从飞机序列图第1帧图像中手动截取的尺寸大小为70×120目标区域，设置Sparse Network ofWinnows人工神经网络最大误差等于训练样本集中样本个数乘以0.03，上升因子α＝1.005，下降因子β＝0.995。

2.仿真内容

附图2是采用现有技术Back Propagation人工神经网络进行目标跟踪的方法与本发明方法仿真的效果对比图。其中，图2(a)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对飞机序列图跟踪，从500帧飞机序列图中选取第52帧图像的仿真效果对比图。图2(b)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对飞机序列图跟踪，从500帧飞机序列图中选取第109帧图像的仿真效果对比图。图2(c)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对飞机序列图跟踪，从500帧飞机序列图中选取第406帧图像的仿真效果对比图。图2(d)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对飞机序列图跟踪，从500帧飞机序列图中选取第500帧图像的仿真效果对比图。图2(e)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对汽车序列图跟踪，从50帧汽车序列图中选取第7帧图像的仿真效果对比图。图2(f)是采用BackPropagation人工神经网络跟踪方法与本发明提出的方法对汽车序列图跟踪，从50帧汽车序列图中选取第32帧图像的仿真效果对比图。图2(g)是采用Back Propagation人工神经网络跟踪方法与本发明提出的方法对汽车序列图跟踪，从50帧汽车序列图中选取第50帧图像的仿真效果对比图。在上述仿真效果对比图中，黑色实线框内区域表示目标(飞机、汽车)实际区域，黑色虚线框内区域表示采用Back Propagation人工神经网络跟踪方法对汽车序列图跟踪时Back Propagation人工神经网络判断出的目标(飞机、汽车)区域，白色虚线框内区域表示采用本发明提出的方法对汽车序列图跟踪时Sparse Network of Winnows人工神经网络判断出的目标(飞机、汽车)区域。

3.仿真结果

从图2(a)仿真结果可以看出，在跟踪到飞机序列图第52帧图像时，黑色虚线框内区域与黑色实线框内区域基本重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法与本发明方法在第52帧图像中都能够跟踪到目标飞机。

从图2(b)仿真结果可以看出，在跟踪到飞机序列图第109帧图像时，黑色虚线框内区域与黑色实线框内区域不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第109帧图像中不能够跟踪到目标飞机，而采用本发明方法在第109帧图像中能够跟踪到目标飞机。

从图2(c)仿真结果可以看出，在跟踪到飞机序列图第406帧图像时，黑色虚线框内区域与黑色实线框内区域不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第406帧图像中不能够跟踪到目标飞机，而采用本发明方法在第406帧图像中能够跟踪到目标飞机。

从图2(d)仿真结果可以看出，在跟踪到飞机序列图第500帧图像时，黑色虚线框内区域与黑色实线框内区域不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第500帧图像中不能够跟踪到目标飞机，而采用本发明方法在第500帧图像中能够跟踪到目标飞机。

从图2(e)仿真结果可以看出，在跟踪到汽车序列图第7帧图像时，黑色虚线框内区域与黑色实线框内区域大部分不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第7帧图像中不能够跟踪到目标汽车，而采用本发明方法在第7帧图像中能够跟踪到目标汽车。

从图2(f)仿真结果可以看出，在跟踪到汽车序列图第32帧图像时，黑色虚线框内区域与黑色实线框内区域大部分不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第32帧图像中不能够跟踪到目标汽车，而采用本发明方法在第7帧图像中能够跟踪到目标汽车。

从图2(g)仿真结果可以看出，在跟踪到汽车序列图第50帧图像时，黑色虚线框内区域与黑色实线框内区域大部分不重叠、白色虚线框内区域与黑色实线框内区域基本重叠，说明采用现有技术Back Propagation人工神经网络方法在第50帧图像中不能够跟踪到目标汽车，而采用本发明方法在第50帧图像中能够跟踪到目标汽车。

Claims (7)

1.一种基于目标跟踪的人工神经网络扩张式学习方法，包括以下步骤：

(1)建立训练样本集

1a)用计算机画图程序打开待跟踪序列图的第1帧图像；

1b)手动截取待跟踪序列图第1帧图像中的目标区域，将目标区域的高度和宽度作为搜索框的高度和宽度；

1c)将第1帧图像中的目标区域作为训练样本集编号为1的样本；

1d)调用软件平台matlab的imread函数，根据训练样本集中样本的编号依次输入训练样本集中的样本对应于计算机中的存储路径和文件名称，依次输出与训练样本集中样本编号对应的样本灰度值矩阵，作为人工神经网络的输入数据；

1e)将待跟踪序列图第1帧图像作为当前帧图像，调用软件平台matlab的imread函数，输入当前帧图像对应于计算机中的存储路径和文件名称，输出当前帧图像的灰度值矩阵；

(2)获取样本标准化灰度值矩阵

根据训练样本集中样本编号依次找出与之对应的样本灰度值矩阵，在对应的样本灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，获得与训练样本集中样本编号对应的所有样本标准化灰度值矩阵；

(3)构建人工神经网络模型

3a)根据训练样本集的样本个数，设定人工神经网络的最大误差；

3b)根据训练样本集中样本的编号依次将样本标准化灰度值矩阵由输入层的两个子网络输入人工神经网络，依次获得与训练样本集中样本编号对应的样本标准化灰度值矩阵中每个元素对应的子网络的权值；

3c)输入层根据训练样本集中样本编号将与之对应的子网络的权值分别做累和运算；

3d)输出层将两个子网络累和运算的结果相减，获得差值，如果差值大于0则输出1，如果差值小于0则输出0，将输出的0的个数作为当前人工神经网络的误差；

3e)输出层判断当前人工神经网络误差是否大于人工神经网络的最大误差，如果大于最大误差，采用错误驱动准则更新样本标准化灰度值矩阵中每个元素对应的子网络的权值，否则，执行步骤(4)；

(4)搜索当前帧图像中的目标

4a)以当前帧图像的灰度值矩阵左上角第一个元素所在位置为坐标原点，将向下方向作为纵坐标的正方向，向右方向作为横坐标的正方向，相邻元素间隔坐标轴标准单位，建立坐标系，得到当前帧图像的灰度值矩阵每一元素所在位置与坐标系中坐标的对应关系；将目标统计矩阵设置为与目标待搜索灰度值矩阵尺寸大小相同的零矩阵；

4b)将搜索框的中心平移至当前帧图像的灰度值矩阵中左上角第一个元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，得到待检测区域的灰度值矩阵，如果搜索框未超出当前帧图像的灰度值矩阵，执行步骤4d)；否则，执行步骤4g)；

4d)在待检测区域的灰度值矩阵的左右边缘同时填充相同列数的零元素，在上下边缘同时填充相同行数的零元素，得到待检测区域标准化灰度值矩阵；

4e)将待检测区域标准化灰度值矩阵由人工神经网络输入层的两个子网络输入人工神经网络，得到人工神经网络的输出；

4f)如果人工神经网络输出0，判断该元素所在位置为非目标位置，执行步骤4g)；否则，判断该元素所在位置为目标位置，根据搜索框中心对应坐标系的坐标将目标统计矩阵中对应位置的数值设为-1；

4g)按从左到右，从上到下的顺序，依次将搜索框中心平移至当前帧图像的灰度值矩阵中每一元素所在位置，获得搜索框中心位置对应坐标系的坐标；

4h)重复步骤4c)、步骤4d)、步骤4e)、步骤4f)直到搜索完当前帧图像的灰度值矩阵右下角最后一个元素所在位置；

(5)判断目标的位置个数是否为1个

将目标统计矩阵中元素等于-1的个数作为目标的位置个数，如果目标位置个数为1，则将目标统计矩阵中-1元素所在位置作为最佳目标位置，执行步骤(8)；否则，执行步骤(6)；

(6)构建匹配模板库

6a)调用软件平台matlab的imadajust函数，根据训练样本集中样本的编号依次输入样本的灰度值矩阵，依次输出与训练样本集中样本编号对应的灰度增强的样本灰度值矩阵；

6b)根据训练样本集中样本的编号依次将灰度增强的样本灰度值矩阵作为匹配模板灰度值矩阵，存入匹配模板库；

(7)计算相似度

7a)将当前相似度设置为0；

7b)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵，得到第一个数值为-1的元素所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处；

7c)按搜索框高度和宽度截取当前帧图像的灰度值矩阵，获得待检测区域的灰度值矩阵；

7d)根据训练样本集中样本的编号依次将匹配模板库中的匹配模板灰度值矩阵与待检测区域的灰度值矩阵按相关匹配算法计算相似度，获得与训练样本集中样本编号对应的所有相似度，将所有相似度中数值最大的相似度作为最大相似度；

7e)如果得到的最大相似度大于当前相似度时，将搜索框中心所处位置作为最佳目标位置，用最大相似度的数值替换当前相似度的数值；否则，执行步骤7f)；

7f)按从左到右、从上到下的搜索顺序，搜索目标统计矩阵中的-1元素，依次得到目标统计矩阵中元素-1所在位置对应坐标系的坐标，在当前帧图像灰度值矩阵中将搜索框中心平移至对应该坐标的位置处，重复步骤7c)、步骤7d)、步骤7e)直到搜索完目标统计矩阵中所有的-1元素；

(8)获取当前帧图像中的目标

在当前帧图像中以最佳目标位置为中心，按搜索框高度和宽度截取当前帧图像，获得目标区域；

(9)更新训练样本集

9a)如果当前帧图像的帧数是50的整数倍，则清空训练样本集中所有样本，清空匹配模板库中所有匹配模板灰度值矩阵，以此时的最佳目标位置作为搜索框中心位置，按搜索框高度的1.5倍、宽度的1.5倍截取当前帧图像，得到边缘待检测区域，分割边缘待检测区域，得到能够包含所有边缘点的最小外接矩形，在边缘待检测区域中将最小外接矩形对应的区域作为训练样本集编号为1的样本，加入训练样本集，将最小外接矩形的高度和宽度作为搜索框的高度和宽度；否则，根据训练样本集样本的个数，将获取的目标区域作为样本继续编号，存入训练样本集；

9b)如果当前帧图像的帧数小于或者等于待跟踪序列图最后一帧图像的帧数，则执行步骤1d)；否则，结束跟踪。

2.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤(2)所述的样本标准化灰度值矩阵尺寸大小是手动截取的待跟踪序列图第1帧图像中目标区域对应的训练样本集的样本灰度值矩阵尺寸大小的5倍。

3.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤3a)所述的人工神经网络的最大误差等于训练样本集的当前样本个数乘以u，其中u的范围为0～0.05。

4.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤3e)所述的错误驱动准则是将样本标准化灰度值矩阵中每个元素对应第一个子网络的权值均乘以上升因子α；将样本标准化灰度值矩阵中每个元素对应第二子网络的权值均乘以下降因子β；其中α＞1，0＜β＜1。

5.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤4d)所述的待检测区域标准化灰度值矩阵尺寸大小是手动截取的待跟踪序列图第一帧图像中目标区域对应的训练样本集的样本灰度值矩阵尺寸大小的5倍。

6.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤7d)所述的相关匹配算法如下：

$r_{\mathrm{ST}}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(i,j)T(i,j)}{\sqrt{\underset{i-1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S(i,j)S(i,j)\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}T(i,j)T(i,j)}}}$

其中，r_ST表示待检测区域与匹配模版的相似度，S与T分别表示待检测区域的灰度值矩阵与匹配模板灰度值矩阵，M与N分别表示待检测区域的灰度值矩阵的行数和列数，S(i，j)与T(i，j)分别表示待检测区域的灰度值矩阵与匹配模版灰度值矩阵中第i行、第j列的元素的数值。

7.根据权利要求1所述的基于目标跟踪的人工神经网络扩张式学习方法，其特征在于，步骤9a)所述的分割是采用自适应距离保持的水平集分割方法。

Images