CN108198207A - 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，特指基于改进的Vibe和BP神经网络的多运动目标跟踪方法。本发明方法包括步骤S1‑S3：S1输入视频图像，利用改进的Vibe算法提取运动前景目标；S1.1建立Vibe背景模型，得到初始化后的背景模型；S1.2检测运动前景目标和消除鬼影；S2将二值化的图像进行进一步的去噪，并输入到BP神经网络进行多目标分割；S3基于BP神经网络的多运动目标跟踪处理。本发明方法应用于智能视频监控中多目标跟踪，能够提高智能视频监控的准确性，增强其监控的稳定性，使其满足实时性需求。

Description

基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法

技术领域

本发明涉及计算机视觉领域，特指一种基于改进的Vibe模型和 BP神经网络的多运动目标跟踪方法。

背景技术

运动目标跟踪在军事、工业生产、日常生活中都有着广泛的应用，如军事目标跟踪，而全自动的运动目标跟踪包括运动目标检测和目标跟踪两个步骤。

其中，所述运动目标检测主要采用光流法、帧间差分法和背景减差法等三种方法。所述光流法需要专门的硬件支持，计算复杂且计算量大，一般较少使用。所述帧间差分法原理简单，对噪声和光线变化不敏感，但是目标检测结果容易出现空洞现象。而所述背景减差法，当运动目标有缓慢变化转为快速运动的时候，其容易将背景显露区域 (即当前背景还留有上一帧的运动目标信息，但运动目标此时已不在该区域)检测为前景，出现“影子“现象，且在有树枝摆动等复杂场景中对噪声的处理效果不佳，对环境的适应性较差，这样的误检会对后续的目标跟踪造成困难。

在运动目标跟踪方面，提出一种基于BP神经网络的运动目标跟踪算法。将本发明提出的运动目标快速检测算法快速算法与BP神经网络相结合，一方面充分利用了神经网络容错性强，运算速度快的优势，解决了视频图像中运动目标检测与跟踪技术对鲁棒性，准确性的要求；另一方面利用运动目标快速检测算法，可以减少神经网络全局搜索的计算量，解决了视频图像中运动目标检测与跟踪技术对处理速度的要求。

发明内容

本发明的目的在于，提出一种用于解决智能视频监控中多目标跟踪问题的基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，从而提高智能视频监控的准确性，增强其监控的稳定性，使其满足实时性需求。

为实现上述目的，本发明采取的以下技术方案：

一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其包括如下步骤：

S1输入视频图像，利用改进的Vibe算法提取运动前景目标；

S1.1建立Vibe背景模型，得到初始化后的背景模型；

S1.2检测运动前景目标和消除鬼影；

S2将二值化的图像进行进一步的去噪，并输入到BP神经网络进行多目标分割；

S3基于BP神经网络的多运动目标跟踪处理。

进一步，作为本发明的优选技术方案，所述步骤S1.2包括：

S1.2.1基于自适应阈值的Vibe算法的背景和前景的分类；

S1.2.2结合前景检测结果和Otsu阈值方法进行二次判断来消除鬼影；

S1.2.3采用Vibe算法的背景更新方法对背景模型进行更新，并循环进行后续的运动前景检测。

进一步，作为本发明的优选技术方案，所述检测运动前景目标包括：

从第二帧开始对运动目标进行检测，以像素点x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的区域S_R(v(x))，该区域S_R(v(x))中包含像素x的背景样本值的个数为 #{S_R(v(x))∩{v₁,v₂,...,v_N}}；

其中，

上式中，k为背景模型中与像素p比较的像素值的个数，v(p)为当前帧中像素p位置处的像素值，v_i为像素p背景模型的像素值；

设定一阈值#_min，如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值 #_min，则在当前帧中，该像素为背景像素；如果#{S_R(v(x))∩{v₁,v₂,...,v_N}} 小于阈值#_min，则该像素为前景像素。

进一步，作为本发明的优选技术方案，所述消除鬼影包括：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为 t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景以及背景；

类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)²

其中，ω₀表示前景像素点数目占整幅图像的比例，前景像素平均灰度值为μ₀，ω₁表示背景像素点数目占整幅图像的比例，背景像素平均灰度值为μ₁，整幅图像的平均灰度值为μ；

当σ²取得最大值时的灰度值即为最佳阈值：

(2)对运动目标像素点进行二次判别；

在检测得到的背景像素点中随机选取M个，计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时， f(x)再次判断为背景；

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时， f(x)再次判断为背景。

进一步地，本发明的步骤S2具体还包括：将运动区域检测后，要对运动区域进行运动物体分割；对二值图像做一定的处理，来得到完整的运动目标的区域；该处理包括使用形态学的基本方法来对检测结果进行去噪；在去噪完成后，再使用一定的算法来在运动区域中标记出每个运动目标；具体操作步骤如下：

步骤S2.1；形态学操作；所述形态学的基本方法包括：有腐蚀、膨胀、开操作和闭操作四种；

步骤S2.2；多目标分割算法，在对二值化运动区域的前景图使用过形态学运算进行噪声去除后，将各个运动目标分割开，并进行标记，得到各个运动目标的位置信息；标注釆用顺序标注，分割算法步骤如下所示：

S2.2.1：对图像从左上至右下进行扫描；

S2.2.2.：当没有被标注的前景像素出现时，将其进行标注；

S2.2.3.：如果该像素的邻域的8个像素均不是前景像素，返回第 S2.2.1；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作；这样经过上述步骤的标注，所有运动目标都会被分隔开，并被记录下来。

进一步地，本发明的所述步骤S3还包括以下内容：对步骤S2 分割后的目标进行目标特征选择与抽取，BP神经网络分类器在所得目标的运动区域进行局部搜索，并将搜索得到的目标生成匹配二值图像，最后将生成匹配二值图像生成效果图输出；

进一步地，本发明的所述BP神经网络分类器可以分为两个阶段：训练阶段和检测阶段，训练阶段系统根据已知类别的样本制定出判别函数及判别规则，用于对待识别样本进行分类识别；而检测阶段则负责对未知类别的样本进行分类；所述BP神经网络分类器工作流程如下：

所述训练阶段包括：

(1)输入训练样本，训练样本是人工已经识别的，用于制定分类判别函数的图像集合；

(2)图像预处理，包括清除图像中存在的噪声和干扰，图像复原或图像增强、图像的过滤等；

(3)特征抽取，将待识别对象的某些特征进行数字化；

(4)特征选择，从经过预处理的图像中挑选一批样本进行分析，从中选取适用于完成分类要求的特征集；

(5)自适应部分，系统根据训练样本集找出一个有效的分类规律；

所述检测阶段包括：

(1)输入未知样本，未知样本即待识别样本，是从视频图像序列中随机抽取的一个样本；

(2)图像预处理，包括清除图像中存在的噪声和干扰，图像复原或图像增强、图像的过滤等；

(3)特征抽取，将待识别对象的某些特征进行数字化；

(4)特征选择，从经过预处理的图像中挑选一批样本进行分析，从中选取适用于完成分类要求的特征集；

(5)输出结果。

进一步地，本发明的所述阈值T的选取采用自适应迭代法，具体计算如下：

计算出图像的灰度统计直方图H[i]:

H[i]＝n_ii＝0,1,...,L-1

其中L是图像灰度级的范围，目前通常使用L＝256,n_i是灰度为i 的像素个数；

利用灰度直方图获取差分图的像素灰度值的最大值max和最小值min；

利用下面公式设定初始阈值，作为迭代的起点：

利用T₀对差分图像进行分割，并计算背景区和前景区的平均灰度值M_b、M_f:

计算新的迭代阈值，令：

如果T≠T₀，令T＝T₀，转到步骤4；如果T＝T₀，算法结束；

如果新的阈值和T₀不相等，则令T＝T₀，继续迭代，直到计算出最终的阈值T。

进一步地，本发明的BP神经网络分类器的设计步骤如下：

1)图像预处理，预处理主要包括图像的噪声去除，图像增强，图像二值化和形态学滤波等；

2)目标的特征分析，在视频图像序列给出了空间特征和时间特征，对于空间特征，采用基于形状信息的目标提取方法；对于时间特征，采用运动特性的目标提取方法；

3)建立非线性映射关系，采用邻域对像素方法对输入向量进行处理，采用3×3的模板在图像上滑动，同时以中心为采样点对图像进行采样，从而构造出一个9维输入1维输出的神经网络；神经网络的训练过程中，从任意n帧视频图像序列中选取前10帧作为训练样本集，然后利用其中的一帧构造出BP网络的输入特征集；

4)BP网络，其包括输入层、隐层、输出层和各层之间的传输函数，以及训练方法及参数选择；除了输入层和输出层以外，可任意根据系统所需模式任意设置网络层数，最少可以只包含一个隐层；所述输入层的是输入节点数为9，输出层的输出节点数为1；采用试凑法来确定最佳的隐层节点数，计算隐层节点数公式如下：

其中，n为隐层节点数，n₁为输入层节点数，n₀为输出节点数，b 为常数，取值为1～10；

5)训练方法及参数选择；采用附加动量BP算法来训练网络附加动量BP算法就是在梯度下降算法的基础上引入一个动量因子，然后根据前一次的修正结果来调整本次的修正量；当前一次的修正量过大时，该算法将减少本次修正量，以保持修正方向沿着收敛的方向进行；通过这样可以起到减小振荡的作用；而当前一次的修正量过小时，该算法将加大本次修正量，这样可以起到加速修正的作用；

带有动量项的加权调节公式为：

ω(k+1)＝Δω(k+1)+ω(k+1)

其中，E为系统误差，ω为修正量的权值，k为任意的次数，η为学习步长，β为学习速度。

与现有技术相比，本发明具有以下有益效果：

本发明方法实现的系统能准确提取出运动目标区域，然后利用 BP神经网络分类器精确检测出运动目标的位置并进行多目标智能跟踪。该方法不仅适用于视频监控，还可应用于智能交通、医学诊断、智能工业机器人等领域。

附图说明

图1是实施例所述基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法流程图。

图2是实施例所述基于BP神经网络系统的流程图。

图3是实施例所述BP神经网络分类器原理图。

图4是实施例所述BP神经网络结构图。

具体实施方式

下面以普通多目标跟踪为例，结合附图对本发明的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法的具体实施例做进一步详细说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本发明方法主要包括步骤S1-S3，下面对步骤S1‐S3 进行详细介绍：

S1输入视频图像，利用改进的Vibe算法提取运动前景目标；

Vibe算法具有运动速度较快、目标提取准确率高的优点，因此，本发明对Vibe算法进行一定程度的改进，并将其应用于运动前景目标的提取，该运动前景目标的提取主要包括以下步骤：

S1.1建立Vibe背景模型；

Vibe算法利用第一帧进行初始化，为了给第一帧的每一个像素点建立相应的背景集合，引入邻域的方法。定义像素点x处的背景像素值为v(x)，在每个像素点x的8邻域内随机选取N个像素值v₁,v₂,...,v_N作为像素点x的背景模型样本值，设背景模型为M(x)，则：

M(x)＝{v₁,v₂,...,v_N} (1)

Vibe算法使用首帧图像初始化背景模型，对于像素背景样本空间中的每一个样本值，从该样本值像素和其邻域像素中，随机选择一个像素值对其进行初始化。在首帧图像中，y值在像素点x的8邻域 N_G(x)内的样本点中随机选择，令v⁰(y)为首帧图像在y处的像素值，那么可以得到初始化后的背景模型，用公式表示为：

M⁰(x)＝{v⁰(y)|y∈N_G(x)} (2)

其中，M⁰(x)为初始化后的背景模型。

S1.2检测运动前景目标和消除鬼影；

S1.2.1基于自适应阈值的Vibe算法的背景和前景的分类；

从第二帧开始对运动目标进行检测，以像素点x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的球体S_R(v(x))，用来将像素点x处在新一帧图像中的像素值与该点处的背景样本值做对比，将像素点分类。Vibe算法进行前景检测时，判断背景模型中样本值是否与当前像素值匹配，采用固定半径阈值R。当R设定较大时，与背景像素值比较接近的前景像素就会被检测背景，导致检测到的运动目标不能完整检测出来。当R设定较小时，背景中不希望被检测出来的动态变化部分(如树叶、树枝等)就会被检测出来，导致检测结果中出现较多的噪声。

针对上述情况，为了提高检测的准确度，本发明方法根据像素的具体情况，为每个像素设定一个阈值，阈值R的设定方法如下：

式中，k为背景模型中与像素p比较的像素值的个数；v(p)为当前帧中像素p为位置处的像素值；v_i为像素p背景模型的像素值。

为了防止阈值R出现过大和过小而导致检测结果不准确的情况，本发明方法设定了阈值R的上限和下限，具体设定阈值R∈[20,40]，即当由公式(3)求得的阈值R小于20时，设定阈值R为20，当由公式 (3)求得的阈值R大于40时，设定阈值R为40。

进一步地，定义一个区域S_R(v(x))，该区域S_R(v(x))中包含像素x的背景样本值的个数为#{S_R(v(x))∩{v₁,v₂,...,v_N}}，以 #{S_R(v(x))∩{v₁,v₂,...,v_N}}的大小判定像素是前景像素还是背景像素。初始化#{S_R(v(x))∩{v₁,v₂,...,v_N}}为0，设定判定像素为前景像素还是背景像素的阈值为#_min，设定其值为2。如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值#_min，则在当前帧中，该像素为背景像素；如果 #{S_R(v(x))∩{v₁,v₂,...,v_N}}小于阈值#_min，则该像素为前景像素。

S1.2.2结合前景检测结果和Otsu阈值方法进行二次判断来消除鬼影；

鬼影是指不对应实际运动目标的前景区域，它是由背景中原来静止的物体突然运动从而导致背景模型与实际背景不一致引起的。当背景中的物体突然运动时，物体原来的位置会被物体原来覆盖的区域取代，这种变化会在接下来的图像序列中立即反映出来，而背景模型并不会立即反映这种变化。因而会造成一段时间的背景模型失效的问题，这就会在物体原来的位置产生误检，检测到不存在的运动目标，从而出现鬼影现象。

针对鬼影问题，本发明采用结合前景检测结果和Otsu阈值方法进行二次判断的来抑制鬼影，其主要步骤为：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为 t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景区域以及背景区域。类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)² (4)

其中，ω₀表示前景像素点数目占整幅图像的比例；前景像素点平均灰度值为μ₀；ω₁表示背景像素点数目占整幅图像的比例；背景像素点平均灰度值为μ₁；整幅图像的平均灰度值为μ。

所述类间方差越大，则前景区域与背景区域的差别越大，从而能更好地进行图像的分割。当σ²取得最大值时的灰度值即为最佳阈值，最佳阈值可表示为下式：

(2)对运动目标像素点进行二次判别。

在步骤S1.2.1中检测得到的背景像素点中随机选取M个，计算这些像素点灰度的平均值为假设f(x)为步骤S1.2.1检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时， f(x)再次判断为背景。

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时， f(x)再次判断为背景。

利用该步骤(2)对该步骤(1)检测出的前景进行二次判别，能够过滤掉误判的部分，将鬼影部分重新判别为背景。

S1.2.3背景更新；

针对由步骤S1.2.1检测出的背景像素，采用Vibe算法的背景更新方法对背景模型进行更新，并循环进行后续的运动前景检测。

S2.将二值化的图像进行进一步的去噪并进行多目标分割；

将运动区域检测后，要对运动区域进行运动物体分割。获得的二值图像通常由于噪声和背景细微变化的干扰往往不一定都是运动目标的完整轮廓，因此，首先要对二值图像做一定的处理，来得到完整的运动目标的区域。在本发明中使用了形态学的基本方法来对检测结果进行去噪。在去噪完成后，再使用一定的算法来在运动区域中标记出每个运动目标。

S2.1形态学操作

本发明在多目标检测中主要运用了形态学的基本方法，有腐蚀、膨胀、开操作和闭操作四种。

S2.1.1腐蚀

腐蚀的定义为：

该式指出B对A的腐蚀是一个用z平移的B包含在A中的所有的点z的集合。腐蚀的结果会缩小或细化二值图像中的物体，腐蚀可以看作形态学滤波的操作，它可以从图像中将一些较小的图像细节滤除，因此使用腐蚀操作可以去除目标检测图像中的一些干扰信息。

S2.1.2膨胀

膨胀的定义为：

这个公式是以B关于它的原点的映像，并且以z对映像进行平移为基础的。与腐蚀不同，膨胀会扩大或粗化二值图像中的物体，连通断裂的连通片，填补检测物体的内部空洞等。

S2.1.3开操作和闭操作：腐蚀则会缩小或细化二值图像中的物体，膨胀会扩大或粗化二值图像中的物体。开操作和闭操作则是对图像进行膨胀和腐烛的级联操作。开操作会平滑物体的轮廓，断开较窄处并消除细的突起物，闭操作也会平滑物体的轮廓，但是会填充较窄处，消除小的孔洞。

开操作的步骤是先腐蚀后膨胀，定义如下：

闭操作的步骤是先膨胀后腐烛，定义如下：

重复利用开操作和闭操作，就能使二值图像噪声去除，留下更为精确的运动目标区域。

S2.2多目标分割算法

多目标分割指的是在对二值化运动区域的前景图使用过形态学运算进行噪声去除后，将各个运动目标分割开，并进行标记，得到各个运动目标的位置信息。为了完成本文的多目标跟踪工作，检测到的运动目标进行分割和标注就十分有必要。标注通常釆用顺序标注，本发明提出的分割算法步骤如下所示：

S2.2.1.对图像从左上至右下进行扫描；

S2.2.2.当没有被标注的前景像素出现时，将其进行标注；

S2.2.3.如果该像素的邻域的8个像素均不是前景像素，返回第 S2.2.1步；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作。这样经过上述步骤的标注，所有运动目标都会被分隔开，并被记录下来。

步骤S3：基于BP神经网络的多运动目标跟踪算法；

基于改进的背景差法和帧差法相结合的运动目标的快速检测算法一方面可以有效地、快速地检测出运动目标，另一方面又可以在目标跟踪中减少搜索范围。而BP神经网络一方面分布式信息存储和大规模自适应并行处理的特点，可以满足对大数据量目标图像的实时处理要求，另一方面其自适应、自组织、自学习、高度容错性的特点可以在目标跟踪中更精确的目标匹配。将两者结合在一起的基于BP神经网络的运动目标检测与跟踪系统可以很好的达到对运动目标检测与跟踪在鲁棒性，准确性和快速性的要求。整体结合流程图如图2所示。在利用BP神经网络跟踪技术进行目标跟踪时，BP神经网络分类器是其基础，而主要BP神经网络分类器可以分为两个阶段：训练阶段和检测阶段，训练阶段系统根据已知类别的样本制定出判别函数及判别规则，用于对待识别样本进行分类识别。而检测阶段则负责对未知类别的样本进行分类。具体流程如图3所示。

1)训练样本是人工已经识别的，用于制定分类判别函数的图像集合。未知样本即待识别样本，是从视频图像序列中随机抽取的一个样本。

2)预处理包括清除图像中存在的噪声和干扰，图像复原或图像增强、图像的过滤等。对于不同的模式选择不同的预处理方法。预处理是一个非常重要的环节。如果预处理做得不好，运动目标的识别就不能精确，有时甚至无法识别。

3)特征抽取是将待识别对象的某些特征(无论是物理的还是形态的)都进行数字化。

4)特征选择是从经过预处理的图像中挑选一批样本进行分析，从中选取适用于完成分类要求的特征集。特征抽取与特征选择是模式识别的关键。如果选择的某一个特征集可以区分模式时，那么模式识别任务实际上已接近完成。如果选定某一组特征后，并按该特征对模式进行抽取以致分类，得不到满意结果，就需要改进特征抽取方法。重新选取特征。如此反复进行多次，直到得到满意结果。

5)自适应部分是指系统根据训练样本集找出一个有效的分类规律。其基本过程是：当根据某些准则对训练样本制定出一些判决规则以后，再逐个检测这些训练样本，检测是否有误差。如果有误差，则进一步改善判别规则，直到得到满意的结果。使用的样本越多，分类器的性能越好。

S3.1BP神经网络分类器的设计和实现：主要包括5个关键问题： 1)图像预处理；2)跟踪目标的特征分析；3)建立非线性映射关系；4)BP 神经网络具体设计方法；5)BP神经网络训练后的参数设定。

S3.1.1图像预处理

图像预处理的主要作用是突出目标的特征，方便网络对目标的特征进行提取。预处理主要包括步骤S1和S2所述图像的噪声去除，图像增强，图像二值化和形态学滤波等。经过预处理后的图像，可以去除大部分无效的数据，极大的也降低了图像处理的数据容易，从而使神经网络的样本选取工作变得更加简单。

S3.1.2目标的特征分析

当检测跟踪的目标确定以后，精确匹配的核心问题就是如何找到合适的特征。特征的提取与表示是目标识别的关键。只有在获取目标所特有的关键特征的基础上，才能识别一个目标。特征提取是指仅提取与这些特征有关的信息的操作。而跟踪识别就是以这些特征是否存在或某种程度的存在为基础，而进行的辨别和确定。

在视频图像序列给我们两种可能的特征——空间特征和时间特征(即运动特征)中，空间特征是指与单帧图像中的目标紧密相连的特征，如目标的大小、位置，目标区域的主要灰度特征等，对于空间特征，有基于形状信息的目标提取方法；时间特征是指与跟踪过程紧密相关的特征，如目标的速度、目标大小的变化等，这些特征提供的是目标随时间变化的动态信息，是无法从单帧图像获得的。对于时间特征，有基于运动特性的目标提取方法。合理的特征提取方法是大多数图像自动识别的前期步骤。它构成了基于神经网络检测方法的输入。

S3.1.3建立非线性映射关系

本发明采用了“邻域对像素方法”对输入向量进行处理。通过这个方法，可以提高神经网络的运算速度，简化算法模型。“邻域对像素方法"认为目标图像中每一个像素值只与输入图像相应邻域(例如3×3 邻域)像素值有关。以系统输入的1920×960视频图像为例，通过对该图像以3×3像素的邻域按行或列的顺序逐点滑动，就可以得到 (1920‐3+1)×(960‐3+1)＝1837444个3×3像素的邻域。然后以这些邻域的中心为采样点从而得到1837444个像素值。通过以上处理，我们可以建立1920×960像素的像素对1837444个像素的映射关系。

由上述所知，我们可以通过这样的方法建立非线性映射关系：用 3×3的模板在图像上滑动，同时以中心为采样点对图像进行采样，从而构造出一个9维输入1维输出的神经网络。在本发明神经网络的训练过程中，我们从任意n帧视频图像序列中选取前10帧作为训练样本集。然后利用其中的一帧构造出BP网络的输入特征集。

S3.1.4BP神经网络具体设计方法

BP网络的设计主要涉及到以下几个方面：输入层、隐层、输出层和各层之间的传输函数。

1)网络层数

由神经网络的基本特征可以得知，如果隐层的结点不受限制，即使只有一个隐层，BP神经网络系统也可以实现任意非线性映射。所以，在BP神经网络系统中，除了输入层和输出层以外，可任意根据系统所需模式任意设置网络层数，最少可以只包含一个隐层。

2)输入层和输出层的节点数

输入层的作用是接收外部的输入数据，起缓冲存储器的作用。输入层的节点数由输入矢量的维数所决定。因为本发明所采用的“邻域对像素方法”，用3x3的模板对图像进行采样，所以输入层的是输入节点数为9。而输出层的输出节点数为1。

3)隐层的节点数

隐层节点的作用是从样本中提取其内在的规律，并存储这些规律，每个隐层节点都拥有若干个权值。权值是用于增强网络映射能力的一个参数。当隐层的节点数过少时，不能对训练样本中的规律进行很好的概括和体现。而当隐层节点数过多时，则会记忆一些样本中非规则性的内容，从而降低网络的泛化能力。不仅如此，当隐层的节点过多时，还会增加网络的训练时间。通常我们采用试凑法来确定最佳的隐层节点数。下式是本发明根据以往设计者的训练时间，识别率等几方面综合考虑的出来的经验公式：

上式中，n为隐层节点数，n₁为输入层节点数，n₀为输出节点数， b为常数，取值为1～10。

4)传输函数

如图4所示为常用的BP网络的传输函数，通常可以根据系统需求在表中来选择不同的传输函数。

5)训练方法及参数选择

因为标准BP算法具有收敛速度慢、收敛精度受限制等问题。因此本发明采用附加动量BP算法来训练网络。

附加动量BP算法就是在梯度下降算法的基础上引入一个动量因子，然后根据前一次的修正结果来调整本次的修正量。当前一次的修正量过大时，该算法将减少本次修正量，以保持修正方向沿着收敛的方向进行。通过这样可以起到减小振荡的作用。而当前一次的修正量过小时，该算法将加大本次修正量，这样可以起到加速修正的作用。

带有动量项的加权调节公式为：

ω(k+1)＝Δω(k+1)+ω(k+1)

在上述公式中，E为系统误差，ω为修正量的权值，k为任意的次数，η为学习步长，β为学习速度。β和η通常可根据实际系统来调整,为已知的系数。在上述附加动量BP算法中，通常可采用较大的学习率。这样不会造成学习过程的发散，而且可以加快收敛速度，减少学习时间。

根据上述5点设计出的BP神经网络结构如图4所示。

其中，P₁～P₉为输入向量，a为输出向量，ω¹和ω²分别表示第一层和第二层的网络权值向量，f¹和f²分别为隐含层和输出层的传输函数。当确定获取目标点特征后，进行精准的特征选择，确定运动目标位置，并能基于该特征点进行智能跟踪识别。

综合上述算法实现的系统能准确提取出运动目标区域，然后利用 BP神经网络分类器精确检测出运动目标的位置并进行多目标智能跟踪。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有智能多目标跟踪的高清摄像监控系统。

以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (9)

1.一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，包括如下步骤：

S1输入视频图像，利用改进的Vibe算法提取运动前景目标；

S1.1建立Vibe背景模型，得到初始化后的背景模型；

S1.2检测运动前景目标和消除鬼影；

S2将二值化的图像进行进一步的去噪，并输入到BP神经网络进行多目标分割；

S3基于BP神经网络的多运动目标跟踪处理。

2.根据权利要求1所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述步骤S1.2包括：

S1.2.1基于自适应阈值的Vibe算法的背景和前景的分类；

S1.2.2结合前景检测结果和Otsu阈值方法进行二次判断来消除鬼影；

S1.2.3采用Vibe算法的背景更新方法对背景模型进行更新，并循环进行后续的运动前景检测。

3.根据权利要求1所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述检测运动前景目标包括：

从第二帧开始对运动目标进行检测，以像素点x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的区域S_R(v(x))，该区域S_R(v(x))中包含像素x的背景样本值的个数为#{S_R(v(x))∩{v₁,v₂,...,v_N}}；

其中，

上式中，k为背景模型中与像素p比较的像素值的个数，v(p)为当前帧中像素p位置处的像素值，v_i为像素p背景模型的像素值；

设定一阈值#_min，如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值#_min，则在当前帧中，该像素为背景像素；如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}小于阈值#_min，则该像素为前景像素。

4.根据权利要求1所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述消除鬼影包括：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景以及背景；

类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)²

其中，ω₀表示前景像素点数目占整幅图像的比例，前景像素平均灰度值为μ₀，ω₁表示背景像素点数目占整幅图像的比例，背景像素平均灰度值为μ₁，整幅图像的平均灰度值为μ；

当σ²取得最大值时的灰度值即为最佳阈值：

(2)对运动目标像素点进行二次判别；

在检测得到的背景像素点中随机选取M个，计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时，f(x)再次判断为背景；

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时，f(x)再次判断为背景。

5.根据权利要求1所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，具体还包括：将运动区域检测后，要对运动区域进行运动物体分割；对二值图像做一定的处理，来得到完整的运动目标的区域；该处理包括使用形态学的基本方法来对检测结果进行去噪；在去噪完成后，再使用一定的算法来在运动区域中标记出每个运动目标；具体操作步骤如下：

步骤S2.1；形态学操作；所述形态学的基本方法包括：有腐蚀、膨胀、开操作和闭操作四种；

步骤S2.2；多目标分割算法，在对二值化运动区域的前景图使用过形态学运算进行噪声去除后，将各个运动目标分割开，并进行标记，得到各个运动目标的位置信息，分割算法步骤如下所示：

S2.2.1：对图像从左上至右下进行扫描；

S2.2.2.：当没有被标注的前景像素出现时，将其进行标注；

S2.2.3.：如果该像素的邻域的8个像素均不是前景像素，返回第S2.2.1；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作；这样经过上述步骤的标注，所有运动目标都会被分隔开，并被记录下来。

6.根据权利要求1所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述步骤S3还包括以下内容：对步骤S2分割后的目标进行目标特征选择与抽取，BP神经网络分类器在所得目标的运动区域进行局部搜索，并将搜索得到的目标生成匹配二值图像，最后将生成匹配二值图像生成效果图输出。

7.根据权利要求6所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述BP神经网络分类器可以分为两个阶段：训练阶段和检测阶段，训练阶段系统根据已知类别的样本制定出判别函数及判别规则，用于对待识别样本进行分类识别；而检测阶段则负责对未知类别的样本进行分类；所述BP神经网络分类器工作流程如下：

所述训练阶段包括：

(1)输入训练样本，训练样本是人工已经识别的，用于制定分类判别函数的图像集合；

(2)图像预处理，包括清除图像中存在的噪声和干扰，图像复原或图像增强、图像的过滤等；

(3)特征抽取，将待识别对象的某些特征进行数字化；

(4)特征选择，从经过预处理的图像中挑选一批样本进行分析，从中选取适用于完成分类要求的特征集；

(5)自适应部分，系统根据训练样本集找出一个有效的分类规律；

所述检测阶段包括：

(1)输入未知样本，未知样本即待识别样本，是从视频图像序列中随机抽取的一个样本；

(2)图像预处理，包括清除图像中存在的噪声和干扰，图像复原或图像增强、图像的过滤等；

(3)特征抽取，将待识别对象的某些特征进行数字化；

(4)特征选择，从经过预处理的图像中挑选一批样本进行分析，从中选取适用于完成分类要求的特征集；

(5)输出结果。

8.根据权利要求7所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，所述阈值T的选取采用自适应迭代法，具体计算如下：

计算出图像的灰度统计直方图H[i]:

H[i]＝n_i i＝0,1,...,L-1

其中L是图像灰度级的范围，目前通常使用L＝256,n_i是灰度为i的像素个数；

利用灰度直方图获取差分图的像素灰度值的最大值max和最小值min；

利用下面公式设定初始阈值，作为迭代的起点：

利用T₀对差分图像进行分割，并计算背景区和前景区的平均灰度值M_b、M_f:

计算新的迭代阈值，令：

如果T≠T₀，令T＝T₀，转到步骤4；如果T＝T₀，算法结束；

如果新的阈值和T₀不相等，则令T＝T₀，继续迭代，直到计算出最终的阈值T。

9.根据权利要求8所述的一种基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法，其特征在于，BP神经网络分类器的设计步骤如下：

1)图像预处理，预处理主要包括图像的噪声去除，图像增强，图像二值化和形态学滤波等；

2)目标的特征分析，在视频图像序列给出了空间特征和时间特征，对于空间特征，采用基于形状信息的目标提取方法；对于时间特征，采用运动特性的目标提取方法；

3)建立非线性映射关系，采用邻域对像素方法对输入向量进行处理，采用3×3的模板在图像上滑动，同时以中心为采样点对图像进行采样，从而构造出一个9维输入1维输出的神经网络；神经网络的训练过程中，从任意n帧视频图像序列中选取前10帧作为训练样本集，然后利用其中的一帧构造出BP网络的输入特征集；

4)BP网络，其包括输入层、隐层、输出层和各层之间的传输函数，以及训练方法及参数选择；除了输入层和输出层以外，可任意根据系统所需模式任意设置网络层数，最少可以只包含一个隐层；所述输入层的是输入节点数为9，输出层的输出节点数为1；采用试凑法来确定最佳的隐层节点数，计算隐层节点数公式如下：

其中，n为隐层节点数，n₁为输入层节点数，n₀为输出节点数，b为常数，取值为1～10；

5)训练方法及参数选择；采用附加动量BP算法来训练网络附加动量BP算法就是在梯度下降算法的基础上引入一个动量因子，然后根据前一次的修正结果来调整本次的修正量；当前一次的修正量过大时，该算法将减少本次修正量，以保持修正方向沿着收敛的方向进行；通过这样可以起到减小振荡的作用；而当前一次的修正量过小时，该算法将加大本次修正量，这样可以起到加速修正的作用；

带有动量项的加权调节公式为：

ω(k+1)＝Δω(k+1)+ω(k+1)

其中，E为系统误差，ω为修正量的权值，k为任意的次数，η为学习步长，β为学习速度。