CN108550163A - 一种复杂背景场景中运动目标检测方法 - Google Patents

Abstract

在对图像进行运动目标检测时，背景越复杂，检测难度越高，获得的检测结果准确性越低，本发明提出一种复杂背景场景中运动目标检测方法，该方法使用自适应高斯混合模型对视频帧图像进行检测，获得包含前景目标和大量噪声的检测图像；再通过训练BP神经网络，采用训练好的BP神经网络对检测图像的各个部分进行判别，排除非前景目标区域；最后采用中值滤波方法对保留的前景目标区域中的孤立噪声点进行进一步修正，获得最后的检测图像。本发明提出的方法可以获得获准确度高、噪声小、边缘明确的前景目标，同时具有鲁棒性高、训练速度快等特点。

Description

一种复杂背景场景中运动目标检测方法

技术领域：

本发明属于运动目标检测技术领域，具体涉及一种复杂背景场景中运动目标检测方法。

背景技术：

在计算机视觉方向，运动目标检测一直是研究的热点问题之一，也是视频监控系统的核心之处。目前最常用的运动目标检测算法是背景差分法，它通过建立一个动态场景的背景模型，与当前图像进行差分运算来检测运动目标，而背景建模方法中，最经典的算法为高斯混合模型(GMM)。GMM算法原理是将图像的每一个像素点的像素值看做一个随机过程，假设像素值出现的概率服从高斯分布，建立相应的背景模板与运动目标进行匹配。但是在某些复杂的无规则运动的动态背景中(如晃动的树叶、水面的波纹等)，GMM算法会出现较高的虚警率，在处理结果中会产生较多的噪声。

在复杂的背景下，自适应高斯混合模型可以自适应调整模板的参数，在一定程度上降低了虚警率。但由于自适应高斯混合模型是多个高斯函数的加权和，因此与数据的拟合程度受到相应参数的影响，其处理结果仍然存在较多噪声，处理后图像的信噪比较低等缺陷。

BP(Back Propagation)神经网络通过学习图像的统计特征，模型经过训练后能够较好地去除高噪图像中的噪声，本申请提出一种复杂背景场景中运动目标检测方法，其利用基于BP神经网络的自适应高斯混合模型来检测复杂背景场景中的运动目标，能够很好地克服上述方法中的缺陷，达到很好的检测效果。

发明内容：

针对当前复杂背景场景中运动目标检测存在不准确、噪声大等问题，本发明提出了一种新的复杂背景场景中运动目标检测方法，先通过自适应高斯混合模型对图像进行检测，获取前景目标，再通过训练好的BP神经网络对前景目标中非前景目标区域进行去除，最后使用中值滤波的方式对其中噪声点进行进一步修正，获得一个准确度高、噪声小的前景目标作为最终的运动目标。

为达到上述目的，本发明提供的技术方案为：

一种复杂背景场景中运动目标检测方法，其特征在于，所述方法包括以下步骤：

步骤一，使用自适应高斯混合模型对视频帧图像进行检测，获得包含前景目标和大量噪声的检测图像；

步骤二，训练BP神经网络，采用训练好的BP神经网络对步骤一获得的检测图像的各个部分进行判别，排除非前景目标区域；

步骤三，采用中值滤波方法对步骤二保留的前景目标区域中的噪声点进行进一步修正，获得最终的检测图像。

优选地，本发明的步骤一具体包括以下子步骤：

步骤1，定义像素模型并进行模型初始化：

图像中每一个像素P(p)都使用多个单高斯模型描述：

其中K表示单高斯模型的个数；使用权重ω_i(x，y，t)、均值u_i(x，y，t)、方差共同确定一个单高斯模型，其中权重ω_i(x，y，t)满足：

模型初始化即分别对每一个单高斯模型进行初始化，初始化的方式为：

其中，I(x，y，0)表示视频序列第一帧图片在(x，y)处的像素值，set_init为常数；

步骤2，参数更新及前景目标检测，具体包括：

step1：读入视频序列中第t+1帧图像后，若该图像中(x，y)处的像素值满足|I(x，y，t)-即若新图像中(x，y)处的像素值与对应模型中的像素均值的距离小于标准差的λ倍，则该点像素存在与之匹配的单高斯模型，该点为背景，进入step2；如果不存在与之匹配的的单高斯模型，则认为该点为前景，进入step3；

step2：更新与该像素匹配的单高斯模型的权值、均值以及方差，之后进入step4；

更新后的权值为：

更新后的均值与方差为：

其中，权值的增量为 为常数；

step3：将重要性最小的单模型去除，增加一个新的单高斯模型，可将新模型的权值设置为较小的数，将均值设置为该像素点的像素值，方差设置为较大的数；

step4：权值归一化，归一化后的权值为：

步骤3，单高斯模型的排序及重要性判断：

首先，计算每一个单高斯模型的重要性值imp_num_i：

其中，为单高斯模型的标准差；

将各个单高斯模型分别按重要性值大小排序，重要性值大的优先；

若前N个单高斯模型的权重满足则仅将前N个单高斯模型作为背景模型，将其他模型删除，阈值T＝0.7。

步骤4，使用自适应高斯混合模型进行前景目标提取：

对图像帧的每个像素进行检测，当输入像素与背景模型匹配时，判定该像素点为背景，否则属于前景；对图像中所有像素都进行检测，得到前景目标。

优选地，本发明的步骤二具体包括以下子步骤：

步骤1，训练BP神经网络，具体包括：

S1，初始化网络参数，用小的随机数给各权值和阈值赋初值；

S2，读取网络参数和运动目标的训练样本集a，并进行归一化处理；

S3，对训练样本集中每一样本a_i(i＝1，2，…，n)进行训练，获得训练好的BP神经网络：

步骤s31，选择一个样本进行训练：

先进行正向传播，计算该样本实际网络输出l_t与期望输出之间的误差：

输入层向隐含层的函数关系可表示为：

a_i(i＝1，2，…，n)是输入信号，w_ij是输入层的第i个节点和隐含层的第j个节点之间的权值，θ_j是隐含层的第j个节点的阈值；

隐含层和输出层的传输函数F1和F2均采用Sigmoid函数，其表达式为：

经过传递函数后，隐含层输出b_j(j＝1，2，…，m)可表示为：

隐含层向输出层的函数关系可表示为：

输出层的输出结果l_t(t＝1，2，…，v)为：

其中，v_jt是隐含层的第j个节点和输出层的第t个节点之间的权值；γ_t是输出层的第t个节点之间的阈值；l_t是输出层第t个节点的输出结果；

计算期望输出与实际网络输出l_t之间的均方误差E：

之后进行反向传播，对网络权值和阈值进行修正：

计算权值和阈值的变化量：

Δv_jt(i)＝α·ηd_jt·b_j+λΔv_jt(i-1)

Δw_ij(i)＝β·ηe_ij·a_i+λΔw_ij(i-1)

Δγ_t(i)＝α·ηd_jt+Δγ_t(i-1)

Δθ_j(i)＝β·ηe_ij+Δθ_j(i-1)

其中，Δv_jt、Δw_ij、Δγ_t、Δθ_j分别表示隐含层与输出层之间权值的变化量、输入层与隐含层之间权值的变化量、输出层阈值的变化量、隐含层阈值的变化量；α、β为学习率，η为学习率自适应系数；j的取值范围为1，2，...，m，t的取值范围为1，2，...，v，i的取值范围为1，2，...，n；

在获得权值和阈值的变化量后，使用该变化量对权值和阈值进行修正；

步骤s32，选择样本集中新的一个样本，使用修正后的权值和阈值进行训练，训练过程与步骤s31一致，直至样本集中所有样本都完成训练，获得训练好的BP神经网络；

步骤2，采用训练好的BP神经网络对步骤一处理获得的前景目标各个部分进行判别，排除其中的非前景目标区域。

在步骤S3的训练过程中，若经过一次权值调整后均方误差E变大，则认为此次调整无效，此时取0＜η＜1的数，若总误差减小，则认为此次调整有效，取η＞1的数。

优选地，本发明的步骤三具体为：获取保留的前景目标区域，对该区域中所有像素点进行中值滤波处理，去除其中孤立的噪声点，获得最终的运动目标。

通过本发明所提出的技术方案，与现有技术相比，本发明具有如下技术优点：

(1)通过自适应高斯混合模型对图像进行检测，获取较为准确的前景目标，再通过BP神经网络对前景目标中非前景目标区域进行去除，以及使用中值滤波对前景目标中孤立噪声点进行进一步修正，获得获准确度高、噪声小、边缘明确的前景目标。

(2)通过对BP神经网络进行改进，引入自适应学习率和动量项，降低阈值、权值对模型的影响，提高模型的鲁棒性，同时，减小了振荡，加快了收敛过程，达到了提高训练速度的效果。

(3)该方法不需要对目标进行人工定义，适应性强，在有噪声干扰的复杂环境下，也能取得很好的效果。

附图说明：

图1是本发明的复杂背景场景中运动目标检测方法的流程图；

图2是BP神经网络的结构图；

图3是Watersurface测试结果图；

图4是Airport测试结果图；

具体实施方式：

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述，但本发明并不限于这些实施方式。

本发明提出的基于复杂背景场景中运动目标检测方法，其流程示意图如1所示，其包括以下几个步骤。

步骤一(S101)，使用自适应高斯混合模型对视频帧进行检测，获得检测图像。

混合高斯模型是一种直观的概率密度模型，常用于检测场景中的运动目标。高斯混合模型将图像中的每一个像素点的像素值看做一个随机过程，假设像素值出现的概率服从高斯分布。通过使用多个高斯模型作为背景的模板，在目标位置运动前后使用不同的模型与之匹配，从而提高了多模态背景下检测目标的准确性和鲁棒性。本发明使用自适应高斯混合模型对视频帧进行检测，具体包括以下四个子步骤。

步骤1，定义像素模型并进行模型初始化：

图像中每一个像素P(p)都使用多个单高斯模型描述：

其中K表示单高斯模型的个数，通常取值在3～5之间；使用权重ω_i(x，y，t)、均值u_i(x，y，t)、方差共同确定一个单高斯模型，其中权重ω_i(x，y，t)满足：

模型初始化即分别对每一个单高斯模型进行初始化，初始化的方式为：

公式(3)中，I(x，y，0)表示视频序列第一帧图片在(x，y)处的像素值，set_init为常数。

步骤2，参数更新及前景目标检测，具体包括：

step1：读入视频序列中第t+1帧图像后，若该图像中(x，y)处的像素值满足|I(x，y，t)-即若新图像中(x，y)处的像素值与对应模型中的像素均值的距离小于标准差的λ倍，则该点像素存在与之匹配的单高斯模型，该点为背景，进入step2；如果不存在与之匹配的单高斯模型，则认为该点为前景，进入step3。

step2：更新与该像素匹配的单高斯模型的权值、均值以及方差，之后进入step4。

更新后的权值为：

更新后的均值与方差为：

其中，权值的增量为 为常数。

step3：将重要性最小的单模型去除，增加一个新的单高斯模型，可将新模型的权值设置为较小的数(本发明将其设置为0.001)，将均值设置为该像素点的像素值，方差设置为较大的数(本发明将其设置为10)。

step4：权值归一化，归一化后的权值为：

步骤3，单高斯模型的排序及重要性判断：

首先，计算每一个单高斯模型的重要性值imp-num_i：

式(7)中，为单高斯模型的标准差。

然后将各个单高斯模型分别按重要性值大小排序，重要性值大的优先。若前N个单高斯模型的权重满足则仅将前N个单高斯模型作为背景模型，将其他模型删除，这里T为阈值，通常阈值T取值为0.7。

步骤4，使用自适应高斯混合模型进行前景目标提取：

对图像帧的每个像素进行检测，当输入像素与背景模型匹配时，判定该像素点为背景，否则属于前景；对图像中所有像素都进行检测，得到前景目标。

步骤二(S102),采用BP神经网络对获得的检测图像的各部分进行判别，排除非前景目标区域。

BP神经网络通常是指基于误差反向传播算法的多层前向神经网络，属于一种监督式学习算法，该算法的核心思想为：对于输入样本a_i(i＝1，2，…，n)，已知其对应的期望输出为：学习的目的是用网络的实际输出l_t(t＝1，2，…，v)与目标矢量之间的误差来修正权值和阈值，使实际输出与期望的输出尽可能地接近，即使网络输出层的误差平方和达到最小。

本发明中步骤二又可以分为训练BP神经网络以及采用训练好的BP神经网络对检测后图像的各个部分进行判别，排除非前景目标区域两个子步骤，下面将对其进行分别描述。

步骤1，训练BP神经网络。首先，初始化网络参数，用小的随机数给各权值和阈值赋初值，注意不能使网络中各初始权值和阈值完全相等，否则网络不可能从这样的结构运行到一种非等权值结构。然后读取网络参数和训练样本集，进行归一化处理。之后，对训练样本集中每一样本进行计算，该计算包括以下环节。

步骤s1021，前向计算隐层、输出层各神经元的输出。

如图2所示是BP神经网络的结构，BP神经网络的节点可以看做一个神经元，神经元可表示为一个多输入、单输出的非线性函数，通过函数关系式可以分别表示各层之间的连接关系。

输入层向隐含层的函数关系可表示为：

a_i(i＝1，2，…，n)是输入信号；w_ij是输入层的第i个节点和隐含层的第j个节点之间的权值；θ_j是隐含层的第j个节点的阈值。

BP神经网络可以选择多种函数为传递函数，如常用的Sigmoid函数或者Relu函数，本发明中隐含层和输出层的传输函数F1和F2均采用Sigmoid函数，其表达式如式(9)所示：

就sigmoid函数来说，经过传递函数后，隐含层输出b_j(j＝1，2，…，m)可表示为：

隐含层向输出层的函数关系可表示为：

输出层的输出结果l_t(t＝1，2，…，v)为：

其中，v_jt是隐含层的第j个节点和输出层的第t个节点之间的权值；γ_t是输出层的第t个节点之间的阈值；l_t是输出层第t个节点的输出结果。

步骤1022，计算期望输出与网络输出的误差。

定义均方误差函数：

步骤1023，反向计算修正网络权值和阈值。传统BP神经网络的权值、阈值的变化可用如下式(14)-(17)表示：

输出层权值和阈值变化量Δv_jt和Δγ_t分别为：

Δγ_t＝αd_jt (15)

其中，j的取值范围为1，2，...，m，t的取值范围为1，2，...，v。

隐含层权值和阈值变化量Δw_ij和Δθ_j分别为：

Δθ_j＝βe_ij (17)

其中，j的取值范围为1，2，...，m，t的取值范围为1，2，...，v，i的取值范围为1，2，...，n。

公式(14)-(17)中，E为误差均方值；α、β为学习率；Δv_jt、Δw_ij、Δγ_t、Δθ_j分别表示隐含层与输出层之间权值的变化量、输入层与隐含层之间权值的变化量、输出层阈值的变化量、隐含层阈值的变化量。

由于传统的BP神经网络在实现时，结果的好坏会受到阈值、权值等参数选择的影响，因此本发明引入了学习率自适应系数η。引入学习率自适应系数η后，学习率变为：

α′＝α·η (18)

β＇＝β·η (19)

若经过一次权值调整后总误差变大，则认为此次调整无效，此时取0＜η＜1的数；若总误差减小，则认为此次调整有效，取η＞1的数。

同时，考虑到在现有的算法中，存在震荡、收敛速度慢的问题，本发明在第i次计算权值和阈值的变化量时，将前一次(即第i-1次)的状态作为动量项考虑进来，并为其引入动量因子λ，动量项反映了以前积累的调整经验，对第i次的权值和阈值的调整有阻尼作用，这样当误差曲面出现很大的起伏时，可减弱震荡趋势，从而提高训练速度。修正后的权值和阈值的变化量为：

Δv_jt(i)＝α·ηd_jt·b_j+λΔv_jt(i-1) (20)

Δw_ij(i)＝β·ηe_ij·a_i+λΔw_ij(i-1) (21)

Δγ_t(i)＝α·ηd_jt+Δγ_t(i-1) (22)

Δθ_j(i)＝β·ηe_ij+Δθ_j(i-1) (23)

在获得权值和阈值的变化量后，对权值和阈值进行修正。权值的修正公式如下：

v_jt(N+1)＝v_jt(N)+Δv_jt (24)

w_ij(N+1)＝w_ij(N)+Δw_ij (25)

阈值的修正公式如下：

γ_t(N+1)＝γ_t(N)+Δγ_t (26)

θ_j(N+1)＝θ_j(N)+Δθ_j (27)

步骤2，采用训练好的BP神经网络对检测后图像的各个部分进行判别，排除非前景目标区域。

步骤三(S103)，采用中值滤波方法前景目标区域中的孤立噪声点进修正，获得最终的检测图像。该步骤具体在于获取保留的前景目标区域，对该区域中所有像素点进行中值滤波处理，去除其中孤立的噪声点，获得最终的运动目标。

为了测试算法的效果，本发明对动态背景视频Watersurface以及airport进行测试，在相同的硬件设备下，分别对两个视频使用本发明的算法、ViBe算法以及自适应高斯混合模型算法，获得目标检测结果。测试结果如图3、4所示。

从实验结果对比可以看出，本发明的方法检测结果明显优于自适应高斯混合模型，在动态背景图像中，能在较完善的检测出前景目标，同时去除噪声干扰，具有明显的抗干扰能力。ViBe算法同样具有较强的抗干扰能力，但由于动态背景的干扰，ViBe算法依然无法完全滤除噪声，且相对于本发明改进算法，丢失了部分前景目标。因此，本发明的检测效果更佳稳定，具有优秀的抗干扰能力，由于通过神经网络的学习，能有效的检测到目标区域。

以上实施方式仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种复杂背景场景中运动目标检测方法，其特征在于，所述方法包括以下步骤：

步骤一，使用自适应高斯混合模型对视频帧图像进行检测，获得包含前景目标和大量噪声的检测图像；

步骤二，训练BP神经网络，采用训练好的BP神经网络对步骤一获得的检测图像的各个部分进行判别，排除非前景目标区域；

步骤三，采用中值滤波方法对步骤二保留的前景目标区域中的孤立噪声点进行进一步修正，获得最终的检测图像。

2.如权利要求1所述的一种复杂背景场景中运动目标检测方法，其特征在于，所述步骤一具体包括以下子步骤：

步骤1，定义像素模型并进行模型初始化：

图像中每一个像素P(p)都使用多个单高斯模型描述：

其中K表示单高斯模型的个数；使用权重ω_i(x，y，t)、均值u_i(x，y，t)、方差共同确定一个单高斯模型，其中权重ω_i(x，y，t)满足：

模型初始化即分别对每一个单高斯模型进行初始化，初始化的方式为：

其中，I(x，y，0)表示视频序列第一帧图片在(x，y)处的像素值，set_init为常数；

步骤2，参数更新及前景目标检测：

step1：读入视频序列中第t+1帧图像后，若该图像中(x，y)处的像素值满足 即若新图像中(x，y)处的像素值与对应模型中的像素均值的距离小于标准差的λ倍，则该点像素存在与之匹配的单高斯模型，该点为背景，进入step2；如果不存在与之匹配的的单高斯模型，则认为该点为前景，进入step3；

step2：更新与该像素匹配的单高斯模型的权值、均值以及方差，之后进入step4；

更新后的权值为：

更新后的均值与方差为：

其中，dω表示权值的增量， 为常数；

step3：将重要性最小的单模型去除，增加一个新的单高斯模型，将新模型的权值设置为较小的数，将均值设置为该像素点的像素值，方差设置为较大的数；

step4：权值归一化，归一化后的权值为：

步骤3，单高斯模型的排序及重要性判断：

首先，计算每一个单高斯模型的重要性值imp_num_i：

其中，为单高斯模型的标准差；

将各个单高斯模型分别按重要性值大小排序，重要性值大的优先；

若前N个单高斯模型的权重满足则仅将前N个单高斯模型作为背景模型，将其他模型删除，阈值T＝0.7。

步骤4，使用自适应高斯混合模型进行前景目标提取：

对图像帧的每个像素进行检测，当输入像素与背景模型匹配时，判定该像素点为背景，否则属于前景；对图像中所有像素都进行检测，得到前景目标。

3.如权利要求1所述的一种复杂背景场景中运动目标检测方法，其特征在于，所述步骤二具体包括以下子步骤：

步骤1，训练BP神经网络，具体包括：

S1，初始化网络参数，用小的随机数给各权值和阈值赋初值；

S2，读取网络参数和运动目标的训练样本集a，并进行归一化处理；

S3，对训练样本集中每一样本a_i(i＝1，2，…，n)进行训练，获得训练好的BP神经网络：

步骤s31，选择一个样本进行训练：

先进行正向传播，计算该样本实际网络输出l_t与期望输出之间的误差：

输入层向隐含层的函数关系可表示为：

a_i(i＝1，2，…，n)是输入信号，w_ij是输入层的第i个节点和隐含层的第j个节点之间的权值，θ_j是隐含层的第j个节点的阈值；

隐含层和输出层的传输函数F1和F2均采用Sigmoid函数，其表达式为：

经过传递函数后，隐含层输出b_j(j＝1，2，…，m)可表示为：

隐含层向输出层的函数关系可表示为：

输出层的输出结果l_t(t＝1，2，…，v)为：

其中，v_jt是隐含层的第j个节点和输出层的第t个节点之间的权值；γ_t是输出层的第t个节点之间的阈值；l_t是输出层第t个节点的输出结果；

计算期望输出与实际网络输出l_t之间的均方误差E：

之后进行反向传播，对网络权值和阈值进行修正：

计算权值和阈值的变化量：

Δv_jt(i)＝α·ηd_jt·b_j+λΔv_jt(i-1)

Δw_ij(i)＝β·ηe_ij·a_i+λΔw_ij(i-1)

Δγ_t(i)＝α·ηd_jt+Δγ_t(i-1)

Δθ_j(i)＝β·ηe_ij+Δθ_j(i-1)

其中，Δv_jt、Δw_ij、Δγ_t、Δθ_j分别表示隐含层与输出层之间权值的变化量、输入层与隐含层之间权值的变化量、输出层阈值的变化量、隐含层阈值的变化量；α、β为学习率，η为学习率自适应系数；j的取值范围为1，2，...，m，t的取值范围为1，2，...，v，i的取值范围为1，2，...，n；

在获得权值和阈值的变化量后，使用该变化量对权值和阈值进行修正；

步骤s32，选择样本集中新的一个样本，使用修正后的权值和阈值进行训练，训练过程与步骤s31一致，直至样本集中所有样本都完成训练，获得训练好的BP神经网络；

步骤2，采用训练好的BP神经网络对步骤一处理获得的前景目标各个部分进行判别，排除其中的非前景目标区域。

4.如权利要求1所述的一种复杂背景场景中运动目标检测方法，其特征在于，所述步骤三具体包括：获取保留的前景目标区域，对该区域中所有像素点进行中值滤波处理，去除其中孤立的噪声点，获得最终的运动目标。

5.如权利要求3所述的一种复杂背景场景中运动目标检测方法，其特征在于，在步骤S3的训练过程中，若经过一次权值调整后均方误差E变大，则认为此次调整无效，此时取0＜η＜1的数，若总误差减小，则认为此次调整有效，取η＞1的数。