CN108564597A - 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 - Google Patents

Abstract

本发明公开了一种融合高斯混合模型和H‑S光流法的视频前景目标提取方法，包括以下步骤：将视频按照帧分割成一系列的原始图像，并进行灰度化等图像预处理；对每一帧图像分别用高斯混合模型和H‑S光流法进行处理，输出对应的第一前景掩模图像和第二前景掩模图像；对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；对第三前景掩模图像进行中值滤波除去噪声后，然后进行数学形态学图像处理，输出第四前景掩模图像；将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。本发明融合高斯混合模型和H‑S光流法，提高了动态背景下视频前景目标提取的效果，应用前景广阔。

Description

一种融合高斯混合模型和H-S光流法的视频前景目标提取 方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，具体涉及一种融合高斯混合模型和H-S光流法的视频前景目标提取方法。

背景技术

视频前景目标的提取是计算机视觉领域的一项关键问题，在视频监控，运动物体捕捉等重要领域具有重要应用价值。传统的视频前景目标提取方法主要是针对静态背景情况，在动态背景的情况下，受到视频中动态纹理的干扰，不能取得良好的提取效果。

前景目标提取主要将视频中每一帧图像运动的目标物体从原始图像中分离出来。对于目标物体区域，将像素点设为255；背景区域，将像素点设为0。

前景目标提取根据视频背景的状态的不同，分为静态背景前景目标提取和动态背景前景目标提取两种。目前，静态背景下的前景目标提取技术已经相当成熟，已经有许多算法被研究出来，能够很好的提取出静态背景下的前景目标。然而，对于动态背景的情况，目前存在的许多算法都不足以较好的提取出视频中的前景目标。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，既可以在静态背景情况下又可以在动态背景下良好地提取出视频中的前景目标。

本发明的目的可以通过采取如下技术方案达到：

一种融合混合高斯模型和H-S光流法的视频前景目标的提取方法，所述的视频前景目标的提取方法包括以下步骤：

S1、将视频按照帧分割成一系列的原始图像，并且进行灰度化等图像预处理；

S2、对每一帧图像分别用高斯混合模型和H-S光流法进行处理，分别输出对应的第一前景掩模图像和第二前景掩模图像；

S3、对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；

S4、对小波融合后的第三前景掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，输出第四前景掩模图像；

S5、将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。

进一步地，所述的步骤S1包括以下步骤：

S101、将视频图像从RGB色彩空间当中转换到亮度值空间，也就是获取图像的灰度图；

S102、每一帧图像的信息，就包含在它的灰度值图像里面，为此建立一个统一的坐标系，用I(x,y,i)表示视频图像序列中对应的第i帧灰度图像(x,y)位置处的像素值。x与y分别代表一帧图像横纵轴上的坐标，i代表图像中的第i帧。

进一步地，所述的步骤S2包括以下步骤：

S201、进行基于高斯混合模型的视频前景目标提取，预先定义几个高斯模型并初始化，求出相对应参数；

对每帧图像的每个像素用多个单模型描述：

P(p)＝{[w_n(x,y,i),u_n(x,y,i),σ_n(x,y,i)²]},n＝1,2,......,K

其中，K表示高斯混合模型中包含单模型的个数，w_n(x,y,i)表示每个模型在混合模型中的权重，u_n(x,y,i)、σ_n ²(x,y,i)分别是第n个单高斯模型中某处像素的均值和方差；

S202、对每一帧图像，如果图像在(x,_y)处的像素值对于n＝1,2,......,K满足|I(x,y,i)-u_n(x,y,i)|≤λ·σ_n(x,y,i)，λ是一个常数，即新像素与该单模型匹配，如果，存在与新像素匹配的单模型，判断该点为背景，并进入步骤S203；不存在与新像素匹配的模型，判断该点为前景，并进入步骤S204；

S203、修正与新像素匹配的单模型的权值，权值增量为dw＝α·(1-w_m(x,y,i-1))，新的权值用以下迭代关系进行修正：

w_m(x,y,i)＝w_m(x,y,i-1)+dw＝w_m(x,y,i-1)+α·(1-w_m(x,y,i-1))；

其中α为参数估计的学习速率；

S204、除去当前各个单模型中重要性最小的单高斯模型，而后增加一个新的单模型，新的单高斯模型的权重设定为一个比较小的值，均值为新像素值，方差设定为一个较大的值；

S205、完成S203或者S204后，进行修正后的权值归一化处理；

S206、判断每一帧图像中每个像素点属于背景还是前景，像素点为背景点时将该点像素值设定为0，像素点为前景目标点时将该点像素值设定为255，最后，输出高斯混合模型的第一前景掩模图像；

S207、进行基于H-S光流法的视频前景目标提取，计算每帧图片的光流；

根据光流基本方程：

式中，表示梯度方向；U＝[u,v]^T表示光流；其中，u,v分别代表每帧图片灰度值随着x,y的变化率；分别代表参考点的灰度值随着x,y,i的变化率；

与H-S平滑性约束条件，即在给定的领域内其速度分量平方和积分最小：

S＝∫∫(u_x ²+u_y ²+v_x ²+v_y ²)dxdy

式中u_x,u_y,v_x,v_y分别代表u,v在x,y方向上的分量；

计算出每帧图片灰度值随着x,y的变化率u,v，即可得到每帧图片的光流U＝[u,v]^T；

S208、针对光流场幅值计算光流幅度阈值，进行光流阈值分割，得到每帧图向的二值图；

S209、判断每一帧图像中的背景区和前景区，光流场中光流幅值较大的像素区域则是前景目标所在的位置，设定为前景目标区域，其前景目标掩模图像的相应区域的像素值设定为255，从而得到H-S光流法输出的第二前景掩模图像。

进一步地，所述步骤S3包括以下步骤：

S301、分别将第一前景掩模图像和第二前景掩模图像进行小波融合，具体如下：

小波变换将第一前景掩模图像和第二前景掩模图像分解到高频和低频两个频带，第一前景掩模图像和第二前景掩模图像分别分解成4个分辨率为第一前景掩模图像和第二前景掩模图像1/4尺寸的自带区域LL、HL、LH、HH，各个区域分别包含了相对应频带的小波系数：

1)LL区域是图像分解的低频区域，保持了图像变换前的信息；

2)HL区域是图像分解的高频区域，保持了图像水平边缘信息；

3)LH区域是图像分解的高频区域，保持了图像垂直边缘信息；

4)HH区域是图像分解的高频区域，保持了图像对角线的高频信息；

以上各频带区域通过使用低通滤波器和高通滤波器对图像进行卷积滤波后再进行二下抽样得到。

对混合高斯模型前景目标掩模图像和H-S光流法前景目标掩模图像分别进行3层小波变换，建立图像的小波金字塔分解，获得相应的低频分量：

S302、对第一前景掩模图像和第二前景掩模图像进行3层小波变换后得到的各个分解层进行融合处理，其中高频域内的融合小波重要系数选用图像邻域平均绝对值较大的系数，低频域内的融合小波近似系数选用对多源图像的低频系数进行加权平均；

S303、利用小波重要系数和小波近似系数对融合图像进行小波逆变换，生成重构图像，输出为第三前景掩模图像。

进一步地，所述的步骤S4包括以下步骤：

S401、让第三前景掩模图像通过中值滤波器，将图像上每一像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值，滤除图像噪声；

S402、对中值滤波后的图像进行数学形态学图像处理,将第三前景掩模图像中的孤立噪声除去和填充内部孔洞，输出第四前景掩模图像；数学形态学图像处理方法主要包括：腐蚀、膨胀、开运算、闭运算。

本发明相对于现有技术具有如下的优点及效果：

本发明利用视频图像分别建立高斯混合模型和H-S光流法模型，再利用图像小波融合技术将两种模型进行融合，两个模型的优点和缺点互补，有效地检验并提取出了动态背景下视频的目标物体。

附图说明

图1是本发明中公开的融合高斯混合模型和H-S光流法的视频前景目标提取方法的原理框图；

图2是本发明中图像小波变换分解后的频带区域图；

图3是本发明中图像进行3次小波变换分解后的频带区域图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如附图1所示，本实施例公开了一种融合混合高斯模型和H-S光流法的视频前景目标的提取方法，包括以下步骤：

R1、将视频按照帧分割成一系列的图像，并且进行灰度化等图像预处理。具体的步骤如下：

首先，将视频图像从RGB色彩空间当中转换到亮度值空间，也就是获取图像的灰度图；

然后，建立一个统一的坐标系，用I(x,y,i)表示视频图像序列中对应的第i帧灰度图像(x,y)位置处的像素值。

R2、对每一帧图像分别用混合高斯模型和H-S光流法进行处理，分别输出对应的前景掩模图像。当然本领域普通人员还能够采用别的基本前景目标提取方法和模型等这些修改或变化包含在本发明的包含范围之内。

R3、对不同方法获得的两幅前景掩模图像进行基于小波变换的图像融合处理，具体的步骤如下：

首先，分别将混合高斯模型和H-S光流法得到的掩模图像的低频分量提取出来，具体如下：

小波变换将图像分解到高频和低频两个频带，原始图像分解成4个分辨率为原始图像1/4尺寸的自带区域LL、HL、LH、HH，各个区域分别包含了相对应频带的小波系数：

1)LL区域是图像分解的低频区域，保持了图像变换前的信息；

2)HL区域是图像分解的高频区域，保持了图像水平边缘信息；

3)LH区域是图像分解的高频区域，保持了图像垂直边缘信息；

4)HH区域是图像分解的高频区域，保持了图像对角线的高频信息；

以上各频带区域通过使用低通滤波器和高通滤波器对图像进行卷积滤波后再进行二下抽样得到。

对混合高斯模型前景目标掩模图像和H-S光流法前景目标掩模图像分别进行3层小波变换，建立图像的小波金字塔分解，获得相应的低频分量；

然后，对两个图像进行3层小波变换后得到的各个分解层进行融合处理；

最后，利用小波重要系数和小波近似系数对融合图像进行小波逆变换，生成重构图像。

R4、对小波融合后的掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，得到前景目标提取结果。具体的步骤如下：

首先，让重构图像信号通过中值滤波器，将图像上每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，滤除图像噪声；

然后，对滤波后的重构图像进行数学形态学图像处理,前景掩模图像为二值图像，其像素点的取值只有0(黑色)和255(白色)两种状态，其中白色像素对应前景目标点。进行中值滤波之后，总还是会存在噪声点和孔洞，可以通过数学形态学图像处理的方法将前景掩模图像中的孤立噪声除去和填充内部孔洞。

附图3给出了图像进行3次小波变换分解后各频带的区域分布，其中LL ₃区域是图像分解的低频区域，保持了图像变换前的信息，其他区域是图像分解的高频区域，保持了图像的边缘和区域边界等信息。对两种不同方法得到的各个分解层，采用不同的融合规则进行融合，再进行小波逆变换及数学形态学图像处理可以得到令人满意的前景提取效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的视频前景目标提取方法包括以下步骤：

S1、将视频按照帧分割成一系列的原始图像，并且进行灰度化等图像预处理；

S2、对每一帧图像分别用高斯混合模型和H-S光流法进行处理，分别输出对应的第一前景掩模图像和第二前景掩模图像；

S3、对第一前景掩模图像和第二前景掩模图像进行基于小波变换的图像融合处理，输出第三前景掩模图像；

S4、对小波融合后的第三前景掩模图像进行中值滤波除去噪声后，再对图像进行数学形态学图像处理，输出第四前景掩模图像；

S5、将第四前景掩模图像和原始图像进行与运算，提取出前景目标图像，输出前景目标视频。

2.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S1包括以下步骤：

S101、将视频图像从RGB色彩空间当中转换到亮度值空间，获取图像的灰度图；

S102、为每一帧图像的信息建立一个统一的坐标系，用I(x,y,i)表示视频图像序列中对应的第i帧灰度图像(x,y)位置处的像素值，x与y分别代表一帧图像横纵轴上的坐标，i代表图像中的第i帧。

3.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S2包括以下步骤：

S201、进行基于高斯混合模型的视频前景目标提取，预先定义高斯模型并初始化，求出相对应参数；

对每帧图像的每个像素用多个单模型描述：

P(p)＝{[w_n(x,y,i),u_n(x,y,i),σ_n(x,y,i)²]},n＝1,2,......,K

其中，K表示高斯混合模型中包含单模型的个数，w_n(x,y,i)表示每个模型在混合模型中的权重，u_n(x,y,i)、σ_n ²(x,y,i)分别是第n个单高斯模型中某处像素的均值和方差；

S202、对每一帧图像，如果图像在(x,y)处的像素值对于n＝1,2,……,K满足|I(x,y,i)-u_n(x,y,i)|≤λ·σ_n(x,y,i)，λ是一个常数，即新像素与该单模型匹配，如果存在与新像素匹配的单模型，判断该点为背景，并进入步骤S203，若不存在与新像素匹配的模型，判断该点为前景，并进入步骤S204；

S203、修正与新像素匹配的单模型的权值，权值增量为dw＝α·(1-w_m(x,y,i-1))，新的权值用以下迭代关系进行修正：

w_m(x,y,i)＝w_m(x,y,i-1)+dw＝w_m(x,y,i-1)+α·(1-w_m(x,y,i-1))，

其中α为参数估计的学习速率；

S204、除去当前各个单模型中重要性最小的单高斯模型，而后增加一个新的单模型，新的单高斯模型的权重设定为0.005，均值为新像素值，方差设定为20；

S205、完成步骤S203或者步骤S204之后，进行修正后的权值归一化处理；

S206、判断每一帧图像中每个像素点属于背景还是前景，像素点为背景点时将该点像素值设定为0，像素点为前景目标点时将该点像素值设定为255，最后，输出高斯混合模型的第一前景掩模图像；

S207、进行基于H-S光流法的视频前景目标提取，计算每帧图片的光流；

根据光流基本方程：

式中，表示梯度方向；U＝[u,v]^T表示光流；其中，u,v分别代表每帧图片灰度值随着x,y的变化率；分别代表参考点的灰度值随着x,y,i的变化率；

与H-S平滑性约束条件，即在给定的领域内其速度分量平方和积分最小：

S＝∫∫(u_x ²+u_y ²+v_x ²+v_y ²)dxdy

式中u_x,u_y,v_x,v_y分别代表u,v在x,y方向上的分量；

计算出每帧图片灰度值随着x,y的变化率u,v，即可得到每帧图片的光流U＝[u,v]^T；

S208、针对光流场幅值计算光流幅度阈值，进行光流阈值分割，得到每帧图向的二值图；

S209、判断每一帧图像中的背景区和前景区，光流场中光流幅值较大的像素区域则是前景目标所在的位置，设定为前景目标区域，其前景目标掩模图像的相应区域的像素值设定为255，从而得到H-S光流法输出的第二前景掩模图像。

4.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S3包括以下步骤：

S301、分别将第一前景掩模图像和第二前景掩模图像进行小波融合，具体如下：

小波变换将第一前景掩模图像和第二前景掩模图像分解到高频和低频两个频带，第一前景掩模图像和第二前景掩模图像分别分解成4个分辨率为第一前景掩模图像和第二前景掩模图像1/4尺寸的自带区域LL、HL、LH、HH，各个区域分别包含了相对应频带的小波系数：

1)LL区域是图像分解的低频区域，保持图像变换前的信息；

2)HL区域是图像分解的高频区域，保持图像水平边缘信息；

3)LH区域是图像分解的高频区域，保持图像垂直边缘信息；

4)HH区域是图像分解的高频区域，保持图像对角线的高频信息；

以上各频带区域通过使用低通滤波器和高通滤波器对图像进行卷积滤波后再进行二下抽样得到；

对混合高斯模型前景目标掩模图像和H-S光流法前景目标掩模图像分别进行3层小波变换，建立图像的小波金字塔分解，获得相应的低频分量；

S302、对第一前景掩模图像和第二前景掩模图像进行3层小波变换后得到的各个分解层进行融合处理，其中高频域内的融合小波重要系数选用图像邻域平均绝对值较大的系数，低频域内的融合小波近似系数选用对多源图像的低频系数进行加权平均；

S303、利用小波重要系数和小波近似系数对融合图像进行小波逆变换，生成重构图像，输出为第三前景掩模图像。

5.根据权利要求1所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的步骤S4包括以下步骤：

S401、让第三前景掩模图像通过中值滤波器，将图像上每一像素点的灰度值设置为该点邻域窗口内的所有像素点灰度值的中值，滤除图像噪声；

S402、对中值滤波后的图像进行数学形态学图像处理,将第三前景掩模图像中的孤立噪声除去和填充内部孔洞，输出第四前景掩模图像。

6.根据权利要求5所述的一种融合高斯混合模型和H-S光流法的视频前景目标提取方法，其特征在于，所述的数学形态学图像处理方法包括：腐蚀、膨胀、开运算和闭运算。