CN109978916B - 基于灰度图像特征匹配的Vibe运动目标检测方法 - Google Patents

Abstract

本发明提出了一种基于灰度图像特征匹配的Vibe运动目标检测方法，用于解决现有技术中运动目标检测的精度和召回率较低的问题。实现步骤为：(1)输入视频A；(2)将视频A的第一帧图像转换为灰度图G₀；(3)构建灰度图G₀的Vibe背景模型；(4)标注视频A第一帧图像后的每帧图像中的前景点区域；(5)基于图像特征匹配算法对T‑2R‑1帧灰度图进行鬼影区域判别；(6)对灰度图G₀的Vibe背景模型进行更新；(7)获取不包含鬼影区域的运动目标区域。本发明采用灰度图像特征匹配算法对前景区域判别并消除鬼影区域和噪声区域，实现对运动目标的高精度检测，可用于监控视频中的运动目标追踪和行为分析。

Description

基于灰度图像特征匹配的Vibe运动目标检测方法

技术领域

本发明属于图像处理技术领域，涉及一种Vibe运动目标检测方法，具体涉及一种基于灰度图像特征匹配的Vibe运动目标检测方法，可用于监控视频中的运动目标追踪和行为分析。

背景技术

运动目标检测是一种判断视频图像序列中每一帧有无对应的前景目标且能将对应的前景目标的特征提取出来并显示前景目标的技术。只有检测到了前景目标才能对其进行跟踪与后续的相关分析处理，因此目标检测是目标跟踪处理的基础。在智能视频监控系统中处于关键地位。运动目标检测方法的技术指标有精确度、召回率、误检率和鲁棒性等等，其中，视频背景中的噪声会严重影响到精确度，视频场景复杂性会影响到运动目标检测方法的召回率。

实时运动目标检测方法包括基于高斯背景建模GMM、基于帧间差分法、基于光流技术和基于Vibe的运动目标检测方法等。其中，对多场景的运动目标的检测平均精确度和易实施性的综合性能最好的是Vibe运动目标检测方法。

Vibe运动目标检测方法是一种基于像素为背景建模的前景检测算法，用于运动目标的检测。该算法仅依靠首帧图像的信息进行背景建模，并采用随机更新的策略建立更新模型，从而实现前景运动目标的检测。该算法用于运动目标检测时具有占用内存小、能够迅速建立背景模型和算法运动目标检测精确度高的特点。同时Vibe算法也存在一些问题，即检测过程中易出现“鬼影”的现象，严重影响了前景检测的准确性。

目前，工程上普遍采用对Vibe运动目标检测算法改进的方法进行运动目标的检测，例如2019年河北工业大学的常虹，王宝珠在其名为《基于朗斯基函数的Vibe目标检测算法》中，公开了一种基于朗斯基函数的运动目标检测方法，该方法通过朗斯基行列式判断两帧之间同一位置像素点的变化情况，较为准确地找到鬼影区域，将判断为鬼影区域的像素点通过种子填充算法进行填充，更新ViBe背景模型将鬼影像素点判为背景点，抑制鬼影区域对后续运动目标检测的影响，并通过中值滤波得到更为清晰的运动目标，该方法对鬼影现象有较好的消除作用，提高了运动目标检测的精确度。但该方法同时对背景中多个鬼影和噪声进行抑制时，会出现鬼影和噪声抑制不彻底的问题，导致检测的精确度相对较低，且因为对复杂背景环境的建模稳定性不足，导致算法在复杂背景环境下召回率较差。

发明内容

本发明目的在于克服上述现有技术存在的缺陷，提出了一种基于灰度图像特征匹配的Vibe运动目标检测方法，用于解决现有技术中主要存在的检测精确度和召回率较低的技术问题。

实现本发明目的采取的技术方案包括如下步骤：

(1)输入视频A：

输入通过固定摄像机拍摄的大小为M×N，帧数为T的视频A，M≥100，N≥100，T≤30；

(2)将视频A的第一帧图像转换为灰度图G₀：

读取视频A的第一帧图像，并将其转换为灰度图G₀；

(3)构建灰度图G₀的Vibe背景模型：

(3a)设灰度图G₀中任意一个像素点的位置坐标为(x,y)，x≤N，y≤M；

(3b)提取从灰度图G₀中位置坐标为(x,y)的每一个像素点邻近随机选取的一个像素点的灰度值，共提取k次，16≤k≤20，得到k个灰度值,并将该k个灰度值作为位置坐标为(x,y)的像素点的Vibe背景模型，所有像素点的Vibe背景模型构成灰度图G₀的Vibe背景模型；

(4)标注视频A第一帧图像后的每帧图像中的前景点区域：

(4a)将按照从前到后的顺序依次读取的视频A第一帧图像后的T-1帧图像转换为灰度图G，并获取每帧图像的背景点和前景点：

其中,f(xⁱ,yⁱ)为第i帧灰度图中位置坐标为(xⁱ,yⁱ)的像素点的灰度值，P为预先设置的阈值，20≤P≤40，

为灰度图G₀的Vibe背景模型中对应于位置坐标为

的像素点的第l个灰度值且位置坐标

的值与(xⁱ,yⁱ)相同，label＝0和label＝1分别为第i张灰度图中以(xⁱ,yⁱ)为位置坐标的像素点为背景点和前景点，,Comp(f(xⁱ,yⁱ),f^l(xⁱ,yⁱ))＝(f(xⁱ,yⁱ)-f^l(xⁱ,yⁱ))÷k；

(4b)标注T-1帧灰度图中的前景点区域：

使用大小为v×h的矩形标注框对每帧灰度图中所有前景点形成的区域进行标注，并将每帧灰度图中被标注的区域保存为集合，得到标注有前景点区域的T-1帧灰度图G^T-1和T-1个前景点区域集合S¹,S²,…,S^T-1，再将G^T-1划分为包括2R帧灰度图和T-2R-1帧灰度图的两段，50≤v≤500，50≤h≤500，2≤R≤5；

(5)基于图像特征匹配算法对T-2R-1帧灰度图进行鬼影区域判别：

基于图像特征匹配算法，对T-2R-1帧灰度图对应的前景点区域集合S^2R+1,…,Sⁱ,…,S^T-1中的每个前景点区域集合Sⁱ中的每个前景点区域s，分别与前景点区域集合S^i-R和S^i-2R中的所有区域进行匹配，若匹配到的区域超过两个，则s为Sⁱ中的鬼影区域，并将Sⁱ中的所有鬼影区域组成鬼影区域集合ssⁱ，S^2R+1,…,Sⁱ,…,S^T-1中所有鬼影区域集合表示为ss^{2R +1},…,ss^T-1；

(6)对灰度图G₀的Vibe背景模型进行更新：

通过每个鬼影区域集合ssⁱ中每个鬼影区域的每个像素点的灰度值，替换灰度图G₀的Vibe背景模型中对应位置像素点的k个灰度值，得到更新后的灰度图G₀的Vibe背景模型；

(7)获取不包含鬼影区域的运动目标区域：

使用更新后的灰度图G₀的Vibe背景模型，对灰度图G第2R+1帧后的每帧灰度图的前景点区域进行标注，得到T-2R-1帧标注有前景点区域的灰度图，每帧灰度图中标注的前景点区域即为不包含鬼影区域的运动目标区域。

本发明与现有技术相比，具有如下优点：

1.本发明对长度为T-1的灰度图序列分为长度分别为2R和T-2R-1两段，基于图像特征匹配算法，对T-2R-1帧灰度图对应的包含了鬼影区域和噪声区域的前景点区域集合S^{2R +1},…,Sⁱ,…,S^T-1中的每个前景点区域集合Sⁱ中的每个前景点区域进行鬼影区域判别，由此把T-2R-1帧灰度图中的鬼影、噪声区域和运动目标区分出来，解决了对多个鬼影和噪声抑制不彻底的问题，提高了对运动目标检测的精确度。

2.本发明使用区分出鬼影区域和噪声区域后的第二段T-2R-1帧灰度图中的所有鬼影区域和噪声区域更新Vibe背景模型，使得更新后的Vibe背景模型对复杂背景环境的建模更精细，解决了Vibe背景模型对复杂背景环境的建模稳定性差的问题，提高了算法对复杂背景环境的召回率。

附图说明

图1为本发明的实现流程图；

图2为本发明在低速路场景中鬼影目标和噪声目标的消除效果仿真图；

图3为本发明在低速路场景中运动目标的标记效果仿真图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明的实施步骤如下：

步骤1)输入视频A；

输入通过固定摄像机拍摄的大小为M×N，帧数为T＝1000的视频A，M＝544，N＝960；

步骤2)将视频A的第一帧图像转换为灰度图G₀：

读取视频A的第一帧图像，并将其转换为灰度图G₀；

步骤3)构建灰度图G₀的Vibe背景模型：

步骤3a)设灰度图G₀中任意一个像素点的位置坐标为(x,y)，x≤N，y≤M；

步骤3b)提取从灰度图G₀中位置坐标为(x,y)的每一个像素点邻近随机选取的一个像素点的灰度值，共提取k次，得到k个灰度值,并将该k个灰度值作为位置坐标为(x,y)的像素点的Vibe背景模型，所有像素点的Vibe背景模型构成灰度图G₀的Vibe背景模型，k＝16；

步骤4)标注视频A第一帧图像后的每帧图像中的前景点区域：

步骤4a)将按照从前到后的顺序依次读取的视频A第一帧图像后的T-1帧图像转换为灰度图G，并获取每帧图像的背景点和前景点：

其中,f(xⁱ,yⁱ)为第i帧灰度图中位置坐标为(xⁱ,yⁱ)的像素点的灰度值，

为灰度图G₀的Vibe背景模型中对应于位置坐标为

的像素点的第l个灰度值且位置坐标

的值与(xⁱ,yⁱ)相同,label＝0和label＝1分别为第i张灰度图中以(xⁱ,yⁱ)为位置坐标的像素点为背景点和前景点，P为预先设置的阈值，P＝20，Comp(f(xⁱ,yⁱ),f^l(xⁱ,yⁱ))＝(f(xⁱ,yⁱ)-f^l(xⁱ,yⁱ))÷k；

步骤4b)标注T-1帧灰度图中的前景点区域：

使用大小为v×h的矩形标注框对每帧灰度图中所有前景点形成的区域进行标注，要求使得v×h最小且不遗漏前景点，并将每帧灰度图中被标注的区域保存为集合，得到标注有前景点区域的T-1帧灰度图G^T-1和T-1个前景点区域集合S¹,S²,…,S^T-1，前景点区域集合S¹,S²,…,S^T-1中含有有大量的噪声区域和鬼影区域，再将G^T-1划分为包括2R帧灰度图和T-2R-1帧灰度图的两段，50≤v≤500，50≤h≤500，R＝5；

步骤5)基于图像特征匹配算法对T-2R-1帧灰度图进行鬼影区域判别：

步骤5a)对于T-2R-1帧灰度图对应的前景点区域集合S^2R+1,…,S^T-1中的第g个前景点区域集合S^g中的第h个前景点区域s^h，设区域s的尺寸为m×n，前景点区域集合S^g-R和S^g-2R的所有区域中的第j个区域的左上角位置为(b,c)的子区域s^R+j尺寸为l×z且j＝0，对前景点区域s采用灰度图像特征匹配算法匹配到的区域总数为sum且sum初始化为0，设定阈值Th＝0.916×m×n，，m≤500，n≤500，l≤500，z≤500，1≤b≤l-m-1，1≤c≤z-n-1，j＝0，h＝0：

步骤5b)定义s^h区域中坐标为(w,t)的像素点和s^R+j区域的ε绝对误差：

其中，s^R+j _b,c(w,t)为左上角坐标为(b,c)的s^R+j区域在坐标为(w,t)像素点的灰度值，s(w,t)为s区域在坐标为(w,t)像素点的灰度值，

步骤5c)前景点区域集合S^g中的第h个前景点区域s^h中随机选取不重复的坐标(w,t)，计算s^h区域中该坐标对应的像素点与s^R+j的ε绝对误差并累加，当ε绝对误差累加值超过了Th，则sum＝sum+1；

步骤5d)并判断s^R+j是否为前景点区域集合S^g-R和S^g-2R的最后一个前景点区域，若是则转到步骤5e)，sum的值即为前景点区域s^h采用灰度图像特征匹配算法匹配到的区域数目，否则令j＝j+1，转步骤5c)。

步骤5e)若sum≥2则认为s^h区域为鬼影区域并将s^h区域保存至鬼影区域集合ss^g，判断s^h区域是否为S^g中最后一个区域，若s^h区域是S^g中最后一个区域则判断S^g是否为S^{2R +1},…,S^T-1中的最后一个集合，若是则取得S^2R+1,…,S^T-1对应的鬼影区域集合ss^2R+1,…,ssⁱ,…,ss^T-1，否则令g＝g+1并转步骤5c)，若s^h区域不是S^g中最后一个区域则令h＝h+1并转步骤5c)；

步骤6)对灰度图G₀的Vibe背景模型进行更新：

因为噪声目标和鬼影目标的运动性质相似，所以步骤5)中得到的鬼影区域集合ss^2R+1,…,ssⁱ,…,ss^T-1中同时会包含噪声区域，通过每个鬼影区域集合ssⁱ中每个区域的每个像素点的灰度值，替换灰度图G₀的Vibe背景模型中对应位置像素点的k个灰度值，得到更新后的灰度图G₀的Vibe背景模型；

步骤7)获取不包含鬼影区域的运动目标区域：

更新后的背景模型中消除了视频中含有的大量噪声以及视频产生的鬼影，使用更新后的灰度图G₀的Vibe背景模型，对灰度图G第2R+1帧后的每帧灰度图的前景点区域进行标注，得到T-2R-1帧标注有前景点区域的灰度图，每帧灰度图中标注的前景点区域即为不包含鬼影区域的运动目标区域。

以下结合仿真实验，对本发明的技术效果作进一步说明：

1.仿真条件及内容：

本发明的仿真实验实在CPU为Intel Core i5-8400 CPU@2.80GHz，RAM 16G的硬件环境与Windows 10的软件环境下基于opencv3.4.1平台实现的。实验中使用的视频场景数据来源于路口固定摄像机拍摄视频制作的监控数据集，包含了路口固定摄像机拍摄的32个场景视频和运动目标的Ground truth图像。

仿真1：

对低速路场景中鬼影目标和噪声目标进行仿真，从监控数据集中选取低速路场景的视频，根据本发明中背景模型的构建方法分别构建Vibe背景模型，背景模型对应的二值化图参照图2。

仿真2：

对低速路场景中运动目标进行仿真，从监控数据集中选取低速路场景的视频，根据本发明中背景模型的构建方法分别构建Vibe背景模型，根据该模型对视频中的运动目标区域进行标注并计算目标检测的精确度和召回率，标注结果参照图3。

2.仿真结果分析：

参照图2：

图2(a)从左至右依次是本发明监控数据集低速路场景中第170帧、175帧、185帧图像中鬼影目标的二值化图。

图2(b)从上到下依次是本发明监控数据集低速路场景中第170帧、175帧、185帧图像中地面噪声目标的二值化图。

由图2(a)中第170帧、175帧、185帧对应的二值化图可以看出，在第170帧的每片区域中汽车和鬼影混合在一起且包含大量噪声，第175帧、185帧中与汽车混合的鬼影区域和汽车周围的噪声逐渐被消除，实现了对视频背景中多鬼影区域和噪声区域同时快速抑制的效果，由图2(b)图中第170帧、175帧、185帧对应的二值化图可以看出，图中地面上的噪声区域经过15帧基本被消除，实现了对视频背景产生的噪声区域快速抑制的效果。

参照图3：

图3(a)是监控数据集低速路场景中第185帧图像所对应的Ground truth灰度图，图3(b)是监控数据集低速路场景第185帧图像中运动目标标注后的灰度图。

对比图3(a)和图3(b)可以看出，使用黑色矩形框对数据集中标准标注Groundtruth和本发明对运动目标标注，两者标注区域基本一致，表明本发明对运动目标分类结果的区域一致性较好，运动前景选框与前景边缘轮廓清晰。

由仿真2得到的目标检测的精确度和召回率与现有技术的参数对照表如下：

由精确度和召回率与现有技术的参数对照表可以看出，本发明对比现有技术，精度提高了3个百分点，召回率提高了2个百分点，综合评价提高了2个百分点。

综上所述，本发明提出的基于灰度图像特征匹配的Vibe运动目标检测方法，充分利用视频中Vibe算法鬼影区域和噪声区域运动特性，主要解决了现有技术对背景中的多个鬼影和噪声进行抑制时，出现的鬼影和噪声抑制不彻底导致检测平均精确度和召回率相对较低问题，改善对运动目标检测的效果，有效提高静止背景下对运动目标的检测精确度。

Claims (2)

1.一种基于灰度图像特征匹配的Vibe运动目标检测方法，其特征在于：包括以下步骤：

(1)输入视频A；

输入通过固定摄像机拍摄的大小为M×N，帧数为T的视频A，M≥100，N≥100，T≤30；

(2)将视频A的第一帧图像转换为灰度图G₀：

读取视频A的第一帧图像，并将其转换为灰度图G₀；

(3)构建灰度图G₀的Vibe背景模型：

(3a)设灰度图G₀中任意一个像素点的位置坐标为(x,y)，x≤M，y≤N；

(3b)提取从灰度图G₀中位置坐标为(x,y)的每一个像素点邻近随机选取的一个像素点的灰度值，共提取k次，16≤k≤20，得到k个灰度值,并将该k个灰度值作为位置坐标为(x,y)的像素点的Vibe背景模型，所有像素点的Vibe背景模型构成灰度图G₀的Vibe背景模型；

(4)标注视频A第一帧图像后的每帧图像中的前景点区域：

(4a)将按照从前到后的顺序依次读取的视频A第一帧图像后的T-1帧图像转换为灰度图G，并获取每帧图像的背景点和前景点：

其中,f(xⁱ,yⁱ)为第i帧灰度图中位置坐标为(xⁱ,yⁱ)的像素点的灰度值，

为灰度图G₀的Vibe背景模型中对应于位置坐标为

的像素点的第l个灰度值且位置坐标

的值与(xⁱ,yⁱ)相同,Comp(f(xⁱ,yⁱ),f^l(xⁱ,yⁱ))＝(f(xⁱ,yⁱ)-f^l(xⁱ,yⁱ))÷k，label＝0和label＝1分别为第i张灰度图中以(xⁱ,yⁱ)为位置坐标的像素点为背景点和前景点，P为预先设置的阈值，20≤P≤40；

(4b)标注T-1帧灰度图中的前景点区域：

使用大小为v×h的矩形标注框对每帧灰度图中所有前景点形成的区域进行标注，并将每帧灰度图中被标注的区域保存为集合，得到标注有前景点区域的T-1帧灰度图G^T-1和T-1个前景点区域集合S¹,S²,…,S^T-1，再将G^T-1划分为包括2R帧灰度图和T-2R-1帧灰度图的两段，50≤v≤500，50≤h≤500，2≤R≤5；

(5)基于图像特征匹配算法对T-2R-1帧灰度图进行鬼影区域判别：

基于图像特征匹配算法，对T-2R-1帧灰度图对应的前景点区域集合S^2R+1,…,Sⁱ,…,S^T-1中的每个前景点区域集合Sⁱ中的每个前景点区域s，分别与前景点区域集合S^i-R和S^i-2R中的所有区域进行匹配，若匹配到的区域超过两个，则s为Sⁱ中的鬼影区域，并将Sⁱ中的所有鬼影区域组成鬼影区域集合ssⁱ，S^2R+1,…,Sⁱ,…,S^T-1中所有鬼影区域集合表示为ss^2R+1,…,ss^T-1；

(6)对灰度图G₀的Vibe背景模型进行更新：

通过每个鬼影区域集合ssⁱ中每个鬼影区域的每个像素点的灰度值，替换灰度图G₀的Vibe背景模型中对应位置像素点的k个灰度值，得到更新后的灰度图G₀的Vibe背景模型；

(7)获取不包含鬼影区域的运动目标区域：

使用更新后的灰度图G₀的Vibe背景模型，对灰度图G第2R+1帧后的每帧灰度图的前景点区域进行标注，得到T-2R-1帧标注有前景点区域的灰度图，每帧灰度图中标注的前景点区域即为不包含鬼影区域的运动目标区域。

2.根据权利要求1所述的基于灰度图像特征匹配的Vibe运动目标检测方法，其特征在于：步骤(5)中所述的每个前景点区域s，其分别与前景点区域集合S^i-R和S^i-2R中的所有区域进行匹配，采用灰度图像特征匹配算法，实现步骤为：

(5a)对于前景点区域s，设区域s的尺寸为m×n，前景点区域集合S^i-R和S^i-2R的所有区域中的第j个区域的左上角位置为(b,c)的子区域s^R+j尺寸为l×z且j＝0，对前景点区域s采用灰度图像特征匹配算法匹配到的区域总数为sum且sum初始化为0，设定阈值Th，0.618×m×n≤Th≤m×n，m≤500，n≤500，l≤500，z≤500，1≤b≤l-m-1，1≤c≤z-n-1：

(5b)定义s区域中坐标为(w,t)的像素点和s^R+j区域的ε绝对误差：

其中，s^R+j _b,c(w,t)为左上角坐标为(b,c)的s^R+j区域在坐标为(w,t)像素点的灰度值，s(w,t)为s区域在坐标为(w,t)像素点的灰度值，

(5c)在s区域中随机选取不重复的坐标(w,t)，计算s区域中该坐标对应的像素点与s^R+j的ε绝对误差并累加，当ε绝对误差累加值超过了Th，则sum＝sum+1；

(5d)并判断s^R+j是否为前景点区域集合S^i-R和S^i-2R的最后一个前景点区域，若是则算法停止，sum的值即为前景点区域s采用灰度图像特征匹配算法匹配到的区域数目，否则令j＝j+1，转步骤(5c)。

Images