CN108876810A - 视频摘要中利用图割算法进行运动目标检测的方法 - Google Patents

Abstract

本发明公开了一种视频摘要中利用图割算法进行运动目标检测的方法，基于图割理论的运动目标检测算法通过帧差和背景差分的结果来确定图割算法中掩膜的像素值并对目标做初步检测，确定原始图像中的运动目标位置，然后将第一次检测出的运动目标作为图割算法的输入以降低运算时间，保证算法的实时性，最后检测图割算法的输出图像中的连通域将多个运动目标分开。

Description

视频摘要中利用图割算法进行运动目标检测的方法

技术领域

本发明涉及一种视频摘要中利用图割算法进行运动目标检测的方法，属于视频中运动目标检测、视频摘要和浓缩领域。

背景技术

随着全程数字化、网络化的视频监控系统的发展，大规模的高清监控设备导致监控视频数据迅速膨胀，用户在海量视频中定位自己需要的视频文件的难度不断增加，不仅给视频的存储和归档带来巨大的压力，也消耗了查询人员的大量时间和精力。智能视频监控利用提供视频摘要技术提供更具实用性和人性化的监控系统，通过对原始视频进行浓缩，实现快速浏览、锁定检索对象，能够满足公安、网监、刑侦等的各种需求及应用。

视频摘要技术是对视频进行处理，将长视频压缩成较短的视频，或者抽取其中比较重要的视频帧，这些提取出来的短视频或者视频帧，包含了视频的主要内容。这样，人们通过观看这些提取出来的短视频或者图片来快速了解视频主要内容，此外，简化、缩短原视频后形成的视频摘要还可以为建立视频检索系统做准备。

视频摘要主要分为以下几个步骤：目标检测、目标跟踪和摘要视频生成。其中目标检测是视频摘要的基础。在准确检测出目标的情况下，才能提取有效特征，将不同目标提取至同一个画面中。

运动目标检测是通过减除视频中时间和空间上的冗余信息，有效地提取出发生空间位置变化的物体的过程。运动目标检测主要方法有帧差法、光流法和背景差分法等，光流法主要用于动态背景下的运动目标检测且耗时较长。由于监控视频场景固定，通常选择帧差法或背景差分法。帧间差分法对包含运动目标的场景有着较强的鲁棒性，但不能完全检测出运动物体的所有像素点，常常出现空洞的现象。背景差分法先通过统计学理论建立一个背景模型，与当前帧比较，可以对运动目标与背景的像素点进行分类，但不能适应背景的动态变化，通常会扩大运动目标的范围，无法精确定位目标。

现有的目标检测算法存在很多不足：(1)目标检测的准确率和检出率无法到达完美，检测效率和准确率之间的矛盾难以解决；(2)检测出的目标经常会出现空洞和拖影现象，需要图像融合来消除，当图像内有大量运动目标时，目标间距离较近，融合时可能将多个目标融合为一个目标，导致标注运动目标的矩形框包含了多个不同目标；(3)利用深度学习算法可以较准确地检测出运动目标，但对硬件要求较高，难以满足实时处理的要求。

目标检测一般有两种方法：运动目标检测和基于目标识别的检测。基于目标识别的检测准确率较高，但出现无法识别的目标是，会发生漏检的现象，此外其检测效率较低，对硬件设备要求较高，难以满足实时性的要求。

运动目标检测方法速度较快，可以检测出绝大部分的运动目标，但鲁棒性较差。帧差法和背景差分法运算速度快，不易受到光照等的干扰，可以检测出视频中几乎所有运动目标。但检测出的目标容易出现空洞和重影，无法确定目标准确范围，此时就需要对图像进行融合，来确定目标区域。融合虽然能解决空洞的干扰，可能将多个目标融合为一个目标，严重时会将所有相邻图像划分至同一个目标，导致后续目标跟踪过程无法顺利进行。如图1所示，融合后将多个目标划分为一个目标。

发明内容

虽然目标检测经过了多年发展，提出了大量重大成果，但仍然存在不足，难以适应复杂多变的情况。为了提高检测准确率和检出率，本发明提供一种视频摘要中利用图割算法进行运动目标检测的方法，将帧差法和背景差分法相结合，通过分析其检测结果，利用图割方法对运动目标进行二次检测，实现运动目标精确定位并解决目标的错误融合问题。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种视频摘要中利用图割算法进行运动目标检测的方法，具体步骤如下：

步骤1，对原始图像序列V＝{f₀,f₁,…,f_n}进行降采样处理，得到降采样后的图像序列D＝{d₀,d₁,…,d_n}，其中，f_i表示V中的第i帧图像，d_i表示D中的第i帧图像，n表示图像序列的帧数，i＝1,2,…,n；

步骤2，对降采样后的图像序列，采用背景差分法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤3，对降采样后的图像序列，采用帧差法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤4，对比步骤2和步骤3的检测结果，取其中较大者并转换至V的尺度下；

步骤5，在f_i中分别提取出步骤4中较大运动目标区域内的图像l_i，作为图割算法的输入图像；

步骤6，创建掩膜图像M_i，其初始像素值均为0、尺度与D相同；

步骤7，设置置信度T：将步骤3中帧差法得到的差分图像D_ti中像素值大于T的点，则将掩膜图像中的对应点像素值设为1，表示该点确定为前景点；将步骤3中帧差法得到的差分图像D_ti中像素值小于T的点且其在步骤2中背景差分法得到的背景差分图像中的对应点像素值为0，则将掩膜图像中的对应点像素值设为0，表示该点确定为背景点；剩余掩膜图像中的点的像素值设为2，表示该点为前景点或背景点；从而得到新的掩膜图像M_i'；

步骤8，将M_i'转换至V的尺度下，并在其中提取出步骤4中较大运动目标区域内的图像M″_i，作为图割算法的掩膜图像；

步骤9，基于l_i和M″_i，采用图割算法对l_i进行运动目标检测；

步骤10，根据步骤9的检测结果，在V中确定运动目标的位置，完成运动目标的检测。

作为本发明的进一步技术方案，步骤2的背景差分法中采用自适应的方法，对图像序列进行加权平均，更新背景模型。

作为本发明的进一步技术方案，若步骤9中图割算法的检测结果中包括多个连通域，则设定连通域阈值，删除小于连通域阈值的连通域。

作为本发明的进一步技术方案，步骤2的背景差分法中采用形态学滤波方法进行去噪。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明将图割理论与传统的运动目标检测方法相结合，实现相邻目标的精确分割与定位。利用背景建模法提取运动目标的大致范围，在给定范围内进行二次分割，有效提高了检测准确率，通过利用背景差分结果为图割算法指定前景和背景区域，解决了图割算法需要人工干预的问题。实验表明，基于图割算法的二次分割能有效提高运动目标检测的准确率。

附图说明

图1是融合示意图；

图2是本发明算法与背景差分算法的结果对比示意图，其中，(a)为背景差分算法的结果，(b)为本发明算法的结果；

图3是连通域融合最坏情况示意图，其中，(a)为背景差分算法的结果，(b)为本发明算法的结果；

图4是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

虽然目标检测经过了多年发展，提出了大量重大成果，但仍然存在不足，难以适应复杂多变的情况。为了提高检测准确率和检出率，我们将帧差法和背景差分法相结合，通过分析其检测结果，利用图割方法对运动目标进行二次检测，实现运动目标精确定位并解决目标的错误融合问题。

本发明引入的图割算法是一种流行的能量优化算法，用来将一幅图像分为前景和背景两个不相交的部分。此方法把图像分割问题与图的最小割问题相关联，将图像映射为赋权无向图，把像素视作节点，然后在此基础上增加了两个顶点，通常称为终端顶尖。其他所有的顶点都必须和这连个顶点相连形成集合中的一部分。利用Max-flow/Min-cut方法即可获得图的最小割，将图的顶点划分为两个不相交的子集，对应于图像的前景像素集和背景像素集，相当于实现了图像分割。通常，此方法需要指定前景和背景区域，否则分割效果较差，难以分割图像中的多个前景目标。

基于图割理论的运动目标检测算法通过帧差和背景差分的结果来确定图割算法中掩膜的像素值并对目标做初步检测，确定原始图像中的运动目标位置，然后将第一次检测出的运动目标作为图割算法的输入以降低运算时间，保证算法的实时性，最后检测图割算法的输出图像中的连通域数量将多个运动目标分开。

(1)运动目标初步估计

首先利用帧差法和背景差分法检测运动目标，结合两者的结果将检测到的目标用矩形框标注出来。

帧差法的主要思路是：通过视频图像序列中相邻两帧做差分运算来获得运动目标轮廓，对于相邻帧来说，当没有运动目标时，图像中对应像素点应该是基本相同的，当有运动目标出现时，对应像素点像素值会有较大变化，其计算公式如下：

D_k(x,y)＝|I_k(x,y)-I_k-1(x,y)|

背景差分法同帧差法基本类似，只是帧图像的对比图像有所不同。背景差分法是通过将当前帧和建立好的背景模型进行对比来检测运动区域。其主要分为三个步骤：首先，利用视频前几帧建立背景模型；然后对每一帧图像与背景进行比较，找出潜在的运动目标区域；最后，在每一帧图像比较结束后，更新背景模型，以加入当前帧对背景模型的影响。背景模型的建立，可以采用自适应的方法，对图像序列加权平均，生成一个近似背景。

由于帧差法和背景差分法检测到的运动目标不完整，可能会将同一个目标错误检测为多个小目标。因此，需要检测多个小连通域的位置，根据其位置关系，设定阈值L，当相邻连通域距离小于L时，可认为相邻连通域表示的是同一个目标，将其融合为一个更大的连通域，当遍历完所有连通域后，删除较小的连通域，避免噪音干扰。融合可以解决检测中的空洞等问题，但会导致将多个不同目标融合在一起，当图像中有大量运动目标且距离较近时，会将连通域扩大至整个图像，导致后续目标跟踪无法实现。

(2)运动目标分割及精确检测

图割算法需要指定前景和背景区域，为了避免人工指定，我们利用帧差法和背景差分法的结果来指定掩膜的前景、背景和可能的背景区域。此外，图割算法计算量较大，当将原始图像作为输入时，耗时较长，无法实现算法实时性的要求。因此，我们分割原始图像，仅将需要进行二次检测的区域作为输入图像，以提高算法效率。

运动目标二次检测主要分为三部分，首先是确定输入图像，输入图像过大会导致计算时间增加，过小会无法检测到完整的运动目标。为了找到合适的输入图像，我们利用初次分割结果，对比两者对应位置的连通域大小，取较大者转换至原始图像尺度下，对原始图像做裁剪，将裁剪后的图像作为图割算法的输入图像。

然后需要确定图割算法的掩膜图像，通常需要在掩膜图像中至少指定两个值：前景和背景，不能确定的点可以指定为可能是前景点或可能是背景点。我们利用初始检测得到的灰度图，找到确定的前景点和背景点。我们首先创建一个和降采样相同尺度的掩膜图像，然后利用下式对帧差图像和背景差分图像像素进行遍历，将对应的计算结果存入掩膜图像。

式中，D_i(x,y)表示帧差图像的像素值，B_i(x,y)表示背景差分图像的像素值，T为置信度。

确定掩膜图像主要需要三步：

(1)检测帧差图像，当帧差图像中的像素值超过置信度T时，即可认为当前像素一定是运动目标，在掩膜中的对应位置设置为1，表示“前景”。若置信度设置过大，会导致忽略大部分运动目标，若设置过小，导致在图割算法中引入较大噪音，严重时会无法正确分割出运动目标。我们假设帧差法得到的二值图像中不为零的像素点绝大部分都为运动目标中的点，利用不为零的像素点数目和像素值均值，指定自适应置信度，在排除光照等干扰的同时保留的大部分前景点，对不同图像有较好的鲁棒性。

(2)当帧差图像像素值小于置信度T时，我们需要检测背景差分图像对应位置的像素值，若像素值为0，则认为该位置是背景。在掩膜图像的对应位置设为0，表示“一定为背景区域”。

(3)对于其余像素点，我们无法确定是背景还是前景，有两种选择，可能是背景，也可能是前景。通过分析可以发现，这些点大部分位于帧差法产生的空洞的地方和背景差分法的拖影处。空洞处为前景的可能性极高，而拖影处为背景的概率也较大，经过对比分析，发现通常拖影处的面积较大，而空洞处的像素点都被前景点包围，若设置所有点为“可能是背景”，对图割算法影响较小，仍然能有效分割出运动目标，即使在目标中间产生空洞，也可以在后续的查找连通域步骤中解决。因此将无法确定的点其全部设置为2，表示“可能是背景”，后续利用图割算法计算其具体值。由于输入图像是在原始视频图像的尺度下。因此，需要将掩膜图像也转换至原始视频图像的尺度。

最后，经过图割算法二次检测后，得到的输出图像为一个二值图，前景为1，背景为0。由于某些图像中前景和背景像素值较为接近，可能导致前景中包含了一部分像素值为0的区域，此时需要排除前景中的干扰，找到前景的精确位置。我们对输出图像的所有像素值进行遍历，利用递归方法，搜索每个像素值为1的点周围8个像素点，将相邻位置的像素都划分至同一个目标。由于帧差法和背景差分法的误差，无法完全准确指定掩膜内的所有点，因此可能引入部分干扰，使图割算法的输出图像中包含一些较小的连通域，诸如光照变化强烈的点或树叶等背景干扰。我们对连通域的大小设定一个阈值，当面积小于某一阈值时，可认为是噪音，将其删除，只保留连通域较大的点。确定所有连通域后根据一系列的坐标对应关系，即可在原始图像中精确定位运动目标。

本发明中，基于图割理论的运动目标检测算法通过帧差和背景差分的结果来确定图割算法中掩膜的像素值并对目标做初步检测，确定原始图像中的运动目标位置，然后将第一次检测出的运动目标作为图割算法的输入以降低运算时间，保证算法的实时性，最后检测图割算法的输出图像中的连通域结果将多个运动目标分开，如图4所示，具体步骤如下：

步骤1，对原始图像序列V＝{f₀,f₁,…,f_n}进行降采样处理，得到降采样后的图像序列D＝{d₀,d₁,…,d_n}，其中，f_i表示V中的第i帧图像，d_i表示D中的第i帧图像，n表示图像序列的帧数，i＝1,2,…,n；

步骤2，对降采样后的图像序列，采用背景差分法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤3，对降采样后的图像序列，采用帧差法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤4，对比步骤2和步骤3的检测结果，取其中较大者并转换至V的尺度下；

步骤5，在f_i中分别提取出步骤4中较大运动目标区域内的图像l_i，作为图割算法的输入图像；

步骤6，创建掩膜图像M_i，其初始像素值均为0、尺度与D相同；

步骤7，设置置信度T：将步骤3中帧差法得到的差分图像D_ti中像素值大于T的点，则将掩膜图像中的对应点像素值设为1，表示该点确定为前景点；将步骤3中帧差法得到的差分图像D_ti中像素值小于T的点且其在步骤2中背景差分法得到的背景差分图像中的对应点像素值为0，则将掩膜图像中的对应点像素值设为0，表示该点确定为背景点；剩余掩膜图像中的点的像素值设为2，表示该点为前景点或背景点；从而得到新的掩膜图像M_i'；

步骤8，将M_i'转换至V的尺度下，并在其中提取出步骤4中较大运动目标区域内的图像M″_i，作为图割算法的掩膜图像；

步骤9，基于l_i和M″_i，采用图割算法对l_i进行运动目标检测；

步骤10，根据步骤9的检测结果，在V中确定运动目标的位置，完成运动目标的检测。

下面对本发明方法的步骤做进一步说明：

假设输入的原始图像序列为V＝{f₀,f₁,…,f_n}，其中，f_i表示V中的第i帧图像，n表示图像序列的帧数，i＝1,2,…,n。为了加快运算速度，对V中的图像进行降采样处理，得到图像序列D＝{d₀,d₁,…,d_n}，其中，d_i表示降采样后的图像序列中的第i帧图像。

(1)在降采样后的图像序列D中取前N帧图像建立背景模型记为B_j，然后将后续图像d_N+1,d_N+1,…,d_n分别与背景模型B_j做比较得到n-N帧差分图像。设定阈值，将n-N帧差分图像中的每一帧进行二值化处理，二值化处理后采用形态学滤波方法进行去噪，得到n-N帧背景差分图像，记为R_k，k＝1,2,…,n-N。对R_k进行连通域分析，去除空洞，找到潜在的存在运动目标的区域，将其坐标转换至原始图像序列V的尺度。最后通过自适应的方法，对D中的第i帧图像加权平均，生成新的近似背景B_j+1，将B_j+1作为新的背景模型不断更新背景模型。

(2)利用帧差法比较D中第i帧图像和第i+1帧图像，得到差分图像D_ti，将D_ti中像素值不为0的点认为是可能的前景区域，然后对D_ti做连通域处理，得到运动目标位置的初步估计，将其位置坐标转换至原始图像序列V的尺度。

(3)比较帧差法和背景差分法计算出的连通域，取其中较大者记为C_m，将C_m转换至原始图像序列V的尺度下，然后在f_i中提取连通域内的图像记为l_i作为图割算法的输入图像，以提高运算速度。

(4)创建掩膜图像M_i，其初始像素值全为0，尺度与降采样后的图像序列D相同。设定一个置信度T，T表示确定为前景的像素值。利用帧差法得到的差分图像D_ti，将其中像素值大于置信度的点在掩膜中设为1，表示这些点一定是前景。然后，将剩余点结合背景差分图像R_k，若某点像素值在差分图像D_ti中小于置信度T且在背景差分图像R_k中像素值为0，则认为该点一定是背景，在M_i中将其对应置的像素值设为0；其余即像素值小于T且在背景差分图像R_k中像素值不为0的点无法确定是背景还是前景，可将其设为2，表示这些点可能为背景。

(5)对(4)中得到的掩膜图像M_i'扩大尺度至原始图像V。然后根据(3)中得到的连通域C_m，在M_i'中提取连通域C_m内的图像，记为M″_i，作为图割算法的掩膜图像。

(6)根据l_i和M″_i，利用图割算法对l_i进行二次检测，然后在图割算法的结果图像中找到最大连通域(当有多个运动目标时，会提取到多个连通域)。设定阈值，删除较小的连通域，排除噪音的干扰，提高算法鲁棒性。

(7)根据(6)中得到的检测结果，在原图像V中重新确运动目标的位置((6)中得到的连通域内包含了重新确定的运动目标，但其坐标的尺度是降采样下的，将新提取出的连通域的坐标转换到原始图像序列V的尺度下，即可得到运动目标的位置)，标记出运动目标。

为了验证本发明的检测效果，我们选取西安某路口道路监控视频，分别运行两种算法以作对比，图2为左边为背景差分的结果，右边为我们改进后的结果，可以看出，我们的算法可以很好的分割运动目标，能将错误融合的目标区分开来。图3为融合最坏的情况，包含了视频内所有的运动目标，我们的算法仍然能将所有目依次分割，且基本没有收到检测区域内树叶晃动的干扰，表现出较好的鲁棒性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.视频摘要中利用图割算法进行运动目标检测的方法，其特征在于，具体步骤如下：

步骤1，对原始图像序列V＝{f₀,f₁,…,f_n}进行降采样处理，得到降采样后的图像序列D＝{d₀,d₁,…,d_n}，其中，f_i表示V中的第i帧图像，d_i表示D中的第i帧图像，n表示图像序列的帧数，i＝1,2,…,n；

步骤2，对降采样后的图像序列，采用背景差分法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤3，对降采样后的图像序列，采用帧差法对其中的运动目标进行检测，并用矩形框标出运动目标区域的检测结果；

步骤4，对比步骤2和步骤3的检测结果，取其中较大者并转换至V的尺度下；

步骤5，在f_i中分别提取出步骤4中较大运动目标区域内的图像l_i，作为图割算法的输入图像；

步骤6，创建掩膜图像M_i，其初始像素值均为0、尺度与D相同；

步骤7，设置置信度T：将步骤3中帧差法得到的差分图像D_ti中像素值大于T的点，则将掩膜图像中的对应点像素值设为1，表示该点确定为前景点；将步骤3中帧差法得到的差分图像D_ti中像素值小于T的点且其在步骤2中背景差分法得到的背景差分图像中的对应点像素值为0，则将掩膜图像中的对应点像素值设为0，表示该点确定为背景点；剩余掩膜图像中的点的像素值设为2，表示该点为前景点或背景点；从而得到新的掩膜图像M′_i；

步骤8，将M′_i转换至V的尺度下，并在其中提取出步骤4中较大运动目标区域内的图像M″_i，作为图割算法的掩膜图像；

步骤9，基于l_i和M″_i，采用图割算法对l_i进行运动目标检测；

步骤10，根据步骤9的检测结果，在V中确定运动目标的位置，完成运动目标的检测。

2.根据权利要求1所述的视频摘要中利用图割算法进行运动目标检测的方法，其特征在于，步骤2的背景差分法中采用自适应的方法，对图像序列进行加权平均，更新背景模型。

3.根据权利要求1所述的视频摘要中利用图割算法进行运动目标检测的方法，其特征在于，若步骤9中图割算法的检测结果中包括多个连通域，则设定连通域阈值，删除小于连通域阈值的连通域。

4.根据权利要求1所述的视频摘要中利用图割算法进行运动目标检测的方法，其特征在于，步骤2的背景差分法中采用形态学滤波方法进行去噪。