CN103475800A - 图像序列中前景的检测方法和装置 - Google Patents

Abstract

本发明公开了一种图像序列中前景的检测方法和装置，其中，该检测方法包括：将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像；根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。本发明通过将待检测的当前图像与多帧图像进行对比，再将对比结果与预定阈值进行比较，并且，多帧图像中至少存在两种图像类型，能够提高前景的检测准确率。

Description

图像序列中前景的检测方法和装置

技术领域

本发明涉及图像处理领域，并且特别地，涉及一种图像序列中前景的检测方法和装置。

背景技术

视频图像分析中，将运动目标与背景环境的分离是基于图像的目标行为分析的首要工作，目标检测的准确度直接影响基于视频的智能算法的准确性。常见的运动目标检测方法有背景差分法、帧间差分法、光流法等，其中，背景差分法是通过将图像序列中的当前帧图像和背景参考模型（即背景图像）进行比较来检测前景的一种方法，如图1所示，为现有技术中利用背景差分法进行前景检测的示意图。通过背景图像11和当前帧图像12的比较得到对比结果13，根据对比结果13选出前景14-1，得到检测结果。帧间差分法是一种通过对视频的图像序列中相邻两帧（即当前图像以及其前一帧图像）作差分运算来获得运动目标轮廓的方法，这两种方法均为将当前图像与一幅对比样本图像作对比，对比样本少且类型单一，因此通常存在着精确度不高等问题。

针对相关技术中与当前图像进行对比的样本少且类型单一而导致前景检测的准确性过低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中与当前图像进行对比的样本少且类型单一而导致前景检测的准确性过低的问题，本发明提出一种图像序列中前景的检测方法和装置，能够提供多种对比样本与当前图像进行比较从而检测前景，提高了前景的检测准确率。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种图像序列中前景的检测方法。

该检测方法包括：

将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像；

根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

其中，将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度包括：

对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果包括：

对于图像中每个像素所在的位置，对该位置处像素的第一协方差距离和第二协方差距离进行加权求和得到该位置处像素的第一求和值；

对所有位置处像素的第一求和值进行加权求和得到第二求和值；

将第二求和值与预定的相似度阈值进行比较，确定前景的检测结果。

并且，对所有位置处像素的第一求和值进行加权求和得到第二求和值包括：

将图像中所有位置划分为多个单元，对于每个单元，将该单元内所有像素的第一求和值进行加权求和得到第二求和值；

将第二求和值与预定的相似度阈值进行比较，确定前景的检测结果包括：

对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。

此外，该检测方法进一步包括：

对于图像中每个像素所在的位置，预先保存背景图像中该位置处像素的属性值，该像素的属性值包括属性均值和属性方差值；和/或

选择当前图像之前像素的属性值已知的一帧图像作为背景图像。

优选地，在根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离之前，检测方法进一步包括：

对于背景图像中的每个像素所在的位置，预先设定该位置处像素的属性方差值；和/或

对于背景图像中的每个像素所在的位置，通过实时学习当前图像之前的多帧图像的方法获得该位置处像素的属性方差值。

6.根据权利要求2-5中任一项的检测方法，其特征在于，第一协方差距离和第二协方差距离为马氏距离。

可选地，像素的属性值包括以下至少之一：

灰度值、RGB通道值、YUV通道值。

根据本发明的一个方面，提供了一种图像序列中前景的检测装置。

该检测装置包括：

比较模块，用于将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像；

确定模块，用于根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

其中，比较模块用于对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

确定模块用于对于图像中每个像素所在的位置，对该位置处像素的第一协方差距离和第二协方差距离进行加权求和得到该位置处像素的第一求和值；

并且用于对所有位置处像素的第一求和值进行加权求和得到第二求和值；

还用于将第二求和值与预定的相似度阈值进行比较，确定前景的检测结果。

此外，确定模块用于将图像中所有位置划分为多个单元，对于每个单元，将该单元内所有像素的第一求和值进行加权求和得到第二求和值；

确定模块还用于对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。

本发明通过将待检测的当前图像与多帧图像进行对比，再将对比结果与预定阈值进行比较，并且，多帧图像中至少存在两种图像类型，能够提高前景的检测准确率。

附图说明

图1是现有技术中利用背景差分法进行前景检测的示意图；

图2是根据本发明实施例的图像序列中前景的检测方法的流程图；

图3和图4是根据本发明的两个实施例的图像序列中前景的检测方法；

图5是根据本发明实施例的图像序列中前景的检测装置的框图；

图6是在周界报警目标检测中应用如图4所示的实施例的示意图；

图7是在银行ATM遗留物检测中应用如图4所示的实施例的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种图像序列中前景的检测方法。

如图2所示，根据本发明实施例的检测方法可以包括：

步骤S201，将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像，可选地，上述像素的属性值包括以下至少之一：灰度值、RGB通道值、YUV通道值，可以选择单个属性通道，也可以选择不同的属性通道，在存在多个属性通道的情况下，多个通道彼此独立；

步骤S203，根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果，通过将待检测的当前图像与多帧图像进行对比，再将对比结果与预定阈值进行比较，并且，多帧图像中至少存在两种图像类型，能够提高前景的检测准确率。

在一个优选的实施例中，根据本发明实施例的检测方法可以包括：

对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，在此之前，可以预先保存背景图像中该位置处像素的属性值（该像素的属性值包括像素均值或挑选出来的某一帧像素的属性值和属性方差值，和/或选择当前图像之前像素的属性值已知的一帧图像作为背景图像。），并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

对于图像中每个像素所在的位置，对该位置处像素的第一协方差距离和第二协方差距离进行加权求和得到该位置处像素的第一求和值，进一步地，可以进行加权求和得到该位置处像素的第一求和值，并且可以根据用户需求设定各个求和值的权值；

对所有位置处像素的第一求和值进行加权求和得到第二求和值，其中，第二求和值用于表示当前图像与所述给定图像的相似度；

将第二求和值与预定的相似度阈值进行比较，确定前景的检测结果，如果第二求和值小于相似度阈值，则判定该当前图像存在前景，否则，则判定场景内不存在运动，通过将待检测的当前图像与背景图像以及当前图像之前的至少一帧进行对比，再将对比结果与预定阈值进行比较，能够提高前景的检测准确率，避免了现有技术中前景测量方法易受噪声干扰、计算复杂等问题。

并且，进一步地，可以将图像中所有位置划分为多个单元（在文中单元也可以称为块），对于每个单元，将该单元内所有像素的第一求和值进行加权求和得到第二求和值；

对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。在该单元内像素的第二求和值大于预定的该单元的相似度阈值时，确定该单元为前景，通过对图像中像素位置的划分，可以在更细的粒度中检测出前景，提高检测的精确度，并且当图像划分的单元越多，则检测精度越大。

在根据本发明的另一个实施例中，在图像中所有位置处像素的第一协方差距离组成对角矩阵并且所有位置处像素的第二协方差距离组成对角矩阵的情况下，对于图像中每个像素所在的位置，对该位置处像素的第一协方差距离和第二协方差距离进行加权求和得到该位置处像素的第一求和值。

并且，在根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离之前，根据本发明实施例的检测方法可以进一步包括：

对于背景图像中的每个像素所在的位置，预先设定该位置处像素的属性方差值，在实际应用中，可以通过摄相机来获取图像序列，因此用户可以根据摄相机的性能参数来设定每个位置处像素的属性方差值，每个位置的属性方差值可以相同，也可以不相同；

对于背景图像中的每个像素所在的位置，通过实时学习当前图像之前的多帧图像的方法获得该位置处像素的属性方差值，即，对于图像序列中的每个像素所在的位置，根据图像序列中该位置处像素的属性值求得像素均值，在当前帧图像之前的所有图像的所有位置处像素的像素均值可以组成背景图像，再根据背景图像求得属性方差值。此外，也可以通过实时学习当前图像之前的多帧图像的方法获得该位置处像素的属性均值。

并且，本文中描述的第一协方差距离和第二协方差距离均可以为马氏距离（Mahalanobis距离）。

如图3所示，根据本发明的一个实施例，提供了一种图像序列中前景的检测方法，包括：

步骤S301，可以根据帧间差分法计算当前图像与上一帧图像中对应像素上的距离，并根据背景差分法计算当前图像与背景图像的距离（该距离可以是Mahalanobis距离）；

步骤S303，可以将图像分为2*2或4*4个块，在一个块内将单元内的距离分别加权求和后，与该单元内预先设定的阈值比较，根据块的检测结果判断每个块是否属于前景。

其中，背景差分方法会维护一个背景模型，根据本发明实施例的检测方法在保存背景图像（也就是背景模型中的均值μ）时，还保存了每个像素的方差σ²。方差σ²可以根据图像的噪声水平预先设定，也可以通过学习方法自动获得。

如图4所示，根据本发明的又一个实施例，提供了一种图像序列中前景的检测方法，包括：

步骤S401，获取当前帧图像像素的属性值；

步骤S403，计算当前帧图像与背景图像的第一距离，即，根据背景模型保存的均值μ和方差σ²计算当前帧图像与背景模型的Mahalanobis距离，同时计算当前帧图像与前一帧图像的第二距离，计算当前帧图像与上一帧图像的Mahalanobis距离；

步骤S405，根据预设的加权值加权求和块内的第一距离和第二距离得到加权求和值；

步骤S407，判断块的加权求和值是否大于设定的阈值，在判断结果为是的情况下执行步骤S409，在判断结果为否的情况下执行步骤S411；

步骤S409，将整个块判定为前景；

步骤S411，将整个块判定为背景；

步骤S413，判断是否结束，在判断结果为是的情况下执行步骤S415，在判断结果为否的情况下执行步骤S401；

步骤S415，终止。

图4示出了详细的基于块的投票方法流程，其中，Mahalanobis距离（也称为马氏距离）表示了数据之间的协方差距离，且是独立于测量尺度的距离。在图像各通道各位置上像素的属性值相互独立的情况下，数据的协方差矩阵为对角阵，Mahalanobis距离即为正规化的欧氏距离，计算会更加简便。计算当前帧图像像素与背景模型的正规化欧氏距离有公式：

$d_B^2=\mathrm{\Σ}\frac{{(x_i-{\mathrm{\μ}}_i)}^2}{{\mathrm{\σ}}_i^2}.$

其中：x_i为每一个通道（输入图像可以单通道灰度图、三通道彩色图像RGB或者三通道YUV图像等）的当前像素的属性值，μ_i，σ_i ²分别为保存的均值和方差。

同样，计算当前帧图像像素与上一帧图像的正规化欧式距离：

$d_I^2=\mathrm{\Σ}\frac{{(x_i^t-x_i^{t-1})}^2}{{\mathrm{\σ}}_i^2}.$

其中：σ_i ²是保存的方差，x_i ^t和x_i ^t-1分别是第t帧和（t-1）帧的各通道像素的属性值。

在图4所示的步骤S405中，加权累加2*2或者4*4个块R内各个像素点P的距离和S_R，比较距离和S_R与预设阈值T，从而判定整个块属于前景还是背景。如下式，其中w_P,B和w_P,I是各距离的权重。

$S_R=\underset{P\∈R}{\mathrm{\Σ}}(w_{P,B}{d}_{P,B}^2+w_{P,I}{d}_{P,I}^2);$

${\mathrm{output}}_R=\left\{\begin{array}{c}\mathrm{Foreground},\mathrm{if}{S}_R>T;\\ \mathrm{Background},\mathrm{else}.\end{array}\right.$

根据本发明的一个实施例，提供了一种图像序列中前景的检测装置。

如图5所示，根据本发明实施例的检测装置包括：

比较模块51，用于将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像；

确定模块52，用于根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

其中，比较模块51用于对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

确定模块52用于对于图像中每个像素所在的位置，对该位置处像素的第一协方差距离和第二协方差距离进行加权求和得到该位置处像素的第一求和值；

并且用于对所有位置处像素的第一求和值进行加权求和得到第二求和值；

还用于将第二求和值与预定的相似度阈值进行比较，确定前景的检测结果。

进一步地，确定模块52用于将图像中所有位置划分为多个单元，对于每个单元，将该单元内所有像素的第一求和值进行加权求和得到第二求和值；

确定模块52还用于对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。

本发明的实施例可应用于诸多领域，例如小区周界报警中的运动目标检测与跟踪、银行ATM面板的遗留物体检测、交通参数检测等，在此对前两个应用进行描述。

如图6所示，为在周界报警目标检测中应用如图4所示的实施例的示意图，具体步骤包括：

第1步：使用基于块投票的检测运动目标方法检测运动目标；

第2步：运行连通域分析和跟踪算法，计算目标的范围和轨迹；

第3步：运行越线报警算法，当目标穿越指定报警线时给出报警。

如图7所示，为在银行ATM遗留物检测中应用如图4所示的实施例的示意图，具体步骤包括：

第1步：使用基于块投票的检测运动目标方法检测运动目标；

第2步：运行连通域分析算法获得进入区域的可能遗留物范围；

第3步：运行遗留物检测算法，一定时间内保持静止的物体（如图7中所示的遗留物）被入定为遗留物，发出报警。

综上所述，借助于本发明的上述技术方案，本发明通过将待检测的当前图像与多帧图像进行对比，再将对比结果与预定阈值进行比较，并且，多帧图像中至少存在两种图像类型，能够提高前景的检测准确率，此外通过将图像中像素位置的划分为多个块，可以在更细的粒度中检测出前景，提高检测的精确度，并且当图像划分的单元越多，则检测精度越大。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像序列中前景的检测方法，其特征在于，包括：

将待检测的当前图像与至少两个给定图像进行比较，得到所述当前图像相对于每个给定图像的相似度，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像；

根据所述当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

2.根据权利要求1所述的检测方法，其特征在于，将待检测的当前图像与至少两个给定图像进行比较，得到所述当前图像相对于每个给定图像的相似度包括：

对于图像中每个像素所在的位置，根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，并且根据所述当前图像中该位置处像素的属性值和所述当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

根据所述当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果包括：

对于图像中每个像素所在的位置，对该位置处像素的所述第一协方差距离和所述第二协方差距离进行加权求和得到该位置处像素的第一求和值；

对所有位置处像素的第一求和值进行加权求和得到第二求和值；

将所述第二求和值与所述预定的相似度阈值进行比较，确定前景的检测结果。

3.根据权利要求2所述的检测方法，其特征在于，对所有位置处像素的第一求和值进行加权求和得到第二求和值包括：

将图像中所有位置划分为多个单元，对于每个单元，将该单元内所有像素的第一求和值进行求和得到第二求和值；

将所述第二求和值与所述预定的相似度阈值进行比较，确定前景的检测结果包括：

对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。

4.根据权利要求2所述的检测方法，其特征在于，进一步包括：

对于图像中每个像素所在的位置，预先保存所述背景图像中该位置处像素的属性值，该像素的属性值包括属性均值和属性方差值；和/或

选择所述当前图像之前像素的属性值已知的一帧图像作为背景图像。

5.根据权利要求4所述的检测方法，其特征在于，在根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离之前，所述检测方法进一步包括：

对于所述背景图像中的每个像素所在的位置，预先设定该位置处像素的属性方差值；和/或

对于所述背景图像中的每个像素所在的位置，通过实时学习所述当前图像之前的多帧图像的方法获得该位置处像素的属性方差值。

6.根据权利要求2-5中任一项所述的检测方法，其特征在于，所述第一协方差距离和所述第二协方差距离为马氏距离。

7.根据权利要求2-5中任一项所述的检测方法，其特征在于，所述像素的属性值包括以下至少之一：

灰度值、RGB通道值、YUV通道值。

8.一种图像序列中前景的检测装置，其特征在于，包括：

比较模块，用于将待检测的当前图像与至少两个给定图像进行比较，得到所述当前图像相对于每个给定图像的相似度，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像；

确定模块，用于根据所述当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

9.根据权利要求8所述的检测装置，其特征在于，所述比较模块用于对于图像中每个像素所在的位置，根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算第一协方差距离，并且根据所述当前图像中该位置处像素的属性值和所述当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离；

所述确定模块用于对于图像中每个像素所在的位置，对该位置处像素的所述第一协方差距离和所述第二协方差距离进行加权求和得到该位置处像素的第一求和值；

并且用于对所有位置处像素的第一求和值进行加权求和得到第二求和值；

还用于将所述第二求和值与所述预定的相似度阈值进行比较，确定前景的检测结果。

10.根据权利要求9所述的检测装置，其特征在于，所述确定模块用于将图像中所有位置划分为多个单元，对于每个单元，将该单元内所有像素的第一求和值进行加权求和得到第二求和值；

所述确定模块还用于对于每个单元，将该单元内像素的第二求和值与预定的该单元的相似度阈值进行比较，确定该单元的前景的检测结果。

Images