CN106327488B - 一种自适应的前景检测方法及其检测装置 - Google Patents

Abstract

一种自适应的前景检测方法及其检测装置，属于图像处理技术领域。包括：将新一帧待检测的图像与给定图像或背景模型进行比较，得到差分图，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像；按照固定的分块规则将差分图像划分为若干个子图像块，针对每个子图像块计算自适应二值化的阈值图；根据所述当前图像相对于背景图像、之前数帧图像以及背景模型的差分图和阈值图，确定前景的检测结果。上述一种自适应的前景检测方法及其检测装置，该方法通过将待检测的当前图像与多帧图像进行对比得到差分图，再自适应确定差分图像的二值化阈值，从而实现前景的自适应检测，在多种场景下都能获得很高的准确率。

Description

一种自适应的前景检测方法及其检测装置

技术领域

本发明属于图像处理技术领域，具体为一种自适应的前景检测方法及其检测装置。

背景技术

视频图像分析中，将运动目标与背景环境的分离是基于图像的目标行为分析的首要工作，目标检测的准确度直接影响基于视频的智能算法的准确性。常见的运动目标检测方法有背景差分法、帧间差分法、光流法等，其中，背景差分法是通过将图像序列中的当前帧图像和背景参考模型（即背景图像）进行比较来检测前景的一种方法，如图1所示，为现有技术中利用背景差分法进行前景检测的示意图。通过背景图像11和当前帧图像12的比较得到对比结果13，根据对比结果13选出前景14-1，得到检测结果。帧间差分法是一种通过对视频的图像序列中相邻两帧（即当前图像以及其前一帧图像）作差分运算来获得运动目标轮廓的方法，这些方法均为需要在确定阶段根据经验人工设定固定阈值，因此通常存在只能适用于部分场景，而不能广泛自适应检测的问题。针对相关技术中需要自适应确定前景检测阈值以达到适用于更多场景的问题，目前尚未提出有效的解决方案。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于设计提供一种自适应的前景检测方法及其检测装置的技术方案，该方法能够在任何条件下根据图像内容自动设定检测阈值，从而实现前景的自适应检测，在多种场景下都能获得很高的准确率。

所述的一种自适应的前景检测方法，其特征在于包括以下步骤：

将新一帧待检测的图像与给定图像或背景模型进行比较，得到所述当前图像相对于每个给定图像的差分图，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像，所述差分图的计算方式包括计算对于位置上属性值差值的绝对值和计算对应位置属性值的马氏距离；

按照固定的分块规则将差分图像划分为若干个子图像块，针对每个子图像块计算自适应二值化的阈值图；

根据所述当前图像相对于背景图像、之前数帧图像以及背景模型的差分图和阈值图，确定前景的检测结果。

所述的一种自适应的前景检测方法，其特征在于将新一帧待检测的图像与给定的背景图像、之前数帧图像以及背景模型进行比较，得到所述当前图像相对于每个给定图像的差分图，具体包括：

对于图像中每个像素所在的位置，根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算L1-范数距离，并且根据所述当前图像中该位置处像素的属性值和所述当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离，根据所述当前图像中该位置处像素的属性值，和背景模型中不断更新维护的该位置处属性值的历史均值、历史值的方差值，计算马氏距离；

按照固定的分块规则将差分图像划分为若干个子图像块，针对每个子图像块计算自适应二值化的阈值图包括：

建立与当前图像通道数与数据深度完全相同的阈值图保存阈值结果，将差分值重新量化到属性值范围，得到每个位置的第一阈值结果；、

将所述保存第一阈值结果的阈值图像中所有位置采用固定的划分方法分为多个尺寸相同的若干个子图像块，对每个子图像块，计算阈值子图像块内像素点的平均值，得到每个像素位置的第二阈值结果；

对所述第二阈值结果进行平滑处理，处理结果添加一个偏置量作为第三阈值结果；

将所述第三阈值结果与所述差分图进行比较，确定前景的检测结果。

所述的一种自适应的前景检测方法，其特征在于对所述第二阈值结果进行平滑处理，处理结果添加一个偏置量作为第三阈值结果包括：

根据阈值图中每个子图像块的第二阈值结果，以及它周边邻近的子图像块的第二阈值结果，对阈值图像进行双线性插值处理；

对上述处理结果添加一个很小的偏置量作为第三阈值结果，第三阈值结果作为最终的阈值结果；

将所述最终阈值结果与所述差分图进行比较，确定前景的检测结果包括：

对于差分图像每个子图像块，将该图像块内像素的差分值与阈值图像中对应位置的最终阈值结果进行比较，确定该单元的前景的检测结果。

所述的一种自适应的前景检测方法，其特征在于进一步包括：对于图像中每个像素所在的位置，预先保存所述背景图像中该位置处像素的属性值，维护背景模型在该位置的属性值，背景模型的属性值包括历史属性值均值和历史属性值方差值；和/或选择所述当前图像之前像素的属性值已知的一帧图像作为背景图像。

所述的一种自适应的前景检测方法，其特征在于在根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算差分图像之前，所述检测方法进一步包括：

对于所述背景图像中的每个像素所在的位置，预先设定该位置处像素的属性方差值；和/或对于所述背景图像中的每个像素所在的位置，通过建立背景模型，实时学习更新所述当前图像之前的多帧图像的方法获得该位置处像素的属性方差值。

所述的一种自适应的前景检测方法，其特征在于所述差分图像计算方式是以下之一：L1-范数距离、马氏距离。

所述的一种自适应的前景检测方法，其特征在于所述像素的属性值包括以下至少之一：灰度值、RGB通道值、YUV通道值。

所述的一种自适应的前景检测方法的检测装置，其特征在于包括：

比较模块，用于将待检测的当前图像与给定图像、背景模型进行比较，得到所述当前图像相对于每个给定图像的差分图像，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像，所述背景模型包括实时学习更新的采样数据和统计数据；

阈值运算模块，用于自适应计算差分图像的二值化阈值；

确定模块，用于根据所述当前图像相对于每个给定图像的差分图像以及运算得出的阈值，确定前景的检测结果。

所述的检测装置，其特征在于所述比较模块用于对于图像中每个像素所在的位置，根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算差分图像；

所述阈值运行模块用于对差分图像进行子图像划分，计算子图像的均值以及插值平滑和添加偏置，该模块最后获得所述最终阈值结果；

所述确定模块用于对于图像中每个像素所在的位置，对该位置处差分图像值与所述最终阈值进行比较，确定前景的检测结果。

所述的检测装置，其特征在于所述阈值运算模块用于将差分值重新量化，并将图像中所有位置划分为多个子图像，对于每个子图像，将计算均值；所述阈值运算模块还用于对于每个子图像值进行插值平滑，确定该单元的最终阈值结果。

上述一种自适应的前景检测方法及其检测装置，该方法通过将待检测的当前图像与多帧图像进行对比得到差分图，再自适应确定差分图像的二值化阈值，从而实现前景的自适应检测，在多种场景下都能获得很高的准确率。

附图说明

图1是现有技术中利用背景差分法进行前景检测的示意图；

图2是根据本发明实施例的图像序列中前景的检测方法的流程图；

图3和图4是根据本发明的又一个实施例的图像序列中前景的检测方法；

图5是根据本发明实施例的图像序列中前景的检测装置的框图；

图6是在周界报警目标检测中应用如图4所示的实施例的示意图；

图7是在银行ATM遗留物检测中应用如图4所示的实施例的示意图；

图中：51-比较模块、53 -阈值运算模块、55 -确定模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种图像序列中前景的自适应检测方法。

如图2所示，根据本发明实施例的检测方法可以包括：

步骤S201，将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的差分图像，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像，可选地，上述像素的属性值包括以下至少之一：灰度值、RGB通道值、YUV通道值，可以选择单个属性通道，也可以选择不同的属性通道，在存在多个属性通道的情况下，多个通道彼此独立；

步骤S203，根据当前图像相对于每个给定图像的差分图以及自适应计算获得的阈值图；

步骤S205，确定前景的检测结果，通过将待检测的当前图像与多帧图像的差分图与阈值图进行对比，多帧图像中至少存在两种图像类型，并且阈值图由差分图自动计算获得，能够适应于更多场景，提高前景的检测准确率。

在一个优选的实施例中，根据本发明实施例的检测方法可以包括：

对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算差分图像，在此之前，可以建立背景模型预先保存并更新背景图像中该位置处像素的属性值（该像素的属性值包括像素均值或挑选出来的某一帧像素的属性值和属性方差值，和/或选择当前图像之前像素的属性值已知的一帧图像作为背景图像）；

对于当前图像与背景图像比较得到的差分图像，按照固定的划分规则将其分为若干个子图像块，为便利于后续处理，每个子图像块尺寸相同且不宜过大，实施例中一律采用3*3子图像块；

根据差值的范围确定差值到像素值的映射方式，经过映射重新量化的数值作为第一阈值结果；

计算每个子图像块内第一阈值结果的平均值，得到每个像素位置的第二阈值结果，所有子图像块的第二阈值结果组成第二阈值图；

为消除划分子图像块儿产生的块效应现象，对第二阈值图进行双线性插值处理，插值后的结果添加一个很小的偏置作为最终的第三阈值结果。

将量化后的差分图与计算所得的阈值图进行比较，确定前景的检测结果，如果差分值小于对应位置上的阈值，则判定该当前图像存在背景，否则，则判定该位置不存在运动，通过计算子图像块内像素均值和双线性插值平滑处理，能够确定一般场景下的二值化阈值，提高前景的检测准确率，避免了现有技术中需要人工按照经验指定阈值、不能适应一般场景等问题。

并且，进一步地，可以采用纹理检测和阴影检测判断每个子图像块属于运动前景还是背景环境，对于不同判断结果的子图像块赋予不同的阈值偏置，赋予前景子图像块负的小额偏置，背景图像块正的小额偏置；

对于每个单元，插值平滑处理可以消除由于子图像块划分产生的块效应效果，提高检测的精确度，并且当图像划分的单元越多，则块效应越轻微，检测精度越高。

在根据本发明的另一个实施例中，在图像中所有位置处像素于背景模型比较得到差分图像，按照固定的划分方式将当前图像、差分图像划分为若干个子图像块；

并且，对当前图像进行图像边缘纹理检测和阴影检测，确定每个子图像块属于运动前景、前景阴影还是背景，对于不同类型的子图像块赋予不同的阈值偏置；

对子图像块进行均值、插值平滑、添加偏置后，求得前景结果。该结果经过图像填充、去阴影、形态学处理获得更加准确的检测结果。

并且，在根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算差分图像之前，根据本发明实施例的检测方法可以进一步包括：

对于背景图像中的每个像素所在的位置，预先设定该位置处像素的属性方差值，在实际应用中，可以通过摄相机来获取图像序列，因此用户可以根据摄相机的性能参数来设定每个位置处像素的属性方差值，每个位置的属性方差值可以相同，也可以不相同；

对于背景图像中的每个像素所在的位置，通过实时学习当前图像之前的多帧图像的方法获得该位置处像素的属性方差值，即，对于图像序列中的每个像素所在的位置，根据图像序列中该位置处像素的属性值求得像素均值，在当前帧图像之前的所有图像的所有位置处像素的像素均值可以组成背景图像，再根据背景图像求得属性方差值。此外，也可以通过实时学习当前图像之前的多帧图像的方法获得该位置处像素的属性均值。

并且，本文中描述的差分值可以为马氏距离（Mahalanobis距离）。

如图3所示，根据本发明的一个实施例，提供了一种图像序列中前景的检测方法，包括：

步骤S301，可以根据帧间差分法计算当前图像与上一帧图像中对应像素上的距离，并根据背景差分法计算当前图像与背景图像的距离（该距离可以是Mahalanobis距离），二者加权得到差分图；

步骤S303，将差分图像分为3*3的小块，计算小块内的均值，进行插值平滑和添加偏置后得到每一个像素位置的自适应阈值；

步骤S305，根据每个像素位置上的差分值与阈值比较，确定每一个像素的检测结果。

其中，背景差分方法会维护一个背景模型，根据本发明实施例的检测方法在保存背景图像（也就是背景模型中的均值μ）时，还保存了每个像素的方差σ²。方差σ²可以根据图像的噪声水平预先设定，也可以通过学习方法自动获得。

如图4所示，根据本发明的又一个实施例，提供了一种图像序列中前景的自适应检测方法，包括：

步骤S401，获取当前帧图像像素的属性值；

步骤S403，计算当前帧图像与背景图像的差分值，背景图像是事先选取保存的；计算当前帧图像与之前帧图像的差分值，结果加权，离当前时间近的权重更高；计算当前帧图像与背景模型的差分值，即，根据背景模型保存的均值μ和方差σ ²计算当前帧图像与背景模型的Mahalanobis距离；

步骤S405，根据预设的加权值加权求和以上的距离和差分值，得到差分图；

步骤S407，根据差分图计算自适应阈值图，包括划分差分图为子图像块，计算每个子图像块的均值，插值平滑处理和添加偏置；

步骤S409，判断每一个像素位置上的差分值时候大于对应位置上的阈值，在判断结果为是的情况下执行步骤S411，在判断结果为否的情况下执行步骤S413；

步骤S411，将该像素判定为前景；

步骤S413，将该像素判定为背景；

步骤S415，判断是否结束，在判断结果为是的情况下执行步骤S417，在判断结果为否的情况下执行步骤S401；

步骤S417，终止。

图4示出了详细的差分值计算流程，其中，Mahalanobis距离（也称为马氏距离）表示了数据之间的协方差距离，且是独立于测量尺度的距离。在图像各通道各位置上像素的属性值相互独立的情况下，数据的协方差矩阵为对角阵， Mahalanobis距离即为正规化的欧氏距离，计算会更加简便。计算当前帧图像像素与背景模型的正规化欧氏距离有公式：

其中：x _i 为每一个通道（输入图像可以单通道灰度图、三通道彩色图像RGB或者三通道YUV图像等）的当前像素的属性值，μ _i ，σ _i ²分别为保存的均值和方差。

同样，计算当前帧图像像素与上一帧图像的正规化欧式距离：

其中：σ _i ²是保存的方差，x _i ^t 和x _i ^t-1 分别是第t帧和（t-1）帧的各通道像素的属性值。

在图4所示的步骤S405中，加权累加帧间差分L1-范数与背景差分马氏距离，得到像素的差分S _R ，比较差分S _R 与自适应阈值T _R ，从而判定该像素属于前景还是背景。如下式，其中w_P,B和w_P,I是各距离的权重。

根据本发明的一个实施例，提供了一种图像序列中前景的检测装置。

如图5所示，根据本发明实施例的检测装置包括：

比较模块51，用于将待检测的当前图像与至少两个给定图像进行比较，得到当前图像相对于每个给定图像的相似度，给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像；

阈值运算模块53，用于自适应计算差分图像的二值化阈值；

确定模块55，用于根据当前图像相对于每个给定图像的相似度以及预定的相似度阈值，确定前景的检测结果。

其中，比较模块51用于对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与预先保存的背景图像中相应位置处像素的属性值计算L1-范数距离，并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算马氏距离，以上距离加权获得差分图；

阈值运算模块53，用于将差分图按照设定好的规则划分为若干子图像块，计算图像块的均值，插值平滑和添加偏置得到阈值图；

确定模块55用于对于图像中每个像素所在的位置，对该位置处将差分值与自适应阈值进行比较，确定前景的检测结果。

本发明的实施例可应用于诸多领域，例如小区周界报警中的运动目标检测与跟踪、银行ATM面板的遗留物体检测、交通参数检测等，在此对前两个应用进行描述。

如图6所示，为在周界报警目标检测中应用如图4所示的实施例的示意图，具体步骤包括：

第1步：使用基于块投票的检测运动目标方法检测运动目标；

第2步：运行连通域分析和跟踪算法，计算目标的范围和轨迹；

第3步：运行越线报警算法，当目标穿越指定报警线时给出报警。

如图7所示，为在银行ATM遗留物检测中应用如图4所示的实施例的示意图，具体步骤包括：

第1步：使用基于块投票的检测运动目标方法检测运动目标；

第2步：运行连通域分析算法获得进入区域的可能遗留物范围；

第3步：运行遗留物检测算法，一定时间内保持静止的物体（如图7中所示的遗留物）被入定为遗留物，发出报警。

综上所述，借助于本发明的上述技术方案，本发明通过将待检测的当前图像与多帧图像进行对比，对比结果经过运算自动得到自适应的阈值，再将对比结果与预定阈值进行比较，能够提高前景的检测准确率，避免需要人工设定阈值，而且阈值仅适用于部分场景的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种自适应的前景检测方法，其特征在于包括以下步骤：

将新一帧待检测的图像与给定的背景图像、之前数帧图像以及背景模型进行比较，得到当前图像相对于每个给定图像的差分图，所述给定图像包括预先保存的背景图像以及当前图像之前的至少一帧图像，所述差分图的计算方式包括计算对应位置上属性值差值的绝对值和计算对应位置属性值的马氏距离，具体包括：

对于图像中每个像素所在的位置，根据当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算L1-范数距离，并且根据当前图像中该位置处像素的属性值和当前图像之前的至少一帧图像中相应位置处像素的属性值计算第二协方差距离，根据当前图像中该位置处像素的属性值，和背景模型中不断更新维护的该位置处属性值的历史均值、历史值的方差值，计算马氏距离；

按照固定的分块规则将差分图像划分为若干个子图像块，针对每个子图像块计算自适应二值化的阈值图；

根据当前图像相对于背景图像、之前数帧图像以及背景模型的差分图和阈值图，确定前景的检测结果；

按照固定的分块规则将差分图像划分为若干个子图像块，针对每个子图像块计算自适应二值化的阈值图包括：

建立与当前图像通道数与数据深度完全相同的阈值图保存阈值结果，将差分值重新量化到属性值范围，得到每个位置的第一阈值结果；

将所述保存第一阈值结果的阈值图像中所有位置采用固定的划分方法分为多个尺寸相同的若干个子图像块，对每个子图像块，计算阈值子图像块内像素点的平均值，得到每个像素位置的第二阈值结果；

对所述第二阈值结果进行平滑处理，处理结果添加一个偏置量作为第三阈值结果；

将所述第三阈值结果与所述差分图进行比较，确定前景的检测结果。

2.如权利要求1所述的一种自适应的前景检测方法，其特征在于对所述第二阈值结果进行平滑处理，处理结果添加一个偏置量作为第三阈值结果包括：

根据阈值图中每个子图像块的第二阈值结果，以及它周边邻近的子图像块的第二阈值结果，对阈值图像进行双线性插值处理；

对上述处理结果添加一个很小的偏置量作为第三阈值结果，第三阈值结果作为最终的阈值结果；

将所述最终阈值结果与所述差分图进行比较，确定前景的检测结果包括：

对于差分图像每个子图像块，将该图像块内像素的差分值与阈值图像中对应位置的最终阈值结果进行比较，确定各个子图像块的前景的检测结果。

3.如权利要求1所述的一种自适应的前景检测方法，其特征在于进一步包括：对于图像中每个像素所在的位置，预先保存所述背景图像中该位置处像素的属性值，维护背景模型在该位置的属性值，背景模型的属性值包括历史属性值均值和历史属性值方差值；和/或选择所述当前图像之前像素的属性值已知的一帧图像作为背景图像。

4.如权利要求2-3中任一项所述的一种自适应的前景检测方法，其特征在于所述差分图像计算方式是以下之一：L1-范数距离、马氏距离。

5.如权利要求2-3中任一项所述的一种自适应的前景检测方法，其特征在于所述像素的属性值包括以下至少之一：灰度值、RGB通道值、YUV通道值。

6.采用权利要求1所述的一种自适应的前景检测方法的检测装置，其特征在于包括：

比较模块（51），用于将待检测的当前图像与给定图像、背景模型进行比较，得到所述当前图像相对于每个给定图像的差分图像，所述给定图像包括预先保存的背景图像以及所述当前图像之前的至少一帧图像，所述背景模型包括实时学习更新的采样数据和统计数据；

阈值运算模块（53），用于自适应计算差分图像的二值化阈值；

确定模块（55），用于根据所述当前图像相对于每个给定图像的差分图像以及运算得出的阈值，确定前景的检测结果。

7.如权利要求6所述的检测装置，其特征在于所述比较模块（51）用于对于图像中每个像素所在的位置，根据所述当前图像中该位置处像素的属性值与所述预先保存的背景图像中相应位置处像素的属性值计算差分图像；

所述阈值运算模块（53）用于对差分图像进行子图像划分，计算子图像的均值以及插值平滑和添加偏置，该模块最后获得最终阈值结果；

所述确定模块（55）用于对于图像中每个像素所在的位置，对该位置处差分图像值与所述最终阈值进行比较，确定前景的检测结果。

8.如权利要求6所述的检测装置，其特征在于所述阈值运算模块（53）用于将差分值重新量化，并将图像中所有位置划分为多个子图像，对于每个子图像，将计算均值；所述阈值运算模块（53）还用于对于每个子图像值进行插值平滑，确定各个子图像的最终阈值结果。

Images