CN103729613A - 一种视频图像的检测方法及装置 - Google Patents

Abstract

本发明公开了一种视频图像的检测方法及装置。其方法包括：通过在连续视频图像中对前景像素点进行统计确定静态前景区域，并保存静态前景区域对应的静态前景图像；确定静态前景区域后，在预定的延迟时刻获取视频图像，计算视频图像中静态前景区域对应的图像与静态前景图像的图像相似度；当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与静态前景图像的图像相似度；当图像相似度低于相似度阈值，确定静态前景图像为遗留物图像。本发明实施例提供的方法及装置，对静态前景图像延迟匹配，并根据实际的应用场景设置延迟匹配的时间，从而可以有效避免遗留物的误检。

Description

一种视频图像的检测方法及装置

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种视频图像的检测方法及装置。

背景技术

通过对场景的视频图像进行检测发现场景中的遗留物，主要是获取视频图像中的前景图像，如果该前景图像存在于场景中的时间达到设定的时间阈值，则认为场景中存在遗留物。

为了获取前景图像，需要对背景建模。通过将当前帧视频图像的二值图像和背景模型的二值图像进行比较，确定在两个二值图像中的像素值不同的像素点为前景像素点，前景像素点的集合构成前景图像。其中，建立的背景模型周期性更新，能适应长时间的光照变化。当前景图像长时间存在于场景中，将被作为背景学入背景模型。因此，现有的背景模型是一种前景学入型的背景模型。

一种常见的遗留物检测方法如下：

第一步、根据建立的背景模型（即前景学入型的背景模型）对当前帧进行前景检测，判断是否存在前景图像。

第二步、对检测到的前景图像进行连续多帧视频图像的像素点统计，对于在其中的连续N帧中存在的前景像素点进行记录，N为根据实际环境所设定的阈值。

以分辨率为X*Y的视频图像为例，各个像素点可以通过位置信息（x,y）唯一确定，其中，x∈X，y∈Y，像素点（x,y）表示第x行第y列的像素点。，对连续多帧视频图像进行前景检测，如果上述第一步中检测到的前景图像中的像素点（x,y）在其中的连续N帧中均为前景像素点，则对像素点（x,y）进行记录。

第三步、根据记录的前景像素点形成一幅像素点统计的二值图像，对统计到的像素点二值图像进行连通区域查找，确定静态前景区域及其静态前景图像。

例如，在第N帧视频图像中检测到前景图像，在其后的连续n帧视频图像中进行像素点统计，记录符合条件的前景像素点。在第N帧视频图像或者第N+1帧视频图像的基础上，将记录的前景像素点经二值化处理为白色像素点，视频图像中的其他像素点经二值化处理为黑色像素点。

第四步、通过比较静态前景图像与背景模型，来判断所检测到的静态前景图像是否为遗留物图像，从而判断是否发生遗留事件。

通常的遗留物检测方法，根据前景检测到的结果对视频图像中的像素点进行统计，当满足预定条件时确定静态前景图像，并在确定出静态前景图像后即判断有物品遗留事件发生。这种遗留物检测方法可能将场景中逗留时间较长的运动目标误检为遗留物，特别是经常有运动目标逗留的场景，发生误检的几率更大。例如自助银行中，在自助银行的ATM（Automated Teller machine，自动取款机）上操作的人员和排队的人员均可能在场景中逗留较长的时间。按照现有的遗留物检测方法，会导致将长时间在ATM上操作的人员或排队的人员误认为是遗留物，产生误检。

发明内容

本发明的目的是提供一种视频图像的检测方法及装置，以避免发生遗留物误检的问题。

本发明的目的是通过以下技术方案实现的：

一种视频图像的检测方法，包括：

通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存所述静态前景区域对应的静态前景图像；

确定所述静态前景区域后，在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；

当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度；

当图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

一种视频图像的检测装置，包括静态前景确定模块和图像检测模块：

所述静态前景确定模块用于通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存所述静态前景区域对应的静态前景图像；

在所述静态前景图像确定模块确定所述静态前景区域后，所述图像检测模块用于在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

本发明实施例提供的方法及装置，在确定出静态前景图像后，不立即进行遗留物的判断，而是经过一定的延时到达预定的延迟时刻，计算延迟时刻获取的视频图像中对应区域的图像与静态前景图像的图像相似度，当相似度高于设定的相似度阈值时，再计算非前景学入型的参考背景模型中对应区域的图像与静态前景图像的图像相似度，如果相似度低于上述相似度阈值，则确定该静态前景图像为遗留物图像，即场景中有遗留物存在。根据实际的应用场景设置延迟匹配的时间，从而可以有效避免将逗留在场景中的移动目标误检为遗留物。

附图说明

图1为本发明实施例提供的一个方法流程图；

图2为本发明实施例提供的另一个方法流程图；

图3为本发明实施例提供的装置结构示意图。

具体实施方式

为了解决遗留物检测误检几率较大的问题，本发明实施例提供了一种视频图像的检测方法及装置，在确定出静态前景图像后，不立即判断存在遗留物，而是经过一定时间的延迟后，在预定的延迟时刻获取视频图像，计算延迟时刻获取的视频图像中对应区域的图像与静态前景图像的图像相似度，当相似度高于设定的相似度阈值时，再计算非前景学入型的参考背景模型对应区域的图像与静态前景图像的图像相似度，如果相似度低于上述的相似度阈值，则确定该静态前景图像为遗留物图像，即检测到场景中有遗留物存在。根据实际的应用场景设置图像相似度匹配的延迟时间，从而可以有效避免将逗留在场景中的移动目标误检为遗留物。

下面将结合附图对本发明实施例进行详细说明。

如图1所示，本发明实施例提供的一种视频图像检测方法包括如下操作：

步骤100、通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存静态前景区域对应的静态前景图像。

步骤110、确定所述静态前景区域后，在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度。

其中，从确定静态前景区域到预定的延迟时刻的时延长度，根据实际应用场景确定。以自助银行的场景为例，该时延长度可以对场景中人员逗留的时间进行统计确定。

步骤120、当步骤110中计算得到的图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度。

其中，相似度阈值可以根据需要设定，也可以通过仿真等手段确定。步骤110中计算得到的图像相似度如果高于相似度阈值，表明经过上述时延，静态前景图像仍然存在于场景中，如果图像相似度低于相似度阈值，表明经过上述时延，静态前景图像消失，该静态前景图像对应的目标物体不是遗留物。

步骤130、当步骤120中计算得到的图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

由于静态前景图像是使用前景学入型的背景模型确定的。当移动目标长时间逗留在场景中，经过一段时间会被学入背景模型，作为背景的一部分。那么，当移动目标离开场景后，根据背景模型对获取的视频图像进行前景检测时，会将移动目标逗留区域检测为前景图像区域，但实际上这一区域是最初的背景区域。如果仅通过步骤110的相似度匹配就判断是否存在遗留物，会将逗留的移动目标离开场景这一事件漏检为遗留物。因此，需要将确定的静态前景图像与非前景学入型的参考背景模型进行相似度匹配。

上述处理过程中，确定静态前景区域的实现方式有多种，下面例举其中几种：

实现方式一

为每个像素点设置权重计数器，该权重计数器用于维护像素点的权重值。

权重值反映了像素点作为前景像素点持续存在的时间（时间也可以通过视频图像的帧数反映）。

设置时间阈值Ts，并根据该时间阈值Ts设置权重增值1/Ts。每处理一帧视频图像，对前景像素点的权重值累加1/Ts。那么，当有像素点的权重值为1时，表示该像素点在连续的Ts帧视频图像中为前景像素点。

利用前景学入型的背景模型对每帧视频图像进行前景检测，并根据每帧视频图像的前景检测结果更新各个像素点的权重值，具体包括：对于任一帧视频图像中通过前景检测确定的前景像素点，为其权重值加一权重增值1/Ts，Ts为时间阈值；对于任一帧视频图像中通过前景检测确定的背景像素点，将其权重值清零；

当有像素点的权重值累加为1时，统计此时权重值达到权重阈值Tw的像素点，所述权重阈值小于所述时间阈值；

根据此时权重值达到权重阈值的像素点确定静态前景区域。

其中，根据此时权重值达到权重阈值的像素点确定静态前景区域，具体包括：

将权重值达到权重阈值的像素点映射到二值图像中；在所述二值图像中，对所述权重值达到权重阈值的像素点进行连通区域检测；将检测到的连通区域与区域阈值进行比较，根据大于区域阈值的连通区域确定静态前景区域。

以白色像素点表示前景为例，将权重值达到权重阈值的像素点映射到二值图像中，并以白色像素点表示。二值图像中的其他区域以黑色像素点表示。

其中，确定的静态前景区域可以是所有权重值达到权重阈值的像素点构成的图像区域，也可以是该图像区域的外接矩形区域。

可选的，在有像素点的权重值累加为1时，将权重值达到权重阈值的像素点的权重值清零，避免对前景像素点的重复统计。

实现方式二

为每个像素点设置计时器，计时器的计数反映了像素点持续作为前景像素点的视频图像帧数。

每处理一帧视频图像，对前景像素点的计时器加1。周期性统计各像素点的计时器计数结果，记录持续时间超过预定值的前景像素点。根据记录的前景像素点确定静态前景区域。

实现方式三

为每个像素点设置计时器，计时器的技术反映了像素点持续作为前景像素点的视频图像帧数。

每处理一帧视频图像，对前景像素点的计时器加1。当有像素点的计时器计数结果达到预定值，统计所有像素点的计时器计数结果。记录计时器计数结果达到预定值×统计百分比的像素点。根据记录的像素点确定静态前景区域。

较佳地，采用归一化互相关算法计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；采用归一化互相关算法计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度。NCC（归一化互相关）算法计算相似度，其抗噪能力强，对全局光照变化不敏感，计算精度高。

较佳地，保存所述静态前景区域对应的静态前景图像后，还可以使用所述静态前景图像对所述前景学入型的背景模型进行更新。

下面将以一个具体的遗留物检测方法为例，对本发明实施例进行详细说明。

为了进行遗留物检测，需要根据场景的多帧视频图像建立背景模型。本发明实施例提供的技术方案中，维护两个背景模型，一个是前景学入型的背景模型，用于对视频图像进行前景检测；另一个是非前景学入型的参考背景模型，用于进行图像相似度匹配以判断静态前景图像是否为遗留物。

基于上述两个背景模型的遗留物检测方法如图2所示，具体包括如下操作：

步骤200、利用前景学入型的背景模型对当前帧视频图像进行前景检测，判断是否检测到前景图像，如果是，执行步骤220，否则，执行步骤210；

其中，利用前景学入型的背景模型对当前帧视频图像进行前景检测的具体实现方式可以但不仅限于：分别获取背景模型和当前帧视频图像的二值图像，比较各个像素点在两个二值图像中的像素值，确定像素值相同的像素点为背景像素点、像素值不同的像素点为前景像素点，在当前帧视频图像中所有前景像素点的集合即为前景图像。

步骤210、获取下一帧视频图像，并执行步骤200。

步骤220、对前景图像对应的各个前景像素点，将其权重值加1/Ts；对各个背景像素点，将其权重值清零。

步骤230、判断是否有像素点的权重值为1，如果有，执行步骤240，否则，执行步骤210。

其中，如果有像素点的权重值为1，则说明该像素点在连续的Ts帧视频图像中均为前景像素点。

步骤240、统计权重值达到权重阈值Tw的像素点，根据统计结果生成二值图像，在该二值图像中，权重值达到权重阈值Tw的像素点为二值图像中的白色像素点，其他像素点为二值图像中的黑色像素点。

步骤250、在步骤240中得到的二值图像中进行连通区域检测，对检测到的每个连通区域分别与区域阈值进行比较，根据大于区域阈值的连通区域确定静态前景区域，保存当前帧视频图像中静态前景区域对应的图像（即静态前景图像），并启动延时定时器，该延时定时器的计时时长根据经验值设定。

其中，确定的静态前景区域是所有权重值达到权重阈值的像素点构成的图像区域的外接矩形区域。

步骤260、将统计得到的权重值达到权重阈值Tw的像素点的权重值清零。

步骤270、根据步骤250中保存的静态前景图像对前景学入型的背景模型进行更新，将该静态前景图像学入该背景模型。

当延时定时器超时，即到达预定的延迟时刻，执行步骤280、计算延迟时刻的视频图像中静态前景区域对应的图像与静态前景图像的图像相似度。

具体的，可以采用NCC算法计算图像相似度，其抗噪能力强，对全局光照变化不敏感，计算精度高。采用NCC算法计算延迟时刻的视频图像中静态前景区域对应的图像与静态前景图像的图像相似度的计算公式如下式1：

${\mathrm{ncc}}_1=\frac{\underset{i=-m/2}{\overset{m/2}{\mathrm{\Σ}}}\underset{j=-n/2}{\overset{n/2}{\mathrm{\Σ}}}f(x+i,y+j)\·r(x+i,y+j)-m\·n\·{\mathrm{\μ}}_f\·{\mathrm{\μ}}_r}{{\{(\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{f}^2(x+i,y+j)-m\·n\·{{\mathrm{\μ}}_f}^2)\·(\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{r}^2(x+i,y+j)-m\·n\·{{\mathrm{\μ}}_r}^2)\}}^{1/2}}$ （式1）

其中，m×n表示静态前景区域的大小包括m×n个像素点，f(x+i,y+j)表示与静态前景区域的中心像素点（x,y）距离i行j列的像素点（x+i，y+j）的像素值，μ_f表示延迟时刻的视频图像在静态前景区域内的像素点均值，μ_r表示所述静态前景图像的像素点均值。μ_f和μ_r的计算方法分别如式2和式3所示：

${\mathrm{\μ}}_f=\frac{1}{m\·n}\underset{i=-m/2}{\overset{m/2}{\mathrm{\Σ}}}\underset{j=-n/2}{\overset{n/2}{\mathrm{\Σ}}}f(x+i,y+j)$ （式2）

${\mathrm{\μ}}_r=\frac{1}{m\·n}\underset{i=-m/2}{\overset{m/2}{\mathrm{\Σ}}}\underset{j=-n/2}{\overset{n/2}{\mathrm{\Σ}}}f(x+i,y+j)$ （式3）

步骤290、判断步骤280计算的图像相似度是否高于相似度阈值，如果是，执行步骤2101，否则，执行步骤2100。

步骤2100、确定所述静态前景图像为干扰信息。例如，确定的静态前景图像为长时间逗留的移动目标的图像，经过上述时延，该移动目标离开了场景。

步骤2101、计算非前景学入型的参考背景模型中静态前景区域对应的图像与静态前景图像的图像相似度。

具体的，可以采用NCC算法计算图像相似度，其具体计算公式可以参照上述式1，这里不再赘述。

步骤2102、判断步骤2101计算的图像相似度是否低于相似度阈值，如果是，执行步骤2103，否则，执行步骤2100。

步骤2103、确定静态前景图像为遗留物的图像。

如果将上述处理过程应用于ATM场景。当ATM场景中有人进来取钱，在场景中逗留的时间较长，对应的前景图像被确定为静态前景图像。经过预定时间的延迟（延迟时间一般大于取钱的时间）后，使用延迟时刻的视频图像对静态前景图像进行图像相似度匹配，如果取钱人员离开，所保存的静态前景图像和延迟时刻的视频图像的图像相似度较低，此时不认为检测到遗留物。当有人员进入ATM场景中放下可疑物品后离开，该物品经过一段时间被确定为静态前景图像。又经过预定时间的延迟后，使用延迟时刻的视频图像对静态前景图像进行图像相似度匹配，由于可疑物品仍然存在，因此计算得到的图像相似度很高，认为待检测的目标仍然在场景中。再使用非前景学入型的参考背景模型对静态前景图形进行图像相似度匹配，如果相似度很低认为出现了原来场景中不存在的物体，进而可以进行遗留物报警处理，其余情况按干扰信息不进行处理。

基于同样的发明构思，本发明实施例还提供一种视频图像的检测装置，其结构如图3所示，包括静态前景确定模块301和图像检测模块302。其中：

静态前景确定模块301用于通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存所述静态前景区域对应的静态前景图像；

在所述静态前景图像确定模块301确定所述静态前景区域后，图像检测模块302用于在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

较佳地，通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域时，静态前景确定模块301具体用于：

利用前景学入型的背景模型对每帧视频图像进行前景检测，并根据每帧视频图像的前景检测结果更新各个像素点的权重值，具体包括：对于任一帧视频图像中通过前景检测确定的前景像素点，为其权重值加一权重增值1/Ts，Ts为时间阈值；对于任一帧视频图像中通过前景检测确定的背景像素点，将其权重值清零；

当有像素点的权重值累加为1时，统计此时权重值达到权重阈值的像素点，所述权重阈值小于所述时间阈值；

根据此时权重值达到权重阈值的像素点确定静态前景区域。

较佳地，根据此时权重值达到权重阈值的像素点确定静态前景区域时，静态前景确定模块301具体用于：

将所述权重值达到权重阈值的像素点映射到二值图像中；

在所述二值图像中，对所述权重值达到权重阈值的像素点进行连通区域检测；

将检测到的连通区域与区域阈值进行比较，根据大于区域阈值的连通区域确定静态前景区域。

较佳地，图像检测模块302采用归一化互相关算法计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；采用归一化互相关算法计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度。

较佳地，保存所述静态前景区域对应的静态前景图像后，静态前景确定模块301还用于使用所述静态前景图像对所述前景学入型的背景模型进行更新。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频图像的检测方法，其特征在于，包括：

通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存所述静态前景区域对应的静态前景图像；

确定所述静态前景区域后，在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；

当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度；

当图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

2.根据权利要求1所述的方法，其特征在于，通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，具体包括：

利用前景学入型的背景模型对每帧视频图像进行前景检测，并根据每帧视频图像的前景检测结果更新各个像素点的权重值，具体包括：对于任一帧视频图像中通过前景检测确定的前景像素点，为其权重值加一权重增值1/Ts，Ts为时间阈值；对于任一帧视频图像中通过前景检测确定的背景像素点，将其权重值清零；

当有像素点的权重值累加为1时，统计此时权重值达到权重阈值的像素点，所述权重阈值小于所述时间阈值；

根据此时权重值达到权重阈值的像素点确定静态前景区域。

3.根据权利要求2所述的方法，其特征在于，根据此时权重值达到权重阈值的像素点确定静态前景区域，具体包括：

将所述权重值达到权重阈值的像素点映射到二值图像中；

在所述二值图像中，对所述权重值达到权重阈值的像素点进行连通区域检测；

将检测到的连通区域与区域阈值进行比较，根据大于区域阈值的连通区域确定静态前景区域。

4.根据权利要求1~3任一项所述的方法，其特征在于，采用归一化互相关算法计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；

采用归一化互相关算法计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度。

5.根据权利要求2或3所述的方法，其特征在于，保存所述静态前景区域对应的静态前景图像后，该方法还包括：

使用所述静态前景图像对所述前景学入型的背景模型进行更新。

6.一种视频图像的检测装置，其特征在于，包括静态前景确定模块和图像检测模块：

所述静态前景确定模块用于通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域，并保存所述静态前景区域对应的静态前景图像；

在所述静态前景图像确定模块确定所述静态前景区域后，所述图像检测模块用于在预定的延迟时刻获取视频图像，计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度高于相似度阈值，计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度；当图像相似度低于所述相似度阈值，确定所述静态前景图像为遗留物图像。

7.根据权利要求6所述的检测装置，其特征在于，通过在连续帧视频图像中对前景像素点进行统计确定静态前景区域时，所述静态前景确定模块具体用于：

利用前景学入型的背景模型对每帧视频图像进行前景检测，并根据每帧视频图像的前景检测结果更新各个像素点的权重值，具体包括：对于任一帧视频图像中通过前景检测确定的前景像素点，为其权重值加一权重增值1/Ts，Ts为时间阈值；对于任一帧视频图像中通过前景检测确定的背景像素点，将其权重值清零；

当有像素点的权重值累加为1时，统计此时权重值达到权重阈值的像素点，所述权重阈值小于所述时间阈值；

根据此时权重值达到权重阈值的像素点确定静态前景区域。

8.根据权利要求7所述的检测装置，其特征在于，根据此时权重值达到权重阈值的像素点确定静态前景区域时，所述静态前景确定模块具体用于：

将所述权重值达到权重阈值的像素点映射到二值图像中；

在所述二值图像中，对所述权重值达到权重阈值的像素点进行连通区域检测；

将检测到的连通区域与区域阈值进行比较，根据大于区域阈值的连通区域确定静态前景区域。

9.根据权利要求6~8任一项所述的检测装置，其特征在于，所述图像检测模块采用归一化互相关算法计算所述视频图像中静态前景区域对应的图像与所述静态前景图像的图像相似度；采用归一化互相关算法计算非前景学入型的参考背景模型中静态前景区域对应的图像与所述静态前景图像的图像相似度。

10.根据权利要求7或8所述的检测装置，其特征在于，保存所述静态前景区域对应的静态前景图像后，所述静态前景确定模块还用于使用所述静态前景图像对所述前景学入型的背景模型进行更新。

Images