CN102867175B - 一种基于立体视觉的atm机行为分析方法 - Google Patents

Abstract

本发明涉及一种基于立体视觉的ATM机行为分析方法。现有技术由于采用的是二维图像分析，对于光影，视频质量所引起的误检没有很好的处理办法。本发明首先采用双目相机作为深度信息的获取设备，对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模型，确定背景分布。然后对每帧新深度图中的每个像素，求其概率值，对所有前景点进行联通域检测，同一个联通区域的像素认为是属于同一个不明物体。最后在二维彩色图上，对联通域的大小，颜色进行判断，过滤过小的区域或颜色和背景类似的区域，剩下的区域即为可能的不明物。本发明采用了立体视觉的三维图像信息，所以能对ATM操作台上的异常行为产生的不明物体有较好的检测。

Description

一种基于立体视觉的ATM机行为分析方法

技术领域

本发明属于视频智能监控技术领域，涉及一种基于立体视觉的ATM机行为分析方法。

背景技术

目前，针对ATM机的犯罪越来越多，包括加装读卡器，摄像头，MP4，假键盘等等，给银行客户带来巨大的损失。虽然所有银行都装有实时的监控系统，但大多只能用于事后取证，无法对犯罪行为做到实时报警。而ATM机本身的报警装置，也只能对敲打，摇晃等剧烈运动产生报警。因此，产生了一些基于视频监控的智能分析装置，能对监控范围的违法行为进行实时分析和报警，例如：专利200810057490.3；201120002617.9；201010174674.5等。

虽然这些专利所述的装置，都能实现对加装读卡器，张贴小纸条，假键盘等物体实时报警。但其检测均基于彩色二维图像，这就导致了无法对对比度较低，尺度较小的目标进行检测，同时，在光影的干扰下，每路视频每天的误报次数也无法控制在客户接受的范围内。

发明内容

本发明基于立体视觉相机，在原有的二维图像之外，多增加一维深度信息，对ATM机操作台以及取款人进行三维视频监控。

本发明深度信息是在二维图像信息中多增加一维信息，能够表征出目标到镜头距离，这样对于光影，视频质量等引起的误检，由于不会改变ATM机的深度，所以很容易被滤除。而滞留在ATM机上真正的异常物体，其一般都存在厚度，所以在深度信息上会有比较明显的变化。

本发明解决技术问题所采取的技术方案为：

步骤1：采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深度图，深度图中，每个像素的取值范围为0-255，值越大表示该像素所代表的目标距离镜头越近。

步骤2：对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模型，确定背景分布，具体是：

首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为                                               的概率为

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

其中d为的维数。

然后随着场景的变化，学习更新每个像素的混合高斯模型。

最后像素j的混合高斯模型描述了其特征值在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前个高斯成分作为背景的分布，根据下式计算

阈值T度量了背景高斯成分在像素的整个概率分布中所占得最小比例。

步骤3：对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

若概率最大值小于阈值，则认为当前像素为前景点，说明可能有物体在背景上。

步骤4：对所有前景点进行联通域检测，同一个联通区域的像素认为是属于同一个不明物体。

步骤5：在二维彩色图上，对联通域的大小，颜色进行判断，过滤过小的区域或颜色和背景类似的区域，剩下的区域即为可能的不明物。

步骤2中的学习更新方法是：将混合高斯模型中的K个高斯成分按照由大到小排序，然后用像素的当前值与其混合高斯模型中的K个高斯成分逐一比较，若与第i个高斯成分的均值之间的差小于δ倍的该高斯成分的标准差，则该高斯成分被更新，其余高斯成分保持不变，更新方程如下：

其中是模型的学习率，当第i个高斯成分与匹配时，为1，否则为0；如果与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分均值为，初始标准差及权重设为和；在更新完成后，各高斯成分的权重被归一化，以使。

本发明有益效果：本发明采用了立体视觉的三维图像信息，所以能对ATM操作台上的异常行为产生的不明物体有较好的检测，相对于现有技术只利用简单的二维图像比对来实现，准确性大大提高。

具体实施方式

以下结合实施例对本发明作进一步说明，本发明方法包括以下步骤：

步骤1：采用自主研发的双目相机对ATM面板进行实时拍摄，一般安装高度为50cm，保证将整个ATM面板都拍摄进去。

步骤2：利用每帧采集到的深度图进行背景建模，模型用由3个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为的概率为：

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

其中d为的维数，在这里由于是2维图像，所以d=2。

然后随着场景的变化，学习更新每个像素的混合高斯模型。

最后像素j的混合高斯模型描述了其特征值在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前个高斯成分作为背景的分布，根据下式计算：

阈值T度量了背景高斯成分在像素的整个概率分布中所占得最小比例，这里我们取T=0.3，得到=2。

步骤3：对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

这里我们假设j = 1时，

=0.1,

=0.24,

=0.14,

= 2.2，

= 1.4，

= 1.7，

则我们可以得出P()= 0.752，

而当j=2时，

=0.1,

=0.11,

=0.05,

= 1.24，

= 0.98，

= 0.001，

则我们可以得出P()= 0.23185，

若我们设置概率阈值为0.5，那么j=2的像素点就可认为是前景点，说明可能有物体在背景上。而j=1的像素点则认为还是背景。

步骤4：对所有前景点进行联通域检测，同一个联通区域的像素认为是属于同一个不明物体。

步骤5：在二维彩色图上，对联通域的大小，颜色进行判断，过滤过小的区域或颜色和背景类似的区域，剩下的区域即为可能的不明物。例如设置面积阈值为1000个像素，前背景灰度差为20。

步骤2中的学习更新方法是：将混合高斯模型中的3个高斯成分按照由大到小排序，然后用像素的当前值与其混合高斯模型中的3个高斯成分逐一比较，若与第i个高斯成分的均值之间的差小于2倍的该高斯成分的标准差，则该高斯成分被更新，其余高斯成分保持不变，更新方程如下：

其中是模型的学习率，假设为0.5，当第i个高斯成分与匹配时，为1，否则为0；如果与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分均值为，初始标准差及权重设为和；在更新完成后，各高斯成分的权重被归一化，以使。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (2)

1.一种基于立体视觉的ATM机行为分析方法，其特征在于该方法包括以下步骤：

步骤1：采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深度图，深度图中，每个像素的取值范围为0-255，值越大表示该像素所代表的目标距离镜头越近；

步骤2：对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模型，确定背景分布，具体是：

首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为x_j的概率为

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

$\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{1/2}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为x_j的维数；

然后随着场景的变化，学习更新每个像素的混合高斯模型；

最后像素j的混合高斯模型描述了其特征值x_j在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前B_j个高斯成分作为背景的分布，B_j根据下式计算

$B_j=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t+1}^i>M)$

阈值M度量了背景高斯成分在像素的整个概率分布中所占得最小比例；

步骤3：对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

若概率最大值小于阈值，则认为当前像素为前景点，说明可能有物体在背景上；

步骤4：对所有前景点进行联通域检测，同一个联通区域的像素认为是属于同一个不明物体；

步骤5：在二维彩色图上，对联通域的大小，颜色进行判断，过滤过小的区域或颜色和背景类似的区域，剩下的区域即为可能的不明物。

2.根据权利要求1所述的一种基于立体视觉的ATM机行为分析方法，其特征在于：步骤2中的学习更新方法是：将混合高斯模型中的K个高斯成分按照由大到小排序，然后用像素的当前值x_j与其混合高斯模型中的K个高斯成分逐一比较，若x_j与第i个高斯成分的均值之间的差小于δ倍的该高斯成分的标准差则该高斯成分被x_j更新，其余高斯成分保持不变，更新方程如下：

${\mathrm{\ω}}_{j,t+1}^i=(1-\mathrm{\α}){\mathrm{\ω}}_{j,t}^i-\mathrm{\α}\·\left(M_{j,t}^i\right)$

${\mathrm{\μ}}_{j,t+1}^i=(1-\mathrm{\ρ}){\mathrm{\μ}}_{j,t}^i-\mathrm{\ρ}\·x_j$

${\left({\mathrm{\σ}}_{j,t+1}^i\right)}^2=(1-\mathrm{\ρ}){\left({\mathrm{\σ}}_{j,t}^i\right)}^2-\mathrm{\ρ}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T(x_j-{\mathrm{\μ}}_{j,t}^i)$

$\mathrm{\ρ}=\frac{\mathrm{\α}}{{\mathrm{\ω}}_{j,t}^i}$

其中α是模型的学习率，当第i个高斯成分与x_j匹配时，为1，否则为0；如果x_j与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分均值为x_j，初始标准差及权重设为σ_init和ω_init；在更新完成后，各高斯成分的权重被归一化，以使 ${\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_{j,t+1}^i=1.$