CN104268851A - 一种基于深度信息的atm自助营业厅行为分析方法 - Google Patents

Abstract

本发明涉及一种基于深度信息的ATM自助营业厅行为分析方法。现有技术是基于普通二维摄像头的行为分析，存在目标无法准确定位的情况。本发明首先采用双目相机作为深度信息的获取设备，对深度图进行背景建模，学习更新每个像素的混合高斯模型，确定背景分布。其次对每帧新深度图中的每个像素，求其概率值，对前景深度图，利用DENCLUE算法进行聚类分割。最后对每个相机中的每个人体区域中的像素，进行到地面上的投影，利用多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测。本发明使用了深度信息，并结合RGB信息的背景建模，使得目标检测的稳定性大为提高，为后续行为分析提供了良好的基础。

Description

一种基于深度信息的ATM自助营业厅行为分析方法

技术领域

本发明属于视频智能监控技术领域，涉及一种基于深度信息的ATM自助营业厅行为分析方法。

背景技术

目前，基于视频智能分析的技术已经逐步应用到金融安防领域，特别是对于ATM自助营业厅，由于全国各地抢劫案件频发，基于视频行为分析的实时预警和主动报警已经成为很多地区科技强警，科技安防的重要手段。

基于视频的行为分析算法，主要提供了“取款尾随”，“打斗”，“打砸ATM机”，“倒地”，“徘徊”，“驻留”等检测功能，但在现阶段，这些功能都是基于银行原有安装的普通摄像头来实现的。而基于普通二维摄像头的行为分析算法，在整个学术界虽是研究热点，但成熟度不高，其主要原因就是二维相机下的目标检测本身就不成熟，而在目标无法准确定位的情况下，行为分析就缺乏一个稳定的基础。

所以现在很多应用了行为分析产品的银行，均有反映算法检测率低，或者误检率高的问题，有时甚至会影响到银行原有的安保监控业务。

发明内容

本发明是以多个吸顶安装，垂直朝地面拍摄的双目相机为采集硬件，在深度信息和彩色信息的基础上，采用了背景建模，目标分割，运动分析等方法，实现了对人体行为分析的各个功能。

另外，由于吸顶安装相机的可视范围，严格受到安装高度的影响，为了保证营业厅中所有ATM机的全覆盖，本发明还采用了目标投影，多相机目标关联等方法，来对多个双目相机进行拼接，从而保证了整个营业厅ATM机区域的完全覆盖。

本发明解决技术问题所采取的技术方案为：

步骤1：采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深度图，深度图中，每个像素的取值范围为0-255，值越大表示该像素所代表的目标距离镜头越近。

步骤2：对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模型，确定背景分布，具体是：

首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为x_j的概率为：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

$\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{1/2}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为x_j的维数；

然后随着场景的变化，学习更新每个像素的混合高斯模型；

最后像素j的混合高斯模型描述了其特征值x_j在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前B_j个高斯成分作为背景的分布，B_j根据下式计算：

$B_j=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t+1}^i>M)$

阈值M度量了背景高斯成分在像素的整个概率分布中所占得最小比例。

步骤3：利用深度图背景模型，进行前景目标检测，即对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

若概率最大值小于阈值，则认为当前像素为前景点，说明可能有人体。

步骤4：对前景深度图，利用DENCLUE算法进行聚类分割，将原本联通的深度图分割成若干个区域，每个区域代表一个目标。

步骤5：对每个相机中的每个人体区域中的像素，利用其深度信息进行到地面上的投影，然后利用多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测。

步骤6：对于每个相机每帧深度图，重复步骤2-5的处理，每帧都会得到一组全局坐标系下的目标检测结果，再利用光流预测和面积匹配的方法进行帧间关联，从而得到每个目标在全局坐标系的跟踪轨迹。

步骤7：结合ATM区域规则和跟踪轨迹，实现“取款尾随”、“徘徊”或“驻留”的行为分析。

步骤8：对每个目标进行光流场的计算，评价其光流场的混乱程度和速度，实现“打斗”和“打砸ATM”的行为分析。

步骤9：对每个目标的历史高度进行统计，形成以时间为x轴，以高度为y轴的波形，在对其进行滤波后，检测波形中是否存在一个下降沿，实现对“倒地”的行为分析。

本发明有益效果：

1、使用了深度信息，并结合RGB信息的背景建模，使得目标检测的稳定性大为提高，为后续行为分析提供了良好的基础。

2、采用吸顶安装，垂直朝地面拍摄的相机安装方式，有效解决了目标遮挡问题。同时利用深度信息，对目标进行地面投影，从而实现多相机下的目标关联，解决了由于吸顶安装引起的可视范围小的问题。

3、利用深度信息，可以对目标的高度，肢体动作进行更准确的分析，从而更好的实现“倒地”，“打斗”，“打砸ATM机”等功能。

附图说明

图1为本发明方法流程图；

图2为双目相机架设示意图；

图3为双目相机与ATM机作用范围示意图；

图4为投影后目标的关联示意图。

具体实施方式

以下结合实施例对本发明作进一步说明：

如图1所示，1、本发明采用了双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深度图，深度图中，每个像素的取值范围为0-255，值越大表示该像素所代表的目标距离镜头越近。

如图2所示，设定双目相机架设高度：3米左右，架设角度：垂直90度，架设位置：靠近ATM机的天花板。当架设高度为2.8m时，假设人体最高为1.8m，单台双目相机覆盖范围为2m*2m左右；而根据测算，一台ATM机的宽度大约在0.8-1m左右，因此一台双目相机基本可以覆盖2台ATM机前的范围，以一个拥有4台ATM机，面积为3m*5m的中型营业厅为例，架设两台双目相机基本就能满足需求，参见图3。

2、对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为x_j的概率为：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

$\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{1/2}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为x_i的维数。

随着场景的变化，每个像素的混合高斯模型都需要不断地学习更新，方法是将混合高斯模型中的K个高斯成分按照由大到小排序，然后用像素的当前值x_j与其混合高斯模型中的K个高斯成分逐一比较，若x_j与第i个高斯成分的均值之间的差小于δ倍的该高斯成分的标准差则该高斯成分被x_j更新，其余高斯成分保持不变，更新方程如下：

${\mathrm{\ω}}_{j,t+1}^i=(1-\mathrm{\α}){\mathrm{\ω}}_{j,t}^i-\mathrm{\α}\·\left(M_{j,t}^i\right)$

${\mathrm{\μ}}_{j,t+1}^i=(1-\mathrm{\ρ}){\mathrm{\μ}}_{j,t}^i-\mathrm{\ρ}\·x_j$

${\left({\mathrm{\σ}}_{j,t+1}^i\right)}^2={(1-\mathrm{\ρ})\left({\mathrm{\σ}}_{j,t}^i\right)}^2-\mathrm{\ρ}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T(x_j-{\mathrm{\μ}}_{j,t}^i)$

$\mathrm{\ρ}=\frac{\mathrm{\α}}{{\mathrm{\ω}}_{j,t}^i}$

其中α是模型的学习率，当第i个高斯成分与x_j匹配时，为1，否则为0；如果x_j与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分均值为x_j，初始标准差及权重设为σ_init和ω_init；在更新完成后，各高斯成分的权重被归一化，以使 ${\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_{j,t+1}^i=1.$

像素j的混合高斯模型描述了其特征值x_j在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前B_j个高斯成分作为背景的分布，B_j根据下式计算：

$B_j=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t+1}^i>M)$

阈值M度量了背景高斯成分在像素的整个概率分布中所占得最小比例，当M取值较小时，背景用单模分布表示，当M取值较大时，可以表示多模分布的背景,b表示背景模型个数。

3、利用深度图背景模型，进行前景目标检测，即对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

若概率最大值小于阈值，则认为当前像素为前景点，说明可能有人体。

4、对前景深度图，利用DENCLUE算法进行聚类分割

已知空间Ω∈R_d中包含n个对象的数据集D＝{x₁,x₂,…,x_n}，DENCLUE算法的基本思想可以形式化描述为：

全局密度函数的核估计：空间任一点x的概率密度可估计为其中，K(x)为核函数。在这里，我们采用的是高斯核函数。

密度吸引子和密度吸引：已知全局密度函数的局部极大值点x^*，对任意的x∈Ω，如果存在点集{x₀,x₁,…,x_k}，使得x₀＝x,x_k＝x^*且x_i位于x_i-1的梯度方向上，则称x被x^*密度吸引，而称x^*为x的密度吸引。如果核函数K(x)在空间中的每一点都连续、可微，密度吸引子可以采用梯度方向指引的爬山法来搜索。

基于中心的聚类：已知密度吸引子x^*，如果存在自己使得x都被x^*密度吸引且f^D(x^*)≥ξ(ξ为预设的密度门限值)，则称C为以x^*为中心的聚类。

显然，算法中存在两个重要参数：窗宽σ和密度门限值ξ。σ的选取直接会影响全局密度的估计结果，从而影响聚类数目；ξ用于过滤噪声产生的影响。

一般情况下，σ的取值应和实际目标的大小一致，由于本发明应用在拍摄角度垂直向下的客流统计场景，所以人体目标在深度图中的大小，是可以根据人体的高度估计出来的，所以这里的取值为估计人体宽度的一半。而密度门限值ξ的取值就更为简单，在相机高度已确定的情况下，可以计算出需要关注的人体高度所对应的深度图灰度值，只要按此阈值来设置ξ，即可把不要的噪声过滤。在聚类分割完成后，本方法就将原本联通的深度图分割成若干个区域，每个区域代表一个目标。

5、对每个相机中的每个人体区域中的像素，利用其深度信息进行到地面上的投影，然后利用事先做好的多相机偏移(dx，dy)标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测。

如图4所示，有一定高度的目标处在两个相机的公共区域。设相机高度为z0，目标二维平面坐标为(x,y)，高度为z，左相机目标的全局坐标为：

$\{(\frac{w-1}{2}-x)\frac{z}{z_0}+x,(\frac{H-1}{2}-y)\frac{z}{z_0}+y\},$

考虑相机偏移(dx,dy)，右相机目标的全局坐标为：

$\{\{(\frac{w-1}{2}-x)\frac{z}{z_0}+x+\mathrm{dx},(\frac{H-1}{2}-y)\frac{z}{z_0}+y+\mathrm{dy}\}.$

一般情况下人体区域包含多个像素，由于相机安装角度不同，同一目标的前景点分布有所不同，投影到地面后分布也会不同，因此通过对目标的所有点做MeanShift聚类得到的投影中心点来代表该目标。通过比较相邻相机下所有投影中心点的距离，并设定阈值Td，距离小于Td的目标认为是同一目标，从而达到区域目标关联的目的。

6:对于每个相机每帧深度图，都进行上述2-5步的处理，每帧都会得到一组全局坐标系下的目标检测结果，再利用光流预测和面积匹配的方法进行帧间关联，从而得到每个目标在全局坐标系的跟踪轨迹。

7：结合ATM区域和跟踪轨迹，实现“取款尾随”，“徘徊”和“驻留”等行为分析功能。

8：对每个目标进行光流场的计算，评价其光流场的混乱程度和速度，实现“打斗”和“打砸ATM”等行为分析功能。

9：对每个目标的历史高度进行统计，形成以时间为x轴，以高度为y轴的波形，在对其进行滤波等预处理后，检测波形中是否存在一个下降沿，从而实现对“倒地”等行为分析功能。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.一种基于深度信息的ATM自助营业厅行为分析方法，以多个吸顶安装、垂直朝地面拍摄的双目相机为采集硬件，在深度信息和彩色信息的基础上，采用了背景建模，目标分割，运动分析，实现对监控区域内人体行为的分析，其特征在于该方法具体包括以下步骤：

步骤1：采用双目相机作为深度信息的获取设备，输出为帧率25FPS的CIF分辨率的深度图，深度图中，每个像素的取值范围为0-255，值越大表示该像素所代表的目标距离镜头越近；

步骤2：对深度图进行背景建模，并随着场景的变化，学习更新每个像素的混合高斯模型，确定背景分布，具体是：

首先对深度图进行背景建模，用由K个高斯成分组成的混合高斯模型表示像素在时间域上的概率分布模型，即深度图中像素j在t时刻取值为x_j的概率为:

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

其中表示在t时刻像素j的混合高斯模型中的第i个高斯成分的权重，表示第i个高斯成分的均值，表示第i个高斯成分的协方差，η表示高斯概率密度函数：

$\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{1/2}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为x_j的维数；

然后随着场景的变化，学习更新每个像素的混合高斯模型；

最后像素j的混合高斯模型描述了其特征值x_j在时间域上的概率分布，为了确定像素的混合高斯模型里哪些高斯成分是由背景产生的，根据每个高斯成分的权重与其标准差之比排序后，取前B_j个高斯成分作为背景的分布，B_j根据下式计算

$B_j=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t+1}^i>M)$

阈值M度量了背景高斯成分在像素的整个概率分布中所占得最小比例；

步骤3：利用深度图背景模型，进行前景目标检测，即对每帧新深度图中的每个像素，求其在每个背景混合高斯模型中的概率值：

$P\left(x_j\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,t}^i\·\mathrm{\η}(x_j;{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)$

若概率最大值小于阈值，则认为当前像素为前景点，说明可能有人体；

步骤4：对前景深度图，利用DENCLUE算法进行聚类分割，将原本联通的深度图分割成若干个区域，每个区域代表一个目标；

步骤5：对每个相机中的每个人体区域中的像素，利用其深度信息进行到地面上的投影，然后利用多相机偏移标定，进行投影后目标的关联，从而在全局坐标系上实现多相机下的目标检测；

步骤6：对于每个相机每帧深度图，重复步骤2-5的处理，每帧都会得到一组全局坐标系下的目标检测结果，再利用光流预测和面积匹配的方法进行帧间关联，从而得到每个目标在全局坐标系的跟踪轨迹；

步骤7：结合ATM区域和跟踪轨迹，实现“取款尾随”、“徘徊”或“驻留”的行为分析；

步骤8：对每个目标进行光流场的计算，评价其光流场的混乱程度和速度，实现“打斗”和“打砸ATM”的行为分析；

步骤9：对每个目标的历史高度进行统计，形成以时间为x轴，以高度为y轴的波形，在对其进行滤波后，检测波形中是否存在一个下降沿，实现对“倒地”的行为分析。

2.根据权利要求1所述的一种基于深度信息的ATM自助营业厅行为分析方法，其特征在于：步骤2中的学习更新是：将混合高斯模型中的K个高斯成分按照由大到小排序，然后用像素的当前值x_j与其混合高斯模型中的K个高斯成分逐一比较，若x_j与第i个高斯成分的均值之间的差小于δ倍的该高斯成分的标准差则该高斯成分被x_j更新，其余高斯成分保持不变，更新方程如下：

${\mathrm{\ω}}_{j,t+1}^i=(1-\mathrm{\α}){\mathrm{\ω}}_{j,t}^i-\mathrm{\α}\·\left(M_{j,t}^i\right)$

${\mathrm{\μ}}_{j,t+1}^i=(1-\mathrm{\ρ}){\mathrm{\μ}}_{j,t}^i-\mathrm{\ρ}\·x_j$

${\left({\mathrm{\σ}}_{j,t+1}^i\right)}^2={(1-\mathrm{\ρ})\left({\mathrm{\σ}}_{j,t}^i\right)}^2-\mathrm{\ρ}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T(x_j-{\mathrm{\μ}}_{j,t}^i)$

$\mathrm{\ρ}=\frac{\mathrm{\α}}{{\mathrm{\ω}}_{j,t}^i}$

其中α是模型的学习率，当第i个高斯成分与x_j匹配时，为1，否则为0；如果x_j与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分均值为x_j，初始标准差及权重设为σ_init和ω_init；在更新完成后，各高斯成分的权重被归一化，以使 ${\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_{j,t+1}^i=1.$

3.根据权利要求1所述的一种基于深度信息的ATM自助营业厅行为分析方法，其特征在于：步骤4的DENCLUE算法中存在两个重要参数：窗宽σ和密度门限值ξ；σ的选取直接会影响全局密度的估计结果，从而影响聚类数目；ξ用于过滤噪声产生的影响；σ的取值为人体宽度的一半；密度门限值ξ的取值为需要关注的人体高度所对应的深度图灰度值。