CN105957093A - 一种纹理区分优化hog算子的atm滞留物检测方法 - Google Patents

Abstract

本发明公开了一种纹理区分优化HOG算子的ATM滞留物检测方法，该方法首先对ATM监控视频的单帧图像进行纹理特征的描述，得到纹理特征描述值，然后加入修正因子得到修正值；并根据纹理特征构建背景模型，再计算每一个图像序列的方差，得到其权重；再将当前像素与背景模型的背景直方图逐个比较，并按对应权重在相似度级别上融合以消除背景；统计背景消除后图像的梯度的强度和方向，得到其梯度直方图；最后将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总，得到滞留物图像。本发明通过区分检测图像的纹理特征对背景进行消除，以突出检测目标的局部纹理特征，并采用方差法提高背景消除的精度。

Description

一种纹理区分优化HOG算子的ATM滞留物检测方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种ATM滞留物检测方法。

背景技术

近年来，随着我国金融信息化工程的不断发展和金卡工程的不断推进，ATM取款机在金融环境中占据着举足轻重的地位。ATM机数量不断增多，设备安置位置周围的环境越来越复杂，安全监控、管理的难度日益增大。传统视频监控系统主要是靠人工来进行监控，只能实现事后取证，就有可能错失解决事件的最好时机，不仅费时费力，即使能够找到证据，造成的损失也可能无可挽回。所以，基于智能视频分析的ATM监控显得意义重大。

针对滞留物检测检测方法，主要有背景差分方法、高斯混合法、方向梯度直方图法等。申请号为200910234281.6的发明，首先检测出监控场景中可疑物体(滞留物)，记录下物体的位置信息以便以后对物体继续实施监控。然后用关联算法找到关键帧画面，再根据滞留物主离滞留物距离最近原则找到关键人。申请号为201310239290.0的发明，首先建立背景模型并检测出每帧图像前景物体，根据前景物体生成物体分类器；再将静止的前景物体输入到物体分类器根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体；最后对静止前景类型为物品的物体进行物主分析，得到物品的携带者信息，判断出物主。以上两种发明在ATM滞留物检测中均无法精确区分前景和背景，所以其鲁棒性较差。

发明内容

本发明的目的在于针对现有的ATM滞留物检测方法的不足，提供了一种纹理区分优化HOG算子的ATM滞留物检测方法。

本发明的目的是通过以下技术方案来实现的：一种纹理区分优化HOG算子的ATM滞留物检测方法，该方法包括以下步骤：

(1)提取ATM监控视频的单帧图像作为输入图像；

(2)采用每个像素联合在其半径为D的邻域上的S个像素的分布来对纹理特征进行描述：

$L_{S,D}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\Σ}}\mathrm{\ξ}(p_s-p_i)\·2^s---\left(1\right)$

其中，L_S,D(x_i,y_i)表示(x_i,y_i)处的像素的半径为D的邻域上的S个像素的纹理特征描述，p_i表示(x_i,y_i)处的像素灰度值，p_s表示半径为D的环形邻域中各像素灰度平均值，ξ为系数，其取值为：

$\mathrm{\&xi;}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(2\right)$

(3)加入修正因子σ，减小领域像素变化小的时候计算结果的差异：

$L_{S,D}^{\&prime;}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\&Sigma;}}\mathrm{\&xi;}(p_s-p_i)\&CenterDot;2^s+\mathrm{\&sigma;}---\left(3\right)$

其中，L′_S,D(x_i,y_i)表示修正后S个像素在其半径为D的邻域上的纹理特征描述。

(4)根据式(3)计算所得的纹理特征，构建背景模型：

$B=\{{\stackrel{\&RightArrow;}{u}}_1,{\stackrel{\&RightArrow;}{u}}_2,\mathrm{...},{\stackrel{\&RightArrow;}{u}}_n\}---\left(4\right)$

其中，表示背景模型中的第i个纹理直方图。

(5)设当前像素的直方图为将其与背景模型B的n个背景直方图逐个比较，若两者间相似度小于设定阈值T_s，则为前景，否则为背景。

$n=\underset{i}{\mathrm{argmin}}\left(\underset{i=0}{\overset{n-1}{\&Sigma;}}{L}_{S,D}^{\&prime;}\right(x_i,y_i)>T_s)---\left(5\right)$

其中，设有两个直方图和两者间的相似度比较方法为：

$\&cap;(\stackrel{\&RightArrow;}{x},\stackrel{\&RightArrow;}{y})=min\underset{n=0}{\overset{n-1}{\&Sigma;}}(x_n,x_n)---\left(6\right)$

(6)为了提高精确性，对每一个图像序列，计算其方差：

${\mathrm{var}}^j=\frac{1}{Q}\&CenterDot;{\&lsqb;\underset{i=1}{\overset{Q}{\&Sigma;}}l(R_i^j,R^j)\&rsqb;}^2---\left(7\right)$

其中，var^j表示第j个图像序列的方差，Q表示训练样本总数，R表示所有训练样本的平均值子图像：

$R=\frac{1}{Q}\&CenterDot;\underset{i=1}{\overset{Q}{\&Sigma;}}{R}_i---\left(8\right)$

R^j表示所有样本的平均值图像R的第j个子图像，表示第i个样本的第j个子图像，l表示相似度量距离。

以此方差作为每一个子图像的局部纹理特征的权重，然后按对应权重在相似度级别上融合，最后再以方差的度量方式进行背景消除。

(7)统计背景消除后图像G(x,y)的梯度的强度和方向：

$\left\{\begin{array}{c}{F}_x(x,y)=G(x+1,y)-G(x-1,y)\\ F_y(x,y)=G(x,y+1)-G(x,y-1)\end{array}\right.---\left(9\right)$

其中，F_x(x,y)、F_y(x,y)分别表示统计背景消除后图像中在像素点(x,y)处的水平方向的梯度的幅值和垂直方向梯度的幅值；G(x+1,y)、G(x-1,y)、G(x,y+1)、G(x,y-1)分别表示点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的像素值。

所以其强度为：

$F(x,y)=\sqrt{F_x{(x,y)}^2+F_y{(x,y)}^2}---\left(10\right)$

方向为：

$\mathrm{\&eta;}(x,y)=arctan\left(\frac{F_y(x,y)}{F_x(x,y)}\right)---\left(11\right)$

(8)采用L2-norm范数对梯度直方图进行归一化处理：

$o^{*}=\frac{o}{\sqrt{{||o||}_k^2+{\mathrm{\&lambda;}}^2}}---\left(12\right)$

其中，o^*代表归一化之后的特征向量，o代表归一化之前的特征向量，||o||_k代表它的k阶范数k＝1,2，λ为常数。

(9)将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总，得到滞留物图像。

本发明的有益效果是：本发明采用修正因子优化纹理特征描述的技术手段，并通过区分检测图像的纹理特征对背景进行消除，以突出检测目标的局部纹理特征，且采用方差法提高背景消除的精度。

附图说明

图1为一种纹理区分优化HOG算子的ATM滞留物检测方法的流程示意图；

图2为采用本发明方法的ATM滞留物为帽子的实施例的检测结果示意图；

图3为采用本发明方法的ATM滞留物为手机的实施例的检测结果示意图；

图4为采用本发明方法的ATM滞留物为便利贴的实施例的检测结果示意图。

具体实施方式

下面结合附图对本发明作进一步描述，本发明的目的和效果将变得更加明显。

如图1所示，本发明纹理区分优化HOG算子的ATM滞留物检测方法，包括以下步骤：

1、提取ATM监控视频的单帧图像作为输入图像；

2、采用每个像素联合在其半径为D的邻域上的S个像素的分布来对纹理特征进行描述：

$L_{S,D}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\&Sigma;}}\mathrm{\&xi;}(p_s-p_i)\&CenterDot;2^s---\left(1\right)$

其中，L_S,D(x_i,y_i)表示(x_i,y_i)处的像素的半径为D的邻域上的S个像素的纹理特征描述，p_i表示(x_i,y_i)处的像素灰度值，p_s表示半径为D的环形邻域中各像素灰度平均值，ξ为系数，其取值为：

$\mathrm{\&xi;}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(2\right)$

3、加入修正因子σ，减小领域像素变化小的时候计算结果的差异：

$L_{S,D}^{\&prime;}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\&Sigma;}}\mathrm{\&xi;}(p_s-p_i)\&CenterDot;2^s+\mathrm{\&sigma;}---\left(3\right)$

其中，L′_S,D(x_i,y_i)表示修正后S个像素在其半径为D的邻域上的纹理特征描述。

4、根据式(3)计算所得的纹理特征，构建背景模型：

$B=\{{\stackrel{\&RightArrow;}{u}}_1,{\stackrel{\&RightArrow;}{u}}_2,\mathrm{...},{\stackrel{\&RightArrow;}{u}}_n\}---\left(4\right)$

其中，表示背景模型中的第i个纹理直方图。

5、设当前像素的直方图为将其与背景模型B的n个背景直方图逐个比较，若两者间相似度小于设定阈值T_s，则为前景，否则为背景。

$n=\underset{i}{\mathrm{argmin}}\left(\underset{i=0}{\overset{n-1}{\&Sigma;}}{L}_{S,D}^{\&prime;}\right(x_i,y_i)>T_s)---\left(5\right)$

其中，设有两个直方图和两者间的相似度比较方法为：

$\&cap;(\stackrel{\&RightArrow;}{x},\stackrel{\&RightArrow;}{y})=min\underset{n=0}{\overset{n-1}{\&Sigma;}}(x_n,x_n)---\left(6\right)$

6、为了提高精确性，对每一个图像序列，计算其方差：

${\mathrm{var}}^j=\frac{1}{Q}\&CenterDot;{\&lsqb;\underset{i=1}{\overset{Q}{\&Sigma;}}l(R_i^j,R^j)\&rsqb;}^2---\left(7\right)$

其中，var^j表示第j个图像序列的方差，Q表示训练样本总数，R表示所有训练样本的平均值子图像：

$R=\frac{1}{Q}\&CenterDot;\underset{i=1}{\overset{Q}{\&Sigma;}}{R}_i---\left(8\right)$

R^j表示所有样本的平均值图像R的第j个子图像，表示第i个样本的第j个子图像，l表示相似度量距离。

以此方差作为每一个子图像的局部纹理特征的权重，然后按对应权重在相似度级别上融合，最后再以方差的度量方式进行背景消除。

7、统计背景消除后图像G(x,y)的梯度的强度和方向：

$\left\{\begin{array}{c}{F}_x(x,y)=G(x+1,y)-G(x-1,y)\\ F_y(x,y)=G(x,y+1)-G(x,y-1)\end{array}\right.---\left(9\right)$

其中，F_x(x,y)、F_y(x,y)分别表示统计背景消除后图像中在像素点(x,y)处的水平方向的梯度的幅值和垂直方向梯度的幅值；G(x+1,y)、G(x-1,y)、G(x,y+1)、G(x,y-1)分别表示点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的像素值。

所以其强度为：

$F(x,y)=\sqrt{F_x{(x,y)}^2+F_y{(x,y)}^2}---\left(10\right)$

方向为：

$\mathrm{\&eta;}(x,y)=arctan\left(\frac{F_y(x,y)}{F_x(x,y)}\right)---\left(11\right)$

8、采用L2-norm范数对梯度直方图进行归一化处理：

$o^{*}=\frac{o}{\sqrt{{||o||}_k^2+{\mathrm{\&lambda;}}^2}}---\left(12\right)$

其中，o^*代表归一化之后的特征向量，o代表归一化之前的特征向量，||o||_k代表它的k阶范数k＝1,2，λ为常数。

9、将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总，得到滞留物图像。

如图1所示，一种纹理区分优化HOG算子的ATM滞留物检测方法的具体实施方式为：首先在ATM自动取款机的门上假设摄像头，其角度为与地面成45°角，然后提取ATM监控视频的单帧图像，并对其进行纹理特征的描述，得到纹理特征描述值L_S,D(x_i,y_i)，然后为了减小领域像素变化小的时候计算结果的差异，加入修正因子σ对纹理特征描述值进行优化，得到修正值L′_S,D(x_i,y_i)，接着根据纹理特征构建背景模型B，再计算每一个图像序列的其方差，得到其局部纹理特征的权重，然后将当前像素与背景模型B的n个背景直方图逐个比较，并按对应权重在相似度级别上融合以消除背景，进一步统计背景消除后图像G(x,y)的梯度的强度和方向，得到其梯度直方图，为了把各个特征的尺度控制在相同的范围内，再采用L2-norm范数对梯度直方图进行归一化处理，最后将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总，得到滞留物图像。

如图2～4为采用本发明方法对不同ATM滞留物的检测结果示意图，其结果说明本发明的方法获得了不错的实验结果，可以为ATM滞留物检测提供更高的精确性。

Claims (1)

1.一种纹理区分优化HOG算子的ATM滞留物检测方法，其特征在于，该方法包括以下步骤：

(1)提取ATM监控视频的单帧图像作为输入图像；

(2)采用每个像素联合在其半径为D的邻域上的S个像素的分布来对纹理特征进行描述：

$L_{S,D}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\&Sigma;}}\mathrm{\&xi;}(p_s-p_i)\&CenterDot;2^s---\left(1\right)$

其中，L_S,D(x_i,y_i)表示(x_i,y_i)处的像素的半径为D的邻域上的S个像素的纹理特征描述，p_i表示(x_i,y_i)处的像素灰度值，p_s表示半径为D的环形邻域中各像素灰度平均值，ξ为系数，其取值为：

$\mathrm{\&xi;}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(2\right)$

(3)加入修正因子σ，减小领域像素变化小的时候计算结果的差异：

$L_{S,D}^{\&prime;}(x_i,y_i)=\underset{s=0}{\overset{D-1}{\&Sigma;}}\mathrm{\&xi;}(p_s-p_i)\&CenterDot;2^s+\mathrm{\&sigma;}---\left(3\right)$

其中，L′_S,D(x_i,y_i)表示修正后S个像素在其半径为D的邻域上的纹理特征描述。

(4)根据式(3)计算所得的纹理特征，构建背景模型：

$B=\left\{{\stackrel{\&RightArrow;}{u}}_1,{\stackrel{\&RightArrow;}{u}}_2,...,{\stackrel{\&RightArrow;}{u}}_n\right\}---\left(4\right)$

其中，表示背景模型中的第i个纹理直方图。

(5)设当前像素的直方图为将其与背景模型B的n个背景直方图逐个比较，若两者间相似度小于设定阈值T_s，则为前景，否则为背景。

$n=\underset{i}{\mathrm{argmin}}\left(\underset{i=0}{\overset{n-1}{\&Sigma;}}{L}_{S,D}^{\&prime;}\right(x_i,y_i)>T_s)---\left(5\right)$

其中，设有两个直方图和两者间的相似度比较方法为：

$\&cap;(\stackrel{\&RightArrow;}{x},\stackrel{\&RightArrow;}{y})=min\underset{n=0}{\overset{n-1}{\&Sigma;}}(x_n,x_n)---\left(6\right)$

(6)为了提高精确性，对每一个图像序列，计算其方差：

${\mathrm{var}}^j=\frac{1}{Q}\&CenterDot;{\&lsqb;\underset{i=1}{\overset{Q}{\&Sigma;}}l(R_i^j,R^j)\&rsqb;}^2---\left(7\right)$

其中，var^j表示第j个图像序列的方差，Q表示训练样本总数，R表示所有训练样本的平均值子图像：

$R=\frac{1}{Q}\&CenterDot;\underset{i=1}{\overset{Q}{\&Sigma;}}{R}_i---\left(8\right)$

R^j表示所有样本的平均值图像R的第j个子图像，表示第i个样本的第j个子图像，l表示相似度量距离。

以此方差作为每一个子图像的局部纹理特征的权重，然后按对应权重在相似度级别上融合，最后再以方差的度量方式进行背景消除。

(7)统计背景消除后图像G(x,y)的梯度的强度和方向：

$\left\{\begin{array}{c}{F}_x(x,y)=G(x+1,y)-G(x-1,y)\\ F_y(x,y)=G(x,y+1)-G(x,y-1)\end{array}\right.---\left(9\right)$

其中，F_x(x,y)、F_y(x,y)分别表示统计背景消除后图像中在像素点(x,y)处的水平方向的梯度的幅值和垂直方向梯度的幅值；G(x+1,y)、G(x-1,y)、G(x,y+1)、G(x,y-1)分别表示点(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)处的像素值。

所以其强度为：

$F(x,y)=\sqrt{F_x{(x,y)}^2+F_y{(x,y)}^2}---\left(10\right)$

方向为：

$\mathrm{\&eta;}(x,y)=arctan\left(\frac{F_y(x,y)}{F_x(x,y)}\right)---\left(11\right)$

(8)采用L2-norm范数对梯度直方图进行归一化处理：

$o^{*}=\frac{o}{\sqrt{\left|\right|o|{|}_k^2+{\mathrm{\&lambda;}}^2}}---\left(12\right)$

其中，o^*代表归一化之后的特征向量，o代表归一化之前的特征向量，||o||_k代表它的k阶范数k＝1,2，λ为常数。

(9)将统计背景消除后图像中所有重叠的块进行HOG特征向量的收集归总，得到滞留物图像。