CN104156691A - 一种基于图像处理的检测行人翻越闸机的监控方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的检测行人翻越闸机的监控方法，包含以下步骤：获取闸机口处的视频帧；利用匹配方法对视频帧进行预处理，得到闸门图像的匹配率；提取一段时间序列的匹配率作为分类特征，获得的匹配率序列作为特征向量X；由贝叶斯分类的分类判别函数来判断是否发生行人翻越闸机事件；若发生，则向工作人员报警，并将事件发生的时间以及行人翻越闸机时的视频帧保存下来；若未发生，则重复第一个步骤。本发明的监控方法，能准确地检测出闸机口出翻越闸机的行为，且硬件实现简单，算法具有实时性，计算量小，还能在报警的同时在视频监控端有相应的记录留存，方便后期处理紧急事件时各方协同工作、取证、回放。

Description

一种基于图像处理的检测行人翻越闸机的监控方法

技术领域

本发明涉及监控领域，特别涉及一种基于图像处理的检测行人翻越闸机的监控方法。

背景技术

随着国内现代化的飞速发展，闸机广泛地应用于各种收费、门禁场合的入口通道处。但是，在轨道交通领域(如地铁、BRT公交)，由于人流量大，随时都可能发生翻越闸机等突发事件。而国内技术积累比较薄弱，现有的闸机，只会对检票行为进行检测，很少有对闸机口处异常行为的监控。

目前，少数闸机口处的异常行为的检测，都是利用内部的传感器系统对行人行为进行识别。传统的闸机传感器识别系统，普遍依赖红外传感器作为数据采集设备，识别技术简单，仅依赖于某个或者某几个传感器的遮挡来进行识别判断，造成了成本较高、识别率不高等问题；同时，闸机传感器识别系统产生的报警信息不能在视频监控中有相应记录，仅仅只有事件发生瞬时的声音报警信号，使得后期处理紧急事件各方协同控制、取证、回放带来困难。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于图像处理的检测行人翻越闸机的监控方法。

本发明的目的通过以下的技术方案实现：

一种基于图像处理的检测行人翻越闸机的监控方法，包含以下顺序的步骤：

S1.通过安防摄像头，获取闸机口处的视频帧；

S2.利用匹配方法对视频帧进行预处理，得到闸门图像的匹配率；

S3.根据行人翻越闸机这一事件的连贯性特点，提取一段时间序列的匹配率作为分类特征，获得的匹配率序列作为特征向量X；

S4.由贝叶斯分类的分类判别函数来判断是否发生行人翻越闸机事件，分类判别函数为：

$\begin{array}{c}{h}_i\left(X\right)=P\left(X\right|{\mathrm{\ω}}_i)P\left({\mathrm{\ω}}_i\right)\\ =\ln \ln \left\{\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}{\left|S_i\right|}^{1/1}}\mathrm{expexp}\right[-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\\ -\frac{N}{2}\ln \ln 2\mathrm{\π}-\frac{1}{2}\ln \ln \left|S_i\right|+\ln \ln P\left({\mathrm{\ω}}_i\right)\end{array},{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})P\left({\mathrm{\ω}}_i\right)\}=-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})$

其中，X＝(x₁,x₂,…,x_N)为N维特征向量；ω_i为第i类；P(ω_i)为第i类的先验概率；P(X|ω_i)为条件概率密度函数；N为分类类别的个数，N＝4； $\stackrel{\‾}{{\mathrm{\μ}}_i}=({\mathrm{\μ}}_1,{\mathrm{\μ}}_2,...,{\mathrm{\μ}}_N)$ 为第i类的N维均值向量； $S_i=E\left[(X-\stackrel{\‾}{{\mathrm{\μ}}_i}){(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\right]$ 为N维协方差矩阵；S_i ^-1为S_i的逆矩阵；|S_i|为S_i的行列式；

将获得的实时特征向量X代入分类判别函数，若max{h_i(x),i＝1,2,…,4}＝h₁(x)，则此时正在发生行人翻越闸机事件；

S5.由上判断出是否发生行人翻越闸机，做出下一步决策：若发生，则向工作人员报警，并将事件发生的时间以及行人翻越闸机时的视频帧保存下来；若未发生，则重复步骤S1，持续检测监控。

步骤S2中，所述的模板匹配，具体为将模板对其均值的相对值与图像对其均值的相对值进行匹配：

$R_{\mathrm{ccorr}}(x,y)=\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}[T^{\′}(x^{\′},y^{\′})\·S^{\′}(x+x^{\′},y+y^{\′})]$

其中，

T'(x',y')＝T(x',y')-∑_x”y”T(x”,y”)(w·h),

S'(x+x',y+y')＝S(x+x',y+y')-∑_x”y”S(x+x”,y+y”)/(w·h)；

w、h分别为模板的宽、高；S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘，x‘’,y“为图像上的增量；T(x,y)为模板图像对其均值的相对值；S(x,y)为源图像对其均值的相对值；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率，R_ccorr＝1表示完美的匹配，R_ccorr＝-1表示最糟糕的匹配，R_ccorr＝0表示没有任何相关性，即随机序列。

步骤S2中，所述的匹配方法为归一化的相关匹配法，归一化的系数如下：

$Z(x,y)={(\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\·\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}S{(x+x^{\′},y+y^{\′})}^2)}^{\frac{1}{2}},$

R_{cor_norm}(x,y)＝R_ccorrZ/(x,y)，

式中，S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘为图像上的增量；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率；

此时，得到一帧闸门图像的匹配率R_{cor_norm}。

采用归一化的相关匹配法，能够减少模板图像和源图像上光线变化产生的影响。

步骤S3中，所述的一段时间为16～21帧图像所对应的时间。通过对实际监控视频的分析，行人翻越闸机时跳起的帧数大概在16-21帧之间，故选取此范围。

所述的图像帧数优选为18帧，取18帧闸机图像的匹配率序列作为特征向量来进行分类，用于识别翻越闸机行为；特征向量是1*18维的，即X＝(x₁,x₂,…,x_i),i＝18。

下面对本发明涉及到的贝叶斯分类方法进行说明：

(1)样本的分类。在贝叶斯决策方法中，样本的分类是非常重要的，如果没分好类，误差将很大。分类的原则是将特征向量与翻越闸机事件特征向量相近的单独分成类，以减少错分类。从对匹配率序列的分析中可以看出，除了翻越闸机事件这一类，还需要将匹配率分为3类：a.特征向量中匹配率由低到高上升；b.特征向量中匹配率由高到低下降；c.将其他的匹配率特征向量作为另外一类。至此，将所有的特征向量分为上述四类。

(2)类别的先验概率和条件概率密度函数未知。在工程上，统计数据往往满足正态分布规律，如果采用正态密度函数作为类条件概率密度函数的函数形式，则函数内的参数如期望和方差是未知的。那么问题就变成了如何利用大量的样本对这些参数进行估计，只要估计出这些参数，类条件概率密度P(X|ω_i）出可确定了。

解决了上面两个问题，可以得到贝叶斯分类的分类判别函数。

本发明与现有技术相比，具有如下优点和有益效果：

本发明监控方法能准确的检测出行人翻越闸机这一事件，根据实验仿真证明，本方法具有较高的准确率，满足实际应用的要求。其次，本方法与传统的传感器识别系统相比，不需要购置添加额外的传感器及相应的设备，只需要各种收费、门禁场合的入口通道处已经大量存在的摄像头，成本极低。再次，本方法的报警记录，可将各方工作人员串联起来，协同处理紧急事件。在PC端也有相应的视频记录留存，方便调取查阅、取证。本方法的使用，将解放更多的工作人员，还有更多实际应用价值，如减少逃票的发生、及时预警不法分子的进入提高公共场合的安全性等诸多有前景的工程应用价值。

附图说明

图1为本发明所述的一种基于图像处理的检测行人翻越闸机的监控方法；

图2为图1所述方法的各类训练样本分布情况对比图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例一

如图1，一种基于图像处理的检测行人翻越闸机的监控方法，包含以下顺序的步骤：

S1.通过安防摄像头，获取闸机口处的视频帧；

S2.利用匹配方法对视频帧进行预处理，得到闸门图像的匹配率；

所述的匹配方法为模板匹配，是在源图像中寻找特定目标图像块的一种方法，它通过在输入源图像上滑动目标图像块，将实际的源图像块和目标图像进行匹配，每滑动一次都会得到源图像与目标图像的匹配率，当源图像块与目标图像越相似，匹配率越高；

所述的模板匹配，具体为将模板对其均值的相对值与图像对其均值的相对值进行匹配：

$R_{\mathrm{ccorr}}(x,y)=\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}[T^{\′}(x^{\′},y^{\′})\·S^{\′}(x+x^{\′},y+y^{\′})]$

其中，

T'(x',y')＝T(x',y')-∑_x”y”T(x”,y”)/(w·h),

S'(x+x',y+y')＝S(x+x',y+y')-∑_x”y”S(x+x”,y+y”)/(w·h)；

w、h分别为模板的宽、高；S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘，x‘’,y“为图像上的增量；T(x,y)为模板图像对其均值的相对值；S(x,y)为源图像对其均值的相对值；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率，R_ccorr＝1表示完美的匹配，R_ccorr＝-1表示最糟糕的匹配，R_ccorr＝0表示没有任何相关性，即随机序列；

S3.根据行人翻越闸机这一事件的连贯性特点，提取一段时间序列的匹配率作为分类特征，获得的匹配率序列作为特征向量X；

步骤S3中，所述的一段时间为16～21帧图像所对应的时间；所述的图像帧数优选为18帧，取18帧闸机图像的匹配率序列作为特征向量来进行分类，用于识别翻越闸机行为；特征向量是1*18维的，即X＝(x₁,x₂,…,x_i),i＝18；

S4.由贝叶斯分类的分类判别函数来判断是否发生行人翻越闸机事件，分类判别函数为：

$\begin{array}{c}{h}_i\left(X\right)=P\left(X\right|{\mathrm{\ω}}_i)P\left({\mathrm{\ω}}_i\right)\\ =\ln \ln \left\{\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}{\left|S_i\right|}^{1/1}}\mathrm{expexp}\right[-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\\ -\frac{N}{2}\ln \ln 2\mathrm{\π}-\frac{1}{2}\ln \ln \left|S_i\right|+\ln \ln P\left({\mathrm{\ω}}_i\right)\end{array},{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})P\left({\mathrm{\ω}}_i\right)\}=-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})$

其中，X＝(x₁,x₂,…,x_N)为N维特征向量；ω_i为第i类；P(ω_i)为第i类的先验概率；P(X|ω_i)为条件概率密度函数；N为分类类别的个数，N＝4； $\stackrel{\‾}{{\mathrm{\μ}}_i}=({\mathrm{\μ}}_1,{\mathrm{\μ}}_2,...,{\mathrm{\μ}}_N)$ 为第i类的N维均值向量； $S_i=E\left[(X-\stackrel{\‾}{{\mathrm{\μ}}_i}){(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\right]$ 为N维协方差矩阵；S_i ^-1为S_i的逆矩阵；|S_i|为S_i的行列式；

将获得的实时特征向量X代入分类判别函数，若max{h_i(x),i＝1,2,…,4}＝h₁(x)，则此时正在发生行人翻越闸机事件；

S5.由上判断出是否发生行人翻越闸机，做出下一步决策：若发生，则向工作人员报警，并将事件发生的时间以及行人翻越闸机时的视频帧保存下来；若未发生，则重复步骤S1，持续检测监控。

本实施例中大量的样本取自广州地铁闸机口处的监控录像。实验用的样本是从广州地铁三元里地铁站监控录像中手动获取的。将监控录像视频进行闸门的模板匹配，得到整个时间段的匹配率，从中获取翻越闸机样本的特征向量和其余3类的特征向量。图2显示了这些训练样本的分布情况，Type1为翻越闸机事件的一类，Type2～Type4分别为上述所描述的其他三类。从图2中可以看出，这些样本具有较好的可分性的，特征空间分布都比较明显。

实施例二

除了以下内容与实施例一不同外，其余与实施例一均相同：

步骤S2中，所述的匹配方法为归一化的相关匹配法，归一化的系数如下：

$Z(x,y)={(\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\·\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}S{(x+x^{\′},y+y^{\′})}^2)}^{\frac{1}{2}},$

R_{cor_norm}(x,y)＝R_ccorr/Z(x,y)，

式中，S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘为图像上的增量；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率；

此时，得到一帧闸门图像的匹配率R_{cor_norm}。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像处理的检测行人翻越闸机的监控方法，其特征在于，包含以下顺序的步骤：

S1.通过安防摄像头，获取闸机口处的视频帧；

S2.利用匹配方法对视频帧进行预处理，得到闸门图像的匹配率；

S3.根据行人翻越闸机这一事件的连贯性特点，提取一段时间序列的匹配率作为分类特征，获得的匹配率序列作为特征向量X；

S4.由贝叶斯分类的分类判别函数来判断是否发生行人翻越闸机事件，分类判别函数为：

$\begin{array}{c}{h}_i\left(X\right)=P\left(X\right|{\mathrm{\ω}}_i)P\left({\mathrm{\ω}}_i\right)\\ =\ln \ln \left\{\frac{1}{{\left(2\mathrm{\π}\right)}^{N/2}{\left|S_i\right|}^{1/1}}\mathrm{expexp}\right[-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\\ -\frac{N}{2}\ln \ln 2\mathrm{\π}-\frac{1}{2}\ln \ln \left|S_i\right|+\ln \ln P\left({\mathrm{\ω}}_i\right)\end{array},{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})P\left({\mathrm{\ω}}_i\right)\}=-\frac{1}{2}{(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T{S_i}^{-1}(X-\stackrel{\‾}{{\mathrm{\μ}}_i})$

其中，X＝(x₁,x₂,…,x_N)为N维特征向量；ω_i为第i类；P(ω_i)为第i类的先验概率；P(X|ω_i)为条件概率密度函数；N为分类类别的个数，N＝4； $\stackrel{\‾}{{\mathrm{\μ}}_i}=({\mathrm{\μ}}_1,{\mathrm{\μ}}_2,...,{\mathrm{\μ}}_N)$ 为第i类的N维均值向量； $S_i=E\left[(X-\stackrel{\‾}{{\mathrm{\μ}}_i}){(X-\stackrel{\‾}{{\mathrm{\μ}}_i})}^T\right]$ 为N维协方差矩阵；S_i ^-1为S_i的逆矩阵；|S_i|为S_i的行列式；

将获得的实时特征向量X代入分类判别函数，若max{h_i(x),i＝1,2,…,4}＝h₁(x)，则此时正在发生行人翻越闸机事件；

S5.由上判断出是否发生行人翻越闸机，做出下一步决策：若发生，则向工作人员报警，并将事件发生的时间以及行人翻越闸机时的视频帧保存下来；若未发生，则重复步骤S1，持续检测监控。

2.根据权利要求1所述的基于图像处理的检测行人翻越闸机的监控方法，其特征在于：步骤S2中，所述的匹配方法为模板匹配，是在源图像中寻找特定目标图像块的一种方法，它通过在输入源图像上滑动目标图像块，将实际的源图像块和目标图像进行匹配，每滑动一次都会得到源图像与目标图像的匹配率，当源图像块与目标图像越相似，匹配率越高。

3.根据权利要求2所述的基于图像处理的检测行人翻越闸机的监控方法，其特征在于：所述的模板匹配，具体为将模板对其均值的相对值与图像对其均值的相对值进行匹配：

$R_{\mathrm{ccorr}}(x,y)=\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}[T^{\′}(x^{\′},y^{\′})\·S^{\′}(x+x^{\′},y+y^{\′})]$

其中，

T'(x',y')＝T(x',y')-∑_x”y”T(x”,y”)/(w·h),

S'(x+x',y+y')＝S(x+x',y+y')-∑_x”y”S(x+x”,y+y”)/(w·h)；

w、h分别为模板的宽、高；S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘，x‘’,y“为图像上的增量；T(x,y)为模板图像对其均值的相对值；S(x,y)为源图像对其均值的相对值；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率，R_ccorr＝1表示完美的匹配，R_ccorr＝-1表示最糟糕的匹配，R_ccorr＝0表示没有任何相关性，即随机序列。

4.根据权利要求1所述的基于图像处理的检测行人翻越闸机的监控方法，其特征在于：步骤S2中，所述的匹配方法为归一化的相关匹配法，归一化的系数如下：

$Z(x,y)={(\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\·\underset{x^{\′}{y}^{\′}}{\mathrm{\Σ}}S{(x+x^{\′},y+y^{\′})}^2)}^{\frac{1}{2}},$

R_{cor_norm}(x,y)＝R_ccorr/Z(x,y)，

式中，S(x,y)为源图像在点(x,y)处的灰度值；T(x,y)为模板图像在点(x,y)处的灰度值；x’,y‘为图像上的增量；R_ccorr表示当模板T滑动到源图像S的点(x,y)处的模板与源图像的匹配率；

此时，得到一帧闸门图像的匹配率R_{cor_norm}。

5.根据权利要求1所述的基于图像处理的检测行人翻越闸机的监控方法，其特征在于：步骤S3中，所述的一段时间为16～21帧图像所对应的时间。

6.根据权利要求5所述的基于图像处理的检测行人翻越闸机的监控方法，其特征在于：所述的图像帧数优选为18帧，取18帧闸机图像的匹配率序列作为特征向量来进行分类，用于识别翻越闸机行为；特征向量是1*18维的，即X＝(x₁,x₂,…,x_i),i＝18。