CN103530988B - 一种草坪践踏及危害程度的预警方法 - Google Patents

Abstract

本发明公开了一种草坪践踏及危害程度的预警方法，所述的图像采集模块采用监控摄像头将采集到的图像传递给背景减除模块；所述的运动检测模块将接受到的运动图像使用帧差法计算是否有运动发生；所述的背景减除模块将接收到图像背景简单消除后传递给图像滤波模块；所述的图像滤波模块使用伽波滤波器对图像进行滤波；所述的人体判别模块通过线性判别分析方法对图像滤波模块所得到经过滤波后的图片进行分类，以确定当前所被检测的个体是否为人体；所述的人数估计模块对人群数量进行估计，将结果传递给显示及报警模块；所述的显示及报警模块将根据所接收到的人数估计结果进行显示，并根据识别的人数所对应的严重程度进行报警。

Description

一种草坪践踏及危害程度的预警方法

技术领域

本发明涉及计算机视觉监控技术领域，具体涉及用于草坪上的游客践踏及危害程度的预警方法。

背景技术

在公园和风景区内，有大量的草地，而这些草地经常遭受游客的践踏，目前用于草地的践踏检测的已有专利较少，传统的监控方法主要有：1.修建围栏，此种方法花销巨大，而且围栏容易被游客跨越甚至弄坏，后期维护成本同样巨大；2.架设大量的监控设备由人工来判断，此种方法需要监控人员长时间的盯住监控屏幕，对监控员工的身心健康不利；3.少数带有智能监控设备的器械，仅仅能够识别出草坪践踏，但却无法对践踏的程度进行分级，若每一微小践踏都报警，将会使监控人员疲于应付各种微小践踏，而忽视掉破坏程度较严重的践踏。

群体数量估计是计算机视觉领域的一个比较成熟的方法，本发明通过将群体数量估计引入到草地践踏监控中，结合背景减除和伽波滤波器(Gabor滤波器)进行预处理，以及人体检测方法进行判断，使用线性判别分析进行分类，从而提供了一种低成本高可靠性的践踏预警及分类方法。

发明内容

本发明所要解决的技术问题是为了克服在传统监控方法投资大，监控结果单一，较多依赖监控人员的人工来判定践踏程度而提出的一种草坪践踏及危害程度的预警方法。

本发明解决其技术问题所采用的技术方案是：

一种草坪践踏及危害程度的预警方法，包括图像采集模块，运动检测模块，背景减除模块，图像滤波模块，人体判别模块，人数估计模块，显示及报警模块；所述的图像采集模块采用监控摄像头将采集到的图像传递给背景减除模块；所述的运动检测模块将接受到的运动图像使用帧差法计算是否有运动发生；所述的背景减除模块将接收到图像背景简单消除后传递给图像滤波模块；所述的图像滤波模块使用伽波滤波器对图像进行滤波，从而消除图像中的无用信息及噪声，并将滤波所得图像传递给人体判别模块；所述的人体判别模块通过线性判别分析方法对图像滤波模块所得到经过滤波后的图片进行分类，以确定当前所被检测的个体是否为人体，若为人体，则将图像滤波模块所得到经过滤波后的图片传递给人数估计模块；所述的人数估计模块对人群数量进行估计，将结果传递给显示及报警模块；所述的显示及报警模块将根据所接收到的人数估计结果进行显示，并根据识别的人数所对应的严重程度进行报警。

所述的一种草坪践踏及危害程度的预警方法，所需的设备包括监控摄像机，视频采集卡，监控主机，显示器和报警音箱构成；所述的监控摄像机安放在建筑物的高处，使其监控区域能够覆盖到被监测的草坪，通过多组摄像头可以达到将整个公园或风景区的草地全部覆盖的目的；所述的监控摄像机需要通过其自身的BNC接口，通过一根超长的BNC连接线，连接到视频采集卡所对应的BNC接口上；所述的视频采集卡通过PCI接口连接在监控主机上，使监控主机能够读取监控摄像头所采集到的视频信号；所述的显示器通过VGA接口(或DVI接口，视监控主机所提供的接口而定)与监控主机进行连接；所述的报警音箱通过3.5毫米插头的音频接口与监控主机的3.5毫米音频接口连接，用于报警时发出声音。

所述的图像采集模块包括监控摄像机，视频采集卡以及视频采集卡所自带的驱动程序；所述的图像采集模块用于获取监控图像，并将监控图像传递给运动检测模块，由于行人的移动在每秒钟内变化不大，因此可以将图像采集间隔设成1秒以上，从而降低系统负载。

所述的运动检测模块，在初始化过程中，该模块不工作，只需直接将图像采集模块传递来的rgb图像X_rgb传递给背景减除模块即可；在监控的过程中，首先将图像采集模块传递来的rgb图像矩阵X_rgb转换成灰度图像矩阵X_gray，所述的rgb图像矩阵，每个像素点分别有三个值r：红色，g：绿色，b：蓝色，其范围为0～255，转换公式为：0.299×r+0.587×g+0.114×b；其次，采用背景减除模块所保存的矩阵M₁与X_gray中的对应元素相乘，所得标记为X^marked，这样将X_gray中非绿色区域设为0。最后采用帧差法检测运动物体，步骤如下：

1).将经过处理的连续两帧与的对应元素做差得差异矩阵D，其中

2).设矩阵D为m行n列，将矩阵转换成D_1/64，该矩阵为m/8行，n/8列，转换的方法为对原始矩阵D，从第一行第一列开始，每8行8列个元素围成的方框，计算这64个元素的平均值，该平均值为D_1/64中对应元素的值。

3).将D_1/64中对应元素小于60的点设为0，大于60的点设为1，得到矩阵M_1/64.

4).若矩阵M_1/64中的所有元素都为0，意味着当前图像中没有运动物体，则不需要做任何动作，继续重复该模块。若矩阵M_1/64存在非零元素，则意味着有运动物体，则将M_1/64这个m/8行，n/8列的矩阵变为m行n列矩阵M，转换方法为若M_1/64(i，j)＝1，则矩阵M的第8×(i-1)+1行至8×i行，第8×(j-1)+1列至8×j列所围成的8×8区域内的值都设为1，矩阵M及当前图像灰度图X_gray传递给背景减除模块。

所述的背景减除模块为运行在监控主机上的一个程序模块，该模块接收图像采集模块所传递的图像为X_rgb为m行n列的矩阵，矩阵的每个点有三个值，分别为r：红色，g：绿色，

b：蓝色，其范围为0～255，本模块分为1).初始化过程，2).背景减除过程。

1).初始化过程：

设该模块接收图像采集模块所传递的图像X_rgb为m行n列的矩阵，对于X_rgb的每个点，本发明取g-r＞60的点为绿色，构建一个与矩阵X_rgb有着相同维度的矩阵M₁，但M₁的每一个元素只有一个值，这个值只能取1或0，1表示当前区域为绿色，0表示当前区域不是绿色。为了减少可能存在绿色区域内的非绿色孤立点以及非绿色区域的绿色孤立点，我们对矩阵M₁进行平滑处理，处理的方法如下：

对于矩阵M₁，设M₁(i，j)为矩阵的第i行第j列，则从矩阵的第2行开始到第m-1行中的每一行，计算其第2个点到第n-1个点：

对于M₁(i，j)其周围有8个点，取这8个点的平均值，若大于0.5，则M₁(i，j)＝1，否则M₁(i，j)＝0.

上述过程运行两遍。

在得到经过平滑的矩阵M₁后，背景减除模块需要记录一张所设区域内的一张无人照片，并将该照片从rgb图变成灰度图，转换公式为：0.299×r+0.587×g+0.114×b，其中，r，g，b分别为当前像素点的红色，绿色，蓝色分量，设转换后的灰度图为X_mark。至此，背景减除模块的初始化过程结束。

2).背景检出过程：

对于图像采集模块所传递的图像X_rgb，首先将当前得到的rgb图X_rgb转换为灰度图X_gray，然后与初始过程所保存的X_mark矩阵进行对应元素相减，得到除去背景后的图像X_gray-mark，由于现实中光照等影响无法完全将背景除去，本步骤的目的为最大可能的减少背景对分类的影响，最后将矩阵X_gray-mark与矩阵M₁进行对应元素相乘的运算，从而将矩阵X_gcay-mark中绿色区域以外的点设为O(黑色).将得到的经过处理后的图像矩阵X_gray-mark传递给图像滤波模块。

所述的图像滤波模块将当前图像所采集的矩阵X_gray-mark采用伽波滤波器(Gabor滤波器)对图像进行滤波，其步骤为：

1).使用公式

h_e(x，y)＝g(x，y)cos(2πω(xcosθ+ysinθ))

h_o(x，y)＝g(x，y)sin(2πω(xcosθ+ysinθ))

其中：

公式中所用到的变量为：ω为中心频率，在本专利中分别选择为4，8，16，32；θ为Gabor核函数方向，在本专利中，我们选择θ＝0°，45°，90°，135°；σ是空间常数，在本专利中，选取数值为1/ω.

2).经过上述处理，得到4×4＝16组[h_e(x，y)，h_o(x，y)]，对于每对[h_e(x，y)，h_o(x，y)]，使用公式

$O_e(x,y)=X_{gray-mark}(x,y)\⊗h_e(x,y)$

$O_o(x,y)=X_{gray-mark}(x,y)\⊗h_o(x,y)$

$O(x,y)=\sqrt{O_e^2(x,y)+O_o^2(x,y)}$

其中，为卷积相乘。从而得到16组矩阵，O¹(x，y)，O²(x，y)，...，O¹⁶(x，y)，每一组矩阵可以理解为一张滤波后的图片，将所有Oi(x，y)(i＝1，...，16)矩阵按照对应元素求平均值得到O^all(x，y)，该矩阵为滤波后的矩阵。

3).将O^all(x，y)与运动检测模块所得到的运动区域图M做对应元素相乘，从而将非运动区域设为0，得到矩阵O^all-mark(x，y)，将结果传递给人体判别模块。

所述的人体判别模块，其作用为判断检测到的运动物体是否为人，其步骤分为初始化过程和人体判别过程：

1).初始化过程如下：

a).在自然界采集人体的活动照片以及非人体的灰度图照片，其中非人体照片包括常见动物和自然界静物，人体照片要求以人体上下左右边界为照片的边界。由于这些图片的获取工作极为繁琐，因此，可以从一些已标记好的标准数据库中选取，对于选取的每张照片若为人体则标记为2类，非人体则标记为1类.一共有k张图片。

b).将每张图片的维度调整成统一的m`行n`列，调整方法本发明采用opencv工具包提供的函数cvResize().

c).将每张图片采用图像滤波模块所采用的滤波方法进行滤波，将滤波后的二维图像O^all-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n.将所展开后的向量构成一个集合X_p＝[X₁，X₂，...，X_k].计算X₁，X₂，...，X_k的平均值μ，并将集合X_p的每列减去平均值μ，得到归一后集合X`<sub>P</sub>＝[X`₁，X`<sub>2</sub>，...，X`_k].

d).计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝2。

e)求解矩阵S_W的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k将λ_i由大到小排列，选取前s个特征，使得将到所对应的特征向量构成一个矩阵计算矩阵

f).对于1类和2类所对应的数据集和计算 从而得到与对应的均值和

人体判别模块初始化过程结束。

2).人体判别过程：

①对于运动检测模块所得的矩阵M，首先将M分割成几个独立的区域，其方法如下：

a).构建空集合Sp(a).

b).从矩阵M的第1行第1列开始，寻找M(x，y)＝1的元素，进行如下操作

c)设当前点为M(x，y)＝1，构建一个由两个坐标点[(x₁，y₁)，(x₂，y₂)]构成的矩形区域，其中第一个点表示矩形区域的左上标，第二个点表示矩形区域的右下标，此时(x₁，y₁)＝(x₂，y₂)＝(x，y)；并且该点周围存在8个点分别为M(x-1，y-1)，M(x-1，y)，M(x-1，y)，M(x，y-1)，M(x，y+1)，M(x+1，y-1)，M(x+1，y)，M(x+1，y+1)(若M(x，y)为矩阵边界上的点，则其周围的点会比上述8个点少，不存在的点不需计算)。

d)对于周围这8个点中每一个值为1的点M(i，j)，赋值M(i，j)＝0，修改矩形区域[(x₁，y₁)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`<sub>2</sub>＝max(i，x<sub>2</sub>)；y`₂＝max(i，y₂)；

e)对于新的矩形区域[(x₁，y₁)，(x₂，y₂)]，考虑紧邻该矩形区域的所有点，若发现周围存在M(i，j)＝1的点，则修改矩形区域[(x₁，y₁)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`₂＝max(i，x₂)；y₂＝max(i，y₂)，为了提高速度，可以在每次发生矩形区域变化(即增大)时，在增长的一侧的所有点都设为零。该步骤直到矩形区域[(x₁，y₁)，(x₂，y₂)]的周围不存在等于1的点终止。将当前矩形区域[(x₁，y₁)，(x₂，y₂)]加入到集合Sp(a)中。

f)若矩阵M中存在值为1的元素，则重复步骤b，c，d，e，直到矩阵M的所有值都为0。

②对于矩阵区域Sp(a)中的每一个元素所对应的区域[(x₁，y₁)，(x₂，y₂)]，找到其在图像滤波模块所得结果O^all-mark(x，y)所对应的一块子区域将该区域用opencv工具包提供的函数cvResize()从而调整到与人体判别模块初始化过程中选取的m`行n`列相同的维度。

③将调整后的滤波后的区域按照列首尾相接的展开成一列表示成X`，计算分别计算向量Y`与和之间的欧氏距离，若Y`与之间的欧氏距离大于与的欧氏距离，则说明当前图像为第一类(非人体)，否则则说明当前图像为第二类(人体)(其中，W_P，和为人体判别模块初始化过程所得的结果)。

④若所有区域中，存在别识别为第二类的区域，说明草坪被人践踏，为了识别出具体人数，需要将所有被识别成第二类的滤波后的子区域所对应的列向量X`传递给人数估计模块。

所述的人数估计模块的实现分为两个过程，分别为初始化过程和人数估计过程：

1).初始化过程如下：

a).由公园提供如下几组照片，包括：第一组：单人在草地上活动的照片；第二组：2人到4人在草地上活动的照片；第三组：5人以上在草地上活动的照片。为了提高准确率，每组照片需要提供至少20张。第一组为第1类，第二组为第2类，第三组为第3类，要求要求以人体上下左右边界为照片的边界。

b).将每张图片的维度调整成统一的m`行n`列，调整方法采用opencv工具包提供的函数cvResize().

c).将每张图片采用图像滤波模块所采用的滤波方法进行滤波，将滤波后的二维图像O^all-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n.将所展开后的向量构成一个集合X_No＝[X₁，X₂，…，X_k]。计算X₁，X₂，…，X_k的平均值μ，并将集合X_No的每列减去平均值μ，得到集合X`<sub>No</sub>＝[X`₁，X`<sub>2</sub>，...，X`_k].

d).计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝3.

e)求解矩阵S_W的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵S_W的特征值和特征向量设将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k。将λ_i由大到小排列，选取前s个特征，使得将到所对应的特征向量构成一个矩阵计算矩阵

f).对于1类，2类和3类所对应的数据集X₁，X₂和X₃，计算和从而得到与对应的均值和

人数估计模块初始化过程结束。

2).人数估计过程：

对于由人体判别模块传来的每个向量化的经过滤波的图像X`，计算分别计算向量Y`与和之间的欧氏距离，若Y`与之间的欧氏距离最小则说明当前人数为1人，若Y`与之间的欧氏距离最小则说明当前人数为2到4人若Y`与之间的欧氏距离最小则说明当前人数为5人以上(其中，W_No，和为人数估计模块初始化过程所得的结果)。

所述的显示及报警模块包括显示器，报警音箱以及运行在监控主机上的程序模块；所述的显示及报警模块在接收到人数估计模块所提供的分类结果后，若人数估计模块识别结果为1类，在屏幕上把对应的摄像头所对应的监控区域上方显示“轻度践踏”；若人数估计模块识别结果为2类，在屏幕上把对应的摄像头所对应的监控区域上方显示黄色的、“中度践踏”，监控主机发出轻微并且短暂的报警音；若人数估计模块识别结果为3类，在屏幕上把对应的摄像头所对应的监控区域上方显示红色的“严重践踏”，监控主机发出大声的并且时间较长的报警音。

本发明的有益效果是，能够有效的区分人与动物的践踏行为，并能够对践踏程度进行分级，从而减少监控室员工的工作量，使其能够更有针对性的选择是否需要对践踏草地进行干预。

附图说明

图1是本发明的系统硬件构成示意图

图2是本发明整体的功能模块及其相互关系框图

图3是本发明的功能流程图

具体实施方式

下面结合附图对本发明作进一步的说明。

所述的一种草坪践踏及危害程度的预警方法，其硬件构成如图1所示，1是监控摄像机，2是视频采集卡，3是监控主机，4是显示器，5是报警音箱。图2为本发明整体的功能模块及其相互关系框图，图3为本发明的功能流程图。

下面提供两个具体实施例对本发明所述的一种草坪践踏及危害程度的预警方法的具体过程进行说明：

实施例1：

本实施例实现了一种草坪践踏及危害程度的预警方法的安装及参数初始化的全过程。

1.设备的放置：监控摄像机安放在建筑物的高处，使其监控区域能够覆盖到被监测的草坪，通过多组摄像头可以达到将整个公园或风景区的草地全部覆盖的目的；所述的监控摄像机需要通过其自身的BNC接口，通过一根超长的BNC连接线，连接到视频采集卡所对应的BNC接口上；所述的视频采集卡通过PCI接口连接在监控主机上，使监控主机能够读取监控摄像头所采集到的视频信号；所述的显示器通过VGA接口(或DVI接口，视监控主机所提供的接口而定)与监控主机进行连接；所述的报警音箱通过3.5毫米插头的音频接口与监控主机的3.5毫米音频接口连接，用于报警时发出声音。

2.图像采集模块对所监控的区域进行图像采集。监控摄像机安放好后，用于采集视频图像，由于行人的移动在每秒钟内变化不大，因此可以将图像采集间隔设成1秒以上，从而降低系统负载。

3.在初始化阶段，运动检测模块不工作，只需直接将图像采集模块传递来的rgb图像X_rgb传递给背景减除模块即可。

4.背景减除模块接收图像采集模块所传递的图像为X_rgb为m行n列的矩阵，矩阵的每个点有三个值，分别为r：红色，g：绿色，b：蓝色，其范围为0～255，在初始化过程中，设该模块接收图像采集模块所传递的图像X_rgb为m行n列的矩阵，对于X_rgb的每个点，本发明取g-r＞60的点为绿色，构建一个与矩阵X_rgb有着相同维度的矩阵M₁，但M₁的每一个元素只有一个值，这个值只能取1或0，1表示当前区域为绿色，0表示当前区域不是绿色。为了减少可能存在绿色区域内的非绿色孤立点以及非绿色区域的绿色孤立点，我们对矩阵M₁进行平滑处理，处理的方法如下：

对于矩阵M₁，设M₁(i，j)为矩阵的第i行第j列，则从矩阵的第2行开始到第m-1行中的每一行，计算其第2个点到第n-1个点：

对于M₁(i，j)其周围有8个点，计算这8个点的平均值，若大于0.5，则M₁(i，j)＝1，否则M₁(i，j)＝0

上述过程运行两遍。

在得到经过平滑的矩阵M₁后，背景减除模块需要记录所监控区域内的一张无人照片，并将该照片从rgb图变成灰度图，转换公式为：0.299×r+0.587×g+0.114×b，其中，r，g，b分别为当前像素点的红色，绿色，蓝色分量，设转换后的灰度图为X_mark。至此，背景减除模块的初始化过程结束。

5.在初始化过程中人体判别模块，需要在自然界采集人体的活动照片以及非人体的灰度图照片，其中非人体照片包括常见动物和自然界静物，人体照片要求以人体上下左右边界为照片的边界。由于这些图片的获取工作极为繁琐，因此，可以从一些已标记好的标准数据库中选取，对于选取的每张照片若为人体则标记为2类，不为人体则标记为1类。一共有k张图片。

将每张图片的维度调整成统一的m`行n`列，调整方法采用opencv工具包提供的函数cvResize().

将每张图片采用在本实施例第6步所述的滤波方法进行滤波，将滤波后的二维图像O^all-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n.将所展开后的向量构成一个集合X_p＝[X₁，X₂，…，X_k]。计算X₁，X₂，…，X_k的平均值μ，并将集合X_p的每列减去平均值μ，得到归一后集合X`<sub>p</sub>＝[X`₁，X`<sub>2</sub>，…，X`_k]。

计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝2。

求解矩阵S_W的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k。将λ_i由大到小排列，选取前s个特征，使得将到所对应的特征向量构成一个矩阵计算矩阵

对于1类和2类所对应的数据集和计算从而得到与对应的均值和

人体判别模块初始化过程结束。

6人数估计模块的初始化过程如下：

a).由公园提供如下几组照片，包括：第一组：单人在草地上活动的照片；第二组：2人到4人在草地上活动的照片；第三组：5人以上在草地上活动的照片。为了提高准确率，每组照片需要提供至少20张。第一组为第1类，第二组为第2类，第三组为第3类，要求以人体上下左右边界为照片的边界。

b).将每张图片的维度调整成统一的m`行n`列，调整方法采用opencv工具包提供的函数cvResize().

c).将每张图片采用在本实施例第6步所述的滤波方法进行滤波，将滤波后的二维图像O^all-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n.将所展开后的向量构成一个集合X_No＝[X₁，X₂，…，X_k]。计算X₁，X₂，…，X_k的平均值μ，并将集合X_No的每列减去平均值μ，得到归一后集合X`<sub>No</sub>＝[X`₁，X`<sub>2</sub>，…，X`_k]。

d).计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝3。

e)求解矩阵S_W的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵S_W的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k。将λ_i由大到小排列，选取前s个特征，使得将到所对应的特征向量构成一个矩阵计算矩阵

f)对于1类，2类和3类所对应的数据集X₁，X₂和X₃，计算和从而得到与对应的均值和

人数估计模块的初始化过程结束。

7.在第4步和第五步所述的滤波方法如下：设当前图像为X

1).使用公式

h_e(x，y)＝g(x，y)cos(2πω(xcosθ+ysinθ))

h_o(x，y)＝g(x，y)sin(2πω(xcosθ+ysinθ))

其中：

公式中所用到的变量为：ω为中心频率，在本专利中分别选择为4，8，16，32；θ为Gabor核函数方向，在本专利中，我们选择θ＝0°，45°，90°，135°；σ是空间常数，在本专利中，选取数值为1/ω.

2).经过上述处理，得到4×4＝16组[h_e(x，y)，h_o(x，y)]，对于每对[h_e(x，y)，h_o(x，y)]，使用公式

$O_e(x,y)=X_{gray-mark}(x,y)\&CircleTimes;h_e(x,y)$

$O_o(x,y)=X_{gray-mark}(x,y)\&CircleTimes;h_o(x,y)$

$Q(x,y)=\sqrt{O_e^2(x,y)+O_o^2(x,y)}$

其中，为卷积相乘。从而得到16组矩阵，O¹(x，y)，O²(x，y)，...，O¹⁶(x，y)，每一组矩阵可以理解为一张滤波后的图片，将所有Oⁱ(x，y)(i＝1，...，16)矩阵按照对应元素相加得到O^all(x，y)，该矩阵为滤波后的矩阵。

8.显示及报警模块包括显示器，报警音箱以及运行在监控主机上的程序模块；所述的显示及报警模块在接收到人数估计模块所提供的分类结果后，若人数估计模块识别结果为1类，在屏幕上把对应的摄像头所对应的监控区域上方显示“轻度践踏”，若人数估计模块识别结果为1类，在屏幕上把对应的摄像头所对应的监控区域上方显示绿色的“轻度践踏”；若人数估计模块识别结果为2类，在屏幕上把对应的摄像头所对应的监控区域上方显示黄色的“中度践踏”监控主机发出轻微并且短暂的报警音；若人数估计模块识别结果为3类，在屏幕上把对应的摄像头所对应的监控区域上方显示红色的“严重践踏”监控主机发出大声的并且时间较长的报警音。

实施例2：

本实施例实现了一种草坪践踏及危害程度的预警方法的预警全过程。

1.图像采集模块使用监控摄像头对监控区域进行摄像控，由于行人的移动在每秒钟内变化不大，因此可以将图像采集间隔设成1秒以上，从而降低系统负载。

2.运动检测模块首先将图像采集模块传递来的rgb图像矩阵X_rgb转换成灰度图像矩阵X_gray，所述的rgb图像矩阵，每个像素点分别有三个值r：红色，g：绿色，b：蓝色，其范围为0～255，转换公式为：0.299×r+0.587×g+0.114×b；其次，采用背景减除模块所保存的矩阵M₁与X_gray中的对应元素相乘，所得标记为X^marked，这样将X_gray中非绿色区域设为0.最后采用帧差法检测运动物体，步骤如下：，步骤如下：

1).将经过处理的连续两帧与的对应元素做差得差异矩阵D，其中

2).设矩阵D为m行n列，将矩阵转换成D_1/64，该矩阵为m/8行，n/8列，转换的方法为对原始矩阵D，从第一行第一列开始，每8行8列个元素围成的方框，计算这64个元素的平均值，该平均值为D_1/64中对应元素的值。

3).将D_1/64中对应元素小于60的点设为0，大于60的点设为1，得到矩阵M_1/64.

4).若矩阵M_1/64中的所有元素都为0，意味着当前图像中没有运动物体，则不需要做任何动作，继续重复该模块。若矩阵M_1/64存在非零元素，则意味着有运动物体，则将M_1/64这个m/8行，n/8列的矩阵变为m行n列矩阵M，转换方法为若若M_1/64(i，j)＝1，则矩阵M的第8×(i-1)+1行至8×i行，第8×(j-1)+1列至8×j列所围成的8×8区域内的都设为1，矩阵M及当前图像灰度图X_gray传递给背景减除模块。

3.背景减除模块接收图像采集模块所传递的图像为Xrgb为m行n列的矩阵，矩阵的每个点有三个值，分别为r：红色，g：绿色，b：蓝色，其范围为0～255，首先将当前得到的rgb图X_rgb转换为灰度图X_gray，然后与初始过程所保存的X_mark矩阵进行对应元素相减，得到除去背景后的图像X_gray-mark，由于现实中光照等影响无法完全将背景除去，本步骤的目的为最大可能的减少背景对分类的影响，最后将矩阵X_gray-mark与矩阵M₁进行对应元素的运算(矩阵M₁为背景减除模块在参数初始化过程中所得矩阵)，从而将矩阵X_gray-mark中绿色区域以外的点设为0(黑色).将得到的经过处理后的图像矩阵X_gray-mark传递给图像滤波模块。

4.所述的图像滤波模块将当前图像所采集的矩阵X_gray-mark采用伽波滤波器(Gabor滤波器)对图像进行滤波，其步骤为：

1).使用公式

h_e(x，y)＝g(x，y)cos(2πω(xcosθ+ysinθ))

h_o(x，y)＝g(x，y)sin(2πω(xcosθ+ysinθ))

其中：

公式中所用到的变量为：ω为中心频率，在本专利中分别选择为4，8，16，32；θ为Gabor核函数方向，在本专利中，我们选择θ＝0°，45°，90°135°；σ是空间常数，在本专利中，选取数值为1/ω.

2).经过上述处理，得到4×4＝16组[h_e(x，y)，h_o(x，y)]，对于每对[h_e(x，y)，h_o(x，y)]，使用公式

$O_e(x,y)=X_{gray-mark}(x,y)\&CircleTimes;h_e(x,y)$

$O_o(x,y)=X_{gray-mark}(x,y)\&CircleTimes;h_o(x,y)$

$O(x,y)=\sqrt{O_e^2(x,y)+O_o^2(x,y)}$

其中，为卷积相乘。从而得到16组矩阵，O¹(x，y)，O²(x，y)，...，O¹⁶(x，y)，每一组矩阵可以理解为一张滤波后的图片，将所有Oⁱ(x，y)(i＝1，...，16)矩阵按照对应元素相加得到O^all(x，y)，该矩阵为滤波后的矩阵。

3).将Oall(x，y)与运动检测模块所得到的的运动区域图M做对应元素相乘，从而将非运动区域设为0，得到矩阵O^all-mark(x，y)，将结果传递给人体判别模块。

5.所述的人体判别模块，其作用为判断检测到的运动物体是否为人，其过程为：

①对于运动检测模块所得的矩阵M，首先将M分割成几个独立的区域，其方法如下：

a).构建空集合Sp(a).

b).从矩阵M的第1行第1列开始，寻找M(x，y)＝1的元素，进行如下操作

c).设当前点为M(x，y)＝1，构建一个由两个坐标点[(x₁，y₁)，(x₂，y₂)]构成的矩形区域，其中第一个点表示矩形区域的左上标，第二个点表示矩形区域的右下标，此时(x₁，y₁)＝(x₂，y₂)＝(x，y)；并且该点周围存在8个点分别为M(x-1，y-1)，M(x-1，y)，M(x-1，y)，M(x，y-1)，M(x，y+1)，M(x+1，y-1)，M(x+1，y)，M(x+1，y+1)(若M(x，y)为矩阵边界上的点，则其周围的点会比上述8个点少，不存在的点不需计算)。

d).对于周围这8个点中每一个值为1的点M(i，j)，赋值M(i，j)＝0，修改矩形区域[(x₁，y₁)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`<sub>2</sub>＝max(i，x<sub>2</sub>)；y`₂＝max(i，y₂)；

e).对于新的矩形区域[(x₁，y₁)，(x₂，y₂)]，考虑紧邻该矩形区域的所有点，若发现周围存在M(i，j)＝1的点，则修改矩形区域[(x₁，y₁)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`<sub>2</sub>＝max(i，x<sub>2</sub>)；y`₂＝max(i，y₂)，为了提高速度，可以在每次发生矩形区域变化(即增大)时，在增长的一侧的所有点都设为零。该步骤直到矩形区域[(x₁，y₁)，(x₂，y₂)]的周围不存在等于1的点终止。将当前矩形区域[(x₁，y₁)，(x₂，y₂)]加入到集合Sp(a)中。

f).若矩阵M中存在值为1的元素，则重复步骤b，c，d，e，直到矩阵M的所有值都为0.

②对于矩阵区域Sp(a)中的每一个元素所对应的区域[(x₁，y₁)，(x₂，y₂)]，找到其在图像滤波模块所得结果O^all-mark(x，y)所对应的一块子区域将该区域用opencv工具包提供的函数cvResize()从而调整到与人体判别模块初始化过程中选取的m`行n`列相同的维度。

③将调整后的滤波后的区域按照列首尾相接的展开成一列表示成X`，计算分别计算向量Y`与和之间的欧氏距离，若Y`与之间的欧氏距离大于与的欧氏距离，则说明当前图像为第一类(非人体)，否则则说明当前图像为第二类(人体)(其中，W，和为人体判别模块初始化过程所得的结果)。

④若所有区域中，存在别识别为第二类的区域，说明草坪被人践踏，为了识别出具体人数，需要将所有被识别成第二类的滤波后的子区域所对应的列向量X`传递给人数估计模块。

6.人数估计模块的人数估计过程如下：

对于由人体判别模块传来的每个向量化的经过滤波的图像X`，计算分别计算向量Y`与和之间的欧氏距离，若Y`与之间的欧氏距离最小则说明当前人数为1人，若Y`与之间的欧氏距离最小则说明当前人数为2到4人，若Y`与之间的欧氏距离最小则说明当前人数为5人以上(其中，W_No，和为人数估计模块初始化过程所得的结果)。

7.显示及报警模块包括显示器，报警音箱以及运行在监控主机上的程序模块；所述的显示及报警模块在接收到人数估计模块所提供的分类结果后，若人数估计模块识别结果为1类，在屏幕上把对应的摄像头所对应的监控区域上方显示“轻度践踏”，若人数估计模块识别结果为1类，在屏幕上把对应的摄像头所对应的监控区域上方显示绿色的“轻度践踏”；若人数估计模块识别结果为2类，在屏幕上把对应的摄像头所对应的监控区域上方显示黄色的“中度践踏”监控主机发出轻微并且短暂的报警音；若人数估计模块识别结果为3类，在屏幕上把对应的摄像头所对应的监控区域上方显示红色的“严重践踏”监控主机发出大声的并且时间较长的报警音。

Claims (5)

1.一种草坪践踏及危害程度的预警方法，其特征在于，所述的一种草坪践踏及危害程度的预警方法的步骤如下：

步骤一、图像采集模块的监控摄像机(1)采集监控区域内监控图像并将采集到监控图像传递给视频采集卡(2)，视频采集卡(2)将监控图像编码压缩后传输给监控主机(3)处理；

步骤二、监控主机(3)中的运动检测模块将监控图像首先转换成灰度图，使用帧差法检测到监控区域内所存在的运动物体，其中，所述监控图像为彩色图像；运动检测的具体过程为：

在初始化过程中，该运动检测模块不工作，只需直接将图像采集模块传递来的rgb图像X_rgb传递给背景减除模块即可；在监控的过程中，首先将图像采集模块传递来的rgb图像X_rgb转换成灰度图像矩阵X_gray，所述的rgb图像中的每个像素点分别有三个值r：红色，g：绿色，b：蓝色，其范围为0～255，转换公式为：0.299×r+0.587×g+0.114×b；其次，采用背景减除模块所保存的矩阵M₁与灰度图像矩阵X_gray中的对应元素相乘，所得标记为X^marked，这样将灰度图像矩阵X_gray中非绿色区域设为0；最后采用帧差法检测运动物体，步骤如下：

1)将经过处理的连续两帧与的对应元素做差得差异矩阵D，其中

2)设矩阵D为m行n列，将矩阵转换成D_1/64，该矩阵为m/8行，n/8列，转换的方法为对原始矩阵D，从第一行第一列开始，每8行8列个元素围成的方框，计算这64个元素的平均值，该平均值为D_1/64中对应元素的值；

3)将D_1/64中对应元素小于60的点设为0，大于60的点设为1，得到矩阵M_1/64；

4)若矩阵M_1/64中的所有元素都为0，意味着当前图像中没有运动物体，则不需要做任何动作，继续重复该运动检测模块；若矩阵M_1/64存在非零元素，则意味着有运动物体，则将M_1/64这个m/8行，n/8列的矩阵变为m行n列矩阵M，转换方法为若M_1/64(i，j)＝1，则矩阵M的第8×(i-1)+1行至8×i行，第8×(j-1)+1列至8×j列所围成的8×8区域内的值都设为1，矩阵M及灰度图像矩阵X_gray传递给背景减除模块；

步骤三、监控主机(3)中的背景减除模块对检测到的运动区域内图像减去事先保存的背景灰度图；

步骤四、监控主机(3)中的图像滤波模块采用伽波滤波器对图像进行滤波；

步骤五、监控主机(3)中的人体判别模块首先将图片分成几个单独的运动区域，随后使用线性判别分析法对区域内的图片进行分类，用以判断该区域内的运动物体是人体还是其他 干扰物；

步骤六、监控主机(3)中的人数估计模块使用线性判别分析法对图片进行人数估计；

步骤七、显示器(4)上实时显示当前监控的画面，并根据人数估计模块所得的分类结果在显示器(4)进行显示，以及使用报警音箱(5)发出相对应的报警音进行报警。

2.根据权利要求1所述的一种草坪践踏及危害程度的预警方法，其特征在于步骤三中背景减除的具体过程为：

1)初始化过程：

设该背景减除模块接收图像采集模块所传递的rgb图像X_rgb为m行n列的矩阵，对于rgb图像X_rgb的每个点，取g-r＞60的点为绿色，构建一个与rgb图像X_rgb有着相同维度的矩阵M₁，但M₁的每一个元素只有一个值，这个值只能取1或0，1表示当前区域为绿色，0表示当前区域不是绿色；为了减少可能存在绿色区域内的非绿色孤立点以及非绿色区域的绿色孤立点，对矩阵M₁进行平滑处理，处理的方法如下：

对于矩阵M₁，设M₁(i，j)为矩阵的第i行第j列，则从矩阵的第2行开始到第m-1行中的每一行，计算其第2个点到第n-1个点；

对于M₁(i，j)其周围有8个点，取这8个点的平均值，若大于0.5，则M₁(i，j)＝1，否则M₁(i，j)＝0；

上述过程运行两遍；

在得到经过平滑的矩阵M₁后，背景减除模块需要记录一张所设区域内的一张无人照片，并将该照片从rgb图像变成灰度图，转换公式为：0.299×r+0.587×g+0.114×b，其中，r，g，b分别为当前像素点的红色，绿色，蓝色分量，设转换后的灰度图为X_mark；至此，背景减除模块的初始化过程结束；

2)背景检出过程：

对于图像采集模块所传递的rgb图像X_rgb，首先将当前得到的rgb图X_rgb转换为灰度图像矩阵X_gray，然后与初始过程所保存的X_mark矩阵进行对应元素相减，得到除去背景后的图像矩阵X_gray-mark，最后将图像矩阵X_gray-mark与矩阵M₁进行对应元素相乘的运算，从而将图像矩阵X_gray-mark中绿色区域以外的点设为0；将得到的经过处理后的图像矩阵X_gray-mark传递给图像滤波模块。

3.根据权利要求2所述的一种草坪践踏及危害程度的预警方法，其特征在于步骤四中图像滤波的具体过程为：

1)使用公式

h_e(x，y)＝g(x，y)cos(2πω(xcosθ+ysinθ))

h_o(x，y)＝g(x，y)sin(2πω(xcosθ+ysinθ))

其中：

公式中所用到的变量为：ω为中心频率，分别选择为4，8，16，32；θ为Gabor核函数方向，选择θ＝0°，45°，90°，135°；σ是空间常数，选取数值为1/ω；

2)经过上述处理，得到4×4＝16组[h_e(x，y)，h_o(x，y)]，对于每对[h_e(x，y)，h_o(x，y)]，使用公式

其中，为卷积相乘；从而得到16组矩阵，O¹(x，y)，O²(x，y)，…，O¹⁶(x，y)，每一组矩阵为一张滤波后的图片，将所有Oⁱ(x，y)，i＝1，…，16矩阵按照对应元素求平均值得到O^all(x，y)，该矩阵为滤波后的矩阵；

3)将O^all(x，y)与运动检测模块所得到的运动区域内图像M做对应元素相乘，从而将非运动区域设为0，得到矩阵O^all-mark(x，y)，将结果传递给人体判别模块。

4.根据权利要求3所述的一种草坪践踏及危害程度的预警方法，其特征在于步骤五中人体判别的具体过程为：

1)初始化过程如下：

a)在自然界采集人体的活动照片以及非人体的灰度图照片，其中非人体照片包括常见动物和自然界静物，人体照片要求以人体上下左右边界为照片的边界；从一些已标记好的标准数据库中选取，对于选取的每张照片若为人体则标记为2类，非人体则标记为1类；一共有k张图片；

b)将每张图片的维度调整成统一的m`行n`列，调整方法采用opencv工具包提供的函数cvResize()；

c)将每张图片采用图像滤波模块所采用的滤波方法进行滤波，将滤波后的二维图像O^all-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n；将所展开后的向量构成一个集合X_P＝[X₁，X₂，…，X_k]；计算X₁，X₂，…，X_k的平均值μ，并将集合X_P的每列减去平均值μ，得到归一后集合；X`<sub>P</sub>＝[X`₁，X`<sub>2</sub>，…，X`_k]；

d)计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝2；

e)求解矩阵S_w的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵 的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k；将λ_i由大到小排列，选取前s个特征，使得 将到所对应的特征向量构成一个矩阵计算矩阵

f)对于1类和2类所对应的数据集和计算从而得到与对应的均值和

人体判别模块初始化过程结束；

2)人体判别过程：

①对于运动检测模块所得的矩阵M，首先将M分割成几个独立的区域，其方法如下：

a)构建空集合Sp(a)；

b)从矩阵M的第1行第1列开始，寻找M(x，y)＝1的元素，进行如下操作：

c)设当前点为M(x，y)＝1，构建一个由两个坐标点[(x₁，y₁)，(x₂，y₂)]构成的矩形区域，其中第一个点表示矩形区域的左上标，第二个点表示矩形区域的右下标，此时(x₁，y₁)＝(x₂，y₂)＝(x，y)；并且该点周围存在8个点分别为M(x-1，y-1)，M(x-1，y)，M(x-1，y+1)，M(x，y-1)，M(x，y+1)，M(x+1，y-1)，M(x+1，y)，M(x+1，y+1)；

d)对于周围这8个点中每一个值为1的点M(i，j)，赋值M(i，j)＝0，修改矩形区域[(x₁，y1)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`<sub>2</sub>＝max(i，x<sub>2</sub>)；y`₂＝max(i，y₂)；

e)对于新的矩形区域[(x₁，y₁)，(x₂，y₂)]，考虑紧邻该矩形区域的所有点，若发现周围存在M(i，j)＝1的点，则修改矩形区域[(x₁，y₁)，(x₂，y₂)]为[(x`<sub>1</sub>，y`₁)，(x`<sub>2</sub>，y`₂)]，其中，x`<sub>1</sub>＝min(i，x<sub>1</sub>)；y`₁＝min(i，y₁)；x`<sub>2</sub>＝max(i，x<sub>2</sub>)；y`₂＝max(i，y₂)，为了提高速度，可以在每次发生矩形区域变化时，在增长的一侧的所有点都设为零；该步骤直到矩形区域[(x₁，y₁)，(x₂，y₂)]的周围不存在等于1的点终止；将当前矩形区域[(x₁，y₁)，(x₂，y₂)]加入到集合Sp(a)中；

f)若矩阵M中存在值为1的元素，则重复步骤b，c，d，e，直到矩阵M的所有值都为0；

②对于矩阵区域Sp(a)中的每一个元素所对应的区域[(x₁，y₁)，(x₂，y₂)]，找到其在图像滤波模块所得结果O^all-mark(x，y)所对应的一块子区域将该区域用opencv工具包提供的函数cvResize()从而调整到与人体判别模块初始化过程中选取的m`行n`列相同的维度；

③将调整后的滤波后的区域按照列首尾相接的展开成一列表示成X`，计算分别计算向量和之间的欧氏距离，若Y`与之间的欧氏距离大于与的欧氏距离，则说明当前图像为第一类，否则则说明当前图像为第二类，其中，W_P，和为人体判别模块初始化过程所得的结果；

④若所有区域中，存在识别为第二类的区域，说明草坪被人践踏，为了识别出具体人数，需要将所有被识别成第二类的滤波后的子区域所对应的列向量X`传递给人数估计模块。

5.根据权利要求3所述的一种草坪践踏及危害程度的预警方法，其特征在于步骤六中人数估计的具体过程为：

1)初始化过程如下：

a)由公园提供如下几组照片，包括：第一组：单人在草地上活动的照片；第二组：2人到4人在草地上活动的照片；第三组：5人以上在草地上活动的照片；每组照片需要提供至少20张；第一组为第1类，第二组为第2类，第三组为第3类，要求以人体上下左右边界为照片的边界；

b)将每张图片的维度调整成统一的m`行n`列，调整方法采用opencv工具包提供的函数cvResize()；

c)将每张图片采用图像滤波模块所采用的滤波方法进行滤波，将滤波后的二维图像O^al1-mark(x，y)按照每列首尾相接的方式展开成一个列向量X_i，该列向量的长度为m×n；将所展开后的向量构成一个集合X_No＝[X₁，X₂，…，X_k]；计算X₁，X₂，…，X_k的平均值μ，并将集合X_No的每列减去平均值μ，得到集合X`<sub>No</sub>＝[X`₁，X`<sub>2</sub>，…，X`_k]；

d)计算公式：和其中，N_i为第i类的个数，μ_i为第i类的均值，C为类的个数，在本步骤中C＝3；

e)求解矩阵S_w的特征值和特征向量将所有特征值所对应的特征向量构成一个一个矩阵求解矩阵 的特征值和特征向量设所得的特征值为对应的特征向量为i＝1，…，k；将λ_i由大到小排列，选取前s个特征，使得 将到所对应的特征向量构成一个矩阵计算矩阵

f)对于1类，2类和3类所对应的数据集X₁，X₂和X₃，计算和从而得到与对应的均值和

人数估计模块初始化过程结束；

2)人数估计过程：

对于由人体判别模块传来的每个向量化的经过滤波的图像X`，计算分别计算向量Y`与和之间的欧氏距离，若Y`与之间的欧氏距离最小则说明当前人数为1人，若Y`与之间的欧氏距离最小则说明当前人数为2到4人，若Y`与之间的欧氏距离最小则说明当前人数为5人以上，其中，W_No，和为人数估计模块初始化过程所得的结果。