CN100555331C - 一种用于煤矿的矿工出入自动监测的方法 - Google Patents

Abstract

本发明提供一种用于煤矿的矿工出入自动监测的方法，包括下述步骤：(1)原始视频输入：利用安装在矿井出入口、位置固定的摄像头获取连续的视频图像序列；(2)运动物体检测：当矿工出现在视频界限内时，对其进行检测处理，作相应的记录并将其列入备追踪序列；(3)追踪统计：对于备追踪序列中的矿工人头，逐个进行追踪，并对相应的进/出人数总数进行统计，进而得到进/出矿井的矿工人数。本发明能进行实时直观的监视和记录矿井进出矿工的人数，进而对井下作业矿工总人数进行控制，及时发现事故隐患，同时能为事故发生后开展及时的救援工作提供准确资料，实时性和准确性都比较好。本发明在安全生产中可发挥明显的作用，具有显著的社会效益。

Description

一种用于煤矿的矿工出入自动监测的方法

技术领域

本发明属于自动监测领域，特别涉及一种用于煤矿的矿工出入自动监测的方法。

背景技术

煤炭行业作为我国国民经济的支柱性产业，它为国家经济建设和社会发展做出重大贡献。但是由于我国煤炭资源分布广泛、煤矿开采条件复杂、自然灾害严重、煤炭企业生产力水平整体偏低、安全生产基础比较薄弱，加上为数众多的小煤矿生产方式落后、从业人员素质较低等条件的约束，使其安全成为最令人担心、最难以把握的一项指标。现在，重大恶性事故未从根本上得到有效控制，小事故时有发生，给人民生命财产、国家和社会造成重大损失。因而对于安全的研究越来越受到人们的重视，在煤矿安全生产系统中引入视频监控有关技术获取安全实时监控检测信息，显得尤为迫切。

现有的有关技术有2006年02期“能源技术与管理”中文献“井口自动清点人数装置的应用”公开的井口自动清点人数装置，这种装置通过硬件(转门)实现研究目的，虽然能初步实现清点进井人数的效果，但未能实现视频监控，其智能化程度不高，在实际使用中对于意外情况(误触动或重复触动)不能较好地区分识别。在专利号为98229686.X的中国实用新型专利中公开了一种“人员通过数量计数装置”，这种装置由计数器、定时器、计数踏板组成，由计数踏板触发信号实现计数，这种装置同样存在前述不能视频监控，智能化程度低，作用效果不理想的缺点。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种智能化程度高，实时性及准确性好，能进行实时直观的监视和记录矿井进出矿工的人数，进而对井下作业矿工总人数进行控制的矿工出入自动监测的方法。本方法的执行条件是需要矿工严格执行《煤矿安全监督条例》，进出煤矿时必须要配戴有颜色的帽子。

本发明的目的通过下述技术方案实现：一种用于煤矿的矿工出入自动监测的方法，包括下述步骤：

(1)原始视频输入：利用安装在矿井出入口上方、位置固定的摄像头获取连续的视频图像序列；

(2)运动物体检测：当矿工出现在视频界限内时，对其进行检测处理，从复杂的背景中分离出矿工，定位出矿工出现的初始位置、运动方向，对其作相应的记录并将其列入备追踪序列；

(3)追踪统计：对于备追踪序列中的矿工人头，逐个进行追踪，在其后的图像序列帧中如果能够连续追踪到，并且满足一定的条件(比如人头越过计数线，方向向前，出现的初始位置在某条线以下等)，这时系统会在其相应的进/出人数总数上进行统计，进而能够实时准确地得到进/出矿井的矿工人数。

所述步骤(2)中，检测步骤的主要目的就是判断一帧图像里面是否有人头的存在，如果存在则将其列入备追踪序列，经过若干帧追踪后参加出入的决策。在检测之前需要对视频图片进行一系列的预处理，主要包括以下几个步骤：

(2.1)背景差处理

该步骤的目的是用背景差分方法提取前景图像，并且在一定程度上也可以去除掉一些光照的噪声。对于固定场景下的运动物体检测方法主要有：帧间差法，光流法和背景差分法。在该项目中我们采用的是背景差分法提取运动目标，之所以采用该方法是因为帧间差法不稳定，由于煤矿中人员行走的速度不一样，而且在某些情况下还存在静止不动的情况，所以采用单帧间差法效果不好，而采用m幅图像做多帧间差法，这里的m不容易确定，采用固定的m结果很不理想。而光流法受到的光照影响太大，而煤矿下恰恰有很多的光照噪声。在本发明这种情况下，前景的亮度一般是大于背景的亮度，所以我们采用背景差分法，在煤矿下面没有人通过时，利用手动提取一幅背景作为参照图像。

背景差分就是选取一背景帧作为参考图像，用当前帧和参考图像做差分，如果参考图像选取适当，则能比较准确的分割出运动物体。当背景图像是静止的，即不随时间发生改变的，而具有运动目标的图像除了运动目标区域的象素值发生变化，其余属于背景部分，保持不变，这样的情况是背景差分的理想情况，但是这种情况在实际情况中是不存在的，所以一般要采取一个实时的背景更新。在该系统运行的全过程都有一个实时的背景更新过程，当我们检测到在当前帧没有运动物体时就用当前帧对背景进行一次更新，以实现更好，更准确的差分效果。

常用的背景差分公式为：

D_ij＝|I_ij-B_ij|

其中D_ij代表背景差分后坐标i，j处的像素值，I_ij，B_ij分别代表原始图像和背景图像i，j处的像素值。在这种情况下当背景的亮度比前景的亮度小时会引入很多不必要的信息(因为我们主要考虑的是前景图像信息)，而对于我们的煤矿环境，因为摄像头是安装在顶部，并且煤矿职工都戴有有颜色的帽子，在该情况下前景的亮度往往大于背景的亮度，因此我们采用另一种背景差分处理方法，也就是

D_ij＝I_ij-B_ij

在这种情况下可以很好的在准确提取前景的情况下又遏制一些不必要的噪声。利用提取出的背景图像做背景差分后所剩余的图像包括运动的人头部和随机的光照影响，可利用下面的形态学操作来去除光照对结果的影响。

(2.2)形态学处理

对于背景差分后的视频图像，我们把它们转化成二值图，在该二值图中的白色区域包括运动的帽子和很多由光照带来的噪声，所以我们采用形态学操作来去除一些零星的噪声及断开一些原本不该连在一起的连通区域。在此基础上我们检测图片中连通区域的个数，实时地记下每个连通区域的面积，中心点的位置和在两个坐标轴上的长度大小，以便我们利用面积和一些简单的形状对连通区域是否是我们感兴趣的目标进行决策。

断定是否是帽子的决策过程就是看它面积是否大于某一个域值，所述域值是由图像中帽子的大小决定的，也即选取一个比帽子面积稍小的定值，该域值可以排除那些由光照带来的比较小的连通区域，并且连通区域的长和宽的大小要满足一定的域值，本域值是由帽子的长和宽决定的，若太长或太窄就认为是职工所带的附属物，其目的是排除职工所带附带物的影响，由此可以得到我们感兴趣的运动目标，记录下该目标的中心点位置，列入备追踪列。

所述步骤(3)中，采用Kalman滤波方法追踪备追踪列中的各点，当其满足我们设定的条件时做加或者减的操作。利用Kalman的优点是该方法利用追踪点的位置和速度信息，能够克服行人运动快慢的影响，提高了检测的精度，并且复杂度较低，比较容易实现。

Kalman滤波是20世纪60年代，匈牙利数学家卡尔曼提出，他最初是用一个状态方程和一个测量方程来描述一个线性动态系统的方法。该方法采用时域法以状态方程为其数学工具，以多变量控制，最优控制与估计以及自适应控制为主要内容。

卡尔曼滤波要解决的问题是要寻找在最小均方误差下x_k的估计值

它的特点是可以用递推方法计算x_k。具体的讲，设已知动态系统的状态方程和测量方程，他们分别为

x_k＝A_kx_k-1+ω_k-1    (1)

y_k＝C_k+v_k           (2)

式中：A_k--n×n维矩阵；

      C_k--m×n维矩阵，称为测量矩阵；

      x_k---n维状态向量；

      y_k--m维观测向量；

      ω_k--n维均值为零的白噪声向量，过程噪声；

      υ_k--m维均值为零的白噪声向量，量测噪声。

假定：

(1)ω_k与υ_k都是均值为零的正态白噪声，且ω_k与υ_k互不相关。

(2)初始状态x₀为随机向量，它与ω_k、υ_k独立，其统计特性是给定的

从状态方程及量测方程可知A_k与C_k是已知的，y_k是测量到的数据，当然也是已知的。问题是如何从y_k及x_k-1来求得

首先，暂时不考虑ω_k与υ_k，此时按式(5)与(6)得到的x_k与y_k分别用

与

表示，则一步递推结果为

${\hat{x}}_k^{\′}=A_k{\hat{x}}_{k-1}---\left(3\right)$

${\hat{y}}_k^{\′}=C_k{\hat{x}}_k^{\′}=C_k{A}_k{\hat{x}}_{k-1}---\left(4\right)$

这里，

为x_k-1的估计值。再将

与y_k的实际观察值作比较，它们的差用

表示，有 ${\tilde{y}}_k=y_k-{\hat{y}}_k^{\′},$ 显然

隐含了ω_k-1与υ_k的信息，或者说隐含了当前的(最新的)观察值y_k的信息，故称

为新息。

然后，我们将乘以某一K_k来修正原先的

值，会得到更好地估计

${\hat{x}}_k=A_k{\hat{x}}_{k-1}+K_{\mathrm{\κ}}(y_k-{\hat{y}}_k^{\′})=A_k{\hat{x}}_{k-1}+K_{\mathrm{\κ}}(y_k-C_k{A}_k{\hat{x}}_{k-1})---\left(5\right)$

因此，

与真值x_k的均方误差是一个误差方阵。如果我们能求得这个误差阵最小条件下的K_κ，然后将此K_κ代入式(9)，则所得到的就是对x_k的线性最优估计。

现在让我们根据(5)，(6)与(9)来求均方误差阵最小条件下的K_κ。用P_k表示均方误差阵，则有：

由于假设ω_k与υ_k都是均值为零的正态白噪声，且ω_k与υ_k都是均值为零的正态白噪声，且ω_k与υ_k互不相关，即

E[ω_k]＝0； $\mathrm{cov}[{\mathrm{\ω}}_k,{\mathrm{\ω}}_j]=E\left[{\mathrm{\ω}}_k{\mathrm{\ω}}_j^{\mathrm{\τ}}\right]=Q_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(7\right)$

E[υ_k]＝0； $\mathrm{cov}[{\mathrm{\υ}}_k,{\mathrm{\υ}}_j]=E\left[{\mathrm{\υ}}_k{\mathrm{\υ}}_j^{\mathrm{\τ}}\right]=R_k{\mathrm{\δ}}_{\mathrm{kj}}---\left(8\right)$

$\mathrm{cov}[{\mathrm{\ω}}_k,{\mathrm{\υ}}_j]=E\left[{\mathrm{\ω}}_k{\mathrm{\υ}}_j^k\right]=0;k,j=\mathrm{0,1,2},\mathrm{\Λ}$

这里

求解最小均方误差阵，我们得到下列一组卡尔曼一步递推公式：

$P_k^{\′}=A_k{P}_{k-1}{A}_k^{\mathrm{\τ}}+Q_{k-1}---\left(9\right)$

$K_k=P_k^{\′}{C}_k^{\mathrm{\τ}}{(C_k{P}_k^{\′}{C}_k^{\mathrm{\τ}}+R_k)}^{-1}---\left(10\right)$

P_k＝(I-K_kC_k)P′_k                 (11)

${\hat{x}}_k=A_k{\hat{x}}_{k-1}+K_k(y_k-C_k{A}_k{\hat{x}}_{k-1})---\left(12\right)$

如果初始状态x₀的系统特性E[x₀]及var[x₀]已知，并令 ${\hat{x}}_0=E\left[x_0\right]={\mathrm{\μ}}_0,$ 又

按照下面的算法，可以得到所有的估计值以及相关信息。

在本发明中，我们利用最为简单的Kalman追踪方法，主要利用了备追踪点的坐标和该点在两个坐标轴(所述坐标轴即是图像所在的两条水平和垂直的边)上的速度来实现；设定速度(即在两个坐标轴上的速度)是恒定不变的，同时在图像界面设定多条线：在图像界面的上、下边界线之间依次设定进入结束线(a)、出来开始线(b)、进入开始线(c)、出来结束线(d)。进入开始线与图像界面的下边界线之间为检测区域，进入开始线与进入结束线之间为追踪区域。所述追踪过程具体如下：(1)人员进入时：首先，在检测区域中人员一旦被检测出来，则被列入备追踪序列中，当过了进入开始线后开始追踪，当在下一帧中追踪到该目标时活跃值(value)加2，追踪不到时减1，当活跃值超过一定的阈值(该阈值是通过训练得出的一个使计数精度比较高的值，由人工设定)，当目标通过a线，并且当最初检测到的起始位置在进入开始线以下，速度为向上时我们就把进入的人数加1，否则不加。我们之所以要设进入开始线是因为在进入结束线附近若有人来回晃动时人数加减的误差非常大，利用进入开始线这一条件就可以解决该问题。(2)人员出来时：该过程和人员进入时的过程类似，同样有两条线(出来开始线、出来结束线)进行约束，当在进入结束线附近检测有速度是向下的时候我们就把它记入出来人员的备追踪序列中，并记下检测到的初始位置，同时开始追踪过程，同样若在下一帧中追踪到时活跃值加2，否则减1，当活跃值达到一定的域值，并且当目标通过d线，初始位置在b之上，速度向下时我们就对出来的人员人数加1，否则不加。设置的这四条线是进出人员计数的框架，解决了人员停留或者晃动问题。

本发明与现有技术相比，具有如下优点和有益效果：(1)本发明方法能够在煤矿光照影响大、背景复杂、矿工流动性大及携带作业工具不一的特殊环境中，成功检测出矿工，识别能力强，而且解决了人员停留或者晃动等问题，抗干扰性好；(2)能进行实时直观的监视和记录矿井进出矿工的人数，进而对井下作业矿工总人数进行控制，及时发现事故隐患。同时能为事故发生后开展及时有效的救援工作提供准确资料，有利于采取适当决策及措施组织事故抢救，提高应急救援反应速度，而且为事后分析事故提供有关的图像资料，实时性和准确性都较为理想；(3)本发明方法除了有助于解决了矿井安全问题，还能够为安全生产决策提供准确可靠的数据，为确定阶段性安全工作目标和组织安全质量动态检查提供依据，可较好地适应实际需要，在安全生产中可发挥明显的作用，具有显著的社会效益。

附图说明

图1是本发明方法的操作流程图。

图2是图1所示方法中运动物体检测步骤中利用背景差分法形成的图像。

图3是对图2所示图像利用形态学处理后的图像。

图4是Kalman追踪方法所使用的图像界面；图中各线名称的含义是：进入结束线(a)、出来开始线(b)、进入开始线(c)、出来结束线(d)。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图1示出了本发明的操作过程，由图1可见，本矿工出入自动监测方法包括下述步骤——

(1)原始视频输入：利用安装在矿井出入口上方、位置固定的摄像头获取连续的视频图像序列；

(2)运动物体检测：当矿工出现在视频界限内时，对其进行检测处理，从复杂的背景中分离出矿工，定位出矿工出现的初始位置、运动方向，对其作相应的记录并将其列入备追踪序列；

所述步骤(2)中，检测步骤的主要目的就是判断一帧图像里面是否有人头的存在，如果存在则将其列入备追踪序列，经过若干帧追踪后参加出入的决策。在检测之前需要对视频图片进行一系列的预处理，主要包括以下几个步骤：

(2.1)背景差处理

该步骤的目的是用背景差分方法提取前景图像，并且在一定程度上也可以去除掉一些光照的噪声。对于固定场景下的运动物体检测方法主要有：帧间差，光流法和背景差分法。在该项目中我们采用的是背景差分法提取运动目标，之所以采用该方法是因为帧间差法不稳定，由于煤矿中人员行走的速度不一样，而且在某些情况下还存在静止不动的时候，所以如果用m幅图像做多帧间差法，这里的m不容易确定，采用固定的m结果很不理想。而光流法受到的光照影响太大，而煤矿下恰恰有很多的光照噪声。而且在我们这种情况下，前景的亮度一般是大于背景的亮度，所以我们采用背景差分法，在煤矿下面没有人通过时，利用手动提取一幅背景作为参照图像。

背景差分就是选取一背景帧作为参考图像，用当前帧和参考图像做差分，如果参考图像选取适当，则能比较准确的分割出运动物体。当背景图像是静止的，即不随时间发生改变的，而具有运动目标的图像除了运动目标区域的象素值发生变化，其余属于背景部分，保持不变，这样的情况是背景差分的理想情况，但是这种情况在实际情况中是不存在的，所以一般要采取一个实时的背景更新。在该系统运行的全过程都有一个实时的背景更新过程。当我们检测到当前帧没有运动物体时就用当前帧对背景进行一次更新，以实现更好，更准确的差分效果。

本发明采用的背景差分公式是：

D_ij＝I_ij-B_ij

其中D_ij代表背景差分后坐标i，j处的像素值，I_ij，B_ij分别代表原始图像和背景图像i，j处的像素值。这样可以很好的在准确提取前景的情况下又遏制一些不必要的噪声。利用提取出的背景图像做背景差分后所剩余的图像包括运动的人头部和随机的光照影响(见图2)，可利用下面的形态学操作来去除光照对结果的影响。

(2.2)形态学处理

对于背景差分后的视频图像，我们把它们转化成二值图，该二值图中的白色区域包括运动的帽子和很多由光照带来的噪声，所以我们采用形态学操作来去除一些零星的噪声及断开一些原本不该连在一起的连通区域。在此基础上我们检测图片中连通区域的个数，实时地记下每个连通区域的面积，中心点的位置和在两个坐标轴上的长度大小，以便我们利用面积和一些简单的形状对连通区域是否是我们感兴趣的目标进行决策。

断定是否是帽子的决策过程就是看它面积是否大于某一个域值，所述域值是由图像中帽子的大小决定的，也即选取一个比帽子面积稍小的定值，该域值可以排除那些由光照带来的比较小的连通区域，并且连通区域的长和宽的大小要满足一定的域值，本域值是由帽子的长和宽决定的，若太长或太窄就认为是职工所带的附属物，其目的排去除职工所带附带物的影响，由此我们可以得到我们感兴趣的运动目标(见图3)，记录下该目标的中心点位置，列入备追踪列。

(3)追踪统计：对于备追踪序列中的矿工人头，逐个进行追踪，在其后的图像序列帧中如果能够连续追踪到并且根据其运动方向等信息，并且满足一定的条件(如：人头越过计数线，方向向前，出现的初始位置在某条线以下等)，这时系统在其相应的进/出人数总数上进行统计，进而能够实时准确地得到进/出矿井的矿工人数。

所述步骤(3)中，采用Kalman追踪方法追踪备追踪列中的各点，当其满足我们设定的条件时做加或者减的操作。利用Kalman的优点是该方法利用追踪点的位置和速度信息，能够克服行人运动快慢的影响，提高了检测的精度，并且复杂度较低，比较容易实现。

在本发明中，我们利用最为简单的Kalman追踪方法，主要利用了备追踪点的坐标和在两个坐标轴上的速度来实现；由于我们是在1秒中取30帧图像，故可以设定速度是恒定不变的。亦可在操作过程中加进一些更为稳定的因素，比如颜色信息等。如图4所示，在图像界面设定多条线：在图像界面的上、下边界线之间依次设定进入结束线(a)、出来开始线(b)、进入开始线(c)、出来结束线(d)。进入开始线与图像界面的下边界线之间为检测区域，进入开始线与进入结束线之间为追踪区域。所述追踪过程具体如下：(1)人员进入时：首先，在检测区域中人员一旦被检测出来，则被列入备追踪序列中，当过了进入开始线后开始追踪，当在下一帧中追踪到该图像时活跃值(value)加2，追踪不到时减1，当活跃值超过一定的阈值(该阈值为通过训练得出的一个使计数精度比较高的值，由人工设定)，当目标通过a线，并且最初检测到的起始位置在进入开始线以下，速度为向上时我们就把进入的人数加1，否则不加。我们之所以要设进入开始线是因为在进入结束线附近有人来回晃动时人数加减的误差非常大，利用进入开始线这一条件就可以解决该问题。(2)人员出来时：该过程和人员进入时的过程类似，同样有两条线(出来开始线、出来结束线)进行约束，当在进入结束线附近检测有速度是向下的时候我们就把它记为出来人员的备追踪序列中，并记下检测到的初始位置，开始追踪过程，同样若在下一帧中追踪到时活跃值加2，否则减1，当活跃值达到一定的域值，并且当目标通过d线，初始位置在b之上，速度向下时我们就对出来的人员人数加1，否则不加。设置的这四条线是进出人员计数的框架，解决了人员停留或者晃动问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1、一种用于煤矿的矿工出入自动监测的方法，其特征在于：

(1)原始视频输入：利用安装在矿井出入口上方、位置固定的摄像头获取连续的视频图像序列；

(2)运动物体检测：当矿工出现在视频图像界面内时，对其进行检测处理，然后作相应的记录并将其列入备追踪序列；

在进行运动物体检测之前对视频图像进行预处理，包括背景差处理及形态学处理过程；

(2.1)所述背景差处理采用的背景差分公式是

D_ij＝I_ij-B_ij

其中D_ij代表背景差分后坐标(i，j)处的像素值，I_ij，B_ij分别代表原始图像和背景图像(i，j)处的像素值；

(2.2)所述形态学处理过程包括二值化步骤及形态学操作步骤；所述二值化步骤是将背景差分后的视频图像转化成二值图；所述形态学操作步骤是利用基本的开、闭运算对二值图做进一步的处理；

(3)追踪统计：对于备追踪序列中的矿工人头，逐个进行追踪，并对相应的进/出人数总数进行统计，进而得到进/出矿井的矿工人数；

本步骤采用Kalman追踪方法追踪备追踪序列中的矿工人头，当矿工人头满足设定的条件时做加或者减的操作；在视频图像界面设定四条线：在视频图像界面的上、下边界线之间依次设定进入结束线、出来开始线、进入开始线、出来结束线；进入开始线与视频图像界面的下边界线之间为检测区域，进入开始线与进入结束线之间为追踪区域；

所述追踪过程具体如下：

(3.1)人员进入时：首先，在检测区域中人员一旦被检测出来，则被列入备追踪序列中，当过了进入开始线后开始追踪，当在下一帧中追踪到该人员的视频图像时活跃值加2，追踪不到时减1，当活跃值超过一定的阈值并且当该人员过进入结束线，最初检测到的初始位置位于进入开始线与视频图像界面的下边界线之间，最初检测到的速度方向为朝向进入结束线的方向时，就把进入的人数加1，否则不加；

(3.2)人员出来时：该过程和人员进入时的过程类似，当在进入结束线附近检测有人员的速度方向为朝向进入开始线的方向时，就把它记为出来人员的备追踪序列中，并记下检测到的初始位置，开始追踪过程，同样若在下一帧中追踪到时活跃值加2，否则减1，当活跃值达到一定的阈值，并且过出来结束线，最初检测到的初始位置位于出来开始线与视频图像界面的上边界线之间，最初检测到的速度方向为朝向出来结束线的方向时，就对出来的人员人数加1，否则不加。

Images