CN104008374A - 一种矿井图像中基于条件随机场的矿工检测方法 - Google Patents

Abstract

本发明公开了一种矿井图像中基于条件随机场的矿工检测方法。采集矿工井下图像并做子窗口划分处理，经子窗口的HOG特征提取、PCA降维、建立模型的基础公式及利用BFGS进行模型参数的推断等步骤，得到了基于条件随机场进行矿井图像中矿工检测的模型及各项参数；矿工识别检测阶段，采集待检测矿工井下图像并做子窗口划分和HOG特征提取，并利用投影矩阵进行PCA降维，最后根据已经建立的模型利用LBP进行各子窗口的标记处理，并找出标记结果为+1的概率最大子窗口作为矿工检测识别的最佳区域。本发明选择提取HOG特征，能够有效克服井下光照条件差的影响，以条件随机场为框架进行感兴趣区域标识可靠性强，识别率高，适应性强，为煤矿井下图像中的矿工检测提供了有效的解决方案。

Description

一种矿井图像中基于条件随机场的矿工检测方法

技术领域

本发明涉及一种基于条件随机场的行人检测技术，尤其是涉及一种矿井图像中的矿工检测方法。

背景技术

图像行人检测研究在近些年取得了一系列的研究成果，主要有三类研究方法，其一是基于形状信息的行人检测，该类方法主要是依靠行人的形状特征来识别行人，其中以轮廓特征最为典型。Gavrila利用模板匹配的思想，将行人的边缘模板与待检测图片进行匹配。其二是基于特征的行人检测研究方法，1997年，Oren使用了一组过完备的Haar小波特征，结合自己提出的bootstrap方法，首次将机器学习的方法引入行人检测领域，并获得了成功，在误报率为1/15000的情况下，取得了81.6％的检测率。2001年，Paul Viola等人提出了一种通用的目标检测框架。他们利用自己提出来的级联AdaBoost方式来训练rectangular特征，大大提高了检测速度。2005年，Dalal和Triggs引进了一种强大的特征描述子HOG，作者在自己创造的复杂的INRIAL行人库上，取得了优秀的检测结果。其三，将形状信息和有效特征高效结合起来的方法被不断提出来。Sabzmeydani于2007年提出了shapelet算法。该算法是利用机器学习的方法来自动学习人体的线条，从而自动生成特征。Zhe Lin等人于2007年提出了一种具有行人姿势不变性的特征。他们的主要方法就将待检图片与训练得到的行人模板库进行匹配，通过最大相似度估计得到图片中的感兴趣区域，并将该区域映射到一个权威的行人模板，提取一个固定的特征。

条件随机场(Conditional Random Field，CRF)是在马尔可夫随机场(Markov Random Field，MRF)的基础上发展起来的，它不仅可以利用相邻节点的联系，还能够利用整个观测场的信息对局部判断加以指导，从而更加合理地提取目标。

煤炭是我国主要的能源之一，是我国经济发展的重要保障，我国约70％的能源消耗来自煤炭。煤矿井下环境恶劣，光照条件差，针对煤矿井下图像中的矿工检测会受到不同程度的影响，在减少误检、检测定位准确率以及检测效率等方面仍然需要进一步的提高。

发明内容

本发明所要解决的技术问题是提供一种基于条件随机场的新型矿工检测方法。

为了克服现有诸多方案在煤矿井下图像矿工检测中存在的问题，本发明提出了一种适合井下特殊环境的基于条件随机场的矿工检测方法，该方法能够在矿井下低照度的图像中得到较高识别率，迅速有效的进行矿工检测。

本发明所述的矿井图像中基于条件随机场的矿工检测方法采用如下技术方案实现，包括矿工检测模型建立阶段与矿工检测识别阶段。

矿工检测模型建立阶段的具体步骤如下：

A1.采集煤矿井下包含矿工的图像若干，分别标记为f₁，f₂，...，f_m。采集的图像要求统一尺寸及格式。

A2.对每幅图像进行子窗口的划分，按规则划分成相互有重叠部分且大小相同的矩形子窗口，尺寸大小以恰好能包围矿工为准，在X轴方向上任意相邻窗口之间的距离与在Y轴方向上任意相邻窗口之间的距离是相同的。每幅图片需要划分出不低于600个的子窗口，且子窗口需要铺满整个图像。

A3.人为标记出所有图像中的最佳子窗口，以恰好能包围住矿工的子窗口作为最佳。分别标记为g₁，g₂，...，g_m。

A4.计算一幅图片中所有的子窗口与步骤(3)所述的最佳子窗口的重合度，将重合度达到70％以上的子窗口标记为+1，否则，将子窗口标记为-1。并将相应标记按其在图像中的位置储存成矩阵形式。

A5.对所有图像中的所有子窗口进行HOG(方向梯度直方图)特征提取。

A6.将g₁，g₂，...，g_m提取出的HOG特征组成样本，进行PCA(主成分分析法)降维。保存主成分变换矩阵，即投影矩阵。

A7.对所有图像中所有子窗口中提取出来的HOG向量进行投影变换。

A8.建立模型的基础公式。给出子窗口观察值x的情况下该子窗口标注y的联合分布概率为 $P\left(y\right|x)=\frac{1}{Z}\exp (\underset{i\∈S}{\mathrm{\Σ}}{A}_i(y_i,x)+\underset{i\∈S}{\mathrm{\Σ}}\underset{{j\∈N}_i}{\mathrm{\Σ}}{I}_{\mathrm{ij}}(y_i,y_j,x)),$ 参数为θ＝{w，v}，目标函数即最大伪似然函数公式 $\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Σ}}\underset{{i\∈S}_m}{\mathrm{\Σ}}[\log \mathrm{\σ}\left(y_i{w}^T{h}_i\left(x\right)\right)+\log \underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\σ}\left(y_i{y}_j{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\right)-{\log z}_i]-\frac{1}{2{\mathrm{\Φ}}^2}{v}^{T}v,.$

A9.在最大伪似然函数中利用拟牛顿法BFGS解决参数的最优化问题，并获得模型参数。

矿工检测识别具体步骤如下：

B1.获取待检测图像。

B2.对图像进行子窗口划分，划分规则与模型建立阶段一致。

B3.提取每个子窗口的HOG特征。

B4.用模型建立阶段获得的投影矩阵对每个子窗口取得的HOG特征进行降维。

B5.将降维后的HOG特征经过存放形式上的处理后代入建立起来的条件随机场模型中，利用LBP进行推断求解，对所有子窗口进行标注，求得每一个子窗口被标记为+1或者-1的概率。

B6.在所有被标记为+1的子窗口中找出拥有最大概率的子窗口，即最佳子窗口，即选出了矿工所在的最佳区域。

本发明所述提取子窗口HOG特征的方法包含以下具体步骤：

(1)将子窗口灰度化；

(2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；

(3)计算子窗口每个像素的梯度(包括大小和方向)；

(4)将子窗口划分成细胞单元(cells)；

(5)统计每个cell的梯度直方图(不同梯度的个数)；

(6)将每几个cell组成一个大的、空间上相通的区间(block)，一个block内所有cell的特征向量串联起来便得到该block的HOG特征；

(7)将子窗口内的所有block的HOG特征串联起来就可以得到该子窗口的HOG特征。

本发明所述PCA降维的方法包含以下具体步骤：

(1)将g₁，g₂，...，g_m中提取出的HOG特征组成样本矩阵；

(2)计算该样本矩阵的协方差矩阵；

(3)计算特征值；

(4)将特征值进行排序；

(5)选取m个最大的特征值，使其能代表原空间的程度达到95％以上；

(6)计算对应的最大特征向量，选择此些最大特征向量作为投影矩阵B；

(7)利用此投影矩阵B进行降维，X′＝X·B。

本发明所述给出子窗口观察值x的情况下该子窗口标注y的联合分布概率公式各项含义具体如下：

A_i和I_ij分别代表相关联势能和相互作用势能。A_i(y_i，x)代表基于标记索引为i的子窗口内的观察特征，被标记为y_i的可能性；I_ij(y_i，y_j，x)代表在j子窗口中被标记为y_j的情况下，如何影响到i窗口被标记为y_i，即j子窗口中被标记为y_j对i子窗口被标记为y_i所产生的影响。上述式子中的N_i代表i子窗口周围的邻域。

本发明所述A_i(y_i，x)具体为：

A_i(y_i，x)＝log P₁(y_i|h_i(x))，p₁(y_i|h_i(x))＝σ(y_iw^Th_i(x))。其中h_i(x)代表在i子窗口处的特征向量，其中第一个元素设为1以适应参数的偏移，w是logistic方程σ[z]的参数。

本发明所述I(y_i，y_j，x)具体为：

I(y_i，y_j，x)＝log P₂(y_i，y_j|μ_ij(x))，P₂(y_i，y_j|μ_ij(x))＝σ(y_iy_jv^Tμ_ij(x))。其中v是logistic方程σ[z]的参数。

本发明所述logistic方程σ[z]的具体形式为：

z＝w^Th_i(x)or z＝v^Th_i(x)

本发明所述v^Tμ_ij(x)具体为：

μ_ij＝[1，|h_i(x)-h_j(x)|]^T，表示成对(i，j)所代表的特征向量，将第一个元素设为1是为了适应参数的偏移。为了不使两个子窗口之间产生负的相互作用和图像的不连续，令v^Tμ_ij(x)为非负的，即

$v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)& v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)>0\\ 0& v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\≤0\end{array}\right.$

本发明所述目标函数具体为：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Π}}\underset{i\∈S_m}{\mathrm{\Π}}P\left({y_i}^m\right|x^m,y_{N_i}^m,\mathrm{\θ})$

$P\left(y_i\right|x,y_{N_i},\mathrm{\θ})=\frac{1}{z_i}\exp (A_i(y_i,x)+\underset{{j\∈N}_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

$z_i=\underset{y_i\∈\{-\mathrm{1,1}\}}{\mathrm{\Σ}}\exp (A_i(y_i,x)+\underset{j\∈N_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Σ}}\underset{{i\∈S}_m}{\mathrm{\Σ}}[\log \mathrm{\σ}\left(y_i{w}^T{h}_i\left(x\right)\right)+\log \underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\σ}\left(y_i{y}_j{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\right)-{\log z}_i]-\frac{1}{2{\mathrm{\Φ}}^2}{v}^{T}v$

是加入的惩罚项。

本发明所述拟牛顿法BFGS的校正公式为：

$H_{k+1}=H_k+\frac{S^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[1+\frac{{\left(y^{\left(k\right)}\right)}^T{H}_k{y}^{\left(k\right)}}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}]-\frac{1}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[S^{\left(k\right)}{\left(y^{\left(k\right)}\right)}^T{H}_k+H_k{y}^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T]$

该BFGS算法具体步骤为：

(1)给定初始点x⁽⁰⁾，初始矩阵H₀＝I_n及精度ε＞0；

(2)若停止，极小值点为x⁽⁰⁾；否则转步骤3；

(3)取 $p^{\left(0\right)}=-H_0\▿f\left(x^{\left(0\right)}\right),$ 且令k＝0；

(4)用一维搜索法求t_k；使得令x^(k+1)＝x^(k)+tp^k；

(5)停止，极小值点为x^(k+1)；否则转为步骤6；

(6)若k+1＝n，令x⁽⁰⁾＝x⁽ⁿ⁾，转步骤(3)；否则转步骤(7)；

(7)令

$H_{k+1}=H_k+\frac{S^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[1+\frac{{\left(y^{\left(k\right)}\right)}^T{H}_k{y}^{\left(k\right)}}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}]-\frac{1}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[S^{\left(k\right)}{\left(y^{\left(k\right)}\right)}^T{H}_k+H_k{y}^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T]$

其中： $\begin{array}{c}{S}^{\left(k\right)}=x^{(k+1)}-x^{\left(k\right)}\\ y^{\left(k\right)}=\▿f\left(x^{(k+1)}\right)-\▿f\left(x^{\left(k\right)}\right)\end{array},$ 取 $p^{\left(k\right)}=-H_{k+1}\▿f\left(x^{(k+1)}\right),$ 置k＝k+1，转步骤(4)。

本发明所述LBP(loopy beliefpropagation)方法是一种通过消息传递(message passing)来实现的很有效的求解条件边缘概率的方法。定义为在第t次迭代中子窗口p传递给相邻子窗口q的消息(message)。每个message都是个2维向量。中每个元素的计算如下：

$m_{\mathrm{pq}}^t\left(f_q\right)=\underset{f_p}{\min }(v(f_p,f_q)+D_p\left(f_p\right)+\underset{s\∈N\left(p\right)\backslash q}{\mathrm{\Σ}}{m}_{\mathrm{sp}}^{t-1}\left(f_p\right))$

V(f_p，f_q)是定义两个相邻子窗口为标签f_p、f_q的代价，代表平滑项；D_p(f_p)是定义子窗口p为标签f_p的代价，代表数据项。N(p)表示p的邻域，s是p的邻域中不包括q的点。

对所有可能的f_p(本发明中为+1、-1)，分别计算在每个f_p下的消息值，然后取所有由f_p求的消息中最小的赋给相应的(f_q)。计算时需要两重循环，即f_q＝0:1；f_p＝0:1时间复杂度为O(k²)，k＝2。

在t次迭代后对每个节点计算置信向量(belief vector)。每个置信向量也是2维的。计算如下：

$b_q\left(f_q\right)=D_q\left(f_q\right)+\underset{p\∈N\left(q\right)}{\mathrm{\Σ}}{m}_{\mathrm{pq}}^T\left(f_q\right)$

最后对每个节点q，在所有b_q(f_q)中找出使b_q最小的分量对应的f_q ^*。f_q ^*即为该q点所要求的label值。

本发明的有益效果是，利用HOG提取特征，能够有效克服井下光照条件差的影响。以条件随机场为框架进行感兴趣区域标识可靠性强，识别率高，适应性强，为煤矿井下图像的矿工检测提供了有效的解决方案。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细描述。

图1是矿井图像中基于条件随机场的矿工检测流程图；

图2是图像HOG特征提取示意图；

图3是构建细胞单元梯度方向直方图示意图；

图4是PCA算法流程图；

图5是HOG-PCA特征提取流程图；

图6是BFGS算法流程图；

具体实施方式

首先对矿井图像中基于条件随机场的矿工检测方法的基本流程进行描述。矿工检测模型建立阶段流程，如图1，具体步骤如下：

(1)采集500幅的矿井图像，每幅图像中仅含有一个矿工，且矿工所在图像中所占的区域大小基本维持不变，尺寸大小维持在68*128以内，同一个矿工在该组采集的图像中出现次数不得超过3次。所有采集的图像将调整尺寸为220*220，格式为PNG。图像分别标记为f₁，f₂，...，f₅₀₀；

(2)对每幅图像进行子窗口的划分，划分成相互有重叠部分且大小为68*128的子窗口，在横轴方向上任意相邻窗口之间的像素距离与在竖轴方向上任意相邻窗口之间的像素距离是相同的，像素距离为5。横轴方向划分成18行子窗口，竖轴方向划分成30列子窗口，共划分540个子窗口；所有图像窗口的处理方式需完全一致；

(3)人为选出每幅图片能恰好包含矿工的子窗口，并以此作为每个图像中的最佳区域，分别标记为g₁，g₂，...，g_m，并将此些最佳子窗口作为接下来的评判基准；

(4)计算一幅图片中所有的子窗口与上述步骤选择的相应最佳子窗口的图像重合度，将重合度达到70％以上的子窗口标记为1，否则，将子窗口标记为-1。每幅图片的标记值+1或-1以在图像中的相应位置进行矩阵存放，最终500幅图片的储存数据存放在18*30*500的三维矩阵中；

(5)对所有图像中所有的子窗口进行HOG(方向梯度直方图)特征提取，每个子窗口提取出来的特征维数为3781；

(6)将g₁，g₂，...，g_m提取出来的HOG特征组成一个样本，进行PCA降维，并求得投影矩阵，矩阵大小为3781*500；

(7)对所有图像中所有子窗口进行HOG-PCA特征提取，即从子窗口中提取出来的HOG向量进行投影变换。变换后的矩阵进行封装。封装格式为raw(d，r，c，s)，d是一个子窗口中PCA降维后的特征量，r、c分别代表子窗口在横竖轴上的位置，s代表采集图像的总数目；

(8)对封装好的特征向量进行处理，

nodeFeatures(：，i，s)＝[1，raw(：，r，c，s)]edgeFeatures(：，e，s)＝[1，|raw(：，r，c)-raw(：，r′，c′)|]

nodeFeatures代表每个子窗口中所包含的降维后的HOG特征，按照上述形式存放，用以估算A_i(y_i，x)的值(即基于标记索引为i的子窗口内的观察特征，被标记为y_i的可能性)；edgeFeatures是为了估算I_ij(y_i，y_j，x)的值(即j框中被标记为y_j对i框被标记为y_i所产生的影响)而构成的一组HOG特征上的处理，目标是对相邻子框中的HOG特征值进行形式上的处理，以达到计算条件随机场中提及的相互影响的目的；e表征的是(r，c)-(r′，c′)之间的联系；

(9)利用公式

$P\left(y_i\right|x,y_{N_i},\mathrm{\θ})=\frac{1}{z_i}\exp (A_i(y_i,x)+\underset{{j\∈N}_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

$z_i=\underset{y_i\∈\{-\mathrm{1,1}\}}{\mathrm{\Σ}}\exp (A_i(y_i,x)+\underset{j\∈N_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

求解出z_i，代入建立起来的目标函数：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Σ}}\underset{{i\∈S}_m}{\mathrm{\Σ}}[\log \mathrm{\σ}\left(y_i{w}^T{h}_i\left(x\right)\right)+\log \underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\σ}\left(y_i{y}_j{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\right)-{\log z}_i]-\frac{1}{2{\mathrm{\Φ}}^2}{v}^{T}v$

(10)用拟牛顿法BFGS解决参数最优化问题，并获得模型参数θ＝{w，v}，至此已经完整的建立起该模型来；

矿工检测识别阶段，具体步骤如下：

(1)获取待检测图像，对图像尺寸没有要求；

(2)对图像进行子窗口划分，子窗口划分规则与模型建立阶段的窗口一致，大小全为68*128；

(3)提取每个子窗口的HOG特征，1个子窗口的矩阵X(1*3781)；

(4)用模型建立阶段获得的投影矩阵B(3781*500)对每个子窗口取得的HOG特征进行降维，X′＝X·B；

(5)将X′代入建立起来的条件随机场模型中，按照nodeFeatures(：，i，s)＝[1，raw(：，r，c，s)]edgeFeatures(：，e，s)＝[1，|raw(：，r，c)-raw(：，r′，c′)|]格式进行存放；利用LBP进行推断求解，对所有子窗口进行标注，并求得每一个子窗口被标记为+1或者-1的概率；

(6)在所有被标记为1的子窗口中找出拥有最大概率的子窗口，即是所要的最佳子窗口，即选出了矿工所在的最佳区域。

图2是提取子窗口HOG特征的具体步骤：

(1)标准化子窗口的颜色空间和gamma空间。在对煤矿井下图像处理过程中，颜色信息作用不大，先将其转化为灰度图。煤矿井下照度低，拍摄时需要延长曝光时间。为了减少光照因素的影响，要对整个图像进行规范化(归一化)处理。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，利用Gamma压缩处理能够有效地降低图像局部的阴影和光照变化。Gamma压缩公式：I(x，y)＝I(x，y)^gamma。用I(x，y)表示提取的子窗口在像素点(x，y)处的灰度值， $\mathrm{gamma}=\frac{1}{2}.$

(2)计算子窗口的图像梯度。计算子窗口横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，矿工人影和一些纹理信息，还能进一步弱化光照的影响。HOG特征主要统计图像的梯度强度和梯度方向的分布，其计算如下：

H_x(x，y)＝I(x+1，y)-I(x-1，y)

H_y(x，y)＝I(x，y+1)-I(x，y-1)

$H(x,y)=\sqrt{H_x{(x,y)}^2+H_y{(x,y)}^2}$

a(x，y)＝tan^-1(H_y(x，y)/H_x(x，y))

其中，H_x为图像中某一像素点(x，y)水平方向的梯度值，H_y为该点垂直方向的梯度值，H(x，y)为该点总梯度值，α(x，y)为梯度方向。

首先用[-1，0，1]梯度算子对子窗口做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量gradscalx，然后用[1，0，-1]梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。

(3)为每个细胞单元构建梯度方向直方图。这一步的目的是为子窗口的局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。将子窗口分成若干个“单元格cell”，每个cell为8*8个像素。采用9个bin的直方图来统计这8*8个像素的梯度信息，即将cell的梯度方向360度分成9个方向块，如图3所示：如果一个像素的梯度方向是40-60度，则让直方图第2个bin的计数就加一。对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，便可得到cell的梯度方向直方图。因为有9个bin，则该cell对应9维特征向量。梯度大小就是作为投影的权值的。例如，一个像素的梯度方向是40-60度，然后它的梯度大小是2(假设)，那么直方图第2个bin的计数就加2。

(4)把细胞单元组合成大的区间(block)，块内归一化梯度直方图对梯度强度做归一化。原因是局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。则需要归一化能够进一步地对光照、阴影和边缘进行压缩。把各个细胞单元组合成大的、空间上连通的区间(blocks)。使得一个block内所有cell的特征向量串联起来，便得到该block的HOG特征。这些区间是互有重叠的，即：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。归一化之后的块描述符(向量)作为HOG描述符。

(5)收集HOG特征。将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量供使用。

图4是PCA降维方法的具体步骤：

(1)将g₁，g₂，...，g₅₀₀中提取出的HOG特征组成样本矩阵。样本矩阵的大小为500*3781，样本矩阵的每行是一个样本，每列为一个维度。

(2)计算该样本矩阵的协方差矩阵。协方差就是一种用来度量两个随机变量关系的统计量，其定义为： $\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1}$

协方差只能处理二维问题，本说明中多维数问题需要用协方差矩阵来进行处理：C_n×n＝(c_i，j，c_i，j＝cov(Dim_i，Dim_j))。协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。

(3)计算协方差矩阵的特征值和特征向量。

(4)选择成分组成投影矩阵。求出协方差矩阵的特征值及特征向量之后，按照特征值由大到小进行排列，这将给出成分的重要性级别。忽略那些重要性很小的成分，当然这会丢失一些信息，但是如果对应的特征值很小，便不会丢失很多信息。原始数据是3781维的，本发明选择了前500个主要成分，则现在的数据仅有500维。选择所保持的500个特征矢量构成投影矩阵，每一个特征矢量是这个矩阵的一列。

图5是HOG-PCA特征提取的流程：

对所有图像中所有子窗口进行HOG特征提取，对提取出来的HOG向量进行投影变换，得到降维后的HOG特征。X′＝X·B。

拟牛顿法BFGS的校正公式为：

$H_{k+1}=H_k+\frac{S^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[1+\frac{{\left(y^{\left(k\right)}\right)}^T{H}_k{y}^{\left(k\right)}}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}]-\frac{1}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[S^{\left(k\right)}{\left(y^{\left(k\right)}\right)}^T{H}_k+H_k{y}^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T]$

图6是BFGS算法的具体步骤：

(1)给定初始点x^(0），初始矩阵H₀＝I_n及精度ε＞0；

(2)若停止，极小值点为x⁽⁰⁾；否则转步骤3；

(3)取 $p^{\left(0\right)}=-H_0\▿f\left(x^{\left(0\right)}\right),$ 且令k＝0；

(4)用一维搜索法求t_k；使得令x^(k+1)＝x^(k)+tp^k；

(5)停止，极小值点为x^(k+1)；否则转为步骤6；

(6)若k+1＝n，令x⁽⁰⁾＝x⁽ⁿ⁾，转步骤(3)；否则转步骤(7)；

(7)令

$H_{k+1}=H_k+\frac{S^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[1+\frac{{\left(y^{\left(k\right)}\right)}^T{H}_k{y}^{\left(k\right)}}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}]-\frac{1}{{\left(S^{\left(k\right)}\right)}^T{y}^{\left(k\right)}}[S^{\left(k\right)}{\left(y^{\left(k\right)}\right)}^T{H}_k+H_k{y}^{\left(k\right)}{\left(S^{\left(k\right)}\right)}^T]$

其中： $\begin{array}{c}{S}^{\left(k\right)}=x^{(k+1)}-x^{\left(k\right)}\\ y^{\left(k\right)}=\▿f\left(x^{(k+1)}\right)-\▿f\left(x^{\left(k\right)}\right)\end{array},$ 取 $p^{\left(k\right)}=-H_{k+1}\▿f\left(x^{(k+1)}\right),$ 置k＝k+1，转步骤(4)。

Claims (6)

1.一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，包括矿工检测模型建立阶段与矿工检测识别阶段，所述矿工检测模型建立阶段包括以下步骤：

A1.采集煤矿井下包含矿工的图像若干，分别标记为f₁，f₂，...，f_m。采集的图像要求统一尺寸及格式；

A2.对每幅图像进行子窗口的划分，按规则划分成相互有重叠部分且大小相同的矩形子窗口，尺寸大小以恰好能包围矿工为准，在X轴方向上任意相邻窗口之间的距离与在Y轴方向上任意相邻窗口之间的距离是相同的。每幅图片需要划分出不低于600个的子窗口，且子窗口需要铺满整个图像；

A3.人为标记出所有图像中的最佳子窗口，以恰好能包围住矿工的子窗口作为最佳。分别标记为g₁，g₂，...，g_m；

A4.计算一幅图片中所有的子窗口与步骤(3)所述的最佳子窗口的重合度，将重合度达到70％以上的子窗口标记为+1，否则，将子窗口标记为-1。并将相应标记按其在图像中的位置储存成矩阵形式；

A5.对所有图像中的所有子窗口进行HOG(方向梯度直方图)特征提取；

A6.将g₁，g₂，...，g_m提取出的HOG特征组成样本，进行PCA(主成分分析法)降维。保存主成分变换矩阵，即投影矩阵；

A7.对所有图像中所有子窗口中提取出来的HOG向量进行投影变换；

A8.建立模型的基础公式，给出子窗口观察值x的情况下该子窗口标注y的联合分布概率为 $P\left(y\right|x)=\frac{1}{Z}\exp (\underset{i\∈S}{\mathrm{\Σ}}{A}_i(y_i,x)+\underset{i\∈S}{\mathrm{\Σ}}\underset{{j\∈N}_i}{\mathrm{\Σ}}{I}_{\mathrm{ij}}(y_i,y_j,x)),$ 参数为θ＝{w，v}，目标函数即最大伪似然函数公式 $\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Σ}}\underset{{i\∈S}_m}{\mathrm{\Σ}}[\log \mathrm{\σ}\left(y_i{w}^T{h}_i\left(x\right)\right)+\log \underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\σ}\left(y_i{y}_j{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\right)-{\log z}_i]-\frac{1}{2{\mathrm{\Φ}}^2}{v}^{T}v;$

A9.在最大伪似然函数中利用拟牛顿法BFGS解决参数的最优化问题，并获得模型参数；

所述矿工检测识别阶段包括以下步骤：

B1.获取待检测图像；

B2.对图像进行子窗口划分，划分规则与模型建立阶段一致；

B3.提取每个子窗口的HOG特征；

B4.用模型建立阶段获得的投影矩阵对每个子窗口取得的HOG特征进行降维；

B5.将降维后的HOG特征经过存放形式上的处理后代入建立起来的条件随机场模型中，利用LBP进行推断求解，对所有子窗口进行标注，求得每一个子窗口被标记为+1或者-1的概率；

B6.在所有被标记为+1的子窗口中找出拥有最大概率的子窗口，即最佳子窗口，即选出了矿工所在的最佳区域。

2.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，所述给出子窗口观察值x的情况下该子窗口标注y的联合分布概率公式各项含义具体如下：

A_i和I_ij分别代表相关联势能和相互作用势能。A_i(y_i，x)代表基于标记索引为i的子窗口内的观察特征，被标记为y_i的可能性；I_ij(y_i，y_j，x)代表在j子窗口中被标记为y_j的情况下，如何影响到i窗口被标记为y_i，即j子窗口中被标记为y_j对i子窗口被标记为y_i所产生的影响。上述式子中的N_i代表i子窗口周围的邻域。

3.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，所述A_i(y_i，x)具体为：

A_i(y_i，x)＝log P₁(y_i|h_i(x))，P₁(y_i|h_i(x))＝σ(y_iw^Th_i(x))，其中h_i(x)代表在i子窗口处的特征向量，其中第一个元素设为1以适应参数的偏移，w是logistic方程σ[z]的参数，logistic方程σ[z]的具体形式为：

$g\left(z\right)=\frac{1}{1+e^{-z}},$ z＝w^Th_i(x)。

4.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，所述I(y_i，y_j，x)具体为：

I(y_i，y_j，x)＝log P₂(y_i，y_j|μ_ij(x))，P₂(y_i，y_j|μ_ij(x))＝σ(y_iy_jv^Tμ_ij(x))，其中v是logistic方程σ[z]的参数，logistic方程σ[z]的具体形式为：

$g\left(z\right)=\frac{1}{1+e^{-z}},$ z＝v^Th_i(x)。

5.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，所述v^Tμ_ij(x)具体为：

μ_ij＝[1，|h_i(x)-h_j(x)|]^T，表示成对(i，j)所代表的特征向量，将第一个元素设为1是为了适应参数的偏移，为了不使两个子窗口之间产生负的相互作用和图像的不连续，令v^Tμ_ij(x)为非负的，即

$v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)& v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)>0\\ 0& v^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\≤0\end{array}\right..$

6.根据权利要求1所述的一种矿井图像中基于条件随机场的矿工检测方法，其特征在于，所述目标函数具体为：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Π}}\underset{i\∈S_m}{\mathrm{\Π}}P\left({y_i}^m\right|x^m,y_{N_i}^m,\mathrm{\θ})$

$P\left(y_i\right|x,y_{N_i},\mathrm{\θ})=\frac{1}{z_i}\exp (A_i(y_i,x)+\underset{{j\∈N}_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

$z_i=\underset{y_i\∈\{-\mathrm{1,1}\}}{\mathrm{\Σ}}\exp (A_i(y_i,x)+\underset{j\∈N_i}{\mathrm{\Σ}}I(y_i,y_j,x))$

则：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\max }\underset{m}{\mathrm{\Σ}}\underset{{i\∈S}_m}{\mathrm{\Σ}}[\log \mathrm{\σ}\left(y_i{w}^T{h}_i\left(x\right)\right)+\log \underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\σ}\left(y_i{y}_j{v}^T{\mathrm{\μ}}_{\mathrm{ij}}\left(x\right)\right)-{\log z}_i]-\frac{1}{2{\mathrm{\Φ}}^2}{v}^{T}v$

是加入的惩罚项。