CN105005773A - 一种融合时域信息和空域信息的行人检测方法 - Google Patents

Abstract

本发明公开了一种融合时域信息和空域信息的行人检测方法，包括：(1)于特定场景中实时采集行人图像；(2)根据采集的图像，采用混合高斯模型进行背景建模，检测行人运动前景；(3)根据检测到的运动前景，分别提取出行人特征中的空间域HOG特征、时间域HOG特征、空间域LBP特征和时间域LBP特征；(4)根据步骤(3)提取到的特征，利用随机森林分类器对行人特征进行分类判别，然后输出结果。本发明设计合理，流程简洁，其通过在行人检测方式融入时域信息和空域信息的方式，大幅提高了对特定场景进行行人运动检测的准确性，有效增强了对特定场景的预警能力，进而为相关监控人员及时采取预防措施提供了重要的保障。

Description

一种融合时域信息和空域信息的行人检测方法

技术领域

本发明涉及一种检测方法，属于图像处理技术领域，具体涉及的是一种融合时域信息和空域信息的行人检测方法。

背景技术

近年来，行人检测越来越受到人们的关注，例如，在公安视频监控系统中，对场景中出现的可疑人物进行预警，从而预防犯罪和群体性事件的发生，保障人民群众的生命和财产安全；再例如，在超市、购物中心等商业活动场所，通过对出现在监控视频中的行人进行检测跟踪，能够实现客流量统计、人群密度分析，客流分布密度等功能；再例如，在大型展会及旅游景点等重点监控区域，通过对行人检测分析，可以实现人群聚集程度的检测和分析，从而及早预防群体性踩踏事件的发生。

然而，现有的行人检测方式，大多停留在视频录像、存储、查询检索和分析等阶段，对于行人的运动检测存在着预判不足的缺陷，因此，这也令相关的监控人员难以针对特定场景及时做出有效的预防措施。

发明内容

本发明的目的在于提供一种融合时域信息和空域信息的行人检测方法，主要解决现有的行人检测方式存在对特定场景预警能力不足的问题。

为了实现上述目的，本发明采用的技术方案如下：

一种融合时域信息和空域信息的行人检测方法，包括以下步骤：

(1)于特定场景中实时采集监控视频图像；

(2)根据采集的图像，采用混合高斯模型进行背景建模，检测场景中的运动前景；

(3)根据检测到的运动前景，采用滑动窗口策略分别提取空间域HOG特征、时间域HOG特征、空间域LBP特征和时间域LBP特征；

(4)根据步骤(3)提取到的特征，利用随机森林分类器对上述特征进行分类判别，判断当前滑动窗口所覆盖的区域内是否包含有行人，然后输出结果。

进一步地，所述步骤(3)中，时间域HOG特征采用以下公式求取：

G′_t(x，y)＝|H_t(x，y)-H_t-1(x，y)|

$\mathrm{\θ}={\tan }^{-1}\left(\right|\left|G_t\right||/\sqrt{G_x^2+G_y^2})$

式中，G′_t(x，y)表示视频中第t帧的像素位置(x，y)的梯度幅值，H_t(x，y)和H_t-1(x，y)分别表示视频中第t帧和第(t-1)帧的像素位置(x，y)的像素值，θ表示视频中第t帧的方向，G_t表示视频中第t帧的梯度值，G_x和G_y分别表示视频中第t帧在水平方向和垂直方向上的梯度值。

再进一步地，所述步骤(3)中，时间域LBP特征的LBP值采用下列公式计算得到：

LBP_t＝f_t(x，y)-f_t-1(x，y)

式中，LBP_t表示视频第t帧的LBP值，f_t(x，y)和f_t-1(x，y)分别表示视频第t帧和第(t-1)帧的像素位置(x，y)处的像素值。

更进一步地，所述步骤(3)中，空间域LBP特征和时间域LBP特征均采用图像的分块LBP直方图表示，其具体过程如下：

(a)将图像划分为N×N的图像子块，并计算每个图像子块中每个像素的LBP值，N为自然数；

(b)对每个子块进行直方图统计，得到N×N个子块的直方图；

(c)将N×N个子块的直方图串联起来，构成空间域LBP特征向量或时间域LBP特征向量，用于描述该图像的纹理特征。

与现有技术相比，本发明具有以下显著效果：

(1)本发明通过采集监控视频图像、运动前景检测、空域和时域特征提取、随机森林分类的方式，大幅提高了对特定场景进行行人运动检测的准确性，有效增强了对特定场景的预警能力，使相关监控人员能够针对行人运动情况及时做出一些有针对性的预防措施，从而最大程度上避免和应对突发情况的发生。

(2)本发明采用图像的分块LBP直方图表示，并对每个分块提取空间域LBP特征和时间域LBP特征，从而可以很好地避免噪声对LBP特征的干扰。

(3)本发明设计合理，流程清晰、明了，其具有广泛应用前景，非常适合用于安防视频监控方面的行人检测。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

如图1所示，本发明提供了一种融合时域信息和空域信息的行人检测方法，尤其适合于安防视频监控领域的行人检测。本发明主要由监控视频图像采集、行人运动检测、行人特征提取、随机森林分类判别及结果输出几大步骤组成。

一、图像采集

在特定场景中(例如公安视频监控的场景)，利用视频监控器实时采集监控视频图像，然后输入到监控中心。

二、运动检测

本发明采用混合高斯模型进行背景建模，从而对行人运动前景进行检测。在混合高斯背景模型中，像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律，即：呈现单模态(单峰)或者多模态(多峰)。对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。随机变量X的观测数据集{x₁，x₂,…,x_N}，x_t＝(r_t,g_t,b_t)为t时刻像素的样本，则单个采样点x_t其服从的混合高斯分布概率密度函数：

$\begin{array}{c}p\left(x_t\right)=\underset{i=1}{\overset{k}{\Σ}}{w}_{i,t}\×\mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})\\ \mathrm{\η}(x_t,{\mathrm{\μ}}_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{{\left|{\mathrm{\τ}}_{i,t}\right|}^{1/2}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\τ}}_{i,t}^{-1}(x_t-{\mathrm{\μ}}_{i,t})}\\ {\mathrm{\τ}}_{i,t}={\mathrm{\δ}}_{i,t}^{2}I\end{array}$

其中k为分布模式总数，η(x_t,μ_i,t,τ_i,t)为t时刻第i个高斯分布，μ_i,t为其均值，τ_i,t为其协方差矩阵，δ_i,t为方差，I为三维单位矩阵，ω_i,t为t时刻第i个高斯分布的权重。

混合高斯模型的详细计算流程：

(1)每个新的像素值X_t同当前K各模型按照下面的公式进行比较，直到找到匹配新像素的分布模型，即：同该模型的均值偏差在2.5σ内：

|X_t-μ_i，t-1|≤2.5σ_i，t-1

如果所匹配的模式符合背景要求，则该像素属于背景；否则，属于前景。

(2)各个模式的权重系数按照下面的公式进行更新，其中α是学习速率，对于匹配的模式M _K，t＝1，否则Ｍ _k，t ＝0，然后对各模式的权重系数进行归一化处理：

$w_{k,t}=(1-\mathrm{\α})*w_{k,t-1}+\mathrm{\α}*M_{k,t}$

未匹配的模式其均值μ和标准差σ不变，匹配模式的参数按照下面的公式进行更新：

ρ＝α*η(X_t|μ_k，σ_k)

μ_t＝(1-ρ)*μ_t-1+ρ*X_t

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ})*{\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}*{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t)$

如果第1步当中没有任何模式匹配，则权重最小的模式将被替代，即该模式的均值为当前像素值，标准差为初始最大值，权重为最小值。

(3)各模式根据w/α²按照降序进行排列，权重大、标准差小的模式排列考前。

(4)选择前B个模式作为背景，B满足下面的公式，参数T表示背景所占的比例：

$B=\arg \left(\min \right({\underset{k=1}{\overset{b}{\Σ}}}_b{w}_k>T\left)\right).$

三、特征提取

根据检测到的运动前景，需要提取特征。本发明采用滑动窗口策略来提取行人特征，提取的特征有四种，分别是：空间域的HOG特征、时间域的HOG特征、空间域的LBP特征和时间域的LBP特征。

空间域的HOG特征

空间域的HOG特征就是平时常见的HOG特征，它是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征。能够很好地描述人体的边缘，同时对光照变化和小量的偏移不敏感。HOG特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

HOG特征的计算需要用到梯度的概念，图像中像素点(x,y)的梯度为：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

Ｇ_y(x，y)＝H(x，y+1)-H(x，y-1)

上面式子当中的G_x(x，y)，G_y(x，y)，H(x，y)分别表示水平方向的梯度、垂直方向的梯度以及像素值。像素点(x,y)处的梯度幅值和梯度方向分别是：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

HOG特征提取的过程：把图像分割为若干个像素的单元(cell)，把梯度方向平均划分为9个区间(bin)，在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块(block)，把一个块内的特征向量联起来得到36维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，就得到了人体的特征。例如，对于64*128的图像而言，每2*2的单元(16*16的像素)构成一个块，每个块内有4*9＝36个特征，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64*128的图片，总共有36*7*15＝3780个特征。

时间域的HOG特征

传统的HOG特征主要是以空间位置信息来计算特征，而本发明中的时间域的HOG特征则是以不同时间的视频帧之间来求取HOG特征。

即，时域的梯度计算公式为：

G_t(x，y)＝H_t(x，y)-H_t-1(x，y)

时域的梯度幅值和方向计算公式为：

Ｇ′_t(x，y)＝|H_t(x，y)-H_t-1(x，y)|

$\mathrm{\θ}={\tan }^{-1}\left(\right|\left|G_t\right||/\sqrt{G_x^2+G_y^2})$

式中，G_t(x，y)表示视频中第t帧的像素位置(x，y)的梯度值，H_t(x，y)和H_t-1(x，y)分别表示视频中第t帧和第(t-1)帧的像素位置(x，y)的像素值，G′_t(x，y)表示视频中第t帧的像素位置(x，y)的梯度幅值，θ表示视频中第t帧的方向，G_t表示视频中第t帧的梯度值，G_x和G_y分别表示视频中第t帧在水平方向和垂直方向上的梯度值。

空间域的LBP特征

LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。提取的特征是图像局部的纹理特征。

原始的LBP算子定义为在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3×3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。

原始的LBP特征对噪声较为敏感，在实际应用中，通常是以图像的分块LBP直方图表示，具体计算步骤如下：

(1)将图像划分为N×N的图像子块，并计算每个图像子块中每个像素的LBP值，N为自然数；

(2)对每个子块进行直方图统计，得N×N图像子块的直方图；

(3)利用N×N个子块的直方图，描述该图像的纹理特征。

时间域的LBP特征

跟空间域LBP特征的计算方法类似，这里的时间域LBP特征的计算并没有利用像素同周围邻域之间进行比较运算，而是将当前像素值同前后帧对应像素位置的像素值之间进行比较运算。即：

LBP_t＝f_t(x，y)-f_t-1(x，y)

类似的，在实际应用过程中，依然需要将图像划分为N×N的子块，对每个子块内进行时域LBP特征计算。然后对每个子块进行直方图统计，得到时域LBP特征描述。

四、随机森林分类判别及结果输出

根据上述提取到的空间域HOG特征、时间域HOG特征、空间域LBP特征和时间域LBP特征，利用随机森林分类器对行人特征进行分类判别，然后输出结果。随机森林分类器是一个利用随机方式建立的，包含多个决策树的分类器，即，随机森林算法是一种基于决策树的分类器集成算法。随机森林分类器具有需要调整的参数较少、不必担心过度拟合、分类速度较快、能高效处理大样本数据、能估计哪个特征在分类中更重要以及较强的抗噪音能力等特点。随机森林算法的随机性主要体现在两个方面：(1)训练每棵树时，从全部训练样本中选取一个子集进行训练(即bootstrap取样)；用剩余的数据进行评测，评估其误差；(2)在每个节点，随机选取所有特征的一个子集，用来计算最佳分割方式。

随机森林算法的计算步骤如下：

(1)从原始训练数据中随机抽取样本生成K个自助样本集，每个自助样本集是每个决策树分类器的全部训练样本数据；

(2)每个自助样本集生长为单个决策树，在树的每个节点处从M个特征当中随机挑选m(m<<M)个特征，按照节点不纯度最小的准则从m个特征中选择一个特征进行分支生长；将这棵树进行充分生长，使得每个节点的不纯度达到最小，不进行通常的减枝操作；

(3)根据生成的多个树分类器对新的数据进行预测，分类结果按照每个树分类器的投票来决定。

本发明在行人检测方式中融合了时域信息和空域信息，并利用随机森林分类器对这些时域信息和空域信息进行分类判断，从而很好地检测出了行人的运动前景，实时掌握相关信息，进而可以针对一些特定场景和行人运动情况做出有效的预判措施，实现预期的效果。

上述实施例仅为本发明较佳的实现方式之一，不应当用以限制本发明的保护范围，凡在本发明的主体设计思想和精神下对本发明技术方案做出的改动或润色，或进行等同置换，其解决的技术问题实质上仍与本发明一致的，均应当在本发明的保护范围之内。

Claims (4)

1.一种融合时域信息和空域信息的行人检测方法，其特征在于，包括以下步骤：

(1)于特定场景中实时采集监控视频图像；

(2)根据采集的图像，采用混合高斯模型进行背景建模，检测场景中的运动前景；

(3)根据检测到的运动前景，采用滑动窗口策略分别提取空间域HOG特征、时间域HOG特征、空间域LBP特征和时间域LBP特征；

(4)根据步骤(3)提取到的特征，利用随机森林分类器对上述特征进行分类判别，判断当前滑动窗口所覆盖的区域内是否包含有行人，然后输出结果。

2.根据权利要求1所述的一种融合时域信息和空域信息的行人检测方法，其特征在于，所述步骤(3)中，时间域HOG特征采用以下公式求取：

G′_t(x,y)＝|H_t(x,y)-H_t-1(x,y)|

$\mathrm{\&theta;}={\tan }^{-1}\left(\right|\left|G_t\right||/\sqrt{G_x^2+G_y^2})$

式中，G′_t(x,y)表示视频中第t帧的像素位置(x,y)的梯度幅值，H_t(x,y)和H_t-1(x,y)分别表示视频中第t帧和第(t-1)帧的像素位置(x,y)的像素值，θ表示视频中第t帧的方向，G_t表示视频中第t帧的梯度值，G_x和G_y分别表示视频中第t帧在水平方向和垂直方向上的梯度值。

3.根据权利要求2所述的一种融合时域信息和空域信息的行人检测方法，其特征在于，所述步骤(3)中，时间域LBP特征的LBP值采用下列公式计算得到：

LBP_t＝f_t(x,y)-f_t-1(x，y)

式中，LBP_t表示视频第t帧的LBP值，f_t(x,y)和f_t-1(x,y)分别表示视频第t帧和第(t-1)帧的像素位置(x,y)处的像素值。

4.根据权利要求3所述的一种融合时域信息和空域信息的行人检测方法，其特征在于，所述步骤(3)中，空间域LBP特征和时间域LBP特征均采用图像的分块LBP直方图表示，其具体过程如下：

(a)将图像划分为N×N的图像子块，并计算每个图像子块中每个像素的LBP值，N为自然数；

(b)对每个子块进行直方图统计，得到N×N个子块的直方图；

(c)将N×N个子块的直方图串联起来，构成空间域LBP特征向量或时间域LBP特征向量，用于描述该图像的纹理特征。