CN104239852A - 一种基于运动平台的红外行人检测方法 - Google Patents

Abstract

本发明公开一种基于运动平台的红外行人检测方法，属于模式识别和图像处理技术领域。该方法利用连接于运动平台的红外摄像头获取红外图像；对红外图像提取梯度范数特征，利用级联线性支持向量机获取行人候选区域；对行人候选区域进行方向梯度直方图特征提取，利用极限学习机对行人候选区域进行检测，最终得到包含行人的区域。本发明方法中通过候选区域选取大大减少了计算量，同时本发明方法中采用的极限学习机与支持向量机等现有分类算法相比具有更高的实时性和更高的检测精度。

Description

一种基于运动平台的红外行人检测方法

技术领域

本发明涉及一种基于运动平台的红外行人检测方法，属于模式识别和图像处理技术领域。

背景技术

行人检测在视频监控、人机交互、驾驶辅助系统等方面获得了越来越广泛的应用。与可见光图像相比，红外图像最大的优势在于可全天候工作。因此，近几年来很多学者致力于红外行人检测问题，并取得了一定的成果。

然而，红外行人检测仍有一些亟待克服的问题：首先，红外摄像头由于技术本身的原因具有信噪比低、高噪声等缺陷；其次，红外图像丢失了可见光图像的纹理细节等信息。

现有的行人检测系统大多数是基于可见光图像，经过对现有技术文献检索分析，发现刘琼等人的发明专利“一种实时鲁棒的远红外车载行人检测方法”，申请号为201310104777.8，该专利实现的方法以像素梯度的垂直投影捕捉输入图像中潜在的行人预选区域，以局部阈值化方法和形态学后处理技术搜索感兴趣区域，以多级熵加权梯度方向直方图为特征描述感兴趣区域并输入支持向量机行人分类器进行在线感兴趣区域判断，通过多帧校验筛选行人分类器判断结果实现行人检测。

发明内容

本发明的目的是提出一种基于运动平台的红外行人检测方法，对已有的红外检测方法进行改进，由红外摄像头采集包含行人和背景的红外图像，然后运动平台实时对红外图像进行处理，以提高检测速度和检测精度。

本发明提出的基于运动平台的红外行人检测方法，包括以下步骤：

(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将包含行人的红外图像作为训练样本，通过插值方法，将训练样本中的图像调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g_train；

(1-2)设T为图像中所有包含行人的窗口，S为图像中的任意窗口，则窗口t∈T和窗口s∈S的叠加面积o(t，s)为：

$o(t,s)=\frac{t\∩s}{t\∪s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t，s)，将与o(t，s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t，s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝〈w，g_train〉

其中，〈·，·〉表示内积；

(1-4)利用非极大抑制方法，从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本，将上述score_train作为原始图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机，具体过程如下：

(2-1)设定权重c_i以及阈值a_i，通过下式计算得到一个输出隐藏层矩阵H_test：

$H_{\mathrm{test}}=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& G(x_1;c_{\tilde{N}},a_{\tilde{N}})\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_N;c_1,a_1)& ...& G(x_N;c_{\tilde{N}},a_{\tilde{N}})\end{array}\right]$

其中，x₁，...，x_N为N个训练样本的方向梯度直方图特征，为隐藏节点数量，G为极限学习机的激励函数；

(2-2)通过下式，计算得到一个输出权重矩阵β：

β＝H⁺T

其中，为隐藏层输出矩阵H_test的广义逆矩阵，T为训练样本的标签；

(3)将红外摄像头分别连接到运动平台及直流移动电源上；

(4)对红外摄像头的焦距和显示模式进行初始设置，采集红外图像，实时读取红外摄像头拍摄的原始红外图像；

(5)对上述读取的原始红外图像进行候选区域选取，具体过程如下：

(5-1)将读取的原始红外图像通过插值方法，调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g；

(5-2)采用8×8图像窗口对步骤(5-1)中调整大小后的原始红外图像进行滑动采样，得到多个8×8滑动窗口；

(5-3)利用下述公式，计算原始红外图像的排序得分score：

score＝〈w，g〉

其中，〈·，·〉表示内积，w为步骤(1-2)得到的分类器；

(5-4)通过下式，分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o：

o＝v_i·score+t_i

其中v_i为步骤(1-4)得到的增益系数，t_i为步骤(1-4)得到的偏置系数；

(5-5)对上述多个得分o从高到低进行排序，得分越高，则原始红外图像窗口中包含行人的可能性越大；

(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域；

(6)对M个行人候选区域进行方向梯度直方图特征提取，具体过程如下：

(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

其中，G_x(x，y)和G_y(x，y)分别为行人候选区域中像素点(x，y)的横坐标方向和纵坐标方向的梯度，H(x，y)为该像素点(x，y)的像素值；

分别计算行人候选区域中每个像素点(x，y)的梯度幅值G(x，y)和梯度方向α(x，y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

(6-2)将行人候选区域分成多个单元格，将每个单元格的梯度方向360度分成9个方向块，分别对每个单元格内的每个像素点(x，y)按照梯度方向在直方图中进行加权投影，得到与多个单元格相对应的多个9维特征向量；

(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块，块与块之间互有重叠区域，将同一个块内的多个单元格的9维特征向量串联，得到该块的方向梯度直方图特征，对多个块的方向梯度直方图特征进行归一化处理，将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征；

(6-4)重复步骤(6-1)～步骤(6-3)，得到M个行人候选区域的方向梯度直方图特征；

(7)利用极限学习机，对M个行人候选区域的方向梯度直方图特征进行检测，得到检测结果，具体过程如下：

(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本，利用下式，计算测试样本的输出隐藏层矩阵H及输出权重矩阵β：

$H(c_1,...,c_{\tilde{M}},a_1,...,a_{\tilde{M}},x_1,...,x_M)=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& {G(x_1;c_{\tilde{M}},a_{\tilde{M}})}_{}\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_M;c_1,a_1)& ...& G(x_M;c_{\tilde{M}},a_{\tilde{M}})\end{array}\right]$

β＝H⁺T

其中，x₁，...，x_M为M个行人候选区域的方向梯度直方图特征，c_i和a_i为任意设定的权重和阈值，为隐藏节点数量，G为极限学习机的激励函数，H⁺为隐藏层输出矩阵H的广义逆矩阵；

(7-2)通过判断函数f(x)，对原始红外图像的行人候选区域进行判定：

$f\left(x\right)=\mathrm{sign}\left(h\left(x\right)H^T{(\frac{I}{c}+{\mathrm{HH}}^T)}^{-1}T\right),$

若f(x)＝1，则判定原始红外图像中的行人候选区域包含行人，若f(x)＝-1，则判定原始红外图像中的行人候选区域不包含行人，其中，

本发明提出的基于运动平台的红外行人检测方法，其优点是，本发明在运动平台上能够对获取到的红外图像快速检测出行人，不需要额外的图像处理硬件；所采用的候选区域生成算法相对于现有算法具有更高的实时性；所采用的极限学习机与支持向量机、AdaBoost等分类器相比，具有更高的检测精度和检测速度。

附图说明

图1是本发明提出的基于运动平台的红外行人检测方法流程图。

图2是本发明方法中使用的极限学习机结构示意图。

图3是本发明方法中涉及的方向梯度直方图特征提取过程中的单元格梯度方向示意图。

图4是本发明方法中涉及的方向梯度直方图特征提取过程中的单元格与块、块与块之间的关系示意图。图4中，1是单元格，2是块，3是块与块之间的重叠区域。

具体实施方式

本发明提出的基于运动平台的红外行人检测方法，其流程框图如图1所示，该方法包括以下步骤：

(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将包含行人的红外图像作为训练样本，通过插值方法，将训练样本中的图像调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，也即将训练样本中的图像调整为36种大小，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g_train；

(1-2)设T为图像中所有包含行人的窗口，S为图像中的任意窗口，则窗口t∈T和窗口s∈S的叠加面积o(t，s)为：

$o(t,s)=\frac{t\∩s}{t\∪s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t，s)，将与o(t，s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t，s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝〈w，g_train〉

其中，〈·，·〉表示内积；

(1-4)利用非极大抑制方法，从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本，将上述score_train作为原始图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机，其结构如图2所示，具体过程如下：

(2-1)设定权重c_i以及阈值a_i，权重c_i和阈值a_i的取值可以为任意值，通过下式计算得到一个输出隐藏层矩阵H_tesi：

$H_{\mathrm{test}}=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& G(x_1;c_{\tilde{N}},a_{\tilde{N}})\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_N;c_1,a_1)& ...& G(x_N;c_{\tilde{N}},a_{\tilde{N}})\end{array}\right]$

其中，x₁，...，x_N为N个训练样本的方向梯度直方图特征，为隐藏节点数量，G为极限学习机的激励函数；

(2-2)通过下式，计算得到一个输出权重矩阵β：

β＝H⁺T

其中，为隐藏层输出矩阵H_test的广义逆矩阵，T为训练样本的标签；

(3)将红外摄像头Tau336红外机芯通过50针Hirose分别连接到运动平台及直流移动电源上，其中经视频采集棒通过USB与运动平台连接实现红外图像的传输，经RS232与运动平台连接实现运动平台对Tau336红外机芯的设置及控制，与12V直流移动电源连接实现Tau336红外机芯的电源供给；

(4)对红外摄像头的焦距(焦距可以为1倍、2倍或4倍)和显示模式(例如whitehot、blackhot等)进行初始设置，采集红外图像，实时读取红外摄像头拍摄的原始红外图像；

(5)对上述读取的原始红外图像进行候选区域选取，具体过程如下：

(5-1)将读取的原始红外图像通过插值方法，调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，也即将读取的红外图像中的图像调整为36种大小，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g；

(5-2)采用8×8图像窗口对步骤(5-1)中调整大小后的原始红外图像进行滑动采样，得到多个8×8滑动窗口；

(5-3)利用下述公式，计算原始红外图像的排序得分score：

score＝〈w，g〉

其中，〈·，·〉表示内积，w为步骤(1-2)得到的分类器；

(5-4)通过下式，分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o：

o＝v_i·score+t_i

其中v_i为步骤(1-4)得到的增益系数，t_i为步骤(1-4)得到的偏置系数；

(5-5)对上述多个得分o从高到低进行排序，得分越高，则原始红外图像窗口中包含行人的可能性越大；

(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域；

(6)对M个行人候选区域进行方向梯度直方图特征提取，具体过程如下：

(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

其中，G_x(x，y)和G_y(x，y)分别为行人候选区域中像素点(x，y)的横坐标方向和纵坐标方向的梯度，H(x，y)为该像素点(x，y)的像素值；

分别计算行人候选区域中每个像素点(x，y)的梯度幅值G(x，y)和梯度方向α(x，y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

(6-2)将行人候选区域分成多个单元格，将每个单元格的梯度方向360度分成9个方向块(如图3所示)，分别对每个单元格内的每个像素点(x，y)按照梯度方向在直方图中进行加权投影，得到与多个单元格相对应的多个9维特征向量；

(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块，块与块之间互有重叠区域(如图4所示，图4中，1是单元格，2是块，3是块与块之间的重叠区域)，将同一个块内的多个单元格的9维特征向量串联，得到该块的方向梯度直方图特征，对多个块的方向梯度直方图特征进行归一化处理，将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征；

(6-4)重复步骤(6-1)～步骤(6-3)，得到M个行人候选区域的方向梯度直方图特征；

(7)利用极限学习机，对M个行人候选区域的方向梯度直方图特征进行检测，得到检测结果，具体过程如下：

(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本，利用下式，计算测试样本的输出隐藏层矩阵H及输出权重矩阵β：

$H(c_1,...,c_{\tilde{M}},a_1,...,a_{\tilde{M}},x_1,...,x_M)=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& {G(x_1;c_{\tilde{M}},a_{\tilde{M}})}_{}\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_M;c_1,a_1)& ...& G(x_M;c_{\tilde{M}},a_{\tilde{M}})\end{array}\right]$

β＝H⁺T

其中，x₁，...，x_M为M个行人候选区域的方向梯度直方图特征，c_i和a_i为任意设定的权重和阈值，(权重c_i和阈值a_i的取值可以为任意值)，为隐藏节点数量，G为极限学习机的激励函数，H⁺为隐藏层输出矩阵H的广义逆矩阵；

(7-2)通过判断函数f(x)，对原始红外图像的行人候选区域进行判定：

$f\left(x\right)=\mathrm{sign}\left(h\left(x\right)H^T{(\frac{I}{c}+{\mathrm{HH}}^T)}^{-1}T\right),$

若f(x)＝1，则判定原始红外图像中的行人候选区域包含行人，若f(x)＝-1，则判定原始红外图像中的行人候选区域不包含行人，其中，

Claims (1)

1.一种基于运动平台的红外行人检测方法，其特征在于该方法包括以下步骤：

(1)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行选取的分类器w、增益系数v_i和偏置系数t_i，具体过程如下：

(1-1)将包含行人的红外图像作为训练样本，通过插值方法，将训练样本中的图像调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g_train；

(1-2)设T为图像中所有包含行人的窗口，S为图像中的任意窗口，则窗口t∈T和窗口s∈S的叠加面积o(t，s)为：

$o(t,s)=\frac{t\∩s}{t\∪s},$

采用8×8图像窗口对步骤(1-1)中调整大小后的训练样本进行滑动采样，得到多个8×8滑动窗口，计算与8×8滑动窗口相对应的o(t，s)，将与o(t，s)≥0.5的8×8滑动窗口相对应的64维梯度范数作为正样本，与o(t，s)＜0.5的8×8滑动窗口相对应的64维梯度范数作为负样本，利用线性支持向量机，计算得到分类器w；

(1-3)利用下述公式，计算训练样本的排序得分score_train：

score_train＝〈w，g_train〉

其中，〈·，·〉表示内积；

(1-4)利用非极大抑制方法，从每个大小为i的原始图像窗口中任意选择多个原始图像窗口作为训练样本，将上述score_train作为原始图像窗口的一维特征，利用线性支持向量机，计算得到增益系数v_i及偏置系数t_i；

(2)训练一个用于对运动平台的红外摄像头拍摄的图像中的行人候选区域进行判断的极限学习机，具体过程如下：

(2-1)设定权重c_i以及阈值a_i，通过下式计算得到一个输出隐藏层矩阵H_test：

$H_{\mathrm{test}}=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& G(x_1;c_{\tilde{N}},a_{\tilde{N}})\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_N;c_1,a_1)& ...& G(x_N;c_{\tilde{N}},a_{\tilde{N}})\end{array}\right]$

其中，x₁，...，x_N为N个训练样本的方向梯度直方图特征，为隐藏节点数量，G为极限学习机的激励函数；

(2-2)通过下式，计算得到一个输出权重矩阵β：

β＝H⁺T

其中，为隐藏层输出矩阵H_test的广义逆矩阵，T为训练样本的标签；

(3)将红外摄像头分别连接到运动平台及直流移动电源上；

(4)对红外摄像头的焦距和显示模式进行初始设置，采集红外图像，实时读取红外摄像头拍摄的原始红外图像；

(5)对上述读取的原始红外图像进行候选区域选取，具体过程如下：

(5-1)将读取的原始红外图像通过插值方法，调整成长宽分别为W和H的图像，其中W，H∈{10，20，40，80，160，320}，计算调整后的图像的梯度范数，对长宽为8×8的图像窗口的梯度求范数，得到8×8图像窗口的64维梯度范数特征，记为g；

(5-2)采用8×8图像窗口对步骤(5-1)中调整大小后的原始红外图像进行滑动采样，得到多个8×8滑动窗口；

(5-3)利用下述公式，计算原始红外图像的排序得分score：

score＝〈w，g〉

其中，〈·，·〉表示内积，w为步骤(1-2)得到的分类器；

(5-4)通过下式，分别计算与多个8×8大小的滑动窗口相对应的调整大小之前的原始红外图像窗口得分为o：

o＝v_i·score+t_i

其中v_i为步骤(1-4)得到的增益系数，t_i为步骤(1-4)得到的偏置系数；

(5-5)对上述多个得分o从高到低进行排序，得分越高，则原始红外图像窗口中包含行人的可能性越大；

(5-6)从排序后的原始红外图像窗口中选取前M个原始红外图像窗口作为行人候选区域；

(6)对M个行人候选区域进行方向梯度直方图特征提取，具体过程如下：

(6-1)分别计算M个行人候选区域在原始红外图像中的横坐标方向和纵坐标方向的梯度：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

其中，G_x(x，y)和G_y(x，y)分别为行人候选区域中像素点(x，y)的横坐标方向和纵坐标方向的梯度，H(x，y)为该像素点(x，y)的像素值；

分别计算行人候选区域中每个像素点(x，y)的梯度幅值G(x，y)和梯度方向α(x，y)：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

(6-2)将行人候选区域分成多个单元格，将每个单元格的梯度方向360度分成9个方向块，分别对每个单元格内的每个像素点(x，y)按照梯度方向在直方图中进行加权投影，得到与多个单元格相对应的多个9维特征向量；

(6-3)将行人候选区域内的多个单元格组合成空间上连通的多个块，块与块之间互有重叠区域，将同一个块内的多个单元格的9维特征向量串联，得到该块的方向梯度直方图特征，对多个块的方向梯度直方图特征进行归一化处理，将归一化处理后的多个块的方向梯度直方图特征作为该行人候选区域的方向梯度直方图特征；

(6-4)重复步骤(6-1)～步骤(6-3)，得到M个行人候选区域的方向梯度直方图特征；

(7)利用极限学习机，对M个行人候选区域的方向梯度直方图特征进行检测，得到检测结果，具体过程如下：

(7-1)将上述M个行人候选区域的方向梯度直方图特征作为测试样本，利用下式，计算测试样本的输出隐藏层矩阵H及输出权重矩阵β：

$H(c_1,...,c_{\tilde{M}},a_1,...,a_{\tilde{M}},x_1,...,x_M)=\left[\begin{array}{ccc}G(x_1;c_1,a_1)& ...& {G(x_1;c_{\tilde{M}},a_{\tilde{M}})}_{}\\ .& & .\\ .& ...& .\\ .& & .\\ G(x_M;c_1,a_1)& ...& G(x_M;c_{\tilde{M}},a_{\tilde{M}})\end{array}\right]$

β＝H⁺T

其中，x₁，...，x_M为M个行人候选区域的方向梯度直方图特征，c_i和a_i为任意设定的权重和阈值，为隐藏节点数量，G为极限学习机的激励函数，H⁺为隐藏层输出矩阵H的广义逆矩阵；

(7-2)通过判断函数f(x)，对原始红外图像的行人候选区域进行判定：

$f\left(x\right)=\mathrm{sign}\left(h\left(x\right)H^T{(\frac{I}{c}+{\mathrm{HH}}^T)}^{-1}T\right),$

若f(x)＝1，则判定原始红外图像中的行人候选区域包含行人，若f(x)＝-1，则判定原始红外图像中的行人候选区域不包含行人，其中，