CN104182729A - 基于arm嵌入式平台的行人检测方法 - Google Patents

Abstract

本发明涉及嵌入式平台技术。本发明解决了现有技术中ARM嵌入式平台中的行人检测局限性很大的问题，提供了一种基于ARM嵌入式平台的行人检测方法，其技术方案可概括为：首先系统通过嵌入式平台的输入端获取到输入端输入的每一帧图像，然后系统对每一帧图像都进行预处理，然后系统进行行人检测，行人检测包括：首先通过帧间运动信息，找到检测区域，再采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取，得到多个符合行人特征的窗口，最后将分类器输出的行人窗口进行合并，在图像上标志出行人区域。本发明的有益效果是，加快了检测速度，适用于ARM嵌入式平台的行人检测。

Description

基于ARM嵌入式平台的行人检测方法

技术领域

本发明涉及嵌入式平台技术，特别涉及基于ARM嵌入式平台的行人检测技术。

背景技术

行人检测作为计算机视觉领域备受关注的研究热点和前沿方向，它在机器人视觉、高级人机交互以及智能家居等方面得到广泛的应用和推广。近几年，随着ARM技术在各个领域的广泛应用，以及其表现出来的良好性能，使其成为嵌入式环境下的热门器件，但是，由于行人检测算法的运算量和复杂度，在ARM嵌入式平台上表现出来的性能和功耗总是差强人意。

行人检测算法一般包含两个部分：特征提取和分类器。特征提取主要用来在一幅图像中提取出有效的特征值来判断是否存在检测目标，特征值提取算法关系到检测算法的准确度。分类器包含训练和检测，训练部分对包含行人(正样本)和不包含行人(负样本)的图片进行特征提取，正样本包含行人的正面、侧面及背面。检测部分对于待检测图像，提取其特征值，然后用训练好的分类器进行分类，判断是否存在检测目标。

现有的ARM嵌入式平台，由于其处理速度缓慢、内存资源有限导致其对行人检测应用存在很大的局限性。

相比目前运用较成熟的HOG+SVM行人检测方法，2009年由dollar等人提出的积分通道特征+AdaBoost的方法不仅在检测速度上有了显著提高，而且检测质量也更加精准。两者的区别在于：HOG特征是人为设定的特征描述算子，而积分通道特征则是通过样本学习，自动选择那些最具有分类鉴别能力的特征。

发明内容

本发明的目的是克服目前ARM嵌入式平台中的行人检测局限性很大的缺点，提供一种基于ARM嵌入式平台的行人检测方法。

本发明解决其技术问题，采用的技术方案是，基于ARM嵌入式平台的行人检测方法，其特征在于，包括以下步骤：

步骤1、系统通过嵌入式平台的输入端获取到输入端输入的每一帧图像；

步骤2、系统对每一帧图像都进行预处理，预处理包括以下步骤：

步骤21、对图像进行灰度转换，得到灰度图像；

步骤22、对灰度图像进行高斯图像金字塔下采样，得到下采样图像；

步骤23、对下采样图像进行梯度直方图计算，得到8个特征通道；

步骤24、对8个特征通道进行积分图运算，得到积分通道特征值，预处理完毕；

步骤3、系统进行行人检测，包括以下步骤：

步骤31、通过帧间运动信息，找到检测区域；

步骤32、采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取，得到多个符合行人特征的窗口；

步骤33、将分类器输出的行人窗口进行合并，在图像上标志出行人区域。

具体的，步骤22中，所述对灰度图像进行高斯图像金字塔下采样是指：步骤22中，所述对灰度图像进行高斯图像金字塔下采样是指：根据灰度图像的高度和宽度以及检测窗口的大小，计算出输入的灰度图像需要做高斯图像金字塔下采样的层数，每一层图像都由其上一层图像采样得到，所述计算公式为：下采样层数＝log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2。

进一步的，步骤23中，所述8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。

具体的，步骤23包括以下具体步骤：

步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向，所述梯度幅值采用sobel算子从横向及纵向分别求梯度值，得到横向梯度值及纵向梯度值，再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值，所述梯度方向根据其横向梯度值及纵向梯度值计算得到；

步骤232、将梯度方向在0-180区间内量化为6个单位，梯度幅值通过HOG映射到这个区间内，占据6个特征通道，再将图像灰度值及梯度幅值分别占用一个特征通道，作为灰度特征通道及梯度幅值特征通道。

再进一步的，步骤23中，所述对下采样图像进行梯度直方图计算中，基于ARM完成其中浮点运算汇编优化。

再进一步的，步骤24中，所述对8个特征通道进行积分图运算时，基于ARM完成并行处理的汇编优化。

具体的，步骤31中，所述帧间运动信息是指：下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移，当连续几帧检测到行人时，对偏移的方向有个优先高低的判断，后续帧的检测区域会按这个优先级高低进行偏移。

再进一步的，步骤31包括以下具体步骤：

步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置，该行人位置包括其运动方向及粗略位置；

步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像，标注行人所在的大致区域；

步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置，作为该层金字塔图像的检测区域，进入步骤314，若未检测出行人所在位置，则进入步骤315；

步骤314、判断高斯图像金字塔是否没有下一层金字塔图像，若是则进入步骤315，若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中，作为其大致区域，回到步骤313；

步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域。

具体的，步骤32包括以下具体步骤：

步骤321、将检测区域分割为多个窗口，通过AdaBoost算法训练出的分类器对每个窗口进行特征提取，所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算，计算通过则证明某窗口符合行人特征；

步骤33包括以下具体步骤：

步骤331、将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理，得到当前图像行人位置。

本发明的有益效果是，通过上述基于ARM嵌入式平台的行人检测方法，由于在行人检测过程中，加入了帧间运动信息，排除了大部分非行人区域，并且在图像与处理阶段，针对梯度直方图和积分图运算进行了汇编优化，进一步加快了检测速度，同时，采用训练了多个不同尺度的分类器，分别对检测区域进行分类检测，有效提高了检测的准确度，使得其在ARM嵌入式平台上能够运行得更加顺畅，且质量有大幅提升。

具体实施方式

下面结合实施例，详细描述本发明的技术方案。

本发明所述基于ARM嵌入式平台的行人检测方法为：首先系统通过嵌入式平台的输入端获取到输入端输入的每一帧图像，然后系统对每一帧图像都进行预处理，预处理包括：先对图像进行灰度转换，得到灰度图像，然后对灰度图像进行高斯图像金字塔下采样，得到下采样图像，再对下采样图像进行梯度直方图计算，得到8个特征通道，再对8个特征通道进行积分图运算，得到积分通道特征值，预处理完毕，然后系统进行行人检测，行人检测包括：首先通过帧间运动信息，找到检测区域，再采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取，得到多个符合行人特征的窗口，最后将分类器输出的行人窗口进行合并，在图像上标志出行人区域。与背景技术中所述“2009年由dollar等人提出的积分通道特征+AdaBoost的方法”的区别在于：1、本发明所述方法中加入了帧间运动信息；2、本发明所述方法中检测时采用多尺度分类器，3、本发明所述方法中采用了一个灰度特征通道取代上诉方法采用的3个LUV特征通道。

实施例

本例的基于ARM嵌入式平台的行人检测方法中，包括以下具体步骤：

步骤1、系统通过嵌入式平台的输入端获取到输入端输入的每一帧图像。

步骤2、系统对每一帧图像都进行预处理，预处理包括以下步骤：

步骤21、对图像进行灰度转换，得到灰度图像。

步骤22、对灰度图像进行高斯图像金字塔下采样，得到下采样图像。

本步骤中，对灰度图像进行高斯图像金字塔下采样是指：根据灰度图像的高度和宽度以及检测窗口的大小，计算出输入的灰度图像需要做高斯图像金字塔下采样的层数，计算公式为：下采样层数＝log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2，比如输入图像分辨率为640*480，检测窗口54*54，那么需要依次做4次高斯金字塔下采样，每一层图像都是由上一层图像下采样得来的，4层图像分辨率分别为：640*480、320*240、160*120、80*60。

步骤23、对下采样图像进行梯度直方图计算，得到8个特征通道。

本步骤中，8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。对下采样图像进行梯度直方图计算中，基于ARM完成其中浮点运算汇编优化。

本步骤可包括以下具体步骤：

步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向，所述梯度幅值采用sobel算子从横向及纵向分别求梯度值，得到横向梯度值及纵向梯度值，再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值，所述梯度方向根据其横向梯度值及纵向梯度值计算得到；

步骤232、将梯度方向在0-180区间内量化为6个单位，梯度幅值通过HOG映射到这个区间内，占据6个特征通道，再将图像灰度值及梯度幅值分别占用一个特征通道，作为灰度特征通道及梯度幅值特征通道。

步骤24、对8个特征通道进行积分图运算，得到积分通道特征值，预处理完毕。

本步骤中，对8个特征通道进行积分图运算时，基于ARM完成并行处理的汇编优化。

步骤3、系统进行行人检测，包括以下步骤：

步骤31、通过帧间运动信息，找到检测区域。

本步骤中，帧间运动信息是指：下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移，当连续几帧检测到行人时，对偏移的方向有个优先高低的判断，后续帧的检测区域会按这个优先级高低进行偏移。

本步骤具体可以包括以下步骤：

步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置，该行人位置包括其运动方向及粗略位置；

步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像，标注行人所在的大致区域；

步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置，作为该层金字塔图像的检测区域，进入步骤314，若未检测出行人所在位置，则进入步骤315；

步骤314、判断高斯图像金字塔是否没有下一层金字塔图像，若是则进入步骤315，若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中，作为其大致区域，回到步骤313；

步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域

步骤32、采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取，得到多个符合行人特征的窗口。

本步骤可以具体为：将检测区域分割为多个窗口，通过AdaBoost算法训练出的分类器对每个窗口进行特征提取，所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算，计算通过则证明某窗口符合行人特征。

步骤33、将分类器输出的行人窗口进行合并，在图像上标志出行人区域。

本步骤可以具体为：将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理，得到当前图像行人位置。

现有技术中一般行人检测方法在此时需要对图像进行N次降采样缩放处理，比如相对于640*480分辨率的图片，在完成4次高斯金字塔降采样后，每两层金字塔之间还需要进行降采样处理，总共就需要处理4*N层图像，然后从各个尺度上进行特征提取，在经过分类器分类计算是否存在检测对象。本发明所采用的方法无需对图像进行缩放处理，每一层金字塔图像，只需要进行一次梯度直方图运算和积分图运算，得到积分通道特征，再经过多个分类器进行分类，获取行人位置。

本发明在Arm嵌入式平台上实现了行人检测，经过运动信息和汇编优化，可以快速实现行人检测。实验中，在Arm cortex某嵌入式处理器上实现了算法，实验表明本发明提出的方法可以达到快速检测行人的效果。

Claims (9)

1.基于ARM嵌入式平台的行人检测方法，其特征在于，包括以下步骤：

步骤1、系统通过嵌入式平台的输入端获取到输入端输入的每一帧图像；

步骤2、系统对每一帧图像都进行预处理，预处理包括以下步骤：

步骤21、对图像进行灰度转换，得到灰度图像；

步骤22、对灰度图像进行高斯图像金字塔下采样，得到下采样图像；

步骤23、对下采样图像进行梯度直方图计算，得到8个特征通道；

步骤24、对8个特征通道进行积分图运算，得到积分通道特征值，预处理完毕；

步骤3、系统进行行人检测，包括以下步骤：

步骤31、通过帧间运动信息，找到检测区域；

步骤32、采用基于离散AdsBoost算法训练出的分类器对需要检测区域进行特征提取，得到多个符合行人特征的窗口；

步骤33、将分类器输出的行人窗口进行合并，在图像上标志出行人区域。

2.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤22中，所述对灰度图像进行高斯图像金字塔下采样是指：根据灰度图像的高度和宽度以及检测窗口的大小，计算出输入的灰度图像需要做高斯图像金字塔下采样的层数，每一层图像都由其上一层图像采样得到，所述计算公式为：下采样层数＝log(min(图像高度/检测窗口高度,图像宽度/检测窗口宽度))/log2。

3.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤23中，所述8个特征通道包括根据梯度直方图方法得到的6个梯度直方图特征通道、一个梯度幅值特征通道和一个灰度特征通道。

4.根据权利要求3所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤23包括以下具体步骤：

步骤231、在每个像素上计算下采样图像梯度幅值和梯度方向，所述梯度幅值采用sobel算子从横向及纵向分别求梯度值，得到横向梯度值及纵向梯度值，再对同一像素位置的横向梯度值与纵向梯度值求平方和再开方得到其梯度幅值，所述梯度方向根据其横向梯度值及纵向梯度值计算得到；

步骤232、将梯度方向在0-180区间内量化为6个单位，梯度幅值通过HOG映射到这个区间内，占据6个特征通道，再将图像灰度值及梯度幅值分别占用一个特征通道，作为灰度特征通道及梯度幅值特征通道。

5.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤23中，所述对下采样图像进行梯度直方图计算中，基于ARM完成其中浮点运算汇编优化。

6.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤24中，所述对8个特征通道进行积分图运算时，基于ARM完成并行处理的汇编优化。

7.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤31中，所述帧间运动信息是指：下一帧图像检测区域根据上一帧检测到的行人区域位置进行适当的偏移，当连续几帧检测到行人时，对偏移的方向有个优先高低的判断，后续帧的检测区域会按这个优先级高低进行偏移。

8.根据权利要求1所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤31包括以下具体步骤：

步骤311、由第一帧图像开始至预设数量的帧图像检测出行人位置，该行人位置包括其运动方向及粗略位置；

步骤312、将该行人位置映射到下一帧图像的高斯图像金字塔中第一层金字塔图像，标注行人所在的大致区域；

步骤313、根据该大致区域在高斯图像金字塔的该层金字塔图像中检测出行人所在位置，作为该层金字塔图像的检测区域，进入步骤314，若未检测出行人所在位置，则进入步骤315；

步骤314、判断高斯图像金字塔是否没有下一层金字塔图像，若是则进入步骤315，若不是则将得到的行人所在位置映射到高斯图像金字塔的下一层金字塔图像中，作为其大致区域，回到步骤313；

步骤315、输出该帧图像的高斯金字塔图像中每层金字塔图像的检测区域。

9.根据权利要求1或2或3或4或5或6或7或8所述基于ARM嵌入式平台的行人检测方法，其特征在于，步骤32包括以下具体步骤：

步骤321、将检测区域分割为多个窗口，通过AdaBoost算法训练出的分类器对每个窗口进行特征提取，所述分类器自动在8个特征通道选择更具有鉴别力的特征进行计算，计算通过则证明某窗口符合行人特征；

步骤33包括以下具体步骤：

步骤331、将高斯图像金字塔中每一层图像中所有符合行人特征的窗口进行合并处理，得到当前图像行人位置。