CN105550675A

CN105550675A - 一种基于优化聚合积分通道的双目行人检测方法

Info

Publication number: CN105550675A
Application number: CN201610072439.4A
Authority: CN
Inventors: 金志刚; 赵明昕; 苏毅姗
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2016-02-02
Filing date: 2016-02-02
Publication date: 2016-05-04
Anticipated expiration: 2036-02-02
Also published as: CN105550675B

Abstract

本发明涉及一种基于优化聚合积分通道的双目行人检测方法，包括：基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度；对行人图像集，采用聚合积分通道方法训练分类器；输入待检测双目视点图，提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；筛选，输出较为准确的行人检测结果。本发明能准确获取潜在行人位置、简化计算数据量。

Description

一种基于优化聚合积分通道的双目行人检测方法

技术领域

本发明总体上涉及计算机视觉模式识别领域，更具体地涉及一种双目视觉环境下，采用二阶段分割方法获取感兴趣区域与最小目标尺度，基于聚合积分通道模型完成行人目标建模，并以此为基础，结合最小目标尺度优化检测阶段图像特征金字塔结构，以实现行人检测的方法。

背景技术

随着计算机视觉与机器学习的发展，行人检测因其在辅助驾驶、智能控制及人工智能等方面的广泛应用，得到了业内人员的广泛关注。由于背景的复杂性及行人非刚性变化的多样性，如何快速识别行人目标、有效区分障碍干扰，仍是该领域亟待解决的难题。

传统的行人检测多基于单摄像头环境，在单目视野下，以颜色、梯度、运动矢量等信息区分感兴趣区域，并基于感兴趣区域运行滑窗以实现行人检测。由于单目信息的局限性，往往较难规避障碍干扰的影响，误检率(FPR)较高。近年来兴起的双目行人检测方法，利用双目视觉提供的目标深度信息判断潜在行人区域，提高了检测准确性，但新增信息量引起了计算冗余度的大幅增长，难以满足检测的实时性要求。

为保证行人检测的准确度与计算速度，研究人员提出了多种有效的行人检测框架，如HOG+SVM行人检测框架、Viola&Jones框架、可变形部件模型(DeformablePartsModel)框架等。基于聚合积分通道特征的行人检测框架，对检测阶段图像特征金字塔的求取进行了优化，只计算某些尺度下的图像特征以估测相邻尺度下的特征。然而，所有上述方法在检测阶段对所有滑窗区域均采用固定且层数相同的金字塔结构，实际应用中，对于某一特定深度、特定尺寸的行人目标，许多尺度的特征计算是没有意义的，固定层数的金字塔计算存在大量冗余。

因此，进一步研究如何在准确获取潜在行人位置的同时尽量减小运算数据量，对行人检测的发展应用具有重要意义。

发明内容

本发明旨在改善现有技术的上述不足，提供一种能准确获取潜在行人位置、简化计算数据量的基于双目视觉的行人检测方法。

为达到上述目的，本发明采用如下的技术方案：

一种基于优化聚合积分通道的双目行人检测方法，包括下列步骤：

(1)预处理工作：对双目成像系统进行相机标定与立体校正，得到对准于前向平行结构的左右视点图；

(2)基于左右视点图，采用立体匹配算法实现左右视图匹配，提取稠密视差图；

(3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度：

a.在粗分割阶段，采用Otsu多阈值分割方法，输出最佳阈值下的粗分割后的像素集合；

b.在接下来的细分割阶段，采用区域生长方法，首先确定粗分割后的每个像素集合中比重最大的像素值，将这些像素点作为初始种子，第n块区域的生长阈值由下式确定：

\{\begin{matrix} T_{u p} = k_{n} + δ \\ T_{l o w} = k_{n - 1} - δ \end{matrix}

其中，T_up、T_low分别为第n块区域的生长阈值的上限和下限，δ为人工设定的可调变量，此时获得的生长区域为感兴趣区域，随后，采用上述阈值的1/2为新生长阈值，重新进行区域生长，即：

\{\begin{matrix} {T_{u p}}^{'} = \frac{1}{2} T_{u p} \\ {T_{l o w}}^{'} = \frac{1}{2} T_{l o w} \end{matrix}

其中，T_up'、T_low'为第n块区域的新生长阈值，此时获得的区域为最小行人目标尺度，分别采用矩形拟合方式标定所有的感兴趣区域与最小行人目标尺度。

(4)训练阶段：对行人图像集，采用聚合积分通道方法训练分类器；

(5)检测阶段，输入待检测双目视点图，按照步骤(1)～(3)提取感兴趣区域与最小行人目标尺度的信息，基于感兴趣区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔；在金字塔的构建上，对于某编号为i的感兴趣区域与其最小行人目标尺度结合根滤波器尺度该区域构建的图像特征金字塔层数n_i依据下式确定：

n_{i} = 2 l o g (\frac{s_{0_{i}}}{s_{m_{i}}})

即，每一感兴趣区域输出的图像金字塔层数均由其最小行人目标尺度实现自适应调整，将图像特征金字塔输入分类器，输出判定分数；

(6)对单感兴趣区域内的不同滑窗区域检测结果进行筛选，将分类器评分最高的滑窗区域作为行人检测结果，最终输出较为准确的行人检测结果。

其特征在于，步骤(6)最好采用非极大值抑制(NMS)约束原理，对单感兴趣区域内的不同滑窗区域检测结果进行筛选。

附图说明

图1是本发明的基本流程图。

图2是本发明各基本流程的实验效果图：(a)为待检测图像，(b)为立体匹配方法获得的稠密视差图、(c)为粗阶段多阈值分割结果，(d)为细阶段区域分割结果，(e)为最终行人检测结果，方框标定出检测到的行人目标。

具体实施方式

为使本发明的目的、实现方案和优点更为清晰，下面对本发明的具体实施作进一步的详细描述。

(2)基于左右视点图提取稠密视差图。采用非局部视差聚合匹配(NLCA)算法实现左右视图匹配，根据胜者为王(WTA)规则选择最优视差值。有关NLCA算法用于双目视图立体匹配的合理性证明，可参见“YangQingxiong.Anon-localcostaggregationmethodforstereomatching[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR),Providence,RI,2012:1402-1409.”一文；

(3)基于获取的稠密视差图，进行粗细二阶段分割，获取感兴趣区域与最小行人目标尺度。在粗分割阶段，采用扩展的Otsu多阈值分割方法，输出最佳阈值下的分割结果，此时，考虑到行人检测的实际情况，将区域面积小于25×50的分割结果直接删除，最终分割结果表示为：

A₁＝{k₁,k₁+1...k₂},…A_n＝{k_n,k_n+1,...k_n+1},…A_m＝{k_m,k_m+1,...L}

其中k₁～k_m为分割阈值。在接下来的细分割阶段，采用区域生长策略，首先选取每类比例最大的像素值作为初始种子，第n类的生长阈值由下式确定：

\{\begin{matrix} T_{u p} = k_{n + 1} + δ \\ T_{l o w} = k_{n} - δ \end{matrix} - - - (6)

其中，δ为人工设定的可调变量。此时获得的生长区域为感兴趣区域。随后，设定上述阈值的1/2为新生长阈值，重新进行区域生长，此时获得的区域为潜在最小行人尺度，为区域生长可获得的行人最小面积区域。分别采用矩形拟合方式标定所有的ROIs与潜在行人最小尺度。

(4)训练阶段：对训练双目视点图像集，采用聚合积分通道方法训练分类器，有关聚合积分通道方法适用于行人检测分类器模型训练的合理性依据，可参见“DollárP,AppelR,BelongieS,etal.Fastfeaturepyramidsforobjectdetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence(PAMI),2014,36(8):1532-1545.”一文。

(5)检测阶段：按照步骤(1)～(3)提取ROIs与潜在行人最小尺度信息。设定滑动窗口尺寸为128×64，步长为4，基于ROIs区域运行滑窗，对每一滑窗区域求取不同尺度下的聚合积分通道特征，构建图像特征金字塔。在金字塔的构建上，对于特定的ROI_i区域与其潜在行人最小尺度结合根滤波器尺度该区域构建的图像特征金字塔层数依据下式确定：

n_{i} = 2 l o g (\frac{s_{0_{i}}}{s_{m_{i}}})

即，每一ROI区域输出的图像金字塔层数均由其目标行人所在深度、行人面积实现自适应调整，从而减少不必要的尺度计算。

为尽量避免单目标重复检测与误检测的出现，采用非极大值抑制(NMS)约束原理，对单ROI区域内的不同滑窗区域检测结果进行筛选。遵循行人检测的一般设定，在窗口重叠率超过60％的范围内，采用NMS筛选出分类器评分最高的滑窗作为行人检测结果。窗口重叠率可根据实际场景作相应调整，在避免目标重复检测的同时，降低障碍物干扰的影响。最终输出较为准确的行人检测结果。

Claims

1.一种基于优化聚合积分通道的双目行人检测方法，包括下列步骤：

\{\begin{matrix} T_{u p} = k_{n} + δ \\ T_{l o w} = k_{n - 1} - δ \end{matrix}

\{\begin{matrix} {T_{u p}}^{'} = \frac{1}{2} T_{u p} \\ {T_{l o w}}^{'} = \frac{1}{2} T_{l o w} \end{matrix}

n_{i} = 2 l o g (\frac{s_{0_{i}}}{s_{m_{i}}})

2.根据权利要求1的双目行人检测方法，其特征在于，步骤(6)采用非极大值抑制(NMS)约束原理，对单感兴趣区域内的不同滑窗区域检测结果进行筛选。