CN103778435A

CN103778435A - 一种基于视频的行人快速检测方法

Info

Publication number: CN103778435A
Application number: CN201410023350.XA
Authority: CN
Inventors: 王洪玉; 董盛; 王一帆; 尹传力
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2014-01-16
Filing date: 2014-01-16
Publication date: 2014-05-07

Abstract

本发明属于图像处理与模式识别的技术领域，本发明公开了一种基于视频的行人快速检测方法。在实际场景分自动和手动两种方式收集人体正样本，训练出特定场景中人体星型检测模板；采集视频监控图像并进行图像预处理，主要针对光照进行适当补偿；对图像运动目标的时域信息进行处理，提取运动目标的前景区域；根据前景区域大小确定金字塔分层范围，判断前景区域是否需要融合，并重新划分金字塔层数；训练好的行人模板与处理后的图像进行匹配，确定行人位置；对行人位置进行融合优化，选取最优行人位置，标记行人。本发明适用于在不同场景下多个人体目标的跟踪领域，同时满足检测的鲁棒性和实时性要求。

Description

一种基于视频的行人快速检测方法

技术领域

本发明属于图像处理与模式识别的技术领域，涉及一种基于视频的行人快速检测方法，是一种在不同光照和背景环境下的多个行人实时检测方法，适用于多种场景下对密集人群检测。

背景技术

行人检测目的是使计算机从图像或视频数据中能够智能自动识别行人目标。人体检测和识别也是计算机视觉和模式识别中重要一项研究领域，可以广泛应用在视频监控，机器人视觉和虚拟现实技术等，目前主要研究困难在于行人的多态性和非刚性的特点，及多个行人运动遮挡、光照变化和复杂背景环境等条件干扰。

现有的行人检测系统一般包括两大部分：感兴趣区域分割和目标识别。感兴趣区域分割的目的是从图像中提取可能存在行人的区域，在作目标识别中作进一步验证，以判断是否为行人目标，准确和健壮的感兴趣区域可以提高行人检测的检测精度和鲁棒性。目前，行人检测主要采用基于人体模板检测，其优点是计算方法简单，系统开销小，其缺点是行人有较大非刚性形变，单一固定的人体模板检测效果不是很好，匹配也比较耗时间。

论文名：Histograms of oriented gradients for human detection，期刊：IEEEComputer Society Conference on.Computer Vision and Pattern Recognition,年份：2005年，第1期，886页至893页，论述了基于HOG特征的人体检测，对单一姿态的人体有良好检测，但是不适用检测非刚性形变的行人。

论文名：Object detection with discriminatively trained part-based models,期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence,年份：2010年，第32期，1627页至1645页，论述了基于多部件的目标检测模型，对非刚性形变和部分遮挡的行人都有良好的检测。但检测过程的计算量庞大，而且无法自适应光照变化和复杂背景环境。

论文名：Cascade object detection with deformable part models，期刊：IEEEconference on.Computer vision and pattern recognition，年份：2010年，2241页至2248页，提出了级联检测方案，在不降低检测准确性同时提高检测速度，但仍无法达到实时检测。

发明内容

本发明为了克服现有行人检测技术的不足，提供了一种用于光照变化和复杂背景环境下的多个行人实时检测方法，实时性好，检测精度高，适应范围广。

一种在不同光照和背景环境下的多个行人实时检测方法，该方法包括如下步骤：

A、在实际场景自动和手动两种方式收集人体视频图像样本作为训练数据集，得到所需场景中人体星型检测模板；为了找到图片里人体正样本坐标，可以用到视频的时域信息，应用三帧差分提取人体运动前景。这些前景相应在每帧图片坐标是可知的，也就标定出了正样本，即自动方式收集该场景下的行人样本。手动标定正样本方法是选取十几秒的视频，需要人为通过鼠标响应框出每帧图片里的人体目标，标定好正样本信息并自动写入解析文件中。

B、采集视频监控图像并进行图像预处理，针对光照进行适当补偿

为了适应在不同天气和光照条件下仍然能较准确的检测人体目标，提出使用直方图修正技术——直方图均衡化。通过调整图像的对比度来增强人体目标边缘轮廓信息，满足HOG算法对人体边缘特征需要，达到和良好光照情况相近的检测性能。从灰度直方图的意义上说，如果一幅图像的直方图非零范围占有所有可能的灰度级并且在这些灰度级上均匀分布，那么这幅图像的对比度较高，而且灰度色调较为丰富，从而易于进行判读。

数字图像中离散灰度级，转换公式应为：

D_{B} = f (D_{A}) = \frac{D_{Max}}{A_{0}} Σ_{i = 0}^{D_{A}} H_{i}

其中，D_MAX为最大灰度值,D_B为转换后的灰度值，D_A为转换前的灰度值，H_i为第i级灰度的像素个数，A₀为图像的面积大小，即像素总数。

C、对图像运动目标的时域信息进行处理，提取运动目标的前景区域；

为了降低前景提取所花费的时间占整体检测时间比重，采用简单有效的三帧差分结合blob融合方法。然后对得到所有运动区域进行判决，筛选那些超过模型检测人体的最小尺寸的块区域，即块区域超过60×20像素大小。具体步骤如下：

C1、视频图像三帧差分获取前景图像步骤如下：F_k(x,y)为图像序列，其中(x,y)是k时刻的图像像素点，这里设连续三帧图像分别为：F_k-1(x,y),F_k(x,y)和F_k+1(x,y)，计算相邻两帧图像差分表达式为：

[\begin{matrix} d_{k, k - 1} (x, y) = | F_{k} (x, y) - F_{k - 1} (x, y) | \\ d_{k + 1, k} (x, y) = | F_{k + 1} (x, y) - F_{k} (x, y) | \end{matrix}

选取适当的阈值T对两帧图像进行二值化：

[\begin{matrix} b_{k, k - 1} (x, y) = \{\begin{matrix} 1; d_{k, k - 1} (x, y) &GreaterEqual; T \\ 0; d_{k, k - 1} (x, y) < T \end{matrix} \\ b_{k + 1, k} (x, y) = \{\begin{matrix} 1; d_{k + 1, k} (x, y) &GreaterEqual; T \\ 0; d_{k + 1, k} (x, y) < T \end{matrix} \end{matrix}

将两帧二值化图像相与，最终得到B_k(x,y)，从而获得运动目标的前景。

B_{k} (x, y) = \{\begin{matrix} 1; b_{k, k - 1} (x, y) \cap b_{k + 1, k} (x, y) = 1 \\ 0; b_{k, k - 1} (x, y) \cap b_{k + 1, k} (x, y) &NotEqual; 1 \end{matrix}

C2、运动目标的前景区域blob融合步骤如下：对二值化运动区域进行膨胀处理，采用正方形模板经过四次迭代，使那些因阈值过大断开的区域又从新“融合”在一起。

D、根据前景区域大小确定金字塔分层范围，判断前景区域是否需要融合，并重新划分金字塔层数。

通过前景便可大致知道假设存在行人目标大小，所以不需对前景分很多层就能寻找所有可能大小的人体，对碎小和相邻过近的融前景合成一个整体，同时降低因较多前景所需计算的循环次数和降低技术复杂度，提高检测效率。前景融合重新划分金字塔层数。融合之后的大前景的层数是包含所有小前景各个层数的范围。具体步骤如下：

D1、对运动目标提出前景之后，由前景大小可以大概得知假设行人目标的高度和宽度。然而由于行人的四肢摆动，前景宽度不能真实反映出人体的宽度，而行人的高度是相对稳定的，通过前景高度确定行人的高度。

D2、通过前景便可大致知道假设存在行人目标大小，所以不需对前景分很多层就能寻找所有可能大小的人体，只要根据人体大小找到相应图像金字塔特征化的第k层，实际假设人体大小不一定是准确的，就在这第k层上下再多寻找m层。对前景进行金字塔特征化就做2m+1层即可，在这2m+1层里通过一个固定大小的模型遍历搜索找到真实人体目标。

E、训练好的行人模板与处理后的图像进行匹配，确定行人位置；

检测模型对HOG特征图像进行卷积计算，和模型越相似的区域评分就越高，对图像进行傅里叶变换，是将图像信号变换到频域进行处理，它反映图像的灰度结构特征同时能加快卷积计算。采用主成分分析对检测模板降维，同时分配不同模板的权重增强在复杂背景环境下检测能力。采用基于局部假设的修剪算法来改进模板级联检测器，进一步提高检测速度。具体步骤如下：

E1、星型模型检测中计算量最大的是匹配过程，检测模型对HOG特征图像进行卷积计算，和模型越相似的区域评分就越高，即最有可能是人体的目标，为提高匹配速度，采用快速傅里叶变换进行匹配加速。先是对图像补点，再频域相乘；最后FFT反变换可以得到卷积之后的图像。卷积后的图像里每个像素值是评估已知图像（目标）在这个像素上的匹配情况。

E2、采用主成分分析对检测模板降维，把原有变量通过线性组合生成少数新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模，将多元数据的特征在低维空间里直观地表示出来。

E3、为了增强在复杂背景环境下检测能力，自适应分配不同模板的权重。加权分数统计方法依据下式：

score (x_{0}, y_{0}, l_{0}) = \frac{(n + 1) k}{k + n} R_{0, l_{0}} (x_{0}, y_{0}) + \frac{n + 1}{k + n} Σ_{i = 1}^{n} D_{i, l_{0} - λ} (2 (x_{0}, y_{0}) + v_{i}) + b

k系数定为2到4之间。

E4、先通过更有区分度根模型检测所以可能的位置，用一系列的阈值修剪待检测目标可能出现的假设区域，再用可变形部位模型找到他们相对于根模型最佳配置位置来搜索到最终检测位置。

第i个部分相对于锚位置的偏移，即为变形特征，可表示为：

Φ_d(dx,dy)＝(dx,dy,dx²,dy²)

F、对行人位置进行融合优化，选取最优行人位置，标记行人；具体步骤如下：

F1、计算样本集S＝{X_i|0＜i≤k}中特征向量X的均值向量m_X，有：

m_{X} = \frac{1}{k} Σ_{i = 1}^{k} X_{i}

F2、计算其协方差矩阵R_X：

R_{X} = E {(X - m_{X}) {(X - m_{X})}^{T}} \approx \frac{1}{k} Σ_{i = 1}^{k} X_{i} X_{i}^{T} - m_{X} m_{X}^{T}

F3、协方差矩阵R_X为N×N的实对称矩阵，对其进行特征分析，获得N个特征值λ_k与其对应的特征向量V_k，0≤k＜N，按λ_k递减的顺序排列特征向量V_k形成N×N的变换矩阵A，然后，获得互不相关的特征向量Y。

本发明的有益效果是：利用Latent-SVM训练出特定场景行人检测模板，提高特定场景的检测精确率。运用多种方法减少人体模板搜索区域和图像金字塔分层数量，来提高检测效率，达到实时检测。针对光照变化和复杂背景环境下检测困难，采用直方图均衡化和分配模板滤波器响应分数不同权重，提高行人检测的适用性。

附图说明

图1为本发明的检测流程图。

图2为本发明的级联检测算法流程图。

图3为本发明的部分正样本实例图。

图4为本发明的实例视频行人检测结果图。

图5为本发明的实例视频检测时间比较图。

具体实施方式

下面结合具体实施例和附图详细阐述本发明，但本发明并不局限于具体实施例。

（1）在加入实际检测场景样本时，把200多帧视频图像作为训练数据集，为了找到图片里人体正样本坐标，恰好可以用到视频的时域信息，应用三帧差分提取人体运动前景。这些前景相应在每帧图片坐标是可知的，也就标定出了正样本。通过现场拍摄十几秒有多人运动视频就可以自动获得1000多正样本，而这些正样本基本包含此场景下多种人体姿态，从而在特定情况下方便快捷收集所需训练正样本。每幅图片其样本坐标信息保存在.TXT解析文件中，在训练过程中会读取.TXT文件数据，只需在图片里找到相应的样本。具体实施例中的部分样本如图3所示。

（2）在不同天气和光照条件下检测人体目标，使用直方图修正技术——直方图均衡化。通过调整图像的对比度来增强人体目标边缘轮廓信息，满足HOG算法对人体边缘特征需要。对图像的直方图进行拉伸，从而得到图像灰度级具有更大的动态范围。

（3）提取运动目标的前景区域，三帧差分法首先选择相邻的帧图像，然后让这三帧图像相同位置的点做两两差分，得到两帧二值化图像后相与，如果两个差都小于定义好的阈值，则认为是背景点。大多数情况下能够很好得到运动目标外形轮廓。在实际提取前景过程中，由于树叶、草丛和光照变化影响，如果阈值过小则会加入很多干扰的区域，阈值过大则运动区域不够健壮，出现断开的现象。对二值化运动区域进行膨胀处理，采用正方形模板经过多次迭代，使那些因阈值过大断开的区域又从新“融合”在一起。

（4）基于前景分层方法，三帧差分提取前景的过程，对运动目标提出前景之后，由前景大小可以大概得知假设行人目标的高度和宽度，只要根据人体大小找到相应图像金字塔特征化那一层k，实际假设人体大小不一定是准确的，就在这K层上下再多寻找2层。因此对前景进行金字塔特征化做5层即可，在这5层里基本可以通过一个固定大小的模型遍历搜索找到真实人体目标，提高检测的查全率。之后反复判断是否有相邻前景满足融合条件，满足条件则对相邻过近的前景合成一个整体，同时降低因较多前景所需计算的循环次数，需要考虑的是基于前景分层的层数，也必须随着前景融合重新划分。融合之后的大前景的层数是包含所有小前景各个层数的范围。

（5）基于星型结构可变形部件模型包括一个根部分v₀和n个附加v₁,v₂,...,v_n的部分模型，在图像中不同的位置和尺度上定义分数是通过使用图像金字塔特征化，它指定了一个在固定范围内有限数量尺度的特征图。通过反复平滑和二次取样生成特征金字塔层，然后从图像每层金字塔中计算出HOG特征图。

利用主成分分析方法对根模板数据进行降维处理，加快模板匹配速度。

计算出滤波器响应后，再把各部分滤波器的响应经距离变换，利用卷积和乘法之间的对偶性，借助快速傅里叶变换实现模板匹配。

（6）对行人位置进行融合优化，选取最优行人位置，如果两个最优行人检测矩形框重叠超过50%则视为同一个人，否则为两个人，这样能提高检测出密集人群能力。实例行人检测结果如图4所示，采用本专利方法后行人检测的速度提升对比效果如图5所示。

Claims

1.一种基于视频的行人快速检测方法，其特征在于如下步骤：

A、在实际场景自动和手动两种方式收集人体视频图像样本作为训练数据集，得到所需场景中人体星型检测模板；

B、采集视频监控图像并进行图像预处理，针对光照进行适当补偿；

F、对行人位置进行融合优化，选取最优行人位置，标记行人。

2.根据权利要求1所述的行人快速检测方法，其特征在于，步骤D中，根据前景区域大小确定金字塔分层范围，判断前景区域是否需要融合，并重新划分金字塔层数；通过前景便大致知道假设存在行人目标大小，不需对前景分很多层就能寻找所有可能大小的人体，对碎小和相邻过近的融前景合成一个整体；前景融合重新划分金字塔层数，融合之后的大前景的层数是包含所有小前景各个层数的范围；具体步骤如下：

D1、对运动目标提出前景之后，由前景大小得知假设行人目标的高度和宽度；由于行人的四肢摆动，前景宽度不能真实反映出人体的宽度，而行人的高度是相对稳定的，通过前景高度确定行人的高度；

D2、通过前景知道假设存在行人目标大小，不需对前景分很多层就能寻找所有可能大小的人体，只要根据人体大小找到相应图像金字塔特征化的第k层，实际假设人体大小不一定是准确的，在第k层上下再多寻找m层；对前景进行金字塔特征化做2m+1层，在这2m+1层里通过一个固定大小的模型遍历搜索找到真实人体目标。

3.根据权利要求1或2所述的行人快速检测方法，其特征在于，步骤E中，训练好的行人模板与处理后的图像进行匹配，确定行人位置；检测模型对HOG特征图像进行卷积计算，和模型越相似的区域评分就越高，对图像进行傅里叶变换，是将图像信号变换到频域进行处理，它反映图像的灰度结构特征同时能加快卷积计算；采用主成分分析对检测模板降维，同时分配不同模板的权重增强在复杂背景环境下检测能力；采用基于局部假设的修剪算法来改进模板级联检测器，进一步提高检测速度；具体步骤如下：

E1、采用快速傅里叶变换进行匹配加速；先对图像补点，再频域相乘；最后FFT反变换得到卷积之后的图像；卷积后的图像里每个像素值是评估已知图像在这个像素上的匹配情况；

E2、采用主成分分析对检测模板降维，把原有变量通过线性组合生成少数新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模，将多元数据的特征在低维空间里直观地表示出来；

E3、加权分数统计方法依据下式，k系数定为2到4之间：

score (x_{0}, y_{0}, l_{0}) = \frac{(n + 1) k}{k + n} R_{0, l_{0}} (x_{0}, y_{0}) + \frac{n + 1}{k + n} Σ_{i = 1}^{n} D_{i, l_{0} - λ} (2 (x_{0}, y_{0}) + v_{i}) + b

E4、先通过更有区分度根模型检测可能位置，用一系列的阈值修剪待检测目标可能出现的假设区域，再用可变形部位模型找到他们相对于根模型最佳配置位置来搜索到最终检测位置；

第i个部分相对于锚位置的偏移，即为变形特征，表示为：

Φ_d(dx,dy)＝(dx,dy,dx²,dy²)。

4.根据权利要求1或2所述的行人快速检测方法，其特征在于如下步骤：

F1、计算样本集S＝{X_i|0＜i≤k}中特征向量X的均值向量m_X：

m_{X} = \frac{1}{k} Σ_{i = 1}^{k} X_{i}

F2、计算其协方差矩阵R_X：

R_{X} = E {(X - m_{X}) {(X - m_{X})}^{T}} \approx \frac{1}{k} Σ_{i = 1}^{k} X_{i} X_{i}^{T} - m_{X} m_{X}^{T}

5.根据权利要求3所述的行人快速检测方法，其特征在于如下步骤：

F1、计算样本集S＝{X_i|0＜i≤k}中特征向量X的均值向量m_X：

m_{X} = \frac{1}{k} Σ_{i = 1}^{k} X_{i}

F2、计算其协方差矩阵R_X：

R_{X} = E {(X - m_{X}) {(X - m_{X})}^{T}} \approx \frac{1}{k} Σ_{i = 1}^{k} X_{i} X_{i}^{T} - m_{X} m_{X}^{T}