CN103020606A - 一种基于时空上下文信息的行人检测方法 - Google Patents

Abstract

本发明公开了一种基于双层时空上下文信息的行人检测方法，包括步骤：首先对原始图像进行尺寸估计得到感兴趣区域，然后提取双层时空上下文信息：提取特征层时空上下文、提取实例层空间上下文、提取实例层时序上下文，进而提取表观特征构造基础行人检测器，最终利用时空上下文模型将双层时空上下文信息与表观特征结合。本发明的方法是在基于表观特征的基础行人检测器基础上，自动提取与行人检测相关的双层时空上下文信息，并利用时空上下文模型对表观特征和双层时空上下文信息进行结合。本发明通过引入双层时空上下文信息，有效的解决了复杂背景和局部遮挡对检测性能的影响，提高了行人检测的召回率和检测精度。

Description

一种基于时空上下文信息的行人检测方法

技术领域

本发明涉及监控视频和智能交通领域中的一种行人检测方法，特别是一种基于视频的行人检测方法。

背景技术

上下文信息是不直接通过对象表观得到的一切信息，可作为一种有效的辅助方式来提升对象检测的性能。根据上下文信息提取时使用帧内或帧间信息，可将其分为空间上下文和时序上下文；根据上下文信息提取时是针对对象整体或图像特征，又可将上下文信息分为实例层和特征层。

基于上下文信息的检测方法核心在于如何提取充足且有效的上下文信息，以及如何同原有表观特征检测器合理的结合起来。现有的基于上下文信息进行行人检测的论文，多是针对单独一层或一种上下文信息，不能充分的利用视频信息中的信息，导致检测性能相对较差。

中国专利CN101894276A，公开日2010年11月24日，发明人秦磊等人，专利题目为“人体动作识别的训练方法和识别方法”提出了一种利用时空特征训练和识别人体动作识别的方法。该方法首先提取兴趣点构造视频单词，根据视频单词和某一满足时空约束的其他视频单词形成时空视频词组，对视频单词聚类得到单词团体等元素，进而构造人体动作识别分类器。该方法仅从特征层面刻画时空上下文信息且依赖于兴趣点的检测，并且应用范围为人体的动作识别。

中国专利CN101127122A，公开日2008年2月20日，发明人潘吉彦等人，专利题目为“一种内容自适应渐进式遮挡分析目标跟踪算法”中提出了利用时空上下文（Temporal-Spatial Context或Spatio-Temporal Context）信息对感兴趣区域遮挡情况进行初步分析。该方法通过对感兴趣区域中的图像块进行后向运动估计，以观察该图像块在上一帧中是否处于非目标区域，从而根据遮挡情况先验已知的第一帧信息判断当前帧该图像块是否存在遮挡。该方法单纯利用图像块的后向预测和图像块本身的空间信息，所以得到的时空上下文信息很有限，且该方法仅被作为跟踪算法的预处理步骤。

文献“Integrating Spatio-Temporal Context with MultiviewRepresentation for Object Recognition in Visual Surveillance”中提出了一种利用时空上下文信息进行监控场景下对象检测的方法，该方法提出了像素层和实例层的双层时空上下文方法，其中像素层即通过对前景像素点进行跟踪的方式得到时序上下文信息，其实例层的空间上下文单纯通过对场景建模估计出人体的可能尺寸，时序上下文则利用跟踪算法对连续帧的检测框进行跟踪得到。该方法没有结合立体视觉信息以及未在特征层面对时空上下文进行刻画，时空信息提取较为粗糙，且该方法依赖于前景提取，不适用于车载应用场景。

发明内容

本发明的目的在于提供一种基于上下文信息的行人检测方法。基于本发明，可以很好的实现自动提取视频中的双层上下文信息，适用于监控和车载等场景下的行人检测。

根据本发明的上述发明目的之一，其中提供一种基于双层时空上下文信息的行人检测方法，包括步骤：

采集步骤，采集图像视频；

输入步骤，将所采集的图像视频输入；

尺寸估计步骤，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；

时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；

表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；

分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；

显示步骤，将上述结果返回并显示。

根据本发明进一步的发明目的，其中所述尺寸估计步骤中利用摄像机参数估计地面位置，通过对地面按照深度分层的方式结合人体身高的先验知识构造感兴趣区域。

根据本发明进一步的发明目的，其中同时在特征层和实例层两个层面提取时空上下文信息。

根据本发明进一步的发明目的，其中首先利用表观特征构造基础行人检测器，之后利用时空上下文信息模型将其与双层时空上下文信息结合起来。

根据本发明进一步的发明目的，其中对地面位置沿深度方向分为多个层次，在每一层上将人体身高的最大值和最小值作为世界坐标系下的y值，利用摄像机的内外参数构造单应性映射，得到在图像中对象的尺寸范围，生成感兴趣区域。

根据本发明进一步的发明目的，其中构造时空立方体，在感兴趣区域上提取密集时空梯度特征，利用极坐标几何结构构造一种新的时空特征——三维特征上下文，从而同时获取特征层面上的空间和时间上下文。

根据本发明进一步的发明目的，其中构造时空立方体是利用相邻帧进行构造的。

根据本发明进一步的发明目的，其中训练阶段时首先将时空梯度特征构造成若干视觉单词，在检测阶段利用码本投票的方式将几何结构内的时空梯度特征量化为特征直方图形式，从而得到三维特征上下文。

根据本发明进一步的发明目的，其中训练阶段时是采用利用词袋的方法将时空梯度特征构造成若干视觉单词的。

根据本发明进一步的发明目的，其中首先构造当前帧的深度图，然后根据场景信息和对象高度估算出可能的深度，从而利用计算和估算的深度值之间的关系构造实例层的空间上下文信息。

根据本发明进一步的发明目的，其中构造当前帧的深度图是利用立体视觉技术进行构造的。

根据本发明进一步的发明目的，其中构造以当前帧为中心的连续数帧内对象的颜色一致性信息，从而得到时序上下文信息。

根据本发明进一步的发明目的，其中构造以当前帧为中心的连续数帧内对象的颜色一致性信息是通过数据关联进行构造的。

根据本发明进一步的发明目的，其中构造一个时空上下文模型，利用条件概率组合的方式将时空信息作为先验概率同表观特征检测器的分类置信度融合起来，当后验概率超过一定阈值时则认为是行人对象。

根据本发明进一步的发明目的，其中构造一个时空上下文模型是利用贝叶斯概率模型构造的。

根据本发明的另一发明目的，其中提供一种基于双层时空上下文信息的行人检测设备，包括下列装置：

采集装置，采集图像视频；

输入装置，将所采集的图像视频输入；

尺寸估计装置，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；

时空上下文信息提取装置，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；

表观特征提取装置，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；

分析处理装置，在此基础上利用事先构建的时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；

显示装置，将上述结果返回并显示。

本发明的方法对输入视频序列在特征层和实例层两个层面提取时空上下文信息，利用双层时空上下文信息模型将上下文信息与表观特征相结合。本方法不依赖于前景提取，可适用于监控和车载等场景下的行人检测。

附图说明

图1为基于双层时空上下文信息的行人检测方法框图；

图2为尺寸估计框架图；

图3为双层上下文信息提取示意图；

图4a和图4b分别为特征层时空上下文提取的训练阶段和实际检测阶段的流程图；

图5为实例层空间上下文提取示意图；

图6为实例层时序上下文提取示意图；

图7为双层时空上下文模型结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，图1为基于双层时空上下文信息的行人检测方法框图。首先对输入的视频序列进行尺寸估计，得到感兴趣区域，之后在此基础上针对输入的视频序列提取双层上下文，利用双层时空上下文模型将得到的双层时空上下文作为先验概率，与表观特征分类器相结合，最后利用双层时空上下文模型得到检测结果序列，双层时空上下文模型主要是将双层时空上下文与表观特征分类器相结合，从而得到根据表观特征分类而产生的适于使用的双层时空上下文，例如表观特征是人的身高，双层时空上下文的感兴趣区域为十字路口的图像视频，则最后输出结果是自地面至人的身高这个空间层面的时空上下文。

参照图2，图2为我们提出的尺寸估计的一般框架。首先针对输入的图像视频根据摄像机参数信息，将地平面按照视野的深度划分为N个层，在每一个深度层上利用人体高度的先验范围作为世界坐标系中的y值的最大值和最小值，之后将地面的等深度线利用单应性映射将世界坐标映射到摄像机坐标系中，然后再映射到图像坐标系中，形成若干个区域作为感兴趣区域；

参照图3，图3为双层上下文信息提取示意图。本方法中的双层时空上下文包含特征层和实例层两部分。

参照图4a和4b，图4a和图4b分别为特征层时空上下文提取的训练阶段和实际检测阶段的流程图。在训练阶段，首先以当前帧为中心，向前后各扩展若干帧，这些连续帧的检测框构成了时空立方体；之后以时空立方体结构为基础，提取密集时空梯度特征（具体实现时可采用密集版本的三维尺度旋转特征不变特征）；最后利用词袋方法（Bag of words model，词袋模型或叫词包模型，词袋模型是在自然语言处理和信息检索中的一种简单假设。在这种模型中，文本（段落或者文档）被看作是无序的词汇集合，忽略语法甚至是单词的顺序，词袋模型被用在文本分类的一些方法当中。当传统的贝叶斯分类被应用到文本当中时，贝叶斯中的条件独立性假设导致词袋模型。另外一些文本分类方法如LDA和LSA也使用了这个模型）将提取得到的时空梯度特征构造成K个视觉单词。在检测阶段，首先结合尺寸估计得到的感兴趣区域信息，以感兴趣区域中的检测框为几何单元，利用类似的方式构造时空立方体；在检测框上选取M个参考点并以每个参考点为中心构造一个类似形状上下文特征的极坐标几何结构；对提取到的时空梯度特征，按照其到训练阶段得到的K个视觉单词的距离量化为K维向量；之后以极坐标几何结构为基本单元将落入其内部的特征向量进行归一化处理，对得到的特征串联起来构成最终的特征层时空上下文。

参照图5，图5为实例层空间上下文提取示意图。首先利用立体视觉技术，通过左右视角的图像得到当前帧的深度图，之后根据场景几何约束和当前检测框的尺寸估算出该对象位于的深度，利用估算的深度值和立体视觉计算得到的深度值构造空间上下文信息。

参照图6，图6为实例层时序上下文提取示意图。根据相同对象的颜色信息在短时间内保持不变的假设，通过数据关联算法将以当前帧为中心的连续数帧内的对象的颜色信息构造得到时序上下文信息。

参照图7，图7为双层时空上下文模型结构图。首先构造行人检测训练样本，在此基础上提取表观特征（具体实现时可采用梯度方向直方图特征）构造基于表观特征的行人分类器，根据分类器的输出构造初始检测置信度，将双层时空上下文信息作为检测的先验概率，利用贝叶斯概率模型将双层时空上下文信息与表观特征结合起来。

本发明并非仅限于在此明确描述的实施例。虽然先前的描述和附图描述了本发明的优选实施例，但是可以理解：在不脱离本发明的精神的情况下，在此可以产生各种附加、修改和替换。本领域普通技术人员很清楚：在不脱离本发明的精神或本质特性的情况下，可以以其他特殊形式、结构、布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到：本发明可以使用发明实际中使用的结构、布置、比例、材料以及部件和其他的许多修改，这些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此，当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。

Claims (16)

1.一种基于双层时空上下文信息的行人检测方法，包括步骤：

采集步骤，采集图像视频；

输入步骤，将所采集的图像视频输入；

尺寸估计步骤，对于所输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；

时空上下文信息提取步骤，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；

表观特征提取步骤，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；

分析处理步骤，在此基础上利用事先构建的双层时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；

显示步骤，将上述结果返回并显示。

2.根据权利要求1所述的方法，其特征在于在所述尺寸估计步骤中估计地面位置，通过对地面按照深度分层的方式结合人体身高的先验知识构造感兴趣区域。

3.根据权利要求1所述的方法，其特征在于在特征层和实例层两个层面提取时空上下文信息。

4.根据权利要求1所述的方法，其特征在于首先利用表观特征构造基础行人检测器，之后利用时空上下文信息模型将其与双层时空上下文信息结合起来。

5.根据权利要求2所述方法，其特征在于对地面位置沿深度方向分为多个层次，在每一层上将人体身高的最大值和最小值作为世界坐标系下的y值，利用摄像机的内外参数构造单应性映射，得到在图像中对象的尺寸范围，生成感兴趣区域。

6.根据权利要求3所述的方法，其特征在于构造时空立方体，在感兴趣区域上提取密集时空梯度特征，利用极坐标几何结构构造一种新的时空特征——三维特征上下文，从而同时获取特征层面上的空间和时间上下文。

7.根据权利要求6所述的方法，其特征在于构造时空立方体是利用相邻帧进行构造的。

8.根据权利要求3所述的方法，其特征在于训练阶段时首先将时空梯度特征构造成若干视觉单词，在检测阶段利用码本投票的方式将几何结构内的时空梯度特征量化为特征直方图形式，从而得到三维特征上下文。

9.根据权利要求8所述的方法，其特征在于训练阶段时是采用利用词袋的方法将时空梯度特征构造成若干视觉单词的。

10.根据权利要求3所述的方法，其特征在于首先构造当前帧的深度图，然后根据场景信息和对象高度估算出可能的深度，从而利用计算和估算的深度值之间的关系构造实例层的空间上下文信息。

11.根据权利要求10所述的方法，其特征在于构造当前帧的深度图是利用立体视觉技术进行构造的。

12.根据权利要求3所述的方法，其特征在于构造以当前帧为中心的连续数帧内对象的颜色一致性信息，从而得到时序上下文信息。

13.根据权利要求12所述的方法，其特征在于构造以当前帧为中心的连续数帧内对象的颜色一致性信息是通过数据关联进行构造的。

14.根据权利要求4所述的方法，其特征在于构造一个时空上下文模型，利用条件概率组合的方式将时空信息作为先验概率同表观特征检测器的分类置信度融合起来，当后验概率超过一定阈值时则认为是行人对象。

15.根据权利要求14所述的方法，其特征在于构造一个时空上下文模型是利用贝叶斯概率模型构造的。

16.一种基于双层时空上下文信息的行人检测设备，包括下列装置：

采集装置，采集图像视频；

输入装置，将所采集的图像视频输入；

尺寸估计装置，对于输入的图像视频，采用尺寸估计的方法生成感兴趣区域，确定行人检测范围；

时空上下文信息提取装置，针对输入图像视频，根据感兴趣区域的信息，从中提取双层时空上下文信息；

表观特征提取装置，在提取上述双层时空上下文信息的同时，提取表观特征，构造基础行人检测器；

分析处理装置，在此基础上利用事先构建的时空上下文模型将双层时空上下文信息与表观特征结合起来进行分析处理，从而得到最终的检测结果序列；

显示装置，将上述结果返回并显示。

Images