CN109784176A - 车载热成像行人检测RoIs提取方法和装置 - Google Patents

Abstract

本发明公开车载热成像行人检测RoIs提取方法与装置。所述方法包括通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标和在线度量RoIs空间灰度分布，滤除不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标和在线度量RoIs动态特性，滤除不具备动态性的RoIs。所述装置包括：RoIs生成模块和RoIs过滤模块；所述过滤模块包括第一级过滤器和第二级过滤器。本方法能够在兼顾行人检测召回率的前提下，提高行人检测精度并降低系统计算开销。

Description

车载热成像行人检测RoIs提取方法和装置

技术领域

本发明涉及行人检测，更具体地，涉及车载热成像行人检测RoIs提取方法和装置。

背景技术

车载热成像行人检测技术指使用红外热像仪作为视觉传感器，捕获车载交通场景的图像/视频，在计算机或嵌入式平台使用机器学习等方法，识别图像/视频中存在的所有行人目标，并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。

此过程包含两个关键阶段：RoIs提取和RoIs分类检测，其中影响检测精度和计算开销的重要因素是RoIs提取的质量和数量。在RoIs提取环节，生成RoIs的质量对后续分类检测环节影响较大,为了获得质量更高的RoIs,需要研究效果较好的RoIs生成算法。此外,为了满足高召回率要求，通常的RoIs提取算法获得较多数量的RoIs，但是图像中的行人目标属于稀有事物，即大部分RoIs仅包含背景信息，且其中一些背景区域的信息和行人的特征差异很大，如果对所有RoIs都使用分类器识别，则计算开销不容乐观，因此需要提出既能减少待检测RoIs数量又能兼顾召回率的方法。

相对计算机而言，车载嵌入式平台具有明显的计算性能瓶颈，很多已发表的行人检测方法，特别是运用深度学习算法的技术，无法应用到此类平台，对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台，该平台具有较强的稳定性，但是其处理器为单核、主频最高处理速度每秒仅有600Mhz，基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒，在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中，需要找到权衡计算开销和检测性能的解决方案。

在RoIs提取阶段，目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如：

现有技术1：Ge J,Luo Y,Tei G.Real-Time Pe`estrian Detection andTracking at Nighttime for Driver-Assistance Systems.[J].IntelligentTransportation Systems IEEE Transactions on,2009,10(2):283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验，通过计算每个像素局部邻域内的分割阈值上限和下限，对近红外图像提取RoIs。

现有技术2：Uijlings J R R,Sande K E A V D,Gevers T,et al.SelectiveSearch for Object Recognition[J].International Journal of Computer Vision,2013,104(2):154-171。提出选择性搜索方法，主要思想是根据可见光图像不同的颜色空间先对图像进行小的相似区域分割，再根据区域合并算法从颜色、纹理、大小等方面将相似度高的小区域合并为大区域。

现有技术3：Cheng M M,Lin W Y.BING:Binarized Normed Gradients forObjectness Estimation at 300fps[J]//IEEE Conference on Computer Vision andPattern Recognition,2014,414:3286-3293。提出BING方法，根据局部区域内闭合轮廓，快速寻找包含完整物体的RoIs。

现有技术1生成的RoIs存在行人目标与干扰物体黏连的问题，并且现有技术2-3方法平均在单幅图像中得到约2000个RoIs，对后续分类器性能要求很高；现有技术3方法在计算机中的单幅图像处理时间约为0.003s，但是要实现96％以上的召回率要求1000个以上的RoIs，仍然对实时性造成威胁。但是现有技术1-3提供了一种值得参考的思路，即通过计算开销相对小的方法获取RoIs，然后提前滤除一些非行人RoIs，达到减少待检测RoIs数量的目的。

目前公开可用的热成像行人检测基准数据集非常稀缺，本发明使用实验室发布的数据集SCUT Dataset(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/)。该数据集面向广州市的交通道路场景，包含100个红外热成像视频，总帧数大约为20万，标注的行人Ground-Truth信息数量有40万左右，具有不同行人目标类型，如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAIST Dataset相比，具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。

综上所述，虽然车载热成像行人检测方法取得了一定成果，但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题，许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求，迫切需要在检测精度、检测时间方面做出进一步改进。

发明内容

本发明提供车载热成像行人检测RoIs提取方法和装置，旨在促进解决受计算性能瓶颈和样本质量缺陷导致的检测精度下降和无法满足实时性等问题。本发明通过如下技术方案实现。

为了达到上述发明目的，根据本发明提供的感兴趣区域(Regions of Interest,RoIs)提取方法，包括：通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成，所述自适应双阈值分割算法属业界公认的专用算法；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs；将保留的RoIs送入分类器进行精细检测。

10、根据本发明的另一方面，十字扫描算法包括：从图像左上角起逐像素扫描输入的热成像图像，计算当前像素(表示为(x,y)，其中坐标以图像左上角为基准，x表示横坐标取值，y表示纵坐标取值的线性邻域均值(表示为S(x,y))；进一步地，计算当前(x,y)的Haar-like算子(表示为H(x,y))；进一步地，求取当前像素的低阈值和高阈值。使用自适应双阈值分割算法生成RoIs，并记录RoIs的横坐标x、纵坐标y、宽w和高h。

根据本发明的另一方面，计算当前(x,y)的线性邻域均值S(x,y)包括：以当前(x,y)为起点，水平方向向左、向右截取w个像素，计算所界定范围内的(2w+1)个像素的灰度值的均值；如果当前(x,y)处于图像边缘，计算S(x,y)时用以(x,y)为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值。

根据本发明的另一方面，计算当前(x,y)的Haar-like算子H(x,y)包括：分别以(x-1,y)、(x+1,y)为起点，竖直方向向上、向下各截取h个像素，在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差，并计算这个差值的均值；如果当前(x,y)处于图像边缘，计算H(x,y)时以(x,y)右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。

根据本发明的另一方面，计算当前(x,y)的低阈值和高阈值，低阈值指当前(x,y)的S(x,y)、H(x,y)与偏移量(表示为α)之和，高阈值指低阈值与偏移量(表示为β)之和；进一步地，偏移量α、β分别为整数。

根据本发明的另一方面，所述对称性判别指标是以SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的最大池化特征，并截取最大池化特征的95％置信度区间的上界截点；进一步地，所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形，从上至下定义1/5、2/5和2/5占比区域为头部、上躯干和腿部；进一步地，对头部、上躯干和腿部分别求取部位池化特征，并从三部位池化特征中选取最大值作为RoIs最大池化特征；进一步地，所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值，差值>0则滤除图像中不具备对称性的RoIs。

根据本发明的另一方面，按部位求取池化特征包括：基于RoIs或外接矩形水平对称轴划分各部位为大小相等的矩形区域A和A’；进一步地，分别在A和A’区域内部取三个子块，逐子块计算灰度均值，按区域选取子块最大灰度均值，按部位计算区域间最大灰度均值之差并取绝对值作为RoIs的部位池化特征；进一步地，子块的长、宽大于所属区域长、宽的1/2但小于区域长、宽，三子块的位置两两存在重叠但不完全重叠。

根据本发明的另一方面，所述动态性判别指标是以数据集SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的腿部跨度总变化量ch，并截取ch的95％置信度区间的下界截点；进一步地，所述在线度量RoIs动态特性包括纵向划分RoIs或已标注行人目标的外接矩形，从上至下划分三等份，取最下1/3占比区域为RoIs或已标注行人目标的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人目标两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，所述滤除图像中不具备动态性的RoIs的过程是逐个RoIs求ch与动态性判别指标的差值，差值<0则滤除图像中不具备动态性的RoIs。

根据本发明的另一方面，计算RoIs的d、和ch包括：计算d：自左至右逐像素统计RoIs列像素灰度值之和，从第二像素起逐像素计算当前列像素灰度值之和与前一列像素灰度值之和的差值，获得一阶差值序列，自左至右以自然数标记这个一阶差值序列值，求出序列中最小值的标记值与最大值的标记值之差的绝对值即为RoIs的d；进一步地，计算实时匹配当前帧与前一帧的RoIs，若前一帧RoIs高、宽不小于当前帧RoIs高、宽的1/2，且前一帧RoIs横、纵坐标与当前帧RoIs横、纵坐标的距离分别小于当前帧RoIs高、宽的1/2，则当前帧当前RoIs与前一帧对应RoIs的d值之差的绝对值即为当前帧当前RoIs的进一步地，计算ch：当前帧当前RoIs的与前一帧相应RoIs的ch之和为当前帧当前RoIs的ch；进一步地，未能匹配前一帧RoIs的当前帧RoIs(首次出现的RoIs)存在首次匹配到前一帧RoIs的当前帧RoIs存在否则

此外，本发明提供一种RoIs提取装置，所述装置包括：RoIs生成模块和RoIs过滤模块，该装置输出供分类器进行识别的图像。RoIs生成模块通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成；所述RoIs过滤模块包括第一级过滤器和第二级过滤器；第一级过滤器包括离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；第二级过滤器包括离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs。

本发明提供车载热成像行人检测RoIs提取方法，针对计算瓶颈问题的不利影响，与现有的车载热成像行人检测技术相比，具有如下优点和效果：

1、本发明提出的RoIs提取和过滤方法能够形成“前后协作”关系，即在车载热成像行人检测过程中，生成环节得到RoIs后，优先使用提出的RoIs过滤方法对非行人RoIs进行在线辨别并移除；将保留的RoIs送入分类器进行精细检测。

2、本发明提出RoIs过滤方法，通过构造一个符合行人特征规律且计算开销低的级联过滤器，能够优先滤除不具备对称性的RoIs和不具备动态性的RoIs，大量非行人RoIs被滤除，保证剩余待检测RoIs在进行精度更高的分类器检测环节时能够降低系统虚警率，同时能够满足实时性要求。

附图说明

从以下结合附图的描述中，本公开的特定实施例的以上和其它方面，特征和优点将变得更加明显，其中：

图1为本发明的RoIs提取方法的整体流程图；

图2为实施例的RoIs提取方法的详细步骤图；

图3a为Haar-like增强的自适应双阈值分割的十字邻域示意图；

图3b为Haar-like特征；

图3c中(1)(2)(3)分别为情景一的原始图、原始双阈值分割结果和Haar-like增强的自适应双阈值分割结果对比；

图3d中的(1)(2)(3)分别为情景二的原始图、原始双阈值分割结果和Haar-like增强的自适应双阈值分割结果对比；

图3e中的(1)(2)(3)分别为情景三的原始图、原始双阈值分割结果和Haar-like增强的自适应双阈值分割结果对比；

图4为实施例的池化特征示意图；

图5为实施例的RoIs“腿部跨度”计算框图；

图6a为行人在连续帧的“腿部跨度”示意图；

图6b为虚警在连续帧的“腿部跨度”示意图；

图7为实施例的RoIs提取装置的框图；

图8为实施例的行人检测方法的流程图。

具体实施方式

提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。

在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。

图1和图2示出根据本发明的实施例的RoIs提取方法的流程图。

在行人检测过程中，RoIs提取环节得到目标可能区域的外接矩形信息，分别记录每个RoIs左上角横坐标x、左上角纵轴坐标y、宽度w、高度h。RoIs提取模块生成行人目标与背景树干黏连的质量缺陷RoIs严重影响后续分类识别过程，分析现有的自适应双阈值分割算法，发现算法基于线性邻域像素灰度值计算像素的阈值，而像素的线性邻域包含信息量太少，无法表征行人目标与背景树干像素灰度值的差异性；为了满足高召回率要求，通常得到较多数量的RoIs，如果直接进行后续的分类器识别环节，对于具有计算瓶颈的硬件平台(如车载嵌入式平台)，很难达到实时性要求，通过人工观察，图像中的行人目标属于稀有事物，提取的RoIs大部分为非行人RoIs，其中属于明显非行人RoIs的不在少数。

所述行人RoIs是指与行人外接矩形的重合度(IoU,Intersection over Union)不低于50％的RoIs，所述非行人RoIs是指与行人外接矩形的IoU低于50％的RoIs边界框。明显非行人RoIs是指与行人外接矩形的IoU低于30％、根据人工视觉很容易辨别该RoIs的信息为背景、可通过设定一些简单过滤条件进行区分的RoIs。其中，行人外接矩形是指目标类型为单一走路行人和单一骑车行人的真实外接矩形信息。

因此，本发明的实施例的RoIs提取方法的主要思想是：优化自适应双阈值分割算法，使用Haar-Like特征获取像素在竖直方向的邻域灰度信息，增强阈值信息量；构造符合行人特征规律的级联过滤器对分别对不具备对称性的RoIs和不具备动态性的RoIs进行优先滤除，减少待检测RoIs的数量。详细流程图如图2所示。

在步骤210中，生成RoIs。具体地，设计十字扫描算法求取图像像素的低、高阈值，使用自适应双阈值分割算法实现RoIs生成，所述自适应双阈值分割算法属业界公认的专用算法。更详细地，包括：

步骤211：计算当前像素(表示为(x,y)，坐标以图像左上角为基准，x表示横坐标取值，y表示纵坐标取值)的线性邻域均值S(x,y)。

具体地，如公式(1)所示，以当前(x,y)为起点，水平方向向左、向右截取w个像素，计算所界定范围内的(2w+1)个像素的灰度值的均值；如果当前(x,y)处于图像边缘，计算S(x,y)时用以(x,y)为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值。

其中，I(x,j)为像素点(x,j)的灰度值，w是与行人的宽度有关的参数，按照经验设置默认值为12。

步骤212：计算当前(x,y)的Haar-like算子(表示为H(x,y))。

具体地，如公式(2)所示，以(x-1,y)、(x+1,y)为起点，分别竖直方向向上、向下各截取h个像素，在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差，并计算这个差值的均值；如果当前(x,y)处于图像边缘，计算H(x,y)时以(x,y)右侧或左侧邻域像素的灰度值填补向上或向下缺失的邻域像素的灰度值；

其中I(i,y)为像素点(i,y)的灰度值，h＝w/3。

步骤213：计算当前(x,y)的低阈值和高阈值。

具体地，如公式(3)所示，低阈值指计算当前(x,y)的S(x,y)、H(x,y)与偏移量(表示为α)之和；如公式(4)所示，高阈值指计算低阈值与偏移量(表示为β)之和。

T_L(i,j)＝S(x,y)+H(x,y)+α 公式(3)

T_H(i,j)＝T_L(i,j)+β 公式(4)

其中偏移量α、β为降低阈值对场景亮度敏感性而设置的实验参数，默认情况下分别为α＝2,β＝8。

步骤214：使用业界公认的自适应双阈值分割算法实现RoIs生成，即逐像素进行判定，若像素(x,y)的灰度值大于(x,y)的高阈值，则将(x,y)归为行人目标，若像素(x,y)低于(x,y)的低阈值，则将像素归为背景，否则，将像素(x,y)的归属判定为与像素(x,y-1)的归属相同。最后使用二遍扫描法计算连通区域，产生的连通区域即为初步的RoIs。

图3a给出了像素(x,y)的十字邻域的示意图，其中(x,y-b)和(x,y+b)分别代表十字邻域中水平线的起点和终点，(x-k,y)和(x+k,y)分别代表十字邻域中竖直线的起点和终点，相比原有的自适应双阈值分割算法，新的算法通过Haar-like特征增加了像素在竖直方向的邻域灰度信息，如图3b所示为原始图像中行人目标头部边缘像素的Haar-Like特征示意图；图3c、图3d和图3e中的(1)、(2)、(3)分别展示了三个场景的原始图像、线性扫描自适应双阈值分割算法处理后的二值化图像和Haar-like增强的十字扫描自适应双阈值分割算法处理后的二值化图像，对比发现，Haar-like增强的自适应双阈值分割算法能有效将行人目标与树干背景分离，证明了改进算法的有效性。

在步骤220中，第一级过滤器720包括离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs。更详细地，包括：

步骤221：获取RoIs对称性判别指标。以SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的最大池化特征，并取最大池化特征的95％置信度区间的上界截点作为指标，本公开的RoIs生成方法，获得的RoIs对称相似性变化较大，许多明显非行人RoIs的对称相似性与实际人体特征差别较大，离线统计数据集中行人目标的最大池化特征，得到95％置信度区间为[20,80]。其中，被统计样本来自数据集SCUT Dataset的行人标注信息，且目标标注类型为“单一走路行人”和“单一骑车行人”。

步骤222：划分RoIs或行人目标外接矩形的头部、上躯干和腿部。纵向5等分RoIs或已标注行人目标的外接矩形，从上至下定义1/5、2/5和2/5占比区域为头部、上躯干和腿部。

步骤223：按部位求取池化特征。具体地，水平方向按外接矩形中轴划各分部位为大小相等的矩形区域A和A’，然后分别在A和A’区域内部取三个子块A_i和A_i’，i＝1,2,3，图4示出部位区域和子块示意图；进一步地，如公式(5)所示，逐子块计算灰度均值，按区域选取子块最大灰度均值，按部位计算区域间最大灰度均值之差并取绝对值作为RoIs的部位池化特征f_k(A,A')；进一步地，子块的长、宽大于所属区域长、宽的1/2但小于区域长、宽，三子块的位置两两存在重叠但不完全重叠；

其中k代表RoIs的具体部位，取值为头部、上躯干或腿部，S_Ai和分别代表子块A_i和A_i'的像素灰度值的和，和分别代表子块A_i和A_i'的像素数。

步骤224：求取RoIs的最大池化特征。如公式(6)所示，求取三部位池化特征的最大值作为RoIs最大池化特征P；

其中k代表RoIs的具体部位，取值为头部、上躯干或腿部。

步骤225：滤除不具备对称性的RoIs。逐个RoIs求最大池化特征与对称性判别指标的差值，滤除差值>0的RoIs。

在步骤230中，第二级过滤器730包括度量RoIs动态特性和统计数据集中行人目标动态性指标，滤除不具备动态性的RoIs。更详细地，包括：

步骤231：获取RoIs动态性判别指标。以SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并取其95％置信度区间的下界截点作为指标，本公开的RoIs生成方法，获得的RoIs动态性变化较大，许多明显非行人RoIs的动态性与实际行人目标差别较大，离线统计数据集中行人目标的ch的95％置信度区间为[10，20]。其中，被统计样本来自数据集SCUT Dataset的行人Ground-Truth信息，且目标标注类型为“单一走路行人”和“单一骑车行人”。

步骤232：定义RoIs或已标注行人目标的腿部。对于图5(a)所示RoIs，纵向三等分RoIs，取下1/3占比区域为RoIs的腿部，如图5(b)所示。

步骤233：标记RoIs。以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和。

步骤234：计算RoIs的d，和ch。具体地，

计算d：依据公式(7)计算腿部区域在竖直方向的灰度值投影直方图，即自左至右逐像素统计列像素灰度值之和，得到列像素灰度值之和序列，如图5(c)所示，依据公式(8)从第二像素起自左至右逐像素计算当前列像素灰度值之和与前一列像素灰度值之和的差值，获得一阶差值序列，如图5(d)所示，求出一阶差值序列最小值的标记与最大值的标记之差的绝对值作为RoIs的d，如图5(e)所示。

其中V(x)代表RoIs的腿部区域在第x列的像素灰度值之和，H代表腿部区域的高度，f(x,y)代表图5(b)在像素点(x,y)处的灰度值。

其中G(x)代表腿部区域的列像素灰度值之和在x处的一阶梯度值。

计算实时匹配当前帧与前一帧的RoIs，若前一帧RoIs高、宽不小于当前帧RoIs高、宽的1/2，且前一帧RoIs横、纵坐标与当前帧RoIs横、纵坐标的距离分别小于当前帧RoIs高、宽的1/2，则当前帧当前RoIs与前一帧对应RoIs的d值之差的绝对值即为当前帧当前RoIs的未能匹配前一帧RoIs的当前帧RoIs(首次出现的RoIs)存在

计算ch：依据公式(9)，当前帧当前RoIs的与前一帧相应RoIs的ch之和为当前帧当前RoIs的ch。未能匹配前一帧RoIs的当前帧RoIs(首次出现的RoIs)存在ch＝0，首次匹配到前一帧RoIs的当前帧RoIs存在否则

其中ch_i为当前帧当前RoIs的腿部跨度总变化量，ch_i-1为前一帧相应RoIs的腿部跨度总变化量。

步骤235：滤除不具备动态性的RoIs。逐个RoIs求ch与动态判别指标的差值，滤除差值<0的RoIs。

行人目标与虚警的腿部跨度在连续帧的变化情况差异性较大，图6a和图6b分别为示出行人目标与虚警的腿部跨度在连续帧的情况，行人目标的腿部跨度在帧间变化较大，而虚警的腿部跨度基本保持不变。

通过上述RoIs提取方法，在具有计算瓶颈的DM6437车载嵌入式平台实验，使用Haar-like增强的自适应双阈值分割方法提取RoIs,并使用级联过滤器滤除RoIs，在单幅图像中获得的RoIs数量平均为25个左右。使用上述RoIs过滤方法能够使得行人检测系统降低大约35.6％的虚警率，且平均耗时在10毫秒以内。

图7是示出根据本发明的实施例的RoIs过滤装置的框图。RoIs过滤装置700包括RoIs生成模块710和RoIs过滤模块，RoIs过滤模块包括第一级过滤器720和第二级RoIs过滤器730。

RoIs生成模块710生成RoIs。具体地，RoIs生成模块设计十字扫描算法求取图像像素的低、高阈值，进一步地，使用自适应双阈值分割算法实现RoIs生成；其中十字扫描算法包括：从图像左上角起逐像素扫描输入的热成像图像，计算当前像素(表示为(x,y)，x表示横坐标取值，y表示纵坐标取值)的线性邻域均值(表示为S(x,y))；计算当前(x,y)的Haar-like算子(表示为H(x,y))；求取当前像素的低阈值和高阈值。

第一级RoIs过滤器720滤除不具备对称性的RoIs。具体包括离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，所述对称性判别指标指以SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标最大池化特征，并取其95％置信度区间的上界截点；进一步地，所述在线度量RoIs空间灰度分布指纵向5等分RoIs，从上至下定义1/5、2/5和2/5占比区域为头部、上躯干和腿部；进一步地，按部位求取池化特征，求取三部位池化特征的最大值作为RoIs最大池化特征；进一步地，逐个RoIs求最大池化特征与对称性判别指标的差值，滤除差值>0(即不具备对称性)的RoIs；

第二级RoIs过滤器730滤除不具备动态性的RoIs。具体为离离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，所述动态性判别指标指以SCUT Dataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并截取其95％置信度区间的下界截点；进一步地，所述在线度量RoIs动态特性包括纵向划分RoIs，从上至下三等分RoIs，取最于下1/3占比区域为RoIs的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两个腿部外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，逐RoIs求取ch与动态性判别指标的差值，滤除差值<0(即不具备动态性)的RoIs。

在实际道路行人检测环境下对本发明的方法进行性能测试和评价。用于测试的完整热成像行人检测系统包括：本发明提出的Haar-like增强的自适应双阈值分割方法、本发明提出的级联RoIs过滤方法、基于“HOG特征和线性SVM”的分类器。用于测试的硬件平台是指安装了行人检测系统的车辆，其中使用了广州飒特公司生产的NV628型号红外热像仪和德州仪器公司生产的DM6437嵌入式平台。

评价指标具体设定为：使用人工统计的方式处理保存的检测视频，记录有效行人个体数量、被准确检测行人数量、虚警个体数量，并计算检测率。其中有效行人是指在帧率为25/每秒的检测视频中至少存在1秒及以上的行人目标；行人目标包括正面、背面与侧面走路的姿态、以及纵向骑自行车、电动车与摩托车的姿态；虚警个体数量是指在某一测试路段内出现的错误检测次数，当虚警个体或区域一直存在当前画面中时，按照出现1次处理；检测率是指被准确检测行人数量和有效行人个体数量的比率。

针对RoIs过滤器的测试，我们分别在虚警抑制模块关闭和开启的状态下对两个数据集(一个自建的数据集(FIR1)和一个公共基准LSIFIR数据集(FIR2))中的四种场景视频进行测试，自建的数据集由我们实验室通过一个分辨率为352×288的车载红外摄像机在不同路况采集，LSIFIR数据集则通过一个分辨率为164×129的车载红外摄像机在不同城市环境采集，每个数据集分别包含四个视频序列，囊括四种路况类型。所有视频的具体信息如表1所示。

表1视频信息

为了测试RoIs过滤方法的效果，对所挑选的视频进行测试。对比RoIs过滤模块关闭和开启状态下，每个视频中出现的虚警个体数量，结果如表2所示。

表2 RoIs过滤模块关闭和开启的虚警数对比

根据表2的RoIs过滤模块测试结果可以看出，RoIs过滤模块关闭情况下虚警基数越大，RoIs过滤模块开启后的非行人RoIs过滤效果越明显，进而导致最终的虚警抑制效果越明显。平均每个视频的虚警个体数量下降了35.6％。

针对RoIs过滤模块对检测个体数量的影响，对所挑选的视频进行测试。对比RoIs过滤模块关闭和开启状态下，每个视频中检测到的行人个体数量，结果如表2所示。

表3 RoIs过滤模块关闭和开启的检测目标数量对比

测试结果表明，所述热成像行人检测系统的检测性能有所下降，分析原因是在RoIs过滤模块，极少数不具备对称性的远距离行人目标或者不具备时序动态性的中、近距离行人目标被过滤了。平均每个视频下降0.71％，与虚警抑制效果相比，这种微小的变化明显是值得的。

车载行人检测系统对实时性要求高，且嵌入式应用的计算资源紧张，有必要探讨新增的RoIs过滤模块对计算性能的影响。对比RoIs过滤模块关闭和开启状态下的视频计算帧率，结果如表4所示。

表4 RoIs过滤模块关闭和开启状态下的计算速度对比

从检测结果可以看出，加入虚警抑制模块对计算速度的影响很小，平均每个视频的帧率减小量不到1帧/秒。

图8是示出根据本发明的实施例的行人检测方法的流程图。

在步骤810，使用Haar-like增强的自适应双阈值分割算法生成RoIs。其中，所述生成RoIs包括步骤：设计十字扫描算法求取图像像素的低、高阈值；进一步地，使用自适应双阈值分割算法实现RoIs生成模块。更详细的描述上面已经介绍，在此不再赘述。

在步骤820，过滤不具备对称性的RoIs，其中，所述对称性判别指标即以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的最大池化特征，并截取其95％置信度区间的上界截点；进一步地，在线度量RoIs对称性包括步骤：纵向5等分RoIs，从上至下定义1/5、2/5和2/5占比区域为头部、上躯干和腿部；进一步地，按部位求取池化特征，从三部位池化特征中取最大值作为RoIs最大池化特征；进一步地，逐个RoIs求最大池化特征与对称性判别指标的差值，滤除差值>0的RoIs。更详细的描述上面已经介绍，在此不再赘述。

在步骤830，过滤不具备动态性的RoIs。其中，所述动态性判别指标即以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的ch，并截取其95％置信度区间的下界截点；在线度量RoIs动态性包括步骤：纵向划分RoIs，划分为三等份，取最下1/3占比区域为RoIs的腿部；进一步地，以腿部跨度d、腿部跨度变化量和腿部跨度总变化量ch标记每个RoIs，d为行人两腿外侧边缘的距离，为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；进一步地，计算RoIs的d、和ch；进一步地，进一步地，逐RoIs求取ch与动态性判别指标的差值，滤除差值<0(即不具备动态性)的RoIs。更详细的描述上面已经介绍，在此不再赘述。

在步骤840，使用分类器对过滤后的RoIs进行分类检测。

上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (9)

1.车载热成像行人检测RoIs提取方法，其特征在于，通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs的生成；离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs。

2.根据权利要求1所述的RoIs提取方法，其特征在于，所述十字扫描算法包括：从图像左上角起逐像素扫描输入的热成像图像，计算当前像素(x,y)坐标取值的线性邻域均值S(x,y)，其中坐标以图像左上角为基准，x表示横坐标，y表示纵坐标；计算当前(x,y)的Haar- like算子H(x,y)；求取当前像素的低阈值和高阈值；使用自适应双阈值分割算法生成RoIs，并记录RoIs的横坐标x、纵坐标y、宽w和高h。

3.根据权利要求2所述的RoIs提取方法，其特征在于，所述线性邻域均值S(x,y)以当前(x,y)为起点，水平方向向左、向右截取w个像素，计算所界定范围内的(2w+1)个像素的灰度值的均值；如果当前(x,y)处于图像边缘，计算S(x,y)时用以(x,y)为中心的对称位置的像素灰度值填补向左或向右缺失的邻域像素的灰度值，所述计算当前(x,y)的Haar-like算子H(x,y)分别以(x-1,y)、(x+1,y)为起点，竖直方向向上、向下分别截取h个像素，在所界定范围内计算向下h个像素的灰度值之和与向上h个像素的灰度值之和的差，并计算这个差值的均值；如果当前(x,y)处于图像边缘，计算H(x,y)时以(x,y)右侧或左侧邻域的像素灰度值填补向上或向下缺失的邻域像素的灰度值。

4.根据权利要求2所述的RoIs提取方法，其特征在于，所述低阈值指当前(x,y)的S(x,y)、H(x,y)与偏移量a之和；所述高阈值指低阈值与偏移量b之和；所述偏移量a、b为整数。

5.根据权利要求1所述的RoIs提取方法，其特征在于，所述对称性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人的目标最大池化特征，并截取最大池化特征的95%置信度区间的上界截点；所述在线度量RoIs空间灰度分布包括纵向五等分RoIs或已标注行人目标的外接矩形，从上至下1/5、2/5和2/5占比区域分别定义为头部、上躯干和腿部；对头部、上躯干和腿部分别求取部位池化特征，从三个部位池化特征中选取最大值作为RoIs最大池化特征；所述滤除图像中不具备对称性的RoIs的过程是逐个RoIs求最大池化特征与对称性判别指标的差值，差值>0则滤除图像中不具备对称性的RoIs。

6.根据权利要求5所述的RoIs提取方法，其特征在于，所述求取RoIs的部位池化特征是基于RoIs水平对称轴划分各部位为大小相等的矩形区域A和A’，分别在A和A’区域内部各取三个子块，逐子块计算灰度均值，按区域选取子块最大灰度均值，按部位计算区域间最大灰度均值之差并取绝对值作为RoIs的部位池化特征，子块的长、宽大于所属区域长、宽的1/2但小于区域长、宽，三子块位置两两存在重叠但不完全重叠。

7.根据权利要求1所述的RoIs提取方法，其特征在于，所述动态性判别指标是以SCUTDataset的训练集S0-S5作为基准数据集，离线统计数据集中行人目标的腿部跨度总变化量ch，并截取ch的95%置信度区间的下界截点；所述在线度量RoIs动态特性包括纵向划分RoIs或已标注行人目标的外接矩形，从上至下划分为三等份，取最下1/3占比区域为RoIs或行人目标的腿部；以腿部跨度d、腿部跨度变化量Ñd和腿部跨度总变化量ch标记每个RoIs，d为行人目标两腿外侧边缘的距离，Ñd为相邻两帧间对应RoIs腿部跨度的变化量，ch为一个RoIs首次出现至当前“帧历时”内腿部跨度变化量的累加和；计算RoIs的d、Ñd和ch；所述滤除图像中不具备动态性的RoIs的过程是逐个RoIs求ch与动态性判别指标的差值，差值<0则滤除图像中不具备动态性的RoIs。

8.根据权利要求7所述的RoIs提取方法，其特征在于，计算RoIs的d方式为：自左至右逐像素统计RoIs列像素灰度值之和，从第二像素起逐像素计算当前列像素灰度值之和与前一列像素灰度值之和的差值，获得一阶差值序列，自左至右以自然数标记这个一阶差值序列值，求出序列中最小值的标记值与最大值的标记值之差的绝对值即为RoIs的d；计算Ñd：实时匹配当前帧与前一帧的RoIs，若前一帧RoIs高、宽不小于当前帧RoIs高、宽的1/2，且前一帧RoIs横、纵坐标与当前帧RoIs横、纵坐标的距离分别小于当前帧RoIs高、宽的1/2，则当前帧当前RoIs与前一帧对应RoIs的d值之差的绝对值即为当前帧当前RoIs的Ñd；计算ch：当前帧当前RoIs的Ñd与前一帧相应RoIs的ch之和为当前帧当前RoIs的ch；未能匹配前一帧RoIs的当前帧RoIs即首次出现的RoIs存在Ñd=ch=0，首次匹配到前一帧RoIs的当前帧RoIs存在ch=Ñd，否则ch≥Ñd。

9.车载热成像行人检测RoIs提取装置，其特征在于，包括：RoIs生成模块和RoIs过滤模块；RoIs生成模块通过十字扫描算法求取图像像素的低、高阈值，利用自适应双阈值分割算法实现RoIs生成；所述RoIs过滤模块包括第一级过滤器和第二级过滤器；第一级过滤器包括离线统计数据集中行人目标的空间灰度分布获得RoIs对称性判别指标，在线度量RoIs空间灰度分布，滤除图像中不具备对称性的RoIs；第二级过滤器包括离线统计数据集中行人目标的动态特性获得RoIs动态性判别指标，在线度量RoIs动态特性，滤除图像中不具备动态性的RoIs。