CN108549864B - 面向车载热成像行人检测的感兴趣区域过滤方法和装置 - Google Patents

面向车载热成像行人检测的感兴趣区域过滤方法和装置 Download PDF

Info

Publication number
CN108549864B
CN108549864B CN201810324429.4A CN201810324429A CN108549864B CN 108549864 B CN108549864 B CN 108549864B CN 201810324429 A CN201810324429 A CN 201810324429A CN 108549864 B CN108549864 B CN 108549864B
Authority
CN
China
Prior art keywords
rois
pedestrian
filtering
height
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810324429.4A
Other languages
English (en)
Other versions
CN108549864A (zh
Inventor
许瑞霖
刘琼
彭绍武
吴继平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou SAT Infrared Technology Co Ltd
Original Assignee
Guangzhou SAT Infrared Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou SAT Infrared Technology Co Ltd filed Critical Guangzhou SAT Infrared Technology Co Ltd
Priority to CN201810324429.4A priority Critical patent/CN108549864B/zh
Priority to PCT/CN2018/083480 priority patent/WO2019196131A1/zh
Publication of CN108549864A publication Critical patent/CN108549864A/zh
Application granted granted Critical
Publication of CN108549864B publication Critical patent/CN108549864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了面向车载热成像行人检测的RoIs过滤方法和装置。所述RoIs过滤方法指设计三层级联过滤器滤除非行人RoIs的方法：第一层通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；第二层逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；第三层依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar‑like特征的差异程度，滤除缺失行人头部的RoIs。本方法能够在兼顾行人检测准确率的前提下，降低行人检测的计算开销和增强分类器的场景适应性。RoIs过滤装置包括尺寸异常RoIs过滤器、位置异常RoIs过滤器和头部缺失行人RoIs过滤器。

Description

面向车载热成像行人检测的感兴趣区域过滤方法和装置
技术领域
本发明涉及行人检测，更具体地，涉及，面向车载热成像行人检测的感兴趣区域(Regions of Interest,RoIs)过滤方法和装置。
背景技术
车载热成像行人检测技术指通过红外热像仪作为视觉传感器，捕获车载交通场景的图像/视频，在计算机或嵌入式平台使用机器学习等方法，识别图像/视频中存在的所有行人目标，并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。
此过程包含两个关键阶段：RoIs提取和RoIs分类检测，其中影响计算开销和准确率的重要因素是提取的RoIs数量和所使用分类器的性能。在RoIs提取环节，为了满足高召回率要求，通常获得较多数量的RoIs。但是图像中的行人目标属于稀有事物，即大部分RoIs仅包含背景信息，且其中一些背景区域的信息和行人的特征差异很大。如果对这些RoIs都使用分类器检测，则计算开销不容乐观，因此需要提出既能减少待检测RoIs数量又能兼顾准确率的方法。
相对计算机而言，车载嵌入式平台具有明显的计算性能瓶颈，很多已发表的行人检测方法，特别是运用深度学习算法的技术，无法应用到此类平台，对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台，该平台具有较强的稳定性，但是其处理器为单核、主频最高处理速度每秒仅有600Mhz，基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒，在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中，需要找到权衡计算开销和检测性能的解决方案。
在RoIs提取阶段，目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如：
现有技术1：Ge J,Luo Y,Tei G.Real-Time Pedestrian Detection andTracking at Nighttime for Driver-Assistance Systems.[J].IntelligentTransportation Systems IEEE Transactions on,2009,10(2):283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验，通过计算每个像素局部邻域内的分割阈值上限和下限，对近红外图像提取RoIs。
现有技术2：Uijlings J R R,Sande K E A V D,Gevers T,et al.SelectiveSearch for Object Recognition[J].International Journal of Computer Vision,2013,104(2):154-171。提出选择性搜索方法，主要思想是根据可见光图像不同的颜色空间先对图像进行小的相似区域分割，再根据区域合并算法从颜色、纹理、大小等方面将相似度高的小区域合并为大区域。
现有技术3：Zitnick C L,Dollár P.Edge Boxes:Locating Object Proposalsfrom Edges[C]//European Conference on Computer Vision.Springer,Cham,2014:391-405。提出EdgeBox方法，根据局部区域内闭合轮廓和交叉轮廓的关系，寻找包含完整物体的RoIs。
与滑动窗口法相比，现有技术1-3方法获得的RoIs数量级有明显降低，但仍对实时性造成威胁，现有技术2方法在单幅图像中平均得到约2000个RoIs，现有技术3方法在计算机中的单幅图像处理时间约为0.2s。不过现有技术1-3提供了一种值得参考的思路，即通过计算开销相对小的方法提前滤除一些非行人RoIs，达到减少待检测RoIs数量的目的。
在RoIs分类检测阶段，数量、质量合格的正负样本是提升分类器性能的一种有效途径。目前公开可用的热成像行人检测基准数据集非常稀缺，本发明使用实验室发布的数据集SCUT Dataset(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/)。该数据集面向广州市的交通道路场景，包含100个红外热成像视频，总帧数大约为20万，标注的行人Ground-Truth信息数量有40万左右，具有不同行人目标类型，如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAIST Dataset相比，具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。
综上所述，虽然车载热成像行人检测方法取得了一定成果，但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题，许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求，迫切需要在检测时间、检测精度方面做出进一步改进。
发明内容
本发明的目的在于提供面向车载热成像行人检测的RoIs过滤方法和装置，旨在促进解决受计算性能瓶颈导致的准确率下降和无法满足实时性等问题。本发明通过如下技术方案实现。
为了达到上述发明目的，根据本发明提供面向车载热成像行人检测的感兴趣区域(Regions of Interest,RoIs)过滤方法，所述方法包括：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。
根据本发明的另一方面，滤除尺寸异常的RoIs包括：依据图像焦距f、行人身高heighttarget和检测距离distance参数，计算得到行人RoIs像素高度的阈值区间：
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel是行人RoIs像素高度的阈值区间，heighttarget为行人目标的身高，f为图像焦距，distance为检测距离；
根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间；以及评估每个待检测RoIs，不符合两种区间条件的RoIs为尺寸异常的RoIs，将这些尺寸异常的RoIs移除。
根据本发明的另一方面，滤除位置异常的RoIs包括：使用水平路面假设方法获取当前图像路面基准；对需要判断的RoIs，逐个RoIs分别计算其上下边界与路面基准在y轴方向的间距数值，y轴方向是RoIs的竖直方向，并根据公式(2)计算基于当前RoIs像素高度RoIh的阈值：
Figure GDA0002187692540000031
其中，α和β是缩放因子，ε是偏移噪声因子；
以及滤除间距结果不符合阈值的待检测RoIs。
根据本发明的另一方面，滤除缺失行人头部的RoIs包括：使用行人头部自适应定位算法将当前RoIs上层区域沿水平方向划分为三部分，中间部分命名为头部区域，左、右部分命名为背景区域；以及使用基于Haar-like特征的方法评估头部区域和背景区域的亮度均值差异程度，依据预设的阈值移除头部缺失行人RoIs。
根据本发明的另一方面，行人头部自适应定位算法使用亮度竖直投影方法处理当前RoIs的上层区域，得到对应的投影结果序列；计算序列中相邻数据的差值，获得当前RoIs的亮度竖直投影差值曲线；根据竖直边界匹配策略，在曲线极值点寻找符合条件的头部区域左右边界组合，相应的x轴坐标信息定义头部区域位置，其中，x轴是RoIs的水平方向。
此外，本发明提供面向车载热成像行人检测的感兴趣区域(Regions ofInterest,RoIs)过滤装置，所述装置包括：尺寸异常RoIs过滤器，通过计算行人的像素高度和RoIs的高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；位置异常RoIs过滤器，逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及头部缺失行人RoIs过滤器，依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。
另外，本发明提供面向车载热成像行人检测方法，所述方法包括：提取待检测的RoIs；对RoIs进行过滤，其中，所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs；对分类器进行离线训练；以及使用已经过训练的分类器对过滤后的RoIs进行分类检测。
本发明提供面向车载热成像行人检测的RoIs过滤方法，针对计算瓶颈问题的不利影响，与现有的车载热成像行人检测的RoIs过滤技术相比，具有如下优点和效果：
本发明提出RoIs过滤方法，通过构造一个符合行人特征规律且计算开销低的三层级联过滤器，能够优先滤除尺寸异常、位置异常以及缺失行人头部的RoIs，大量非行人RoIs得到抑制，保证剩余待检测RoIs在进行精度更高的分类器检测环节时能够满足实时性要求，同时能够降低系统虚警率。
附图说明
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面，特征和优点将变得更加明显，其中：
图1是示出根据本发明的实施例的RoIs过滤方法的流程图。
图2的(a)示出行人像素高度阈值区间的人工统计结果，图2的(b)示出Ground-Truth高宽比区间统计结果，图2的(c)示出头部自适应定位算法的部分示例结果。
图3是示出根据本发明的实施例的RoIs过滤装置的框图。
图4是示出根据本发明的实施例的分类器训练方法的流程图。
图5的(a)示出YUV4:2:2格式图像的Y通道预处理示例，图5的(b)示出原始正样本和扩展正样本的对比，图5的(c)示出部分汽车干扰热源困难负样本。
图6是示出根据本发明的实施例的分类器训练装置的框图。
图7是示出根据本发明的实施例的行人检测方法的流程图。
图8是示出根据本发明的实施例的行人检测装置的框图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
图1是示出根据本发明的实施例的RoIs过滤方法的流程图。
在行人检测过程中，提取环节得到目标可能区域的RoIs边界框信息，分别记录每个RoIs左上角x轴坐标RoIx、左上角y轴坐标RoIy、宽度RoIw、高度RoIh。为了满足高召回率要求，通常得到较多数量的RoIs，如果直接进行后续的分类器检测环节，对于具有计算瓶颈的硬件平台(如车载嵌入式平台)，则很难达到实时性要求。通过人工观察，图像中的行人目标属于稀有事物，提取的RoIs大部分为非行人RoIs，其中属于明显非行人RoIs的不在少数。
所述行人RoIs是指与行人Ground-Truth边界框的重合度(IOU,Intersectionover Union)超过50％的RoIs边界框，所述非行人RoIs是指与行人Ground-Truth边界框的IOU低于50％的RoIs边界框。明显非行人RoIs是指与行人Ground-Truth边界框的IOU低于30％、根据人工视觉很容易辨别该RoIs的信息为背景、可通过设定一些简单过滤条件进行区分的RoIs。其中，行人Ground-Truth边界框是指目标类型为单一走路行人和单一骑车行人的真实边界框标注信息。
因此，本发明的实施例的RoIs过滤方法的主要思想是：构造符合行人特征规律的三层级联过滤器对尺寸异常、位置异常以及缺失行人头部的RoIs进行优先滤除，减少待检测RoIs的数量，详细流程图如图1所示。
在步骤110中，滤除尺寸异常的RoIs。具体地，通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs。更详细地，包括：
步骤111：依据图像焦距和行人检测距离，计算行人RoIs像素高度的阈值区间。
具体地，根据人工经验，行人检测的范围大概是距离汽车20～85米的前方区域，如公式(1)所示，依据图像焦距f、行人身高heighttarget和检测距离distance参数，计算得到行人目标在此范围内的像素高度阈值区间为[30,140]。
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel为行人目标在图像中的像素高度，heighttarget为行人目标的身高，实验设定约为1.7米，f为图像焦距，在SCUT Dataset的数值为1554，distance为检测距离。
图2中的(a)示出了行人像素高度阈值区间的人工统计结果。具体地，图2中的(a)是汽车上安装的红外热像仪和行人目标在平坦路面相距20米和85米时拍摄得到的图像，其中汽车是静止的。对两幅图像进行行人边界框的人工测量(虚线为画出的行人边界框)，可以得到统计的20米的行人像素高度为138像素，行人像素宽度为42像素，85米的行人像素高度为30像素，行人像素宽度为12像素，与根据上述公式(1)计算得到的数值对比，两者相差很小，证明公式(1)计算的方法有效。
步骤112：根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间。
在目前公布的RoIs提取方法中，如现有技术1和2基于前景区域得到的RoIs，其高宽比率变化很大。许多明显非行人RoIs的高宽比率与实际人体特征差别较大，基于此特性使用统计分析法得到行人RoIs高宽比的高斯分布，选取合适的置信水平，获得高宽比阈值区间为[1.5,4]。其中，被统计样本来自数据集SCUT Dataset的行人Ground-Truth信息，且目标标注类型为“单一走路行人”和“单一骑车行人”。
图2中的(b)示出了44个视频的目标类型为“单一走路行人”和“单一骑车行人”的Ground-Truth高宽比区间统计结果。具体地，图2中的(b)是针对44个视频的目标类型为“单一走路行人”和“单一骑车行人”的Ground-Truth样本，统计它们的高宽比并绘制成直方图的结果，即，使用统计分析法得到行人RoIs高宽比的高斯分布。图像的横轴是高宽比数值，纵轴是样本数量，可以看到样本的高宽比分布范围大致在1～4。在本技术方案中选取合适的置信水平确定高宽比阈值区间为[1.5,4]。
步骤113：评估每个待检测RoIs，不符合两种区间条件的RoIs为尺寸异常的RoIs，将这些尺寸异常的RoIs移除。
交通场景的行人目标具有很强的位置约束，即不管是走路行人还是骑车行人，绝大多数是位于路面上，因此在图像中行人目标的位置中心呈水平条状分布。根据此经验，在图像中位置异常的RoIs很可能是明显非行人RoIs。
在步骤120中，滤除位置异常的RoIs。具体地，逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs。更详细地，包括：
步骤121：使用水平路面假设方法获取当前图像路面基准。
具体地，基于热像仪的拍摄角度，使用水平路面假设方法得到当前图像路面基准的y轴坐标数据Horizony。
步骤122：逐个RoIs分别计算其上下边界与路面基准在图像y轴方向的间距，并设定基于当前RoIs像素高度的阈值。
对需判断的RoIs，分别计算该RoIs上下边界与路面基准在图像y轴方向的间距数值，并根据公式(2)计算基于当前RoIs的像素高度RoIh的自适应阈值。
Figure GDA0002187692540000071
其中α和β是缩放因子，ε是偏移噪声因子，通过实验设定α＝4，β＝2，ε＝25；
步骤123：滤除间距结果不符合阈值的待检测RoIs。
对满足尺寸特征要求的待检测RoIs逐一重复步骤122的操作，滤除所有存在位置异常的RoIs。
在步骤130中，滤除缺失行人头部的RoIs。具体地，依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。
提取环节得到的非行人RoIs一般包含交通场景的背景干扰热源，如路边的树木枝干、均匀热源等。通过观察发现，人体头部极少被其他物品遮挡，处于暴露状态，因此其热成像效果往往比邻近背景亮度更高，且具有较稳定的轮廓。基于此，更详细地，滤除缺失行人头部的RoIs包括：
步骤131：使用行人头部自适应定位算法将当前RoIs上层区域沿水平方向划分为三部分，中间部分命名为头部区域，左、右部分命名为背景区域，所述RoIs上层区域指沿y轴方向从RoIs上边界到1/3或1/5像素高度位置的部分区域。所述行人头部自适应定位算法使用亮度竖直投影方法处理当前RoIs的上层区域，得到对应的投影结果序列；计算序列中相邻数据的差值，获得当前RoIs的亮度竖直投影差值曲线；进一步地，根据提出的竖直边界匹配策略，在曲线极值点寻找符合条件的头部区域左右边界组合，相应的x轴坐标信息定义头部区域位置。
更详细地，行人头部自适应定位算法如下：
①对需操作的RoIs，定义沿y轴方向从该RoIs上边界到(RoIy+α×RoIh)位置的部分区域为RoIs上层区域Pup，此区域的高度记为H，其中当RoIh<48时，设定α＝1/3，否则设定α＝1/5；
②根据当前RoIs的像素高度RoIh判断：如果RoIh<90，则跳转到步骤③执行；如果RoIh≥90，则跳转到步骤⑧执行；
③将此RoIs的左上角坐标(RoIx,RoIy)视为坐标原点，相应地根据公式(3)计算Pup的亮度竖直投影序列VN＝{V(x),x＝0,1,…,RoIw-1}，根据公式(4)计算亮度竖直投影差值曲线V’N＝{V’(x),x＝0,1,…,RoIw-2}，其中Y(x,y)是像素点(x,y)处的亮度值；
Figure GDA0002187692540000081
Figure GDA0002187692540000082
④受图像噪声和背景热源影响，投影差值曲线V’N可能存在一些数值较小的干扰极值点，根据公式(5)计算得到阈值Tdiff，随后根据公式(6)对投影差值曲线V’N过滤干扰极值，得到新的投影差值曲线V’T，其中，abs()是求绝对值函数，α是缩放因子，实验设定α＝0.5；
Figure GDA0002187692540000083
Figure GDA0002187692540000084
⑤从左往右遍历投影差值曲线V’T的极值点，记录符合以下原则的左右边界对的x轴位置信息(X_edgel,X_edger)：
头部位置边界仅和V’T的极值点对应，默认情况下头部区域比背景区域的亮度高，因此头部左边界对应V’T的正极值点；头部右边界对应V’T的负极值点；
如果搜索到新的可能左边界，将其对应的右边界先赋空；
如果搜索到新的右边界而其对应左边界为空时，则此右边界是背景干扰，因为从左往右遍历的过程是先找到头部左边界；
如果匹配到一组左右边界对(X_edgel,X_edger)，则计算其对应头部宽度Whead＝X_edger-X_edgel，根据头部宽度最小阈值Minhead和最大阈值Maxhead对Whead的合理性进行判断(实验设定Minhead＝RoIw/8，Maxhead＝RoIw/2)：如果Minhead≤Whead≤Maxhead，则该组边界对有效，保存此数据并继续寻找可能和当前X_edgel匹配的其他右边界；如果Whead＜Minhead，则当前右边界X_edger无效；如果Whead＞Maxhead，则当前左、右边界均无效，左边界X_edgel再匹配后面的右边界没有意义；
⑥如果存在多个符合条件的头部左右边界对组合X_edgeN＝{(X_edgel1,X_edger1),(X_edgel2,X_edger2),…,(X_edgeln,X_edgern)}，则遍历这些边界对组合寻找其中的最优项：暂定(X_edgel1,X_edger1)为最优组合；查看下一边界对组合，如果该组合和已知最优组合的左边界相同，则比较两者的右边界位置，值更大的较优，更新最优组合；如果两者左边界不同，则计算两组数据的两条竖直中心线位置(沿x轴方向的位置数值)，随后分别和当前RoIs竖直中心线进行间距比较，与RoIs竖直中心线更近的较优，更新最优组合(因为行人头部更有可能在RoIs上层区域Pup的居中位置)；
⑦如果找到左右边界对的最佳组合(X_edgel,X_edger)，则分别计算该组合与当前RoIs左右边界的间距数值，设定间距阈值Ts＝0.2×RoIw+0.5，如果其中一个间距结果小于阈值Ts，则说明对应的头部区域过于靠近RoIs左右边界，不符合实际人体情况，此边界对无效；
⑧如果不存在符合条件的左右边界对(X_edgel,X_edger)，则将此RoIs上层区域Pup沿水平方向均分为三部分，得到的位置数据即为左右边界对(X_edgel,X_edger)。
对当前RoIs使用上述行人头部自适应定位算法，得到上层区域Pup的头部左右边界对(X_edgel,X_edger)，沿水平方向将Pup划分为三部分Pl、Pm、Pr。
步骤132：使用基于Haar-like特征的方法评估头部区域和背景区域的亮度均值差异程度，并且与预设的阈值进行比较。
根据公式(7)计算Pup的Haar-like特征值，并与阈值Thaar比较，大于阈值则满足头部约束条件，
min(abs(avgm-avgl),abs(avgm-avgr)) 公式(7)
其中，min()是求最小值函数，abs()是求绝对值函数，avgl、avgm、avgr分别是Pl、Pm、Pr的亮度均值，实验设定Thaar的取值范围是13～15。
步骤133：滤除缺失行人头部的RoIs。
对满足位置特征要求的待检测RoIs逐一进行步骤131和步骤132的操作，滤除缺失行人头部的RoIs。
通过上述RoIs过滤方法，在具有计算瓶颈的DM6437车载嵌入式平台实验，使用现有技术1的双阈值分割方法提取RoIs，在单幅图像中获得的RoIs数量平均为100个左右。使用上述RoIs过滤方法后，能够减少大约一半的RoIs数量级别，且平均耗时在几毫秒以内。针对数据集SCUT Dataset标注的行人Ground-Truth边界框(目标类型为单一走路行人和单一骑车行人，遮挡标签为未被遮挡)，总计抽取14000个样例进行头部自适应定位算法的实验，经过人工统计表明，其中头部左右边界定位失败的数量仅有1162个，准确率约为92％，即提出的头部定位算法具有较高的精度，部分示例如图2的(c)所示，图2的(c)是头部自适应定位算法的部分示例结果，每幅图像中添加的两条白色竖线对应算法得到的行人头部左右边界对(X_edgel,X_edger)。
图3是示出根据本发明的实施例的RoIs过滤装置的框图。RoIs过滤装置300包括尺寸异常RoIs过滤器310、位置异常RoIs过滤器320和缺失头部RoIs过滤器330。
尺寸异常RoIs过滤器310滤除尺寸异常的RoIs。具体地，依据图像焦距和行人检测距离，计算行人RoIs像素高度的阈值区间，根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间，然后评估每个待检测RoIs，将不符合两种区间条件的RoIs滤除。
位置异常RoIs过滤器320滤除位置异常的RoIs。具体地，使用水平路面假设方法获取当前图像路面基准，逐个RoIs分别计算其上下边界与路面基准在图像y轴方向的间距，并设定基于当前RoIs像素高度的阈值，然后滤除间距结果不符合阈值的待检测RoIs。
头部缺失行人RoIs过滤器330滤除缺失行人头部的RoIs。具体地，对当前RoIs使用所述行人头部自适应定位算法，得到上层区域Pup的头部左右边界对(X_edgel,X_edger)，沿水平方向将Pup划分为三部分Pl、Pm、Pr，根据上述公式(7)计算Pup的Haar-like特征值，并与阈值Thaar比较，大于阈值则满足头部约束条件，对满足位置特征要求的待检测RoIs逐一进行上述操作，滤除缺失行人头部的RoIs。
图4是示出根据本发明的实施例的分类器训练方法的流程图。
在步骤410中，生成增强正样本和增强负样本。具体地，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本。
由于交通场景的行人目标属于稀有事物，因此通过已公开热成像数据集获得的正样本数量通常有限，需要使用图像增强的方法在此基础生成新的正样本；由于负样本是在整幅图像的非行人区域提取的，相对而言没有数量匮乏问题，但是传统做法是基于网格随机方法获取负样本，而实际检测过程使用的RoIs提取方法往往与此不同，导致两者代表的背景信息分布差异很大，即负样本相对实际非行人RoIs的代表性不足。
增强正样本包括原始正样本和扩展正样本。生成增强正样本包括：以热成像行人检测数据集SCUT Dataset为来源，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本。使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本。也就是说，使用均衡化方法增强原始正样本亮度信息的对比度，生成类似热成像特性的扩展正样本，以此构成足够数量的增强正样本。图5的(b)示出原始正样本和扩展正样本的对比。
更详细地，生成增强正样本的具体步骤如下：
①以热成像行人检测数据集SCUT Dataset为来源，使用Caltech操作工具(http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/)提取行人Ground-Truth边界框对应的图像块信息，记为临时正样本集合Postemp；
②在Postemp中根据预设指标筛选原始正样本集合Posp，具体指标为：目标类型target属于“单一走路行人”和“单一骑车行人”、遮挡标签label属于未被遮挡、间隔帧数为5、像素高度在[30,140]，Posp的数量记为PosNump；
③针对Posp使用平台直方图均衡化方法逐样本进行亮度信息处理，得到对应的新样本图像块信息，人工排除其中出现过曝或丢失轮廓的个例，保留下来的记为扩展正样本集合Pose，其数量记为PosNume；
④Posp和Pose样本集合构成分类器的增强正样本Pos，如式公式(8)所示，其中PosNume≤PosNump。
Figure GDA0002187692540000111
生成增强负样本包括：使用检测过程对应的RoIs提取方法在数据集的完整图像中提取原始负样本，并使用K-mean聚类和均匀随机选择方法保证筛选得到的增强负样本覆盖更多有代表性的背景信息且比例合适。
具体地，使用检测过程对应的RoIs提取方法在行人检测数据集SCUT Dataset的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例，保留的图像块记为源负样本；使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本；进一步地，根据聚类结果增加包含汽车干扰热源的负样本，提高此类背景信息在增强负样本中的比例。
更详细地，生成增强负样本的具体步骤如下：
①以热成像行人检测数据集SCUT Dataset为来源，使用检测过程对应的RoIs提取方法在数据集的所有完整图像中提取RoIs信息；
②对得到的RoIs进行逐一判断，排除与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例；
③根据满足预设要求的RoIs提取对应图像块信息，构成源负样本集合Negtemp，其数量记为NegNumtemp；
④对Negtemp使用K-mean聚类方法划分为n类(例如，实验设定n＝100)，记增强正样本Pos的数量为PosNum，增强负样本Neg的数量为NegNum，设定NegNum＝PosNum×4，根据此标准在聚类结果中以一定比例随机选取图像块信息，具体为：假定当前第i类结果包含的样本数量为Numi，使用均匀随机法从中选取(Numi×NegNum/NegNumtemp)个负样本；
⑤对聚类结果逐一进行④的操作，即可满足NegNum数量，组成增强负样本Neg；
⑥从K-mean聚类划分的n类结果中，人工挑选包含汽车干扰热源负样本的结果集合，以一定比例随机选取其中的负样本添加到Neg，提高此类背景信息在Neg的数量比例。
接下来，在步骤420中，对生成的增强正样本和增强负样本进行预处理。通过调整亮度和边界信息对增强正负样本进行预处理。对生成的增强正负样本进行预处理，能够提高样本数据质量，最终改进分类器性能。
本发明使用的对增强正负样本进行预处理操作包括：像素Y通道提取、边界缩放调整、伽马校正处理。具体地，使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
具有如下优点：(1)针对热像仪输入的图像，以YUV4:2:2格式为例，其特征是点(x,y)包含“Y、U”或者“Y、V”的两通道信息；相对于代表色度的U和V通道信息，代表亮度的Y通道具备热成像的完备信息；因此使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式。(2)在RoIs提取方法中，根据前景区域得到的RoIs通常存在行人轮廓与RoIs边界贴合或间距过小的情况，而大部分数据集的行人Ground-Truth边界框则在边界附近留有一定间距的背景信息，这增加了训练样本和实际检测提取RoIs的信息差异程度；因此需对增强正负样本进行边界缩放调整以减少信息差异。(3)使用伽马校正方法处理增强正负样本，能够提高样本Y通道信息的动态范围和拉伸对比度。
更详细地，对增强正负样本进行预处理的具体步骤如下：
①针对当前样本图像块，根据其像素点通道信息的排列格式，逐点提取对应的Y通道信息；随后根据点(x,y)的位置标识按顺序将Y通道信息排列为新的样本数据，图5的(a)为YUV4:2:2格式图像的示例；是以YUV4:2:2格式图像为例子的Y通道预处理过程，箭头上面表示处理前的一幅YUV4:2:2格式图像(每个像素点包含一个Y通道和一个U(或V)通道信息)，箭头下面表示处理后的一幅Y通道信息图像(每个像素点只包含一个Y通道信息)。
②对增强正样本Pos和增强负样本Neg，逐样本进行①的操作；
③判断实际检测过程使用的RoIs提取方法，如果行人轮廓与RoIs边界贴合或间距过小、与数据集的情况不相符，则对增强正负样本Pos和Neg逐样本进行边界缩放处理；具体操作是：根据当前样本图像块的重心，将图像块的四个边界分别向重心方向缩小m个像素，通过实验获得m的经验值在3～5范围内；
④对当前样本图像块的Y通道信息使用伽马校正方法逐点进行处理，实验设定伽马参数γ＝0.5；
⑤对增强正样本Pos和增强负样本Neg，逐样本进行④的操作，得到新的增强正负样本Pos’和Neg’。
在步骤430中，划分预处理的增强正负样训练集并训练分类器。通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
本发明定义行人目标的像素高度阈值区间为[30,140]，对应现实场景的最远和最近行人目标。然而这两种极端距离的行人信息差异很大，导致得到的增强正样本存在较高的类内差异，如果仅训练一个分类器会降低检测性能。
划分预处理的增强正负样训练集并训练分类器包括：使用聚类方法对预处理的增强正样本进行分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准，从而将增强正负样本细分为三个独立的训练集；分别训练适于分类远、中、近距离行人目标的三个分类器(classifierf、classifierm、classifiern)，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警个例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。图5的(c)示出部分汽车干扰热源困难负样本。
更详细地，划分预处理的增强正负样训练集并训练分类器的具体步骤包括：
①定义远、中、近三个连续距离区间的四个边界为(Rangel,Ranges,Rangem,Ranger)，基于K-mean聚类方法获得这些边界数值，具体操作是：实验设定以5米为间隔将实际检测距离区间[20,85]划分为若干部分，根据公式(1)计算每部分对应的行人目标像素高度数值；在正样本筛选相应像素高度的样例用于聚类分析；使用K-mean聚类方法设定种类数量k＝3，获得基于像素高度的四个边界数值为Rangel＝30，Ranges＝48，Rangem＝90，Ranger＝140；
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel为行人目标在图像中的像素高度，heighttarget为行人目标的身高，实验设定约为1.7米，f为图像焦距，在SCUT Dataset的数值为1554，distance为检测距离。
②记当前样本图像块Sample的像素高度为Sampleh，如果Rangel≤Sampleh＜Ranges则将Sample划分到远距离样本训练集，如果Ranges≤Sampleh＜Rangem则划分到中距离样本训练集，如果Rangem≤Sampleh≤Ranger则划分到近距离样本训练集；
③对增强正负样本Pos’和Neg’，逐样本进行②的操作，得到三个样本训练集；
④根据获得的三个独立训练集，分别训练适于分类远、中、近距离行人目标的三个分类器，在迭代过程中，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警样例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
图6是示出根据本发明的实施例的分类器训练装置的框图。分类器训练装置600包括增强正负样本生成模块610，增强正负样本预处理模块620和训练集划分与分类器训练模块630。
增强正负样本生成模块610生成增强正样本和增强负样本。具体地，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本。
增强正样本包括原始正样本和扩展正样本。生成增强正样本包括：以热成像行人检测数据集SCUT Dataset为来源，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本。使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本。即，使用均衡化方法增强原始正样本亮度信息的对比度，生成类似热成像特性的扩展正样本，以此构成足够数量的增强正样本。
生成增强负样本包括：使用检测过程对应的RoIs提取方法在行人检测数据集SCUTDataset的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例，保留的图像块记为源负样本；使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本；进一步地，根据聚类结果增加包含汽车干扰热源的负样本，提高此类背景信息在增强负样本中的比例。
增强正负样本预处理模块620对增强正负样本生成模块生成的增强正样本和增强负样本进行预处理。通过调整亮度和边界信息对增强正负样本进行预处理。对生成的增强正负样本进行预处理，能够提高样本数据质量，最终改进分类器性能。
本发明使用的对增强正负样本进行预处理操作包括：像素Y通道提取、边界缩放调整、伽马校正处理。具体地，使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
具有如下优点：(1)针对热像仪输入的图像，以YUV4:2:2格式为例，其特征是点(x,y)包含“Y、U”或者“Y、V”的两通道信息；相对于代表色度的U和V通道信息，代表亮度的Y通道具备热成像的完备信息；因此使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式。(2)在RoIs提取方法中，根据前景区域得到的RoIs通常存在行人轮廓与RoIs边界贴合或间距过小的情况，而大部分数据集的行人Ground-Truth边界框则在边界附近留有一定间距的背景信息，这增加了训练样本和实际检测提取RoIs的信息差异程度；因此需对增强正负样本进行边界缩放调整以减少信息差异。(3)使用伽马校正方法处理增强正负样本，能够提高样本Y通道信息的动态范围和拉伸对比度。
训练集划分与分类器训练模块630划分增强正负样本预处理模块预处理的增强正负样训练集并迭代训练分类器。通过聚类正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
本发明定义行人目标的像素高度阈值区间为[30,140]，对应现实场景的最远和最近行人目标。然而这两种极端距离的行人信息差异很大，导致得到的增强正样本存在较高的类内差异，如果仅训练一个分类器会降低检测性能。
划分预处理的增强正负样训练集并训练分类器包括：使用聚类方法对预处理的增强正样本进行分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准，从而将增强正负样本细分为三个独立的训练集；分别训练适于分类远、中、近距离行人目标的三个分类器(classifierf、classifierm、classifiern)，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警个例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
使用所述增强正样本生成方法在数据集SCUT Dataset上得到的原始正样本有：远距离区间正样本26000个左右，中距离区间正样本18800个左右，近距离区间正样本9700个左右，结合扩展正样本的生成，最终得到的增强正样本能够满足分类器对正样本数量的要求。
图7是示出根据本发明的实施例的行人检测方法的流程图。
在步骤710，提取待检测的RoIs。
在步骤720，对RoIs进行过滤。所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。更详细的描述上面已经介绍，在此不再赘述。
在步骤730，对分类器进行离线训练。分类器训练方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。更详细的描述上面已经介绍，在此不再赘述。
在步骤740，使用已完成训练的分类器对过滤后的RoIs进行分类检测。
图8是示出根据本发明的实施例的行人检测装置的框图。行人检测装置800包括RoIs提取模块810，RoIs过滤模块820，分类器训练模块830和分类检测模块840。
RoIs提取模块810，提取待检测的RoIs。
RoIs过滤模块820，对RoIs进行过滤。所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。更详细的描述上面已经介绍，在此不再赘述。
分类器离线训练模块830，对分类器进行离线训练。分类器训练方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。更详细的描述上面已经介绍，在此不再赘述。
分类检测模块840，使用已完成训练的分类器对过滤后的RoIs进行分类检测。
本发明提供的车载热成像行人检测方法，针对计算瓶颈和样本质量问题的不利影响，与现有的车载热成像行人检测技术相比，具有如下优点和效果：
1、本发明提出的分类器训练方法和RoIs过滤方法能够形成“前后协作”关系，即在车载热成像行人检测过程中，针对提取环节得到的RoIs，优先使用RoIs过滤方法对非行人RoIs进行在线辨别并移除；随后使用分类器训练方法离线训练适于远、中、近距离的三个分类器，将保留的RoIs按像素高度划分到对应分类器进行精细检测。
2、本发明提出RoIs过滤方法，通过构造一个符合行人特征规律且计算开销低的三层级联过滤器，能够优先滤除尺寸异常、位置异常以及缺失行人头部的RoIs，大量非行人RoIs得到抑制，保证剩余待检测RoIs在进行精度更高的分类器检测环节时能够满足实时性要求，同时能够降低系统虚警率。
3、本发明提出分类器训练方法，聚焦于样本训练集在数量、分布和质量方面的改进；通过使用均衡化方法增强图像的对比度，能够以原始正样本为基础生成类似热成像特性的扩展正样本，构成足够数量的增强正样本；通过使用聚类方法对源负样本进行背景信息种类的分析，能够保证得到的增强负样本覆盖更多有代表性的背景信息且比例合适；通过预处理方法调整增强正负样本，能够提高样本质量；通过使用聚类方法获得增强正负样本训练集的划分标准，能够减少样本的类内差异。分类器训练方法能够提高分类器的场景适应性，同时由于在样本层面进行改进，增加的系统计算开销是较小的，能较好满足实际应用需求。
在实际道路行人检测环境下对本发明的方法进行性能测试和评价。用于测试的完整热成像行人检测装置包括：现有技术1的RoIs提取方法、本发明提出的RoIs过滤方法、本发明提出的分类器训练方法、基于“HOG特征和线性SVM”的分类器类型、卡尔曼跟踪方法。用于测试的硬件平台是指安装了行人检测系统的车辆，其中使用了广州飒特公司生产的NV628型号红外热像仪和德州仪器公司生产的DM6437嵌入式平台。
测试方案具体为挑选广州市的若干段道路环境，使用所述车辆进行实际效果的静态测试和动态测试。测试环境为夜间多云天气，环境温度约为27℃，相对湿度约为90％。评价指标具体设定为：使用人工统计的方式处理保存的检测视频，记录有效行人个体数量、被准确检测行人数量、虚警个体数量，并计算检测率。其中有效行人是指在帧率为25/每秒的检测视频中至少存在1秒及以上的行人目标；行人目标包括正面、背面与侧面走路的姿态、以及纵向骑自行车、电动车与摩托车的姿态；虚警个体数量是指在某一测试路段内出现的错误检测次数，当虚警个体或区域一直存在当前画面中时，按照出现1次处理；检测率是指被准确检测行人数量和有效行人个体数量的比率。
针对静态测试环节，挑选了广州市保税区3个直线距离大于200米的普通铺装路段，将用于测试的车辆停靠在合适位置，在车辆正前方15-70米范围内随机分散设置多个直立走动行人，使用电脑采集并统计数据结果，具体如表1所示。
根据表1的静态测试结果可以看出，在测试车辆静止的情况下，使用本发明所提出方法的热成像行人检测系统具有较好的性能，在所述测试路段的详细静态测试中，有效行人的检测率为100％，且虚警个体数量为0。
表1静态测试结果统计
Figure GDA0002187692540000191
针对动态测试环节，挑选面向广州市郊区场景、市区场景、和高速场景的6个普通铺装道路，以10-80Km/h的速度驾驶车辆分别在每个路段进行10分钟的现场测试，测试时间共计60分钟，使用电脑采集并统计数据结果，具体如表2所示。
表2动态测试结果统计
Figure GDA0002187692540000201
根据表2的动态测试结果可以看出，相比于静态测试结果，在测试车辆行驶的情况下，所述热成像行人检测系统的检测性能有所下降，分析原因是在行驶过程中，背景干扰热源更加复杂，如道路车辆、树木较多，且行人目标出现被遮挡的情况也增多。同时，受热成像特性影响，车辆行驶过程中捕获图像的亮度和对比度会随时发生变化，这些因素影响了动态测试的结果。在所述测试路段的详细动态测试中，平均检测率达到75.63％，平均虚警个体数量为10，同时所述行人检测系统的检测速度能够基本满足实时性要求。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (10)

1.一种面向车载热成像行人检测的感兴趣区域RoIs过滤方法，其特征在于，所述方法包括：
通过计算行人的像素高度和RoIs的高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；
逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及
依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除头部缺失行人RoIs，
滤除头部缺失行人RoIs包括：
计算Pup的亮度竖直投影序列V(x)，
计算亮度竖直投影差值曲线V’(x)，
Figure FDA0002312023830000011
Figure FDA0002312023830000012
其中，Y(x,y)是像素点(x,y)处的亮度值，Pup为RoIs上层区域，H为上层区域的高度；
计算阈值Tdiff，
计算新的投影差值曲线V’T，
Figure FDA0002312023830000013
Figure FDA0002312023830000014
其中，abs()是求绝对值函数，α是缩放因子，RoIw是RoIs的宽度；
计算Pup的Haar-like特征值，大于阈值则满足滤除头部缺失行人RoIs条件，
min(abs(avgm-avgl),abs(avgm-avgr))
其中，min()是求最小值函数，avgl、avgm、avgr分别是沿水平方向将Pup划分为三部分Pl、Pm、Pr的亮度均值。
2.根据权利要求1所述的感兴趣区域过滤方法，其特征在于，滤除尺寸异常的RoIs包括：
依据图像焦距f、行人身高heighttarget和检测距离distance参数，计算得到行人RoIs像素高度的阈值区间：
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel是行人RoIs像素高度的阈值区间，heighttarget为行人目标的身高，f为图像焦距，distance为检测距离；
根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间；以及
评估每个待检测RoIs，不符合两种区间条件的RoIs为尺寸异常的RoIs，将这些尺寸异常的RoIs移除。
3.根据权利要求1所述的感兴趣区域过滤方法，其特征在于，滤除位置异常的RoIs包括：
使用水平路面假设方法获取当前图像路面基准；
对需要判断的RoIs，逐个RoIs分别计算其上下边界与路面基准在y轴方向的间距数值，y轴方向是RoIs的竖直方向，并根据公式(2)计算基于当前RoIs像素高度RoIh的阈值：
Figure FDA0002312023830000021
其中，α和β是缩放因子，ε是偏移噪声因子，Horizony是当前图像路面基准的y轴坐标数据；以及
滤除间距结果不符合阈值的待检测RoIs。
4.根据权利要求1所述的感兴趣区域过滤方法，其特征在于，滤除缺失行人头部的RoIs包括：
使用行人头部自适应定位算法将当前RoIs上层区域沿水平方向划分为三部分，中间部分命名为头部区域，左、右部分命名为背景区域；以及
使用基于Haar-like特征的方法评估头部区域和背景区域的亮度均值差异程度，依据预设的阈值移除头部缺失行人RoIs。
5.根据权利要求4所述的感兴趣区域过滤方法，其特征在于，行人头部自适应定位算法使用亮度竖直投影方法处理当前RoIs的上层区域，得到对应的投影结果序列；计算序列中相邻数据的差值，获得当前RoIs的亮度竖直投影差值曲线；根据竖直边界匹配策略，在曲线极值点寻找符合条件的头部区域左右边界组合，相应的x轴坐标信息定义头部区域位置，其中，x轴是RoIs的水平方向。
6.一种面向车载热成像行人检测的感兴趣区域RoIs过滤装置，其特征在于，所述装置包括：
尺寸异常RoIs过滤器，通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；
位置异常RoIs过滤器，逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及
头部缺失行人RoIs过滤器，依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs，
滤除头部缺失行人RoIs包括：
计算Pup的亮度竖直投影序列V(x)，
计算亮度竖直投影差值曲线V’(x)，
Figure FDA0002312023830000031
Figure FDA0002312023830000032
其中，Y(x,y)是像素点(x,y)处的亮度值，Pup为RoIs上层区域，H为上层区域的高度；
计算阈值Tdiff，
计算新的投影差值曲线V’T，
Figure FDA0002312023830000033
Figure FDA0002312023830000034
其中，abs()是求绝对值函数，α是缩放因子，RoIw是RoIs的宽度；
计算Pup的Haar-like特征值，大于阈值则满足滤除头部缺失行人RoIs条件，
min(abs(avgm-avgl),abs(avgm-avgr))
其中，min()是求最小值函数，avgl、avgm、avgr分别是沿水平方向将Pup划分为三部分Pl、Pm、Pr的亮度均值。
7.根据权利要求6所述的感兴趣区域过滤装置，其特征在于，尺寸异常RoIs过滤器依据图像焦距和行人检测距离，计算行人RoIs像素高度的阈值区间；根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间；以及评估每个待检测RoIs，不符合两种区间条件的RoIs为尺寸异常的RoIs，将这些尺寸异常的RoIs移除。
8.根据权利要求6所述的感兴趣区域过滤装置，其特征在于，位置异常RoIs过滤器使用水平路面假设方法获取当前图像路面基准；逐个RoIs分别计算其上下边界与路面基准在y轴方向的间距，y轴方向是RoIs的竖直方向，并计算基于当前RoIs像素高度的阈值；以及滤除间距结果不符合阈值的待检测RoIs。
9.根据权利要求6所述的感兴趣区域过滤装置，其特征在于，头部缺失行人RoIs过滤器使用行人头部自适应定位算法将当前RoIs上层区域沿水平方向划分为三部分，中间部分命名为头部区域，左、右部分命名为背景区域；以及使用基于Haar-like特征的方法评估头部区域和背景区域的亮度均值差异程度，依据预设的阈值移除头部缺失行人RoIs。
10.一种面向车载热成像的行人检测方法，其特征在于，所述方法包括：
提取待检测的RoIs；
对RoIs进行过滤，其中，所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；以及依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs；
对分类器进行离线训练；以及
使用已经过训练的分类器对过滤后的RoIs进行分类检测，
其中，滤除头部缺失行人RoIs包括：
计算Pup的亮度竖直投影序列V(x)，
计算亮度竖直投影差值曲线V’(x)，
Figure FDA0002312023830000041
Figure FDA0002312023830000042
其中，Y(x,y)是像素点(x,y)处的亮度值，Pup为RoIs上层区域，H为上层区域的高度；
计算阈值Tdiff，
计算新的投影差值曲线V’T，
Figure FDA0002312023830000051
Figure FDA0002312023830000052
其中，abs()是求绝对值函数，α是缩放因子，RoIw是RoIs的宽度；
计算Pup的Haar-like特征值，大于阈值则满足滤除头部缺失行人RoIs条件，
min(abs(avgm-avgl),abs(avgm-avgr))
其中，min()是求最小值函数，avgl、avgm、avgr分别是沿水平方向将Pup划分为三部分Pl、Pm、Pr的亮度均值。
CN201810324429.4A 2018-04-12 2018-04-12 面向车载热成像行人检测的感兴趣区域过滤方法和装置 Active CN108549864B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810324429.4A CN108549864B (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的感兴趣区域过滤方法和装置
PCT/CN2018/083480 WO2019196131A1 (zh) 2018-04-12 2018-04-18 面向车载热成像行人检测的感兴趣区域过滤方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810324429.4A CN108549864B (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的感兴趣区域过滤方法和装置

Publications (2)

Publication Number Publication Date
CN108549864A CN108549864A (zh) 2018-09-18
CN108549864B true CN108549864B (zh) 2020-04-10

Family

ID=63514702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810324429.4A Active CN108549864B (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的感兴趣区域过滤方法和装置

Country Status (2)

Country Link
CN (1) CN108549864B (zh)
WO (1) WO2019196131A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN109389073A (zh) * 2018-09-29 2019-02-26 北京工业大学 通过车载摄像头确定检测行人区域的方法及装置
CN109671090B (zh) * 2018-11-12 2024-01-09 深圳佑驾创新科技股份有限公司 基于远红外线的图像处理方法、装置、设备和存储介质
CN109784176B (zh) * 2018-12-15 2023-05-23 华南理工大学 车载热成像行人检测RoIs提取方法和装置
CN109784216B (zh) * 2018-12-28 2023-06-20 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN110298905A (zh) * 2019-07-02 2019-10-01 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于生物标本切片生成数字切片的方法和装置
CN110335285B (zh) * 2019-07-08 2022-04-26 中国科学院自动化研究所 基于稀疏表示的sar图像目标标记方法、系统、装置
CN110765877B (zh) * 2019-09-20 2022-09-06 南京理工大学 基于热像仪和双目相机的行人检测方法及系统
CN110737276B (zh) * 2019-11-06 2023-03-31 达闼机器人股份有限公司 预警方法、巡逻机器人及计算机可读存储介质
US11200455B2 (en) 2019-11-22 2021-12-14 International Business Machines Corporation Generating training data for object detection
CN111368704B (zh) * 2020-02-29 2023-05-23 华南理工大学 基于头部特征点的车载热成像行人检测RoIs提取方法
CN111553252B (zh) * 2020-04-24 2022-06-07 福建农林大学 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法
CN114113218B (zh) * 2021-11-24 2023-09-26 北京理工大学 一种残胶检测方法和系统
CN114519696B (zh) * 2021-12-31 2022-11-29 扬州盛强薄膜材料有限公司 基于光学智能化的pvc热收缩膜检测方法及系统
CN114943805B (zh) * 2022-06-01 2023-08-01 北京精英路通科技有限公司 停车遮挡确定方法、装置、设备、存储介质及程序产品
CN116337868B (zh) * 2023-02-28 2023-09-19 靖江安通电子设备有限公司 一种表面缺陷检测方法及检测系统
CN117095009B (zh) * 2023-10-20 2024-01-12 山东绿康装饰材料有限公司 一种基于图像处理的pvc装饰板缺陷检测方法
CN117788871B (zh) * 2023-12-26 2024-08-09 海南言发高科技有限公司 一种基于人工智能的车载称重管理方法及平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020151A (ko) * 2011-08-19 2013-02-27 주식회사 만도 차량 검출 장치 및 방법
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警系统及其工作方法
CN105404857A (zh) * 2015-11-04 2016-03-16 北京联合大学 一种基于红外的夜间智能车前方行人检测方法
CN105426852A (zh) * 2015-11-23 2016-03-23 天津津航技术物理研究所 车载单目长波红外相机行人识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020151A (ko) * 2011-08-19 2013-02-27 주식회사 만도 차량 검출 장치 및 방법
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警系统及其工作方法
CN105404857A (zh) * 2015-11-04 2016-03-16 北京联合大学 一种基于红外的夜间智能车前方行人检测方法
CN105426852A (zh) * 2015-11-23 2016-03-23 天津津航技术物理研究所 车载单目长波红外相机行人识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车载单目远红外行人检测关键技术研究;王国华;《国博士学位论文全文数据库 信息科技辑》;20170515;52、62-67 *

Also Published As

Publication number Publication date
WO2019196131A1 (zh) 2019-10-17
CN108549864A (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
CN108549864B (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
Wang et al. Traffic light recognition with high dynamic range imaging and deep learning
CN103366154B (zh) 可重配置的畅通路径检测系统
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
Keller et al. A new benchmark for stereo-based pedestrian detection
US9477892B2 (en) Efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems
CN102509098B (zh) 一种鱼眼图像车辆识别方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN103093201B (zh) 车标定位识别方法及系统
JP2012038318A (ja) ターゲット検出方法及び装置
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
EP2813973B1 (en) Method and system for processing video image
Møgelmose et al. Learning to detect traffic signs: Comparative evaluation of synthetic and real-world datasets
Kim et al. Autonomous vehicle detection system using visible and infrared camera
CN106909925A (zh) 一种水下图像目标检测方法
CN104050684A (zh) 一种基于在线训练的视频运动目标分类方法与系统
Duan et al. An end to end recognition for license plates using convolutional neural networks
CN114511832B (zh) 车道线分析方法、装置、电子设备及存储介质
Wang et al. Real-time vehicle classification based on eigenface
CN107506777A (zh) 一种基于小波变化和支持向量机的实时多车牌识别方法和装置
CN109784176B (zh) 车载热成像行人检测RoIs提取方法和装置
Mishra et al. Video-based vehicle detection and classification in heterogeneous traffic conditions using a novel kernel classifier
CN112215109B (zh) 基于场景分析的车辆检测方法及系统
Slimani et al. Traffic Monitoring System for Vehicle Detection in Day and Night Conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant