CN108564030A - 面向车载热成像行人检测的分类器训练方法和装置 - Google Patents

面向车载热成像行人检测的分类器训练方法和装置 Download PDF

Info

Publication number
CN108564030A
CN108564030A CN201810324453.8A CN201810324453A CN108564030A CN 108564030 A CN108564030 A CN 108564030A CN 201810324453 A CN201810324453 A CN 201810324453A CN 108564030 A CN108564030 A CN 108564030A
Authority
CN
China
Prior art keywords
sample
enhancing
pedestrian
positive
rois
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810324453.8A
Other languages
English (en)
Inventor
彭绍武
许瑞霖
刘琼
吴继平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou SAT Infrared Technology Co Ltd
Original Assignee
Guangzhou SAT Infrared Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou SAT Infrared Technology Co Ltd filed Critical Guangzhou SAT Infrared Technology Co Ltd
Priority to CN201810324453.8A priority Critical patent/CN108564030A/zh
Priority to PCT/CN2018/083454 priority patent/WO2019196130A1/zh
Publication of CN108564030A publication Critical patent/CN108564030A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开面向车载热成像行人检测的分类器训练方法和装置。分类器训练方法指生成强化分类器训练样本的方法：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；通过聚类正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。本方法能够在兼顾行人检测准确率的前提下，降低行人检测的计算开销和增强分类器的场景适应性。分类器训练装置包括增强正负样本生成模块、增强正负样本预处理模块、训练集划分与分类器训练模块。

Description

面向车载热成像行人检测的分类器训练方法和装置
技术领域
本发明涉及行人检测，更具体地，涉及面向车载热成像行人检测的分类器训练方法和装置。
背景技术
车载热成像行人检测技术指通过红外热像仪作为视觉传感器，捕获车载交通场景的图像/视频，在计算机或嵌入式平台使用机器学习等方法，识别图像/视频中存在的所有行人目标，并以最小外接矩形框的坐标信息标识每个行人在图像上的位置。
此过程包含两个关键阶段：RoIs(Regions of Interest)提取和RoIs分类检测，其中影响计算开销和准确率的重要因素是提取的RoIs数量和所使用分类器的性能。在RoIs分类检测环节，一般使用机器学习方法或近年来热门的深度学习方法，构造分类器检测提取的RoIs为行人目标或背景。为了提升准确率，通常分类器模型较为复杂，如模型融合方法或深度学习模型，相应地增加计算开销。能否在提升分类器性能时尽可能减少计算开销，是一个值得关注的研究点。
相对计算机而言，车载嵌入式平台具有明显的计算性能瓶颈，很多已发表的行人检测方法，特别是运用深度学习算法的技术，无法应用到此类平台，对实际应用的检测率和实时性造成影响。例如德州仪器公司生产的DM6437车载平台，该平台具有较强的稳定性，但是其处理器为单核、主频最高处理速度每秒仅有600Mhz，基于“HOG特征+线性SVM”分类器对单个RoIs的处理时间约为3毫秒，在计算性能方面远远无法和普通计算机相比。在行人检测推广到实际应用的过程中，需要找到权衡计算开销和检测性能的解决方案。
在RoIs提取阶段，目前发表的一部分方法是根据图像中目标的特性规律筛选行人可能存在的前景区域。例如：
现有技术1：Ge J,Luo Y,Tei G.Real-Time Pedestrian Detection andTracking at Nighttime for Driver-Assistance Systems.[J].IntelligentTransportation Systems IEEE Transactions on,2009,10(2):283-298。根据同一水平线上行人目标像素相较于周围背景亮度更高的经验，通过计算每个像素局部邻域内的分割阈值上限和下限，对近红外图像提取RoIs。
在RoIs分类检测阶段，数量、质量合格的正负样本是提升分类器性能的一种有效途径。目前公开可用的热成像行人检测基准数据集非常稀缺，本发明使用实验室发布的数据集SCUT Dataset(http://www2.scut.edu.cn/cv/scut_fir_pedestrian_dataset/)。该数据集面向广州市的交通道路场景，包含100个红外热成像视频，总帧数大约为20万，标注的行人Ground-Truth信息数量有40万左右，具有不同行人目标类型，如“单一走路行人、单一骑车行人”等。与其他公开的热成像行人检测数据集如KAIST Dataset相比，具有图像帧数、Ground-Truth信息类型和数量、道路场景类型等方面的优势。
目前发表的行人检测论文大多在特征选择和分类器设计方面提出改进，如具有代表性的方向梯度直方图(Histograms of Oriented Gradients,HOG)特征；将集成通道特征(Aggregated Channel Feature,ACF)和热成像信息进行融合，提出的增强型ACF特征；支持向量机(Support Vector Machine,SVM)、自适应增强(Adaptive Boosting,Adaboost)等机器学习方法训练的分类器；以及近年发布的一些文献将深度学习算法应用到行人检测中，例如：
现有技术2：Zhang L,Lin L,Liang X,et al.Is Faster R-CNN Doing Well forPedestrian Detection？[J].2016:443-457。提出“RPN+Boosted Forests”的检测方法，对可见光图像的MR降低到9.6％，效果十分显著，但是无法满足实时性。
现有技术3：Girshick,Ross.“Fast r-cnn.”Proceedings of the IEEEInternational Conference on Computer Vision.2015。从样本增强的角度考虑，在训练Fast r-cnn分类器时，将完整图像以50％概率水平翻转，并得出“倍增训练数据，能够有2％-3％的准确度提升”的结论。
现有技术4：Zhang S,Benenson R,Omran M,et al.Towards Reaching HumanPerformance in Pedestrian Detection.[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2017,PP(99):1-1。提出对样本训练集的标注信息进行人工对齐校正的策略，并表明使用高质量样本进行训练可提高整体检测质量。
可以看出，现有技术3和4是从样本增强的角度考虑，并且取得较好的性能。因此以目前可获得的训练样本数据为基础，聚焦于样本在数量、分布和质量方面的增强，用以提升分类器性能且不增加计算开销，是值得关注的研究点。
综上所述，虽然车载热成像行人检测方法取得了一定成果，但是由于计算瓶颈和分类器性能之间的实时性和准确率权衡问题，许多方法不能发挥正常性能甚至无法使用。为了满足实际应用的要求，迫切需要在检测时间、检测精度方面做出进一步改进。
发明内容
本发明的目的在于提供面向车载热成像行人检测的分类器训练方法和装置，旨在促进解决受计算性能瓶颈和样本质量缺陷导致的准确率下降和无法满足实时性等问题。本发明通过如下技术方案实现。
为了达到上述发明目的，根据本发明提供面向车载热成像行人检测的分类器训练方法，所述方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
根据本发明的一方面，生成增强正样本包括：基于热成像行人检测数据集，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本，使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本，增强正样本包括原始正样本和扩展正样本。
根据本发明的另一方面，生成增强负样本包括：在热成像行人检测数据集的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的重合度(Intersectionover Union,IOU)高于30％且尺寸异常的RoIs，保留的图像块记为源负样本，使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本。
根据本发明的另一方面，对增强正负样本进行预处理包括：使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
根据本发明的另一方面，使用K-mean方法对预处理的增强正样本进行聚类分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准；将增强正负样本细分为三个独立训练集，分别训练适于分类远、中、近距离行人目标的三个分类器；使用得到的分类器分别检测未用于训练的源负样本，筛选得到困难负样本添加到对应训练集，并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
根据本发明的另一方面，正样本是指基于行人Ground-Truth边界框提取的图像块信息，负样本是指根据数据集完整图像提取的、与行人Ground-Truth边界框的IOU低于30％的图像块信息。困难负样本指被分类器检测为行人目标、实际为背景的图像块信息。
另外，本发明提供面向车载热成像行人检测的分类器训练装置，所述装置包括：增强正负样本生成模块，被配置为结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；增强正负样本预处理模块，被配置为通过调整亮度和边界信息对增强正负样本进行预处理；以及训练集划分与分类器训练模块，被配置为通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
此外，本发明提供面向车载热成像行人检测方法，所述方法包括：提取待检测的RoIs；对RoIs进行过滤，其中，所述RoIs过滤包括步骤：滤除尺寸异常的RoIs；滤除位置异常的RoIs；以及滤除缺失行人头部的RoIs；对分类器进行离线训练，其中，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器；使用已经过训练的分类器对过滤后的RoIs进行分类检测。
本发明提供面向车载热成像行人检测的分类器训练方法，针对计算瓶颈和样本质量问题的不利影响，与现有的分类器训练技术相比，具有如下优点和效果：
本发明提出分类器训练方法，聚焦于样本训练集在数量、分布和质量方面的改进；通过使用均衡化方法增强图像的对比度，能够以原始正样本为基础生成类似热成像特性的扩展正样本，构成足够数量的增强正样本；通过使用聚类方法对源负样本进行背景信息种类的分析，能够保证得到的增强负样本覆盖更多有代表性的背景信息且比例合适；通过预处理方法调整增强正负样本，能够提高样本质量；通过使用聚类方法获得增强正负样本训练集的划分标准，能够减少样本的类内差异。分类器训练方法能够提高分类器的场景适应性，同时由于在样本层面进行改进，增加的系统计算开销是较小的，能较好满足实际应用需求。
附图说明
从以下结合附图的描述中，本公开的特定实施例的以上和其它方面，特征和优点将变得更加明显，其中：
图1是示出根据本发明的实施例的RoIs过滤方法的流程图。
图2的(a)示出行人像素高度阈值区间的人工统计结果，图2的(b)示出Ground-Truth高宽比区间统计结果，图2的(c)示出头部自适应定位算法的部分示例结果。
图3是示出根据本发明的实施例的RoIs过滤装置的框图。
图4是示出根据本发明的实施例的分类器训练方法的流程图。
图5的(a)示出YUV4:2:2格式图像的Y通道预处理示例，图5的(b)示出原始正样本和扩展正样本的对比，图5的(c)示出部分汽车干扰热源困难负样本。
图6是示出根据本发明的实施例的分类器训练装置的框图。
图7是示出根据本发明的实施例的行人检测方法的流程图。
图8是示出根据本发明的实施例的行人检测装置的框图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
图1是示出根据本发明的实施例的RoIs过滤方法的流程图。
在行人检测过程中，提取环节得到目标可能区域的RoIs边界框信息，分别记录每个RoIs左上角x轴坐标RoIx、左上角y轴坐标RoIy、宽度RoIw、高度RoIh。为了满足高召回率要求，通常得到较多数量的RoIs，如果直接进行后续的分类器检测环节，对于具有计算瓶颈的硬件平台(如车载嵌入式平台)，则很难达到实时性要求。通过人工观察，图像中的行人目标属于稀有事物，提取的RoIs大部分为非行人RoIs，其中属于明显非行人RoIs的不在少数。
所述行人RoIs是指与行人Ground-Truth边界框的重合度(IOU,IntersectionoverUnion)超过50％的RoIs边界框，所述非行人RoIs是指与行人Ground-Truth边界框的IOU低于50％的RoIs边界框。明显非行人RoIs是指与行人Ground-Truth边界框的IOU低于30％、根据人工视觉很容易辨别该RoIs的信息为背景、可通过设定一些简单过滤条件进行区分的RoIs。其中，行人Ground-Truth边界框是指目标类型为单一走路行人和单一骑车行人的真实边界框标注信息。
因此，本发明的实施例的RoIs过滤方法的主要思想是：构造符合行人特征规律的三层级联过滤器对尺寸异常、位置异常以及缺失行人头部的RoIs进行优先滤除，减少待检测RoIs的数量，详细流程图如图1所示。
在步骤110中，滤除尺寸异常的RoIs。具体地，通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs。更详细地，包括：
步骤111：依据图像焦距和行人检测距离，计算行人RoIs像素高度的阈值区间。
具体地，根据人工经验，行人检测的范围大概是距离汽车20～85米的前方区域，如公式(1)所示，依据图像焦距f、行人身高heighttarget和检测距离distance参数，计算得到行人目标在此范围内的像素高度阈值区间为[30,140]。
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel为行人目标在图像中的像素高度，heighttarget为行人目标的身高，实验设定约为1.7米，f为图像焦距，在SCUT Dataset的数值为1554，distance为检测距离。
图2中的(a)示出了行人像素高度阈值区间的人工统计结果。具体地，图2中的(a)是汽车上安装的红外热像仪和行人目标在平坦路面相距20米和85米时拍摄得到的图像，其中汽车是静止的。对两幅图像进行行人边界框的人工测量(虚线为画出的行人边界框)，可以得到统计的20米的行人像素高度为138像素，行人像素宽度为42像素，85米的行人像素高度为30像素，行人像素宽度为12像素，与根据上述公式(1)计算得到的数值对比，两者相差很小，证明公式(1)计算的方法有效。
步骤112：根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间。
在目前公布的RoIs提取方法中，如现有技术1基于前景区域得到的RoIs，其高宽比率变化很大。许多明显非行人RoIs的高宽比率与实际人体特征差别较大，基于此特性使用统计分析法得到行人RoIs高宽比的高斯分布，选取合适的置信水平，获得高宽比阈值区间为[1.5,4]。其中，被统计样本来自数据集SCUT Dataset的行人Ground-Truth信息，且目标标注类型为“单一走路行人”和“单一骑车行人”。
图2中的(b)示出了44个视频的目标类型为“单一走路行人”和“单一骑车行人”的Ground-Truth高宽比区间统计结果。具体地，图2中的(b)是针对44个视频的目标类型为“单一走路行人”和“单一骑车行人”的Ground-Truth样本，统计它们的高宽比并绘制成直方图的结果，即，使用统计分析法得到行人RoIs高宽比的高斯分布。图像的横轴是高宽比数值，纵轴是样本数量，可以看到样本的高宽比分布范围大致在1～4。在本技术方案中选取合适的置信水平确定高宽比阈值区间为[1.5,4]。
步骤113：评估每个待检测RoIs，不符合两种区间条件的RoIs为尺寸异常的RoIs，将这些尺寸异常的RoIs移除。
交通场景的行人目标具有很强的位置约束，即不管是走路行人还是骑车行人，绝大多数是位于路面上，因此在图像中行人目标的位置中心呈水平条状分布。根据此经验，在图像中位置异常的RoIs很可能是明显非行人RoIs。
在步骤120中，滤除位置异常的RoIs。具体地，逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs。更详细地，包括：
步骤121：使用水平路面假设方法获取当前图像路面基准。
具体地，基于热像仪的拍摄角度，使用水平路面假设方法得到当前图像路面基准的y轴坐标数据Horizony。
步骤122：逐个RoIs分别计算其上下边界与路面基准在图像y轴方向的间距，并设定基于当前RoIs像素高度的阈值。
对需判断的RoIs，分别计算该RoIs上下边界与路面基准在图像y轴方向的间距数值，并根据公式(2)计算基于当前RoIs的像素高度RoIh的自适应阈值。
其中α和β是缩放因子，ε是偏移噪声因子，通过实验设定α＝4，β＝2，ε＝25；
步骤123：滤除间距结果不符合阈值的待检测RoIs。
对满足尺寸特征要求的待检测RoIs逐一重复步骤122的操作，滤除所有存在位置异常的RoIs。
在步骤130中，滤除缺失行人头部的RoIs。具体地，依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。
提取环节得到的非行人RoIs一般包含交通场景的背景干扰热源，如路边的树木枝干、均匀热源等。通过观察发现，人体头部极少被其他物品遮挡，处于暴露状态，因此其热成像效果往往比邻近背景亮度更高，且具有较稳定的轮廓。基于此，更详细地，滤除缺失行人头部的RoIs包括：
步骤131：使用行人头部自适应定位算法将当前RoIs上层区域沿水平方向划分为三部分，中间部分命名为头部区域，左、右部分命名为背景区域，所述RoIs上层区域指沿y轴方向从RoIs上边界到1/3或1/5像素高度位置的部分区域。所述行人头部自适应定位算法使用亮度竖直投影方法处理当前RoIs的上层区域，得到对应的投影结果序列；计算序列中相邻数据的差值，获得当前RoIs的亮度竖直投影差值曲线；进一步地，根据提出的竖直边界匹配策略，在曲线极值点寻找符合条件的头部区域左右边界组合，相应的x轴坐标信息定义头部区域位置。
更详细地，行人头部自适应定位算法如下：
①对需操作的RoIs，定义沿y轴方向从该RoIs上边界到(RoIy+α×RoIh)位置的部分区域为RoIs上层区域Pup，此区域的高度记为H，其中当RoIh<48时，设定α＝1/3，否则设定α＝1/5；
②根据当前RoIs的像素高度RoIh判断：如果RoIh<90，则跳转到步骤③执行；如果RoIh≥90，则跳转到步骤⑧执行；
③将此RoIs的左上角坐标(RoIx,RoIy)视为坐标原点，相应地根据公式(3)计算Pup的亮度竖直投影序列VN＝{V(x),x＝0,1,…,RoIw-1}，根据公式(4)计算亮度竖直投影差值曲线V’N＝{V’(x),x＝0,1,…,RoIw-2}，其中Y(x,y)是像素点(x,y)处的亮度值；
④受图像噪声和背景热源影响，投影差值曲线V’N可能存在一些数值较小的干扰极值点，根据公式(5)计算得到阈值Tdiff，随后根据公式(6)对投影差值曲线V’N过滤干扰极值，得到新的投影差值曲线V’T，其中，abs()是求绝对值函数，α是缩放因子，实验设定α＝0.5；
⑤从左往右遍历投影差值曲线V’T的极值点，记录符合以下原则的左右边界对的x轴位置信息(X_edgel,X_edger)：
头部位置边界仅和V’T的极值点对应，默认情况下头部区域比背景区域的亮度高，因此头部左边界对应V’T的正极值点；头部右边界对应V’T的负极值点；
如果搜索到新的可能左边界，将其对应的右边界先赋空；
如果搜索到新的右边界而其对应左边界为空时，则此右边界是背景干扰，因为从左往右遍历的过程是先找到头部左边界；
如果匹配到一组左右边界对(X_edgel,X_edger)，则计算其对应头部宽度Whead＝X_edger-X_edgel，根据头部宽度最小阈值Minhead和最大阈值Maxhead对Whead的合理性进行判断(实验设定Minhead＝RoIw/8，Maxhead＝RoIw/2)：如果Minhead≤Whead≤Maxhead，则该组边界对有效，保存此数据并继续寻找可能和当前X_edgel匹配的其他右边界；如果Whead＜Minhead，则当前右边界X_edger无效；如果Whead＞Maxhead，则当前左、右边界均无效，左边界X_edgel再匹配后面的右边界没有意义；
⑥如果存在多个符合条件的头部左右边界对组合X_edgeN＝{(X_edgel1,X_edger1),(X_edgel2,X_edger2),…,(X_edgeln,X_edgern)}，则遍历这些边界对组合寻找其中的最优项：暂定(X_edgel1,X_edger1)为最优组合；查看下一边界对组合，如果该组合和已知最优组合的左边界相同，则比较两者的右边界位置，值更大的较优，更新最优组合；如果两者左边界不同，则计算两组数据的两条竖直中心线位置(沿x轴方向的位置数值)，随后分别和当前RoIs竖直中心线进行间距比较，与RoIs竖直中心线更近的较优，更新最优组合(因为行人头部更有可能在RoIs上层区域Pup的居中位置)；
⑦如果找到左右边界对的最佳组合(X_edgel,X_edger)，则分别计算该组合与当前RoIs左右边界的间距数值，设定间距阈值Ts＝0.2×RoIw+0.5，如果其中一个间距结果小于阈值Ts，则说明对应的头部区域过于靠近RoIs左右边界，不符合实际人体情况，此边界对无效；
⑧如果不存在符合条件的左右边界对(X_edgel,X_edger)，则将此RoIs上层区域Pup沿水平方向均分为三部分，得到的位置数据即为左右边界对(X_edgel,X_edger)。
对当前RoIs使用上述行人头部自适应定位算法，得到上层区域Pup的头部左右边界对(X_edgel,X_edger)，沿水平方向将Pup划分为三部分Pl、Pm、Pr。
步骤132：使用基于Haar-like特征的方法评估头部区域和背景区域的亮度均值差异程度，并且与预设的阈值进行比较。
根据公式(7)计算Pup的Haar-like特征值，并与阈值Thaar比较，大于阈值则满足头部约束条件，
min(abs(avgm-avgl),abs(avgm-avgr)) 公式(7)
其中，min()是求最小值函数，abs()是求绝对值函数，avgl、avgm、avgr分别是Pl、Pm、Pr的亮度均值，实验设定Thaar的取值范围是13～15。
步骤133：滤除缺失行人头部的RoIs。
对满足位置特征要求的待检测RoIs逐一进行步骤131和步骤132的操作，滤除缺失行人头部的RoIs。
通过上述RoIs过滤方法，在具有计算瓶颈的DM6437车载嵌入式平台实验，使用现有技术1的双阈值分割方法提取RoIs，在单幅图像中获得的RoIs数量平均为100个左右。使用上述RoIs过滤方法后，能够减少大约一半的RoIs数量级别，且平均耗时在几毫秒以内。针对数据集SCUT Dataset标注的行人Ground-Truth边界框(目标类型为单一走路行人和单一骑车行人，遮挡标签为未被遮挡)，总计抽取14000个样例进行头部自适应定位算法的实验，经过人工统计表明，其中头部左右边界定位失败的数量仅有1162个，准确率约为92％，即提出的头部定位算法具有较高的精度，部分示例如图2的(c)所示，图2的(c)是头部自适应定位算法的部分示例结果，每幅图像中添加的两条白色竖线对应算法得到的行人头部左右边界对(X_edgel,X_edger)。
图3是示出根据本发明的实施例的RoIs过滤装置的框图。RoIs过滤装置300包括尺寸异常RoIs过滤器310、位置异常RoIs过滤器320和缺失头部RoIs过滤器330。
尺寸异常RoIs过滤器310滤除尺寸异常的RoIs。具体地，依据图像焦距和行人检测距离，计算行人RoIs像素高度的阈值区间，根据统计分析法，获得行人RoIs高宽比的高斯分布，选取合适的置信水平得到高宽比阈值区间，然后评估每个待检测RoIs，将不符合两种区间条件的RoIs滤除。
位置异常RoIs过滤器320滤除位置异常的RoIs。具体地，使用水平路面假设方法获取当前图像路面基准，逐个RoIs分别计算其上下边界与路面基准在图像y轴方向的间距，并设定基于当前RoIs像素高度的阈值，然后滤除间距结果不符合阈值的待检测RoIs。
缺失头部RoIs过滤器330滤除缺失行人头部的RoIs。具体地，对当前RoIs使用所述行人头部自适应定位算法，得到上层区域Pup的头部左右边界对(X_edgel,X_edger)，沿水平方向将Pup划分为三部分Pl、Pm、Pr，根据上述公式(7)计算Pup的Haar-like特征值，并与阈值Thaar比较，大于阈值则满足头部约束条件，对满足位置特征要求的待检测RoIs逐一进行上述操作，滤除缺失行人头部的RoIs。
图4是示出根据本发明的实施例的分类器训练方法的流程图。
在步骤410中，生成增强正样本和增强负样本。具体地，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本。
由于交通场景的行人目标属于稀有事物，因此通过已公开热成像数据集获得的正样本数量通常有限，需要使用图像增强的方法在此基础生成新的正样本；由于负样本是在整幅图像的非行人区域提取的，相对而言没有数量匮乏问题，但是传统做法是基于网格随机方法获取负样本，而实际检测过程使用的RoIs提取方法往往与此不同，导致两者代表的背景信息分布差异很大，即负样本相对实际非行人RoIs的代表性不足。
增强正样本包括原始正样本和扩展正样本。生成增强正样本包括：以热成像行人检测数据集SCUT Dataset为来源，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本。使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本。也就是说，使用均衡化方法增强原始正样本亮度信息的对比度，生成类似热成像特性的扩展正样本，以此构成足够数量的增强正样本。图5的(b)示出原始正样本和扩展正样本的对比。
更详细地，生成增强正样本的具体步骤如下：
①以热成像行人检测数据集SCUT Dataset为来源，使用Caltech操作工具(http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/)提取行人Ground-Truth边界框对应的图像块信息，记为临时正样本集合Postemp；
②在Postemp中根据预设指标筛选原始正样本集合Posp，具体指标为：目标类型target属于“单一走路行人”和“单一骑车行人”、遮挡标签label属于未被遮挡、间隔帧数为5、像素高度在[30,140]，Posp的数量记为PosNump；
③针对Posp使用平台直方图均衡化方法逐样本进行亮度信息处理，得到对应的新样本图像块信息，人工排除其中出现过曝或丢失轮廓的个例，保留下来的记为扩展正样本集合Pose，其数量记为PosNume；
④Posp和Pose样本集合构成分类器的增强正样本Pos，如式公式(8)所示，其中PosNume≤PosNump。
生成增强负样本包括：使用检测过程对应的RoIs提取方法在数据集的完整图像中提取原始负样本，并使用K-mean聚类和均匀随机选择方法保证筛选得到的增强负样本覆盖更多有代表性的背景信息且比例合适。
具体地，使用检测过程对应的RoIs提取方法在行人检测数据集SCUT Dataset的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例，保留的图像块记为源负样本；使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本；进一步地，根据聚类结果增加包含汽车干扰热源的负样本，提高此类背景信息在增强负样本中的比例。
更详细地，生成增强负样本的具体步骤如下：
①以热成像行人检测数据集SCUT Dataset为来源，使用检测过程对应的RoIs提取方法在数据集的所有完整图像中提取RoIs信息；
②对得到的RoIs进行逐一判断，排除与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例；
③根据满足预设要求的RoIs提取对应图像块信息，构成源负样本集合Negtemp，其数量记为NegNumtemp；
④对Negtemp使用K-mean聚类方法划分为n类(例如，实验设定n＝100)，记增强正样本Pos的数量为PosNum，增强负样本Neg的数量为NegNum，设定NegNum＝PosNum×4，根据此标准在聚类结果中以一定比例随机选取图像块信息，具体为：假定当前第i类结果包含的样本数量为Numi，使用均匀随机法从中选取(Numi×NegNum/NegNumtemp)个负样本；
⑤对聚类结果逐一进行④的操作，即可满足NegNum数量，组成增强负样本Neg；
⑥从K-mean聚类划分的n类结果中，人工挑选包含汽车干扰热源负样本的结果集合，以一定比例随机选取其中的负样本添加到Neg，提高此类背景信息在Neg的数量比例。
接下来，在步骤420中，对生成的增强正样本和增强负样本进行预处理。通过调整亮度和边界信息对增强正负样本进行预处理。对生成的增强正负样本进行预处理，能够提高样本数据质量，最终改进分类器性能。
本发明使用的对增强正负样本进行预处理操作包括：像素Y通道提取、边界缩放调整、伽马校正处理。具体地，使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
具有如下优点：(1)针对热像仪输入的图像，以YUV4:2:2格式为例，其特征是点(x,y)包含“Y、U”或者“Y、V”的两通道信息；相对于代表色度的U和V通道信息，代表亮度的Y通道具备热成像的完备信息；因此使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式。(2)在RoIs提取方法中，根据前景区域得到的RoIs通常存在行人轮廓与RoIs边界贴合或间距过小的情况，而大部分数据集的行人Ground-Truth边界框则在边界附近留有一定间距的背景信息，这增加了训练样本和实际检测提取RoIs的信息差异程度；因此需对增强正负样本进行边界缩放调整以减少信息差异。(3)使用伽马校正方法处理增强正负样本，能够提高样本Y通道信息的动态范围和拉伸对比度。
更详细地，对增强正负样本进行预处理的具体步骤如下：
①针对当前样本图像块，根据其像素点通道信息的排列格式，逐点提取对应的Y通道信息；随后根据点(x,y)的位置标识按顺序将Y通道信息排列为新的样本数据，图5的(a)为YUV4:2:2格式图像的示例；是以YUV4:2:2格式图像为例子的Y通道预处理过程，箭头上面表示处理前的一幅YUV4:2:2格式图像(每个像素点包含一个Y通道和一个U(或V)通道信息)，箭头下面表示处理后的一幅Y通道信息图像(每个像素点只包含一个Y通道信息)。
②对增强正样本Pos和增强负样本Neg，逐样本进行①的操作；
③判断实际检测过程使用的RoIs提取方法，如果行人轮廓与RoIs边界贴合或间距过小、与数据集的情况不相符，则对增强正负样本Pos和Neg逐样本进行边界缩放处理；具体操作是：根据当前样本图像块的重心，将图像块的四个边界分别向重心方向缩小m个像素，通过实验获得m的经验值在3～5范围内；
④对当前样本图像块的Y通道信息使用伽马校正方法逐点进行处理，实验设定伽马参数γ＝0.5；
⑤对增强正样本Pos和增强负样本Neg，逐样本进行④的操作，得到新的增强正负样本Pos’和Neg’。
在步骤430中，划分预处理的增强正负样训练集并训练分类器。通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
本发明定义行人目标的像素高度阈值区间为[30,140]，对应现实场景的最远和最近行人目标。然而这两种极端距离的行人信息差异很大，导致得到的增强正样本存在较高的类内差异，如果仅训练一个分类器会降低检测性能。
划分预处理的增强正负样训练集并训练分类器包括：使用聚类方法对预处理的增强正样本进行分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准，从而将增强正负样本细分为三个独立的训练集；分别训练适于分类远、中、近距离行人目标的三个分类器(classifierf、classifierm、classifiern)，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警个例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。图5的(c)示出部分汽车干扰热源困难负样本。
更详细地，划分预处理的增强正负样训练集并训练分类器的具体步骤包括：
①定义远、中、近三个连续距离区间的四个边界为(Rangel,Ranges,Rangem,Ranger)，基于K-mean聚类方法获得这些边界数值，具体操作是：实验设定以5米为间隔将实际检测距离区间[20,85]划分为若干部分，根据公式(1)计算每部分对应的行人目标像素高度数值；在正样本筛选相应像素高度的样例用于聚类分析；使用K-mean聚类方法设定种类数量k＝3，获得基于像素高度的四个边界数值为Rangel＝30，Ranges＝48，Rangem＝90，Ranger＝140；
heightpixel≈heighttarget×f/distance 公式(1)
其中，heightpixel为行人目标在图像中的像素高度，heighttarget为行人目标的身高，实验设定约为1.7米，f为图像焦距，在SCUT Dataset的数值为1554，distance为检测距离。
②记当前样本图像块Sample的像素高度为Sampleh，如果Rangel≤Sampleh＜Ranges则将Sample划分到远距离样本训练集，如果Ranges≤Sampleh＜Rangem则划分到中距离样本训练集，如果Rangem≤Sampleh≤Ranger则划分到近距离样本训练集；
③对增强正负样本Pos’和Neg’，逐样本进行②的操作，得到三个样本训练集；
④根据获得的三个独立训练集，分别训练适于分类远、中、近距离行人目标的三个分类器，在迭代过程中，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警样例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
图6是示出根据本发明的实施例的分类器训练装置的框图。分类器训练装置600包括增强正负样本生成模块610，增强正负样本预处理模块620和训练集划分与分类器训练模块630。
增强正负样本生成模块610生成增强正样本和增强负样本。具体地，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本。
增强正样本包括原始正样本和扩展正样本。生成增强正样本包括：以热成像行人检测数据集SCUT Dataset为来源，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本。使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本。即，使用均衡化方法增强原始正样本亮度信息的对比度，生成类似热成像特性的扩展正样本，以此构成足够数量的增强正样本。
生成增强负样本包括：使用检测过程对应的RoIs提取方法在行人检测数据集SCUTDataset的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的IOU高于30％且被判断为尺寸异常(例如，被前述RoIs过滤方法判断为尺寸异常)的个例，保留的图像块记为源负样本；使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本；进一步地，根据聚类结果增加包含汽车干扰热源的负样本，提高此类背景信息在增强负样本中的比例。
增强正负样本预处理模块620对增强正负样本生成模块生成的增强正样本和增强负样本进行预处理。通过调整亮度和边界信息对增强正负样本进行预处理。对生成的增强正负样本进行预处理，能够提高样本数据质量，最终改进分类器性能。
本发明使用的对增强正负样本进行预处理操作包括：像素Y通道提取、边界缩放调整、伽马校正处理。具体地，使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
具有如下优点：(1)针对热像仪输入的图像，以YUV4:2:2格式为例，其特征是点(x,y)包含“Y、U”或者“Y、V”的两通道信息；相对于代表色度的U和V通道信息，代表亮度的Y通道具备热成像的完备信息；因此使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式。(2)在RoIs提取方法中，根据前景区域得到的RoIs通常存在行人轮廓与RoIs边界贴合或间距过小的情况，而大部分数据集的行人Ground-Truth边界框则在边界附近留有一定间距的背景信息，这增加了训练样本和实际检测提取RoIs的信息差异程度；因此需对增强正负样本进行边界缩放调整以减少信息差异。(3)使用伽马校正方法处理增强正负样本，能够提高样本Y通道信息的动态范围和拉伸对比度。
训练集划分与分类器训练模块630划分增强正负样本预处理模块预处理的增强正负样训练集并迭代训练分类器。通过聚类正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
本发明定义行人目标的像素高度阈值区间为[30,140]，对应现实场景的最远和最近行人目标。然而这两种极端距离的行人信息差异很大，导致得到的增强正样本存在较高的类内差异，如果仅训练一个分类器会降低检测性能。
划分预处理的增强正负样训练集并训练分类器包括：使用聚类方法对预处理的增强正样本进行分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准，从而将增强正负样本细分为三个独立的训练集；分别训练适于分类远、中、近距离行人目标的三个分类器(classifierf、classifierm、classifiern)，针对困难负样本的筛选，使用得到的分类器分别检测所述未用于训练的源负样本，筛选其中的虚警个例作为困难负样本，添加到对应训练集并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
使用所述增强正样本生成方法在数据集SCUT Dataset上得到的原始正样本有：远距离区间正样本26000个左右，中距离区间正样本18800个左右，近距离区间正样本9700个左右，结合扩展正样本的生成，最终得到的增强正样本能够满足分类器对正样本数量的要求。
图7是示出根据本发明的实施例的行人检测方法的流程图。
在步骤710，提取待检测的RoIs。
在步骤720，对RoIs进行过滤。所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。更详细的描述上面已经介绍，在此不再赘述。
在步骤730，对分类器进行离线训练。分类器训练方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。更详细的描述上面已经介绍，在此不再赘述。
在步骤740，使用已完成训练的分类器对过滤后的RoIs进行分类检测。
图8是示出根据本发明的实施例的行人检测装置的框图。行人检测装置800包括RoIs提取模块810，RoIs过滤模块820，分类器训练模块830和分类检测模块840。
RoIs提取模块810，提取待检测的RoIs。
RoIs过滤模块820，对RoIs进行过滤。所述RoIs过滤包括步骤：通过计算行人像素高度和RoIs高宽比并设定相应的阈值区间，滤除尺寸异常的RoIs；逐个RoIs分别计算其上下边界与当前图像路面基准的竖直间距，计算基于RoIs像素高度的阈值，滤除位置异常的RoIs；依据每个RoIs的亮度竖直投影差值曲线搜索可能的行人头部区域，对比头部区域和相邻背景区域的Haar-like特征的差异程度，滤除缺失行人头部的RoIs。更详细的描述上面已经介绍，在此不再赘述。
分类器离线训练模块830，对分类器进行离线训练。分类器训练方法包括：结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，据此，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。更详细的描述上面已经介绍，在此不再赘述。
分类检测模块840，使用已完成训练的分类器对过滤后的RoIs进行分类检测。
本发明提供的车载热成像行人检测方法，针对计算瓶颈和样本质量问题的不利影响，与现有的车载热成像行人检测技术相比，具有如下优点和效果：
1、本发明提出的分类器训练方法和RoIs过滤方法能够形成“前后协作”关系，即在车载热成像行人检测过程中，针对提取环节得到的RoIs，优先使用RoIs过滤方法对非行人RoIs进行在线辨别并移除；随后使用分类器训练方法离线训练适于远、中、近距离的三个分类器，将保留的RoIs按像素高度划分到对应分类器进行精细检测。
2、本发明提出RoIs过滤方法，通过构造一个符合行人特征规律且计算开销低的三层级联过滤器，能够优先滤除尺寸异常、位置异常以及缺失行人头部的RoIs，大量非行人RoIs得到抑制，保证剩余待检测RoIs在进行精度更高的分类器检测环节时能够满足实时性要求，同时能够降低系统虚警率。
3、本发明提出分类器训练方法，聚焦于样本训练集在数量、分布和质量方面的改进；通过使用均衡化方法增强图像的对比度，能够以原始正样本为基础生成类似热成像特性的扩展正样本，构成足够数量的增强正样本；通过使用聚类方法对源负样本进行背景信息种类的分析，能够保证得到的增强负样本覆盖更多有代表性的背景信息且比例合适；通过预处理方法调整增强正负样本，能够提高样本质量；通过使用聚类方法获得增强正负样本训练集的划分标准，能够减少样本的类内差异。分类器训练方法能够提高分类器的场景适应性，同时由于在样本层面进行改进，增加的系统计算开销是较小的，能较好满足实际应用需求。
在实际道路行人检测环境下对本发明的方法进行性能测试和评价。用于测试的完整热成像行人检测装置包括：现有技术1的RoIs提取方法、本发明提出的RoIs过滤方法、本发明提出的分类器训练方法、基于“HOG特征和线性SVM”的分类器类型、卡尔曼跟踪方法。用于测试的硬件平台是指安装了行人检测系统的车辆，其中使用了广州飒特公司生产的NV628型号红外热像仪和德州仪器公司生产的DM6437嵌入式平台。
测试方案具体为挑选广州市的若干段道路环境，使用所述车辆进行实际效果的静态测试和动态测试。测试环境为夜间多云天气，环境温度约为27℃，相对湿度约为90％。评价指标具体设定为：使用人工统计的方式处理保存的检测视频，记录有效行人个体数量、被准确检测行人数量、虚警个体数量，并计算检测率。其中有效行人是指在帧率为25/每秒的检测视频中至少存在1秒及以上的行人目标；行人目标包括正面、背面与侧面走路的姿态、以及纵向骑自行车、电动车与摩托车的姿态；虚警个体数量是指在某一测试路段内出现的错误检测次数，当虚警个体或区域一直存在当前画面中时，按照出现1次处理；检测率是指被准确检测行人数量和有效行人个体数量的比率。
针对静态测试环节，挑选了广州市保税区3个直线距离大于200米的普通铺装路段，将用于测试的车辆停靠在合适位置，在车辆正前方15-70米范围内随机分散设置多个直立走动行人，使用电脑采集并统计数据结果，具体如表1所示。
表1静态测试结果统计
根据表1的静态测试结果可以看出，在测试车辆静止的情况下，使用本发明所提出方法的热成像行人检测系统具有较好的性能，在所述测试路段的详细静态测试中，有效行人的检测率为100％，且虚警个体数量为0。
针对动态测试环节，挑选面向广州市郊区场景、市区场景、和高速场景的6个普通铺装道路，以10-80Km/h的速度驾驶车辆分别在每个路段进行10分钟的现场测试，测试时间共计60分钟，使用电脑采集并统计数据结果，具体如表2所示。
表2动态测试结果统计
根据表2的动态测试结果可以看出，相比于静态测试结果，在测试车辆行驶的情况下，所述热成像行人检测系统的检测性能有所下降，分析原因是在行驶过程中，背景干扰热源更加复杂，如道路车辆、树木较多，且行人目标出现被遮挡的情况也增多。同时，受热成像特性影响，车辆行驶过程中捕获图像的亮度和对比度会随时发生变化，这些因素影响了动态测试的结果。在所述测试路段的详细动态测试中，平均检测率达到75.63％，平均虚警个体数量为10，同时所述行人检测系统的检测速度能够基本满足实时性要求。
上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (9)

1.一种面向车载热成像行人检测的分类器训练方法，其特征在于，所述方法包括：
结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；
通过调整亮度和边界信息对增强正负样本进行预处理；以及
通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
2.根据权利要求1所述的分类器训练方法，其特征在于，生成增强正样本包括：基于热成像行人检测数据集，根据标注的行人Ground-Truth边界框和预设指标提取对应图像块信息，获得原始正样本，使用平台直方图均衡化方法对原始正样本的亮度信息逐一进行处理，得到扩展正样本，增强正样本包括原始正样本和扩展正样本。
3.根据权利要求1所述的分类器训练方法，其特征在于，生成增强负样本包括：在热成像行人检测数据集的完整图像中提取图像块信息，去除其中与行人Ground-Truth边界框的重合度(Intersection over Union,IOU)高于30％且尺寸异常的RoIs，保留的图像块记为源负样本，使用K-mean方法对源负样本进行聚类，根据计算得到的比例在聚类结果中均匀随机选取图像块，构成增强负样本。
4.根据权利要求1所述的分类器训练方法，其特征在于，对增强正负样本进行预处理包括：使用像素Y通道提取方法将增强正负样本转换为低计算开销的单通道图像格式；采用边界缩放策略调整增强正负样本的边界坐标数据，减小训练样本和实际提取RoIs的信息差异程度；进一步地，使用伽马校正方法处理增强正负样本，提高样本Y通道信息的动态范围和拉伸对比度。
5.根据权利要求1所述的分类器训练方法，其特征在于，使用K-mean方法对预处理的增强正样本进行聚类分析，设定种类数量k＝3，获得基于像素高度的远、中、近三个距离的样本尺度划分标准；将增强正负样本细分为三个独立的训练集，训练适于远、中、近距离的三个分类器；使用得到的分类器分别检测未用于训练的源负样本，筛选得到困难负样本添加到对应训练集，并重新训练分类器，此过程直到满足预设的迭次训练次数为止。
6.根据权利要求1所述的分类器训练方法，其特征在于，正样本是指基于行人Ground-Truth边界框提取的图像块信息，负样本是指根据数据集完整图像提取的、与行人Ground-Truth边界框的IOU低于30％的图像块信息。
7.根据权利要求5所述的分类器训练方法，其特征在于，困难负样本指被分类器检测为行人目标、实际为背景的图像块信息。
8.一种面向车载热成像行人检测的分类器训练装置，其特征在于，所述装置包括：
增强正负样本生成模块，被配置为结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；
增强正负样本预处理模块，被配置为通过调整亮度和边界信息对增强正负样本进行预处理；以及
训练集划分与分类器训练模块，被配置为通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器。
9.一种面向车载热成像的行人检测方法，其特征在于，所述方法包括：
提取待检测的RoIs；
对RoIs进行过滤，其中，所述RoIs过滤包括步骤：滤除尺寸异常的RoIs；滤除位置异常的RoIs；以及滤除缺失行人头部的RoIs；
对分类器进行离线训练，其中，结合正样本标注信息和均衡化技术生成增强正样本，使用聚类方法分析非行人背景图像块的信息分布，辅助筛选不同类别的增强负样本；通过调整亮度和边界信息对增强正负样本进行预处理；以及通过聚类预处理的增强正样本获得远、中、近三个距离的样本尺度划分标准，将预处理后的增强正负样本分为三个训练集，分别训练适于分类远、中、近距离行人目标的三个分类器；以及
使用已经过训练的分类器对过滤后的RoIs进行分类检测。
CN201810324453.8A 2018-04-12 2018-04-12 面向车载热成像行人检测的分类器训练方法和装置 Pending CN108564030A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810324453.8A CN108564030A (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的分类器训练方法和装置
PCT/CN2018/083454 WO2019196130A1 (zh) 2018-04-12 2018-04-18 面向车载热成像行人检测的分类器训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810324453.8A CN108564030A (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的分类器训练方法和装置

Publications (1)

Publication Number Publication Date
CN108564030A true CN108564030A (zh) 2018-09-21

Family

ID=63534757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810324453.8A Pending CN108564030A (zh) 2018-04-12 2018-04-12 面向车载热成像行人检测的分类器训练方法和装置

Country Status (2)

Country Link
CN (1) CN108564030A (zh)
WO (1) WO2019196130A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492534A (zh) * 2018-10-12 2019-03-19 高新兴科技集团股份有限公司 一种基于Faster RCNN的跨场景多姿态的行人检测方法
CN109740738A (zh) * 2018-12-29 2019-05-10 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN109756494A (zh) * 2018-12-29 2019-05-14 中国银联股份有限公司 一种负样本变换方法及装置
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN110046601A (zh) * 2019-04-24 2019-07-23 南京邮电大学 针对十字路口场景的行人检测方法
CN110263731A (zh) * 2019-06-24 2019-09-20 电子科技大学 一种单步人脸检测系统
CN110991242A (zh) * 2019-11-01 2020-04-10 武汉纺织大学 一种负样本挖掘的深度学习烟雾识别方法
CN111626342A (zh) * 2020-05-13 2020-09-04 Oppo广东移动通信有限公司 一种图像样本处理方法、装置及存储介质
CN111931670A (zh) * 2020-08-14 2020-11-13 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN112257797A (zh) * 2020-10-29 2021-01-22 瓴盛科技有限公司 行人头部图像分类器的样本图像生成方法及相应训练方法
CN112836619A (zh) * 2021-01-28 2021-05-25 合肥英睿系统技术有限公司 嵌入式车载远红外行人检测方法、系统、设备及存储介质
CN114792426A (zh) * 2021-10-25 2022-07-26 北京中电兴发科技有限公司 一种行人属性识别中的图像数据均衡方法
CN117493858A (zh) * 2023-12-29 2024-02-02 湖北神龙工程测试技术有限公司 基于人工智能的基桩完整性识别方法
CN111931670B (zh) * 2020-08-14 2024-05-31 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784638B (zh) * 2019-11-07 2023-12-08 北京京东乾石科技有限公司 训练样本获取方法和装置、行人检测方法和装置
CN111192290B (zh) * 2019-12-05 2023-06-30 大连民族大学 行人图像检测的分块处理方法
CN113095342A (zh) * 2019-12-23 2021-07-09 北京金山云网络技术有限公司 基于误判样本图片的审核模型优化方法、装置及服务器
CN111144494A (zh) * 2019-12-27 2020-05-12 睿魔智能科技（深圳）有限公司 物体检测模型训练方法、检测方法、装置、设备及介质
CN111160481B (zh) * 2019-12-31 2024-05-10 苏州安智汽车零部件有限公司 基于深度学习的adas目标检测方法及系统
CN111368934B (zh) * 2020-03-17 2023-09-19 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111815669B (zh) * 2020-06-23 2023-02-28 浙江大华技术股份有限公司 目标跟踪方法、目标跟踪装置及存储装置
CN111860390A (zh) * 2020-07-27 2020-10-30 西安建筑科技大学 一种电梯候梯人数检测统计方法、装置、设备及介质
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
CN112819724A (zh) * 2021-02-05 2021-05-18 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
CN113808186B (zh) * 2021-03-04 2024-01-16 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN113269229A (zh) * 2021-04-22 2021-08-17 中国科学院信息工程研究所 一种面向深度学习分类模型泛化能力增强的训练方法
CN113011389B (zh) * 2021-04-23 2022-07-26 电子科技大学 一种基于聚类思想的道路行人小目标检测方法
CN113221731B (zh) * 2021-05-10 2023-10-27 西安电子科技大学 一种多尺度遥感图像目标检测方法及系统
CN115631472B (zh) * 2022-12-19 2023-03-21 山东高速股份有限公司 一种高速公路行人闯入智能检测方法
CN118015388A (zh) * 2024-04-10 2024-05-10 西南科技大学 小目标检测方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201044008A (en) * 2009-06-12 2010-12-16 Chung Shan Inst Of Science Night time pedestrian detection technology
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警系统及其工作方法
CN105404857A (zh) * 2015-11-04 2016-03-16 北京联合大学 一种基于红外的夜间智能车前方行人检测方法
CN107194338A (zh) * 2017-05-14 2017-09-22 北京工业大学 基于人体树图模型的交通环境行人检测方法
CN108549864A (zh) * 2018-04-12 2018-09-18 广州飒特红外股份有限公司 面向车载热成像行人检测的感兴趣区域过滤方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699752B2 (en) * 2011-09-29 2014-04-15 Nec Laboratories America, Inc. Adaptive cross partition for learning weak classifiers
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN107330355B (zh) * 2017-05-11 2021-01-26 中山大学 一种基于正样本平衡约束的深度行人再标识方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201044008A (en) * 2009-06-12 2010-12-16 Chung Shan Inst Of Science Night time pedestrian detection technology
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警系统及其工作方法
CN105404857A (zh) * 2015-11-04 2016-03-16 北京联合大学 一种基于红外的夜间智能车前方行人检测方法
CN107194338A (zh) * 2017-05-14 2017-09-22 北京工业大学 基于人体树图模型的交通环境行人检测方法
CN108549864A (zh) * 2018-04-12 2018-09-18 广州飒特红外股份有限公司 面向车载热成像行人检测的感兴趣区域过滤方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
庄家俊: "面向汽车辅助驾驶的远红外行人检测关键技术研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
张苗辉: "基于视觉系统的行人检测与跟踪方法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
王国华: "车载单目远红外行人检测关键技术研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492534A (zh) * 2018-10-12 2019-03-19 高新兴科技集团股份有限公司 一种基于Faster RCNN的跨场景多姿态的行人检测方法
CN109784216A (zh) * 2018-12-28 2019-05-21 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN109784216B (zh) * 2018-12-28 2023-06-20 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
CN109756494B (zh) * 2018-12-29 2021-04-16 中国银联股份有限公司 一种负样本变换方法及装置
CN109740738A (zh) * 2018-12-29 2019-05-10 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN109756494A (zh) * 2018-12-29 2019-05-14 中国银联股份有限公司 一种负样本变换方法及装置
CN109740738B (zh) * 2018-12-29 2022-12-16 腾讯科技（深圳）有限公司 一种神经网络模型训练方法、装置、设备和介质
CN110046601A (zh) * 2019-04-24 2019-07-23 南京邮电大学 针对十字路口场景的行人检测方法
CN110263731A (zh) * 2019-06-24 2019-09-20 电子科技大学 一种单步人脸检测系统
CN110263731B (zh) * 2019-06-24 2021-03-16 电子科技大学 一种单步人脸检测系统
CN110991242A (zh) * 2019-11-01 2020-04-10 武汉纺织大学 一种负样本挖掘的深度学习烟雾识别方法
CN111626342A (zh) * 2020-05-13 2020-09-04 Oppo广东移动通信有限公司 一种图像样本处理方法、装置及存储介质
CN111626342B (zh) * 2020-05-13 2023-07-18 Oppo广东移动通信有限公司 一种图像样本处理方法、装置及存储介质
CN111931670A (zh) * 2020-08-14 2020-11-13 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN111931670B (zh) * 2020-08-14 2024-05-31 成都数城科技有限公司 基于卷积神经网的深度图像头部检测与定位方法及系统
CN112257797A (zh) * 2020-10-29 2021-01-22 瓴盛科技有限公司 行人头部图像分类器的样本图像生成方法及相应训练方法
CN112836619A (zh) * 2021-01-28 2021-05-25 合肥英睿系统技术有限公司 嵌入式车载远红外行人检测方法、系统、设备及存储介质
CN114792426A (zh) * 2021-10-25 2022-07-26 北京中电兴发科技有限公司 一种行人属性识别中的图像数据均衡方法
CN114792426B (zh) * 2021-10-25 2024-05-28 北京中电兴发科技有限公司 一种行人属性识别中的图像数据均衡方法
CN117493858A (zh) * 2023-12-29 2024-02-02 湖北神龙工程测试技术有限公司 基于人工智能的基桩完整性识别方法
CN117493858B (zh) * 2023-12-29 2024-03-26 湖北神龙工程测试技术有限公司 基于人工智能的基桩完整性识别方法

Also Published As

Publication number Publication date
WO2019196130A1 (zh) 2019-10-17

Similar Documents

Publication Publication Date Title
CN108564030A (zh) 面向车载热成像行人检测的分类器训练方法和装置
CN108549864A (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN107134144B (zh) 一种用于交通监控的车辆检测方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105913041B (zh) 一种基于预先标定的信号灯识别方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN104951784B (zh) 一种车辆无牌及车牌遮挡实时检测方法
CN108734189A (zh) 浓雾天气下基于大气散射模型和深度学习的车牌识别系统
CN108985169B (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN103942560B (zh) 一种智能交通监控系统中的高分辨率视频车辆检测方法
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN107622258A (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
CN104050481B (zh) 多模板轮廓特征和灰度相结合的红外图像实时行人检测
CN104050684B (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN103366156A (zh) 道路结构检测和跟踪
Li et al. Research on vehicle license plate location based on neural networks
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
CN107103303A (zh) 一种基于gmm背景差分与联合特征的行人检测方法
CN109255326A (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN107092878A (zh) 一种基于混合分类器的可自主学习多目标检测方法
CN107247967B (zh) 一种基于r-cnn的车窗年检标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180921

WD01 Invention patent application deemed withdrawn after publication