CN105426852B - 车载单目长波红外相机行人识别方法 - Google Patents

Abstract

本发明涉及一种车载单目长波红外相机行人识别方法，属于图像处理技术领域。本发明首先通过图像预处理对红外原始图像进行降噪和增强处理，并HOT‑SPOT选取对目标潜在范围及尺度进行估计，同时通过ROI选取根据车载红外相机的成像几何信息对目标出现的可能区域给出预测估计；再通过两级分类器的组合进行检测有效地提升系统的检测率并降低虚警率；然后利用目标跟踪对检测出的目标在时间轴上进行跟踪，一方面可提升系统性能和稳定系统输出，另一方面可估计出目标的运动速度及生命周期，最后对目标的危险度进行估计并提供有效告警提示。从而实现了对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。

Description

车载单目长波红外相机行人识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种车载单目长波红外相机行人识别方法。

背景技术

红外探测器技术的快速发展使得红外相机的成本快速降低，成熟度不断提升。这使得红外相机在民用产品领域不断拓展市场，车载辅助驾驶系统成为红外相机展示其优越特性的代表之一。

红外探测是对环境中物体的红外特性进行探测，在夜间行驶条件下，红外感知距离可达到车前灯探测距离的4倍以上。即使在雨、雪、雾等条件下也能有效工作。而人眼只能感受周围的可见光信息，红外探测系统可感知可见光以外的环境特性，是车辆对自身环境感知信息的有效拓展。而且红外感知完全不受环境中可见光信息的干扰，即使在夜间迎面车灯强逆光的条件下也能正常工作，而在这种条件下人眼的感知会受到严重的干扰。

针对红外相机在车辆辅助驾驶中的应用，如何提供一种目标自动识别信息处理方案，对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示，成为了亟待解决的技术问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。

(二)技术方案

为了解决上述技术问题，本发明提供了一种车载单目长波红外相机行人识别方法，包括以下步骤：

S1、将图像的原始数据流进行灰度映射，并对图像进行噪声抑制和增强处理；同时对图像作如下处理：对于不同距离的不同大小的行人目标，在相机安装位置及角度均一致的情况下，通过成像几何关系计算出行人目标在图像中呈现的不同位置及大小，不同大小的行人目标出现在图像中特定的ROI区域内，采用图像遍历的方式检测图像中的行人目标，用遍历窗口遍历的方式检测目标时，仅在相应的ROI区域内进行遍历；

S2、将所述噪声抑制和增强处理后的图像数据进行如下HOT-SPOT提取处理：对于每个像素，计算其邻域的加权均值，再与预设阈值比较，若大于预设阈值，则作为有效候选点，否则作为无效候选点，对每个像素处理完之后然后将候选点或由候选点组成的候选区域合并后进行候选点筛选，将筛选后的所有候选点进行预滤波，得到有效候选点二值图像，所述筛选的目的是对不能合并的孤立点或微小区域进行筛选，以保证预滤波后能够过滤出所有潜在目标点；

S3、进行第一级分类器检测：对于特定大小的遍历窗口，计算其对应的ROI区域，然后在特定的遍历窗口的对应ROI区域中遍历的过程中，验证对应位置HOT-SPOT属性，如果该特定的遍历窗口内，无有效候选点，则不进行分类器计算，否则进行AdaBoost分类器计算；AdaBoost分类器对图像内的所有大小的目标进行分类检测，最终得到若干候选目标，一个目标若被若干遍历窗口所检出，则运用窗口合并的方法对第一级分类器所输出的候选目标窗口进行合并，以此来获得有效的检测目标区域输出；

进行第二级分类器检测：对第一级分类器检测结果进行SVM检测；

S4、对前一帧所检测的所有目标和当前帧检测出的所有候选目标进行关联；关联后的数据作为Kalman滤波器的输入，进而基于目标运动模型对量测值进行滤波，从而输出稳定的目标检测窗口；

S5、基于行人站在前方水平的地面上这一条件，利用成像几何原理进行目标距离估计，并基于输出最小的估算距离的原则，对估计出的距离进行结果修正；

S6、以目标运动方向和速度、车辆运动方向和速度、距离估计信息三者作为输入，依据预设告警策略对危险源给出相应的告警提示信息。

(三)有益效果

本发明首先通过图像预处理对红外原始图像进行降噪和增强处理，并HOT-SPOT选取对目标潜在范围及尺度进行估计，同时通过ROI选取根据车载红外相机的成像几何信息对目标出现的可能区域给出预测估计；再通过两级分类器的组合进行检测有效地提升系统的检测率并降低虚警率；然后利用目标跟踪对检测出的目标在时间轴上进行跟踪，一方面可提升系统性能和稳定系统输出，另一方面可估计出目标的运动速度及生命周期，最后对目标的危险度进行估计并提供有效告警提示。从而实现了对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。

附图说明

图1为本发明实施例的总体流程图；

图2为图像预处理流程图；

图3为ROI计算流程；

图4为ROI原理示意图；

图5为HOT-SPOT提取算法流程图；

图6为级联分类器检测流程图；

图7为目标跟踪流程图；

图8为目标距离估计流程图；

图9为告警流程图。

图10为告警等级示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明针对红外相机在车辆辅助驾驶中的应用，提供了一种车载单目长波红外相机行人识别方法，对环境中的行人等目标进行自动识别和危险度估计，进而对危险源给出告警信息提示。

如图1所示，本发明的车载单目长波红外相机行人识别方法包括图像预处理、ROI选取、HOT-SPOT选取、两级分类器检测、目标跟踪、距离估计和告警等步骤。图像预处理对红外原始图像进行降噪和增强处理；ROI选取根据车载红外相机的成像几何信息对目标出现的可能区域给出预测估计；HOT-SPOT选取对目标潜在范围及尺度进行估计；两级分类器包括AdaBoost和SVM分类器，通过两级分类器的组合能够有效地提升系统的检测率并降低虚警率；目标跟踪对检测出的目标在时间轴上进行跟踪，一方面可提升系统性能和稳定系统输出，另一方面可估计出目标的运动速度及生命周期，最后对目标的危险度进行估计并提供有效告警提示。

本发明以红外相机的实时图像作为主要输入，辅助以车辆自身运动信息、GPS信息、温度信息等。红外图像以30帧的帧频输入算法，目标识别算法以实时速度进行目标识别处理，以获取图像中的危险源信息。本发明能够对图像中的行人(或动物)目标进行自动识别。其中行人目标包括独立行走的行人、人群、骑自行车的人、骑电动车的人等。动物目标包括鹿、牛、马、野猪等。本发明将自动对图像中的以上目标进行识别，并对其危险度进行估计，进而向驾驶员给出告警提示信息。

预处理流程用于将图像的原始12bit数据流转化为8bit灰度图像，并对图像进行噪声抑制和增强处理。主要包括三个模块，灰度映射、噪声抑制和图像增强三个步骤。具体如图2所示：

ROI(Region-Of-Interest)计算模块用于计算出行人出现的可能区域，以减少识别算法的计算复杂度。高性能的目标识别算法基于机器学习和模式识别等复杂算法，其检测识别性能好，但运算复杂度也很高。机器学习算法的检测策略基本为图像全尺度窗口遍历策略，其复杂度受待检测目标的尺度范围影响，如果需检测的目标尺度变化范围大，则遍历窗口就会增加，则计算复杂度就会随之加大。为优化算法复杂度，进一步提升算法的运算速度和可靠性，需结合具体车载应用场景，开发ROI约束规则。在真实的应用场景下，可以约定拟检测行人的高度范围,比如：1m-2m。另外，考虑到车载的复杂应用场景，车载红外相机选用的是定焦的相机，故一旦相机在车辆上固定安装，其所有的成像几何内、外参数都可以获得。基于已知的相机内外参数及特定的应用场景，可计算出特定的目标在图像中可能出现的位置。图3为ROI模块的整体计算流程。

ROI算法采用图像遍历的方式检测图像中的行人目标。如图4所示，对于不同距离的不同大小的目标，在相机安装位置及角度均一致的情况下，可以通过成像几何关系计算出其在图像中会呈现的不同位置及大小。不同大小的目标会出现在图像中特定的ROI区域内，如：最小的目标对应于[L1,L1’]的区域，中等大小的目标对应于[L2,L2’]区域，最大的目标对应于[L3,L3’]区域。这意味着，当我们用遍历窗口遍历的方式去检测目标时，仅仅需要在相应的ROI区域内进行遍历即可。

基于上面的解析推理可以计算出符合成像规则的约束搜索区域。然而，在真实的应用条件下，车辆悬挂并不稳定，会随着车辆载重情况及路面出现波动，为提高ROI约束策略的可靠性，需要结合实际使用过程中可能出现的各类情况，给出其冗余量。这里所用的冗余量为统计量。真实世界中的情况千差万别，为了找到最优的ROI冗余参数，需基于大量的外场测试数据库进行统计。首先对数据库中的所有目标进行准确标记，进而统计其在图像中所处的位置和大小对应关系，最终得出不同大小目标所对应的有效分布区间。基于成像几何计算值及实际统计冗余量，最终得出检测算法的ROI约束策略，可有效降低算法的运算复杂度，且有助于提升算法性能。

Hot Spot提取算法基于这样的假设，即：行人目标总是在夜视场景中较亮的目标。基于机器学习的分类器识别算法采用图像全尺度遍历的方式，运算复杂度高。然而，在具体的车载应用场景中，很多区域的遍历可以通过较为简单有效的策略避免，如天空区域、或大面积平滑区域。通过热点(Hot-Spot)检测算法可确定在图像中不会出现行人的区域，在分类器窗口遍历检测的时候可以跳过这些无效搜索区域。该策略可进一步降低算法运算复杂度的同时，提高算法的检测性能。本专利采用自适应阈值分割的算法将图像中的局部较亮区域分割出来，进而辅助以区域合并及筛选策略，从而最终获得目标最可能存在的候选区域。算法流程图如图5所示。

通过自适应分割之后的图像往往有很多零散的点/区域，孤立的点往往是由噪声引起的，所有需要通过点/区域合并算法首先将过分割的区域合并起来，对于不能合并的孤立点或微小区域，则通过候选点/区域筛选算法予以去除，以此来保证预滤波后能够过滤出所有潜在的目标点，且最大程度地去除无效候选点/区域，以提升算法的运算效率。

本发明所开发的行人检测算法为基于机器学习的分类器检测算法。任何单一的分类器都无法满足车载行人检测的应用需求。一般的机器学习算法都具有复杂度高的特点，在硬件资源有限的嵌入式应用平台无法有效运行。本专利所开发的算法有效地结合了两种方法的优点，设计了级联分类器检测算法。检测模块运用级联的两级分类器对ROI区域中的目标进行遍历检测。第一级分类器以最快的速度检索出候选目标区域，其结果需保证足够高的检测率；第二级分类器对第一级分类器的输出结果进行第二次分类，以最大程度上去除误检，降低虚警率。

如图6所示，分类器检测的方式为窗口全图遍历方式，遍历窗口从小到大按照固定缩放比例进行缩放，且以固定步长完成全图遍历。如前面所述，分类器全图窗口遍历的检测方式存在计算复杂度高的缺点，为了最大程度地提升算法计算效率，本算法采用了级联分类器的设计方案。具体第一级分类器检测流程为：对于特定大小的遍历窗口，计算其对应的ROI区域，然后在该特定大小的遍历窗口在其对应ROI区域中遍历的过程中，验证其对应位置的Hot-spot属性，如果该特定遍历位置的窗口内，无有效候选点，则不予分类器计算，否则进入AdaBoost分类器计算。AdaBoost分类器按照上述流程对图像内的所有大小的目标进行分类检测，最终得到若干候选目标，即通过分类器判别的遍历窗口。通常情况下，一个目标会可能会被若干遍历窗口所检出，所以需要接下来需要运用窗口合并模块对第一级分类器所输出的候选目标窗口进行合并，以此来获得有效的检测目标区域输出，且该方法同时能去除一定的误报。作为第一级分类器，其目的是检测出所有的目标，即尽可能保证接近100％的检测率，在高检测率的同时必然存在较高的误检率。第二级分类器的目的则是降低误检率，即对通过第一级分类器的候选目标窗口做进一步筛选。第二级分类器分类能力较好，然而其运算速度较慢。所以如果我们通过第一级分类器以较快的运算速度获得所有的候选目标窗口，进而运用第二级分类器做进一步目标检测确认，则可以达到最优的计算效率，并不损失检测性能。

如图7所示，目标跟踪对检测结果进行跟踪，在时间轴上对检测结果进一步筛选验证，并对最终检测输出的目标赋予运动相关参数，如运动速度，运动方向等。目标跟踪模块包含了数据关联、Kalman滤波和特征跟踪等几个模块。数据关联模块对前一帧所检测的所有目标和当前帧检测出的所有候选目标进行关联；关联后的数据作为Kalman滤波器的输入，进而基于目标运动模型对量测值进行滤波，从而输出稳定的目标检测窗口。目标跟踪模块用于进一步对目标进行跟踪，对检测输出目标赋予运动速度、方向等属性。当检测模块失效时，跟踪模块可替代检测模块输出目标位置及相关运动属性。检测模块和跟踪模块有效组合，为行人检测算法提供了稳定可靠的目标输出。

距离估计模块为行人检测算法的重要组成部分。作为辅助驾驶系统，车载红外系统以最终向车辆驾驶员提前告警输出车辆行驶前方的危险源为目的，判断目标是否危险的首要条件即目标距离车辆的距离。本专利所开发的距离估计模块运用成像几何来估计目标在车辆前方所处的距离，同时运用跟踪信息和车辆自身的运动信息对基于成像几何的估计量在时间轴进行预测，以达到滤波平滑输出的目的。距离估计模块的流程如图8。

如图8所示，距离估计基于成像几何原理进行计算，并基于基本假设即行人站在前方水平的地面上这一条件，因为实际情况下，系统无法知道前方行人的具体高度，所以这里需要假设行人身高为1.75m，即假定的成年行人平均身高。且，距离估计采用最坏情况估计原则，即对估计出的距离进行结果修正时，系统会偏向于输出最小的估算距离，这样能够为汽车驾驶及行人安全提高最大程度的保障。

如图9所示，告警以跟踪信息、距离估计信息作为输入，依据客户定制的告警策略对危险源给出相应的告警提示信息。该模块可计算出目标和车辆相撞的概率，如果目标出现在车辆正前方的刹车安全距离以内，那么将触发最高级别的告警，并且会触发车辆的自动刹车系统。如果目标的状态有进入安全距离以内的可能，则给出声音警报，给驾驶员以警示。如果目标只是在安全区域内正常出现，且无进入危险区域的可能，那么只是给出简单提示。只有当综合车辆运动状态、目标运动状态，发现目标进入或者将要进入危险区域的时候才会触发高级别报警提示。

如图10所示，告警等级分为三个等级，其中L1为提示等级，L2为警示等级，L3为警告等级。当检测出的目标处于不同的区域时，则给予不同等级的告警标识。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种车载单目长波红外相机行人识别方法，其特征在于，包括以下步骤：

S1、将图像的原始数据流进行灰度映射，并对图像进行噪声抑制和增强处理；同时对图像作如下处理：对于不同距离的不同大小的行人目标，在相机安装位置及角度均一致的情况下，通过成像几何关系计算出行人目标在图像中呈现的不同位置及大小，不同大小的行人目标出现在图像中特定的ROI区域内，采用图像遍历的方式检测图像中的行人目标，用遍历窗口遍历的方式检测目标时，仅在相应的ROI区域内进行遍历；

S2、将所述噪声抑制和增强处理后的图像数据进行如下HOT-SPOT提取处理：对于每个像素，计算其邻域的加权均值，再与预设阈值比较，若大于预设阈值，则作为有效候选点，否则作为无效候选点，对每个像素处理完之后然后将候选点或由候选点组成的候选区域合并后进行候选点筛选，将筛选后的所有候选点进行预滤波，得到有效候选点二值图像，所述筛选的目的是对不能合并的孤立点或微小区域进行筛选，以保证预滤波后能够过滤出所有潜在目标点；

S3、进行第一级分类器检测：对于特定大小的遍历窗口，计算其对应的ROI区域，然后在特定的遍历窗口的对应ROI区域中遍历的过程中，验证对应位置HOT-SPOT属性，如果该特定的遍历窗口内，无有效候选点，则不进行分类器计算，否则进行AdaBoost分类器计算；AdaBoost分类器对图像内的所有大小的目标进行分类检测，最终得到若干候选目标，一个目标若被若干遍历窗口所检出，则运用窗口合并的方法对第一级分类器所输出的候选目标窗口进行合并，以此来获得有效的检测目标区域输出；第一级分类器检测的方式为窗口全图遍历方式，遍历窗口从小到大按照固定缩放比例进行缩放，且以固定步长完成全图遍历；

进行第二级分类器检测：对第一级分类器检测结果进行SVM检测；

S4、对前一帧所检测的所有目标和当前帧检测出的所有候选目标进行关联；关联后的数据作为Kalman滤波器的输入，进而基于目标运动模型对量测值进行滤波，从而输出稳定的目标检测窗口；

S5、基于行人站在前方水平的地面上这一条件，利用成像几何原理进行目标距离估计，并基于输出最小的估算距离的原则，对估计出的距离进行结果修正；

S6、以目标运动方向和速度、车辆运动方向和速度、距离估计信息三者作为输入，依据预设告警策略对危险源给出相应的告警提示信息。