CN111126178A - 红外-可见光双目行人身体多部件融合的持续距离估计方法 - Google Patents

Abstract

红外‑可见光双目行人身体多部件融合的持续距离估计方法，属于智能图像视觉距离估计领域，为了解决通过车前图像估计人车距离准确性的问题，要点是获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离，效果是提高了人车距离估计准确性。

Description

红外-可见光双目行人身体多部件融合的持续距离估计方法

技术领域

本发明属于智能图像视觉距离估计领域，具体的说是一种通过红外-可见双目摄像头获取图像，以级联式融合的方式对身体单部件测距结果进行处理的距离估计方法。

背景技术

随着自主车领域的不断创新，车载辅助驾驶得到了人们的广泛关注。而行人距离估计系统作为判断汽车驾驶过程中，行人是否安全的重要指标之一，也成为了当今研究的热点问题。同时，行人距离估计系统为移动机器人避让行人、无人地面车行驶、自主车避障及路径规划等多方面提供了重要的数据支持。

针对距离估计系统的研究方法多样，总的来说可以分为：基于可见光对距离进行估计，基于红外光对距离进行估计及通过多种测距仪器对距离进行估计。

现阶段对于距离估计方法的研究主要集中于突破距离估计精度的问题，针对该问题现有主要的解决方法是提高硬件设施的要求或增加算法的复杂度。提高对硬件设备要求，势必会面临距离估计系统整体造价提升的问题，对于车载辅助驾驶系统而言，会造成难以大面积推广的难题。若增加算法复杂度以提升距离估计精度，则会对系统的实时性造成影响，使系统无法及时向控制系统反馈行人距离，造成算法失效的问题。因此，提出一种高精度、实时性高且价格符合市场需求的距离估计方法已经成为了亟待解决的问题。

专利《一种自供电汽车避险辅助系统》(公开号：CN207617603U)提出一种通过红外感应器感知车辆附近行人，利用超声测距仪对距离进行估计，将感知行人结果及距离估计值作为中央处理器输入，当行人处于危险状态时控制语音发生器发出警告，达到避险辅助的目的。专利《行人距离检测方法和装置》(公开号：CN106909929A)提出一种通过获取行人像素坐标结合相机参数对距离进行估计的方法。该方法利用行人矩形特征训练多个弱分类器，并以级联的方式对其进行组合构成强分类器，获取测试图像中行人坐标位置，得到估计距离。

本发明提出一种利用红外-可见光双目摄像头对图像进行获取，以达到在不同能见度、光照条件下通过数据级融合的方式，达到对目标行人与车辆之间的距离进行持续实时估计目的的方法，对头部像素高度进行精度处理，通过对不同身体部件获取距离估计结果进行一级数据融合后，以能见度系数作为权重判断依据，对可见光距离估计结果与红外光距离估计结果进行数据级融合，并通过跟踪的方式对距离估计结果进行校验，使得本发明具有精确度高、稳定性强、适用于多种环境条件的特点。

发明内容

为了解决通过车前图像估计人车距离准确性的问题，本发明提出如下方案：一种红外-可见光双目行人身体多部件融合的持续距离估计方法，包括如下步骤：

S1.通过红外-可见光双目摄像头拍摄同一车前图像，得到红外车前图像和可见光车前图像；

S2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置；

S3.获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；

S4.对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离。

有益效果：本发明通过红外-可见光双目摄像头获取图像，保证了信息来源的稳定性。利用持续跟踪与间歇性检测相结合的方法，确保不间断的对行人进行像素位置确定。通过粗细粒度行人头高判决法对行人头高进行精准判断，以保证依据行人头部件高度获取距离方法的有效性。通过级联式距离融合的方式使得本算法可在多种场景下应用，并具有稳定性与准确性。通过跟踪对视频前后帧距离进行预测，对算法失效帧行人进行判断，增强算法的鲁棒性。

附图说明

图1是应用基于头部高度的距离估计算法原理逻辑图；

图2是多时间尺度检测跟踪法及距离估计校验示意图；

图3是粗细粒度行人头高判决法示意图；

图4是实施例1级联式行人头与脚部件距离融合示意图；

图5是实施例2级联式行人头与脚部件距离融合示意图；

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：一种不同能见度下的行人身体多部件融合持续距离估计方法的原理逻辑图如图1所示，该算法具体实施步骤如下：

第1步：通过红外-可见光双目摄像头获取图像

第2步：通过多时间尺度检测跟踪法确定目标行人位置；

第3步：利用粗细粒度行人头高判决获取行人头高；

第4步：对行人不同身体部件距离估计结果进行一级融合，对可见光及红外光图像输出距离进行二级融合，完成级联式行人头与脚部件距离融合；

第5步：对距离输出结果进行跟踪检验，输出校验准确距离；

由此，本发明的重点是通过红外-可见光双目进行图像获取，保证了在任意光照条件下对图像信息获取的有效性。多时间尺度检测跟踪法保证数据支撑来源稳定，利用粗细粒度行人头高判决增强头部件距离估计方法的准确性，级联式行人头与脚部件距离融合的方法拓宽了本发明的应用场景，使其不受到能见度、光照等条件影响限制，同时，加入跟踪算法对距离估计结果进行校验，防止距离估计失效情况的发生。行人位置通常通过检测或跟踪的方法来确定，但由于移动设备对行人距离估计实时性及准确性的要求，单一方法的使用难以满足，通过持续跟踪确定目标行人位置，间歇检测校准位置结果的方式弥补了在应用于辅助驾驶系统中，单一方法使用的缺点。在已有的行人头高获取方法中，通常采用分割算法来进行。分割算法主要依照阈值、区域或边缘对图像进行分割，进而得到头部像素高度。由于移动设备应用环境复杂，仅使用图像分割算法易造成头高获取失效的问题。本发明通过粗细粒度行人头高判决的方法，首先通过行人身体高度的固定比例对头高进行粗粒度估计，并以粗粒度估计结果为校准依据，判断细粒度图像分割对行人头高的判决是否准确，当细粒度判决结果超过粗粒度校准阈值时，即判定细粒度头高判决结果失效，并以粗粒度判决结果作为行人头高进行后续计算。本发明主要以行人身体部件作为信息来源估计距离，在道路环境中，单一行人身体部件极易被遮挡，若仅通过单一身体部件进行距离估计算法失效率将大大提升。本发明以头、脚两个不易被同时遮挡的身体部件作为距离判定依据，通过一级融合对提升了方法的精准度与稳定性。

行车环境复杂多变，在恶劣的天气下，自主汽车对行车环境中的行人位置难以进行判断，极易造成交通事故的发生，而单一可见光摄像头在感光程度低的情况下同样难以判断。红外摄像头通过温度对未知物体进行感知，能见度对其工作不造成影响，因此，在能见度环境对辅助驾驶系统判断行人距离造成影响时，红外距离估计系统即可发挥作用。但在光照强烈的情况下，相较于红外光距离估计系统而言，可见光距离估计系统置信度较高。本发明以环境能见度程度为权重判断依据，对可见光距离估计系统与红外光距离估计系统融合，作为二级融合。一级融合与二级融合共同构成级联式行人头与脚部件距离融合，极大拓宽了本发明的应用领域。为保证本发明的有效性，在发明中加入跟踪算法，对图像前后两帧进行距离预测。当距离估计方法失效时，将预测结果作为距离估计结果，保障了方法的稳定性。原理逻辑图如图1所示。

随着自主车领域的全面发展，各类距离估计系统层出不穷，以提高检测精度为目的，各类系统通常采用提高系统硬件要求或提高算法复杂度的方式。但由于车载系统对性价比及实时性的要求，现有距离估计方法难以满足要求。因此，一种具有高精度、高性价比、高实时性的距离估计方法成为亟待解决的问题。针对以上问题，本发明设计了一种可应用于不同能见度条件下，在多方面保证车载距离估计系统要求且简单易行的行人距离估计方法。本发明通过多时间尺度检测跟踪法不间断的确定行人像素位置，并根据位置结果获取含行人图像。利用粗细粒度行人头高判决法对行人头部高度进行精准估计，并通过现有行人头、脚部件距离估计法得到相应距离。通过级联式行人头与脚部件距离融合分别对可见光或红外光情况下头、脚部件距离估计结果一级融合，而后对可见光和红外光情况下距离估计结果进行二级融合。融合结果经跟踪算法校验，保证其真实有效。

本发明的具体实现是：主要由红外-可见光双目摄像头图像获取、多时间尺度检测跟踪法、粗细粒度行人头高判决、级联式行人头与脚部件距离融合、跟踪校验距离四部分组成，具体如下：

(1)红外-可见光双目摄像头图像获取

红外-可见光双目摄像头图像获取作为距离估计方法的第一步，图像获取是为后续距离估计方法提供了技术支撑。在复杂的应用环境中，由于天气、光照等原因造成图像无法获取成为了基于图像进行工作的巨大阻碍。本发明利用红外-可见光双目摄像头进行拍摄图像，分别避免了在光照强度过高造成红外摄像头无法获取图像，以及在能见度较低情况下，可见光摄像头拍摄图像失效的情况发生。

(2)多时间尺度检测跟踪法

多时间尺度检测跟踪法保障了后续方法的有效性。该方法从本质上来说是为保证方法的准确性，通过检测和跟踪结合的方式确定行人在图像中的像素位置及区域，以便于后续算法的计算应用。

多时间尺度检测跟踪法首先对第一帧图像进行标定处理，而后通过KCF算法处理视频序列对行人进行跟踪，同时将跟踪结果作为检测训练样本，利用DPM算法检测图像序列中的行人，以此修正跟踪结果。具体工作如下：

(1)设定视频序列中某一帧为第一帧，并主动对该帧的行人信息进行标注；

(2)根据第一帧标注内容，利用KCF算法持续对行人进行跟踪；

(3)在进行m帧图像跟踪后，将跟踪结果作为输入，提取HOG特征并通过SVM分类器实现在线训练行人检测模型，并检测视频序列中的图像。同时检测结果将作为跟踪结果的校验存在。设定每隔m帧图像对图像进行一次检测即跟踪矫正，共进行n次，那么检测帧数k即为：

k＝1+m×n，n∈Z (1)

多时间尺度检测跟踪法原理示意图如图2所示，图中m＝5，k＝1，6,11。

(3)粗细粒度行人头高判决法

以提高头部件距离估计结果为目的，本发明提出了粗细粒度行人头高判决。行人头部件像素高度决定了后续融合距离的精确度，是本发明的关键所在。该方法由粗粒度行人头高估计与细粒度行人头高估计两部分构成。其中，粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高H_{re_head}与身体高度H_body比例r_hb通过大量仿真实例确定。头高为

H_{re_head}＝H_body×r_hb (2)

显然，通过头身比例获取的行人头部像素高度结果并不精确，但可以将结果误差控制在合理范围内。故而，由超像素算法得到的头部像素高度结果应在参考范围上下一定比例上浮动：

H_{re_head}×(1-r_re)＜H_head＜H_{re_head}×(1+r_re) (3)

其中，r_re为浮动系数，根据不同场景进行相应调整，通常控制在0.2-0.3之间。当通过细粒度方法获取到的头部像素高度H_head符合公式3要求时，即可将H_head作为头部高度输出，并应用于后续算法计算当中，否则判定超像素获取行人头部像素高度失效，并令H_{re_head}作为输出，进行距离估计的后续工作。通过该方式，保证了行人头部部件距离估计算法的完整性，以及算法的稳定性。

细粒度行头高估计根据粗粒度行人头高确定头部件像素区域，并利用已有分割算法对该区域内图像进行进一步处理，从而进一步获得精准头高。为避免细粒度行人头高获取失效，通过粗粒度行人头高结果对其进行校正，当细粒度结果超过粗粒度校正阈值时，判断细粒度头高结果失效，以粗粒度头高作为头高结果输出。粗细粒度行人头高判决法示意图如图3所示。

(4)级联式行人头与脚部件距离融合

本发明主要应用于自主车辅助驾驶系统中，面对环境相对较为复杂。在人车混行的交通场景中，行人单个身体部件极易被遮挡，造成距离结果失效的问题；在不同能见度条件下，单一使用可见光相机或红外相机都将受到不同程度的限制。为避免上述问题，提出级联式行人头与脚部件距离融合。该方法主要分为一级融合与二级融合两步：一级融合首先通过已知算法获得头、脚单部件等精度距离估计结果。为保证融合结果稳定，通过头、脚部件距离估计标准差作为融合权重的判断依据。通过头部件获取距离估计结果集合x₁，通过脚部件获取距离估计结果集合x₂，

是头部件获取距离估计结果集合x₁的均值，

是脚部件获取距离估计结果集合x₂的均值，头部件距离估计结果所占权重为p₁，脚部件距离估计结果所占权重为p₂，σ是标准差，则融合权重为：

在一种实施例中，对于实际的某一次距离检测中，头部件距离估计结果D_A，脚部件距离估计结果D_B，则距离估计值D₁：

D₁＝p₁D_A+p₂D_B (5)。

当然，为了实现二级融合，本发明提供了根据可见光及红外光图像输出的估计距离进行二级融合的方法是：

获取红外车前图像距离估计集合：对于使用红外车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使红外车前图像所获取的头部件距离估计结果集合是D_H，红外车前图像的脚部件距离估计结果集合是D_F，则红外车前图像的距离估计值集合是D_V：

D_V＝p₁D_H+p₂D_F

获取可见光车前图像距离估计集合：对于使用可见光车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使可见光车前图像所获取的头部件距离估计结果集合是D_G，可见光车前图像的脚部件距离估计结果集合是D_K，则可见光车前图像的距离估计值集合是D_I：

D_I＝p₁D_G+p₂D_K

对于红外车前图像的距离估计值集合D_V，可见光车前图像的距离估计值集合D_I，

是红外车前图像的距离估计值集合D_V的均值，

是可见光车前图像的距离估计值集合D_I的均值，红外车前图像的距离估计结果所占权重为p₃，可见光车前图像的距离估计结果所占权重为p₄，则融合权重为：

对于实际的某一次距离检测中，红外车前图像的距离估计结果D_C，可见光车前图像的距离估计结果D_D，则距离估计值D₂：

D₂＝p₃D_C+p₄D_D (7)。

级联式行人头与脚部件距离融合示意图如图4、5所示。

(5)距离估计校验

距离估计校验保证了本发明的完整性。通过对目标行人进行持续跟踪，以保证跟踪准确度为目的检测行人，并将被检测帧作为校准帧，修正跟踪结果。同时，在跟踪过程中，本发明采用回归的方法对跟踪框的质心进行分析，并去除“错误点”，通过前后帧预测分析补全去除位置点。

当行人由于全遮挡等情况导致距离估计方法失效时，可利用跟踪算法的预测功能实现对失效行人的距离估计。假设第f帧距离估计方法失效，f-1帧距离为D_f-1，f+1帧距离为D_f+1，那么判断第f帧距离估计结果D_f为：

D_f＝0.5×(D_f-1+D_f+1) (8)

距离估计校验示意图如图2所示。

本发明所提出的红外-可见光双目行人身体多部件距离融合估计方法保证了方法在不同能见度及光照情况下获取图像的有效性；解决了在移动设备上对行人位置获取时，部分帧数距离估计失效的问题，确保了后期对行人持续有效的距离估计；改进已有身体部件距离估计算法中头高的获取方法，提升了头高的精度；增强了方法的应用范围，在大雾、雨雪等恶劣的天气环境中或身体部件被部分遮挡时仍可准确对距离进行估计；完成了距离估计的前后帧校验，保证了算法的完整性。

本发明是以智能图像为基础，利用红外-可见光双目摄像头进行图像获取，期间利用多时间尺度检测跟踪法实现了行人位置的确定，根据粗细粒度行人头高判决法增强了对头部像素高度的获取准确性，通过级联式距离融合对距离进行精准估计，从而提高了距离估计结果的精度，在方法中增加距离估计校验，预防方法失效的情况发生，保证了本发明的完整性。(1)本发明仅通过单目摄像头及红外摄像头即可获取待测图像，对硬件成本要求低，便于推广，且双目摄像头对图像来源的有效性进行了保证；(2)为减低方法的时间消耗并提高行人定位的精准性，本发明采用多时间尺度检测跟踪法，通过实施跟踪间歇检测的方法确定行人所在位置；(3)行人身体部件信息获取是距离估计的关键，本发明对行人头部件进行粗细粒度判决，通过粗粒度身体比例判断头高及细粒度图像分割判断头高，粗细粒度相结合的方法在提高头高获取精度的同时避免了细粒度头高判决失效的情况发生；(4)适应各种复杂状况已经成为人们对辅助驾驶系统必不可少的要求，本发明通过级联式行人头与脚部件距离融合的方式对身体部件距离估计结果处理，一级融合避免了行人身体部分遮挡对距离估计结果的影响，二级融合使得本发明的应用范围更加广泛，能够适应不同能见度环境，对行人进行距离估计；(5)由于算法复杂的应用环境，距离估计结果失效的情况难免发生，为防止上述问题的发生，本发明加入跟踪算法。通过跟踪算法的预测功能，利用前后帧距离估计结果对失效帧的距离结果进行预测，从而保证本发明的完整性。本发明符合自主汽车驾驶过程中对于辅助驾驶系统多方面的要求，具有极强的推广价值。

本发明首先利用红外-可见光双目摄像头保证图像的有效获取，通过持续跟踪-间歇检测的方法对行人位置确定，在获取待测图像后，持续对图像中行人位置进行跟踪，为保证检测精度，每隔相同时间利用检测算法对跟踪结果校验；根据行人位置获取行人对应像素图像区域，并进行粗细粒度行人头高判决，粗粒度判决以行人与头部之间比例对行人头高获取，细粒度判决根据分割算法确定，同时，粗粒度判决将作为细粒度判决的验证依据，防止过度分割等情况造成细粒度判决失效情况发生；利用已知算法获取在可见光及红外光条件下行人头、脚部件距离估计结果，并采用级联式融合的方式处理，最终得到估计距离。级联式融合分为两级，一级融合针对可见光或红外光情况下，行人头、脚部件距离估计结果进行，二级融合针对可见光及红外光头、脚融合结果进行；在方法运行中，当估计距离超出跟踪预测结果一定阈值范围时，判断距离估计结果失效，并以跟踪预测结果作为最终距离估计结果。

本发明适用于移动设备对于行人的距离估计。(1)适用于移动机器人对行人的躲避：随着智能制造时代的到来，移动机器人行业得到了空前的发展，而对于行人的避让作为移动机器人亟待解决的问题也得到了人们的关注。移动机器人面对环境复杂，如何在灯光昏暗、能见度低的情况下对行人进行有效避让是本发明解决的主要问题。通过可见-红外双目摄像头同时对图像进行获取，保证了图像信息获取的有效性，后期处理图像并估计距离的过程不受外界环境影响。据此，本发明满足移动机器人避让行人中对于行人距离估计方面的需求。(2)适用于无人地面车(UGV)对于行人的定位：目前无人地面车主要应用于物流运输、检测、保护、医疗疏散等急救场景中，在危险状况下，对于环境中的行人进行及时定位，并做出相应措施是无人地面车必须要解决的问题。UGV面对环境复杂，室外风沙、雨雪已经光照强烈等极端天气情况增加了对于行人距离估计的难度。本发明通过红外-可见光双目摄像头进行图像获取的方法及级联式行人头与脚部件距离融合的方法，保证了极端恶劣室外天气情况下对行人距离获取的有效性及准确性。(3)适用于自主汽车辅助驾驶领域，在该过程中，主要作为行人与车辆之间的距离判定存在，为行人危险判定提供了重要的数据支撑。本发明能够满足在辅助驾驶行人距离估计过程中，对于持续性、准确度及完整性等多方面的需求，创新性的改进了行人位置确定、身体部件信息获取、应用场景及算法失效的应急处理等多方面问题。仅以单目摄像头及红外摄像机作为图像获取设备，对硬件要求程度低，易于实现。同时双目摄像头保证了自主汽车夜间行驶的安全性，解决了巨大的安全隐患问题。

实施例1：

本实施例子利用车载摄像头(480*640@30Hz)及红外摄像头(480*640@30Hz)完成实验图像采集，本图像在秋季街道上完成拍摄，图像中含行人目标行人4名，分别采取面向摄像头方向行走、低头玩手机的姿态。通过本发明对目标行人与摄像头之间距离进行估计，二者距离估计结果误差如图4所示，最终融合误差不超过0.5m。

实施例2：

本实施例子利用车载摄像头(480*640@30Hz)及红外摄像头(480*640@30Hz)完成实验图像采集，本图像在秋季街道上完成拍摄，图像中含行人目标行人4名，分别采取横穿摄像头前方、低头玩手机、横过斑马线的姿态。通过本发明对目标行人与摄像头之间距离进行估计，二者距离估计结果误差如图4所示，最终融合误差不超过0.5m。

实施例3：

本实施例为了解决通过车前图像估计人车距离准确性的问题，提出如下方案：一种红外-可见光双目行人身体多部件融合的持续距离估计方法，包括如下步骤：

S1.通过红外-可见光双目摄像头拍摄同一车前图像，得到红外车前图像和可见光车前图像；

S2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置；

S3.获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；

S4.对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离。

进一步的，所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，还包括S5.对距离输出结果进行跟踪检验，输出校验准确距离。

进一步的，步骤S3中获取两种图像中的人头部像素高度的方法是以粗细粒度对行人头高判决，方法包括由粗粒度行人头高估计与细粒度行人头高估计：

粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高H_{re_head}与身体高度H_body比例r_hb通过仿真实例确定，

头高为

H_{re_head}＝H_body×r_hb

细粒度方法是由超像素算法得到头部像素高度，而头部像素高度应在比例范围内浮动，其参考范围是：

H_{re_head}×(1-r_re)＜H_head＜H_{re_head}×(1+r_re)

其中，r_re为浮动系数，控制在0.2-0.3之间，当通过细粒度方法获取到的头部像素高度H_head位于参考范围内，将H_head作为头部高度输出，否则判定超像素获取行人头部像素高度失效，并令H_{re_head}作为输出。

进一步的，步骤S2的多时间尺度检测跟踪的方法是：

(1)设定视频序列中某一帧为第一帧，并主动对该帧的行人信息进行标注；

(2)根据第一帧的标注内容，使用KCF算法持续对行人进行跟踪；

(3)在进行m帧图像跟踪后，将跟踪结果作为输入，提取HOG特征并通过SVM分类器在线训练行人检测模型，并检测视频序列中的图像，检测结果将作为跟踪结果的校验存在，设定每隔m帧图像对图像进行一次检测实现跟踪矫正，共进行n次，检测帧数k为：

k＝1+m×n，n∈Z

进一步的，步骤S4中，对行人不同身体部件距离估计结果进行一级融合的方法是：待估计距离的行人站在同一已知距离的多个不同位置，该距离是行人与车前的距离，进行距离估计，在一个位置分别进行投部件距离估计和脚部件距离估计，完成全部位置的距离估计，通过头部件获取距离估计结果集合x₁，通过脚部件获取距离估计结果集合x₂，

是头部件获取距离估计结果集合x₁的均值，

是脚部件获取距离估计结果集合x₂的均值，头部件距离估计结果所占权重为p₁，脚部件距离估计结果所占权重为p₂，σ是标准差，则融合权重为：

进一步的，对于实际的某一次距离检测中，头部件距离估计结果D_A，脚部件距离估计结果D_B，则距离估计值D₁：

D₁＝p₁D_A+p₂D_B

进一步的，步骤S4中对根据可见光及红外光图像输出的估计距离进行二级融合的方法是：

获取红外车前图像距离估计集合：对于使用红外车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使红外车前图像所获取的头部件距离估计结果集合是D_H，红外车前图像的脚部件距离估计结果集合是D_F，则红外车前图像的距离估计值集合是D_V：

D_V＝p₁D_H+p₂D_F

获取可见光车前图像距离估计集合：对于使用可见光车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使可见光车前图像所获取的头部件距离估计结果集合是D_G，可见光车前图像的脚部件距离估计结果集合是D_K，则可见光车前图像的距离估计值集合是D_I：

D_I＝p₁D_G+p₂D_K

对于红外车前图像的距离估计值集合D_V，可见光车前图像的距离估计值集合D_I，

是红外车前图像的距离估计值集合D_V的均值，

是可见光车前图像的距离估计值集合D_I的均值，红外车前图像的距离估计结果所占权重为p₃，可见光车前图像的距离估计结果所占权重为p₄，则融合权重为：

对于实际的某一次距离检测中，红外车前图像的距离估计结果D_C，可见光车前图像的距离估计结果D_D，则距离估计值D₂：

D₂＝p₃D_C+p₄D_D。

本发明所提出的红外-可见光双目行人身体多部件距离融合估计方法保证了方法在不同能见度及光照情况下获取图像的有效性；解决了在移动设备上对行人位置获取时，部分帧数距离估计失效的问题，确保了后期对行人持续有效的距离估计；改进已有身体部件距离估计算法中头高的获取方法，提升了头高的精度；增强了方法的应用范围，在大雾、雨雪等恶劣的天气环境中或身体部件被部分遮挡时仍可准确对距离进行估计；完成了距离估计的前后帧校验，保证了算法的完整性。

本发明是以智能图像为基础，利用红外-可见光双目摄像头进行图像获取，期间利用多时间尺度检测跟踪法实现了行人位置的确定，根据粗细粒度行人头高判决法增强了对头部像素高度的获取准确性，通过级联式距离融合对距离进行精准估计，从而提高了距离估计结果的精度，在方法中增加距离估计校验，预防方法失效的情况发生，保证了本发明的完整性。(1)本发明仅通过单目摄像头及红外摄像头即可获取待测图像，对硬件成本要求低，便于推广，且双目摄像头对图像来源的有效性进行了保证；(2)为减低方法的时间消耗并提高行人定位的精准性，本发明采用多时间尺度检测跟踪法，通过实施跟踪间歇检测的方法确定行人所在位置；(3)行人身体部件信息获取是距离估计的关键，本发明对行人头部件进行粗细粒度判决，通过粗粒度身体比例判断头高及细粒度图像分割判断头高，粗细粒度相结合的方法在提高头高获取精度的同时避免了细粒度头高判决失效的情况发生；(4)适应各种复杂状况已经成为人们对辅助驾驶系统必不可少的要求，本发明通过级联式行人头与脚部件距离融合的方式对身体部件距离估计结果处理，一级融合避免了行人身体部分遮挡对距离估计结果的影响，二级融合使得本发明的应用范围更加广泛，能够适应不同能见度环境，对行人进行距离估计；(5)由于算法复杂的应用环境，距离估计结果失效的情况难免发生，为防止上述问题的发生，本发明加入跟踪算法。通过跟踪算法的预测功能，利用前后帧距离估计结果对失效帧的距离结果进行预测，从而保证本发明的完整性。本发明符合自主汽车驾驶过程中对于辅助驾驶系统多方面的要求，具有极强的推广价值。

本发明首先利用红外-可见光双目摄像头保证图像的有效获取，通过持续跟踪-间歇检测的方法对行人位置确定，在获取待测图像后，持续对图像中行人位置进行跟踪，为保证检测精度，每隔相同时间利用检测算法对跟踪结果校验；根据行人位置获取行人对应像素图像区域，并进行粗细粒度行人头高判决，粗粒度判决以行人与头部之间比例对行人头高获取，细粒度判决根据分割算法确定，同时，粗粒度判决将作为细粒度判决的验证依据，防止过度分割等情况造成细粒度判决失效情况发生；利用已知算法获取在可见光及红外光条件下行人头、脚部件距离估计结果，并采用级联式融合的方式处理，最终得到估计距离。级联式融合分为两级，一级融合针对可见光或红外光情况下，行人头、脚部件距离估计结果进行，二级融合针对可见光及红外光头、脚融合结果进行；在方法运行中，当估计距离超出跟踪预测结果一定阈值范围时，判断距离估计结果失效，并以跟踪预测结果作为最终距离估计结果。

本发明适用于移动设备对于行人的距离估计。(1)适用于移动机器人对行人的躲避：随着智能制造时代的到来，移动机器人行业得到了空前的发展，而对于行人的避让作为移动机器人亟待解决的问题也得到了人们的关注。移动机器人面对环境复杂，如何在灯光昏暗、能见度低的情况下对行人进行有效避让是本发明解决的主要问题。通过可见-红外双目摄像头同时对图像进行获取，保证了图像信息获取的有效性，后期处理图像并估计距离的过程不受外界环境影响。据此，本发明满足移动机器人避让行人中对于行人距离估计方面的需求。(2)适用于无人地面车(UGV)对于行人的定位：目前无人地面车主要应用于物流运输、检测、保护、医疗疏散等急救场景中，在危险状况下，对于环境中的行人进行及时定位，并做出相应措施是无人地面车必须要解决的问题。UGV面对环境复杂，室外风沙、雨雪已经光照强烈等极端天气情况增加了对于行人距离估计的难度。本发明通过红外-可见光双目摄像头进行图像获取的方法及级联式行人头与脚部件距离融合的方法，保证了极端恶劣室外天气情况下对行人距离获取的有效性及准确性。(3)适用于自主汽车辅助驾驶领域，在该过程中，主要作为行人与车辆之间的距离判定存在，为行人危险判定提供了重要的数据支撑。本发明能够满足在辅助驾驶行人距离估计过程中，对于持续性、准确度及完整性等多方面的需求，创新性的改进了行人位置确定、身体部件信息获取、应用场景及算法失效的应急处理等多方面问题。仅以单目摄像头及红外摄像机作为图像获取设备，对硬件要求程度低，易于实现。同时双目摄像头保证了自主汽车夜间行驶的安全性，解决了巨大的安全隐患问题。

实施例4：

对于实施例3中的方案，其中人头部像素高度的获取方法，包括如下步骤：

S1.位于车辆前方的单目摄像机对行人图像采集，通过HOG特征获取行人头部标定框，通过超像素算法获取头部像素区域，获取行人头部像素区域，得到目标二值图；

S2.建立垂直方向能量分布图，获取行人头部像素高度。

进一步的，步骤S2的方法是：

利用能量滤波算法获取目标二值图的垂直方向能量分布图，在垂直能量分布图中，横坐标方向为图像坐标系中纵坐标方向，大小与图像坐标系中纵坐标大小相同，能量分布图纵坐标为图像中对应像素行的能量值大小；

由头部目标区域图像与垂直方向能量分布图之间的对应关系，行人头顶位置为能量曲线初始值，确定行人头顶部像素位置纵坐标P_t；行人头部的底部与其他身体部分连接处将出现低谷，据此确定行人头部的底部像素位置纵坐标P_b；

行人头部像素高度由下式表示：

H_h＝P_b-P_t。

进一步的，所述的单目摄像机直立行人头部像素高度获取方法还包括：

S3.获取行人身高像素，并根据行人头身像素比例对头部像素高度结果进行校验；

S4.输出符合校验结果的行人头部像素高度，对于未通过校验的结果，根据获取的行人身高像素固定比例，输出最终行人头部像素高度。

进一步的，身体高度像素取得的方法是，利用超像素分割算法对行人框内像素进行计算，并分割出行人及背景区域，去除冗余信息，以能量滤波算法对分割结果进行操作，得到垂直能量统计结果，分析结果得到身体高度像素。

进一步的，所述头部像素区域的提取中，获取行人头部像素高度的方法是以粗细粒度对行人头高判决，方法包括由粗粒度行人头高估计与细粒度行人头高估计：

粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高H_{re_head}与身体高度H_body比例r_hb通过仿真实例确定，

头高为

H_{re_head}＝H_body×r_hb

细粒度方法是由超像素算法得到头部像素高度，而头部像素高度应在比例范围内浮动，其参考范围是：

H_{re_head}×(1-r_re)＜H_head＜H_{re_head}×(1+r_re)

其中，r_re为浮动系数，控制在0.2-0.3之间，当通过细粒度方法获取到的头部像素高度H_head位于参考范围内，将H_head作为头部高度输出，否则判定超像素获取行人头部像素高度失效，并令H_{re_head}作为输出。

进一步的，所述的获取头部像素区域的方法是：

(1)聚类初始化：在CIELAB彩色空间内，输入需要生成的超像素个数k，并根据处理区域内像素点数量n确定相同的网格间距s保证获取超像素块大小相同；

其中：

使用像素点颜色与位置信息对CIELAB彩色空间内五维向量距离中心进行定义：

C_k＝[l_k a_k b_k c_k x_k y_k]^T

其中l，a，b表示的是颜色信息，x，y表示的是空间信息，l_k是中心点色彩的亮度，a_k是中心点在红色/品红色和绿色之间的位置，b_k是中心点在黄色和蓝色之间的位置，x_k是中心点与x轴的距离，y_k是中心点与y轴的距离；

(2)像素距离计算：定义距离指标D来表示像素i与距离中心C_k之间的关系，通过颜色距离与空间距离共同判断，以权重m决定二者对于距离指标D的贡献大小：

其中，d_c表示颜色距离，d_s表示空间距离，m代表距离调节权值系数，当m更小时，颜色距离的权重更高，超像素对于目标边缘的吸附性更强，超像素的形状和大小的规则性下降；当m更大时，空间距离的权重更高，形成超像素块的规则性更好；

(3)像素分配：像素分配过程中的每个像素i都将根据与聚类中心点的距离被分配到相应的超像素块中，像素区域的对应搜索区域是超像素区域的二倍；

(4)聚类中心更新：当像素i被分配到聚类中心后，根据像素点颜色与位置信息重新对聚类中心确定，利用空间二范数计算更新后与前一聚类中心的残差值，不断重复更新过程直至误差收敛，停止更新并确定超像素块；

(5)后处理：在聚类处理后，将出现部分像素点不属于任何超像素块，利用连通算法对孤立像素点进行再分配处理。

本发明所提出的直立行人头部件获取方法基于智能图像分析，通过HOG特征确定行人头部所在大致区域，由于超像素分割算法的复杂度较高，仅对头部大致区域进行超像素处理，获取头部件的方法同时保证了算法的准确性及实时性。为避免算法失效的情况发生，通过身体与头部像素高度之间的关系，对头部完整性进行校验，并给出了高度特性获取的具体方法。

以对行人进行安全保护的角度出发，基于身体部件进行信息获取的方法无需行人携带其余设备，符合实际情况要求，更利于在交通系统中的推广。以行人安全为目的，本发明为基于头部高度的行人距离估计方法提供了数据支撑。

1)HOG特征作为一种特征描述方法已经在图像人体检测中得到了广泛的应用呢，并逐渐成为主流算法。本发明以HOG特征作为信息获取基础，保障了后续算法的稳定性。通过HOG特征获取信息并进行深度挖掘，区分出头部件并用于行人头部像素获取的过程中。由于行人头部像素获取过程较为辅助，直接对图像内所有信息进行操作将对实时性造成影响，故而通过区分头部件后单独处理头部件的方式同时保证了发明的时效性与像素获取精度。

2)头部作为身体刚性部件，具有在行人处于任何姿态情况下不易变形的特点，由此采用单目测距原理进行具体估计。头部件获取的完整性即为距离估计结果是否准确的关键所在。为了更精准取得行人头部件像素大小，本发明采用超像素分割算法应用于获取过程中。超像素分割算法通过对位置相邻且颜色、纹理等特征相似的像素点进行分割，有效去除冗余区域提取有效信息。由于该算法将逐个对像素点进行计算，因此计算量是算法应用过程中需要解决的问题。本发明通过基于HOG特征的直立行人头部件获取准则对图像进行一次处理，获得头部及周边像素点。由此，当进行超像素行人头部件像素获取时能够将计算量控制在一定范围内，保证了方法的计算速度。

3)在图像中，行人头部像素占身体像素比重较小，且在复杂的交通环境中，面对场景多样，仅通过基于HOG特征的直立行人头部件获取准则、超像素行人头部件像素获取两种方法获取头部像素，存在方法失效的风险。为保证本发明的完整性并形成闭环，通过头高与身体高度之间的比例关系对头部像素获取结果进行测试，并对未通过测试的结果采取其他方案获得头部信息。以自检的方式对头部信息获取结果进行确认，极大的降低了距离输出结果的错误率，在实际应用过程中，安全性得到了更高的保障。

4)自检过程主要通过行人头部及身体像素高度比例进行。行人头部像素高度依据超像素行人头部件像素获取，身体像素高度根据分割算法结合阈值分割进行，具体来说，通过HOG特征对图像进行第一次处理，而后对处理结果进行超像素分割，去除行人周边的冗余信息。以能量滤波法处理分割结果，通过结果波形图最终得到行人像素高度。判断行人危险指数是发明的主要应用点，故而对于本发明对于准确性及稳定性都有着较高的要求。故而对头部高度获取的校验过程在本发明中就显得尤为关键。以头部与身体之间的像素高度比例作为行人头部高度结果判定依据可行性强，检验结果过程中无需添加其他硬件设施进行辅助处理，因其便捷性更利于在复杂环境中应用。

(5)本发明可服务于移动机器人避让行人过程中。以机器人内部摄像头为硬件基础，通过本发明获得行人头部像素高度，依据已有行人身体部件距离估计方法得到行人与机器人之间的距离，作为机器人避让行人的有效判定依据。

(6)本发明可服务于车载设备对行人危险判断过程中。行人与车辆之间的距离是判断车辆是否对行人构成危险的重要判据，依据本发明所得到的头部像素高度作为距离估计判断依据，在不增加硬件负担的基础上对距离进行估计，适用于复杂的交通环境当中。

(7)本发明可服务于交通执法过程中无人机判断行人距离过程。当今，无人机的发展不局限于航拍等技术，在交通执法中的应用更是无人机服务于人的一大突破。在执法过程中，无人机主要用于对行人所持证件的拍摄。应用本发明，在拍摄证件过程中同时获取行人头部像素高度，并对距离进行估计，保持适当距离，在不伤害行人的前提下对其所持证件进行清晰拍摄。

(8)本发明可服务于艺术拍摄中无人机判断行人距离过程。随着人工智能的发展，无人机也逐渐向服务行业靠拢，在艺术拍摄过程中使用无人机已经被大众所接受。在无人机使用过程中，通常需要人为或设备介入，在增加了拍摄人员工作量的同时也提升了拍摄成本。通过本发明获取拍摄者头部像素高度，据此与拍摄者保持适当距离，完成拍摄。

实施例5：

对于实施例3或4中的方案，一种基于能量滤波的行人图像的脚部件获取方法，包括如下步骤：

第1步：通过HOG特征获取行人脚部标定框；

第2步：通过超像素算法获得脚部目标所在区域；

第3步：通过能量滤波获输出脚部坐标。

进一步的，第3步的方法是：设定行人脚尖中心点位置为脚部位置具体对应点P_f，对于脚部目标所在区域二值结果，分别在水平和垂直方向进行投影，能量特征是水平及垂直方向上的非零像素点统计，对二值图进行能量滤波处理，累计非零像素点并形成对应能量滤波曲线，在垂直能量分布图中，横坐标方向为图像坐标系中纵坐标方向，大小与图像坐标系中纵坐标大小相同，能量分布图纵坐标为图像中对应像素行的能量值大小，由图像与垂直能量分布图之间的对应关系，P_f横坐标为水平方向能量分布初始值横坐标

与终点值横坐标

中值，即：

P_f纵坐标为垂直方向能量分布图终点值横坐标

即：

进一步的，所述的获取头部像素区域的方法是：

(1)聚类初始化：在CIELAB彩色空间内，输入需要生成的超像素个数k，并根据处理区域内像素点数量n确定相同的网格间距s保证获取超像素块大小相同；

其中：

使用像素点颜色与位置信息对CIELAB彩色空间内五维向量进行定义：

C_k＝[l_k a_k b_k c_k x_k y_k]^T (1)

其中l，a，b表示的是颜色信息，x，y表示的是空间信息，l_k是中心点色彩的亮度，a_k是中心点在红色/品红色和绿色之间的位置，b_k是中心点在黄色和蓝色之间的位置，x_k是中心点与x轴的距离，y_k是中心点与y轴的距离；

(2)像素距离计算：定义距离指标D来表示像素i与距离中心C_k之间的关系，通过颜色距离与空间距离共同判断，以权重m决定二者对于距离指标D的贡献大小：

其中，d_c表示颜色距离，d_s表示空间距离，m代表距离调节权值系数，当m更小时，颜色距离的权重更高，超像素对于目标边缘的吸附性更强，超像素的形状和大小的规则性下降；当m更大时，空间距离的权重更高，形成超像素块的规则性更好；

(3)像素分配：像素分配过程中的每个像素i都将根据与聚类中心点的距离被分配到相应的超像素块中，像素区域的对应搜索区域是超像素区域的二倍；

(4)聚类中心更新：当像素i被分配到聚类中心后，根据像素点颜色与位置信息重新对聚类中心确定，利用空间二范数计算更新后与前一聚类中心的残差值，不断重复更新过程直至误差收敛，停止更新并确定超像素块；

(5)后处理：在聚类处理后，将出现部分像素点不属于任何超像素块，利用连通算法对孤立像素点进行再分配处理。

本发明所提出的直立行人脚部件获取方法基于智能图像分析，通过HOG特征确定行人脚部件区域，继而利用超像素算法对目标区域进一步处理，去除冗余信息提取目标所在区域。为进一步获取图像信息，提取所需特征，根据能量滤波算法对目标区域二值图进行处理，获得水平、垂直能量统计曲线并以此为据获得特征点即行人脚部件所在位置点。

本发明所提出的行李行人脚部件获取方法服务于基于行人身体部件的距离估计算法，为其提供有效的数据支撑。以行人自身身体部件作为信息获取来源，无需外界硬件干预，以其便捷性适用于复杂环境中对于行人的距离估计。本发明以计算机视觉为基础，仅使用单目摄像机作为图像获取的硬件设备，对硬件设备要求低。通过对图像信息的深度挖掘达到获取行人脚部件特征，以完成后续算法的过程。

相较于其他身体部件，脚部件与地面接触，位置相对固定，在获取复杂度方面存在优势。同时，地面颜色特征相对单一，减轻了图像分割过程中的负担。

1)本发明通过HOG特征获取行人身体多部件，并通过光流法及能量滤波曲线根据脚部件固有特征对脚部件进行判断。HOG特征作为行人检测过程中的主流特征得到了学者们的广泛使用，同时该算法相对成熟，在检测精度及时效性等方面都存在一定优势。本发明仅对行人脚部件信息获取，提取该部分特征，以图像分割基础算法——光流法对HOG获取的多部件进行并行处理，保证方法的实时性。分析经光流法处理后的部件图，从而得到脚部件区域。在脚部件区域获取过程中，皆使用主流基础算法进行，保证了本发明的稳定性，同时确保了在距离估计过程中的实时性。

2)超像素算法属于图像分割领域，处理脚部件区域内像素。超像素算法在像素层级上对图像进行处理，保证算法精度的同时也带来了算法复杂度高，实时性低的问题。故而仅对脚部件区域内像素计算，在计算精度和速度两方面做出了保证。基于聚类分析的超像素分割算法通过对像素点特征值的计算，将特征相近的像素作为一个超像素块进行处理。超像素算法对于特征块的大小，范围等多方面权重均可通过人为调控进行，这样就保证了在不同场合下超像素算法的应用有效性。

3)能量滤波算法通过滤波曲线进行特征点提取，从而达到对图像信息进行深度挖掘的目的。能量滤波算法主要作用于非零像素点的累加并得到滤波曲线，通过对图像以及滤波曲线的分析，得出行人脚部位置点特征并获得具体像素位置。相较于其他特征提取方法，该方法易于实现且计算速度块。本发明主要应用于对行人距离的获取，对实时性有着较高的要求，因此，采用快速且稳定的方法对行人脚步位置进行获取是本发明的必要要求。能量滤波算法仅对像素点进行累加计算，通过既有规则对脚部位置像素进行提取，对实时及稳定两方面都做出了保障。

实施例6：

对于实施例3或4或5中的方案，其中的步骤S2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置，也可以使用本实施例的方法，样本可选择更新机制的目标跟踪方法，确定红外车前图像和可见光车前图像中目标行人的位置，该跟踪方法包括：

第一步，获取视频起始帧并初始化跟踪器；

第二步，对下一帧用滤波跟踪方法对目标进行跟踪，并返回跟踪结果；

第三步，利用图像特征遗忘方法对跟踪结果进行分析，提取目标区域的图像特征与参考图像进行比对，将差距过大的跟踪结果进行遗忘；

第四步，利用能量显著记忆方法对第三步的遗忘的跟踪结果进行校验，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库，而其他不包含跟踪目标的结果维持遗忘操作，返回第二步或结束跟踪。

进一步的，若第三步不存在差距过大的跟踪结果则返回第二步或结束跟踪。

进一步的，第三步的步骤是：以第k帧图像为参考图像，分别提取第k帧和第k+1帧图像目标区域的HOG和CNN特征，然后计算两个区域图像特征的曼哈顿距离值，作为第k+1帧跟踪结果的图像距离值；

设视频的第k帧图像的特征为J_k(x)，第k+1帧图像的特征为J_k+1(x)，然后利用式(2)计算第k+1帧图像的图像距离值；

dist_k+1＞δ，δ∈(0，1) (3)

式中，δ是重叠度判断失效样本的上限值，dist_k+1为第k+1帧图像的图像距离值，n为特征图中的元素个数，J_k(x)_i和J_k+1(x)_i分别为第1帧和第k+1帧图像特征中的第i个元素；

若第k+1帧的图像特征距离大于δ，则将第k+1帧跟踪结果判定为需要遗忘的跟踪结果，若图像距离小于δ，则将该跟踪结果记忆进训练集中并跳至第五步。

进一步的，第四步的步骤是：从最新的目标跟踪结果第k+1帧图像中提取目标区域的HOG能量，然后提取训练集中的所有图像的HOG能量并计算其均值作为对比，计算第k+1帧图像的HOG能量变化值作为第k+1帧图像的能量显著值；

设H_k+1为第k+1帧图像的HOG能量值，H_x为训练集中所有图像的HOG能量集合，则

式(7)为能量显著值计算公式，ener_k+1为第k+1帧图像的能量显著值，m表示训练集中已有的图像数量，H_x(i)表示训练集中的第i个图像的HOG能量；

若第k+1帧图像的能量显著值满足式(8)时，则将第k+1帧图像重新记忆进训练集，若不满足则维持第k+1帧图像的遗忘操作；

在一种方案中，为了解决重新记忆遗忘结果中有效样本，提出如下方法，提取遗忘结果目标区域的梯度能量做显著性分析，将包含目标的跟踪结果重新记忆进样本库。

进一步的，从最新的目标跟踪结果第k+1帧图像中提取目标区域的HOG能量，然后提取训练集中的所有图像的HOG能量并计算其均值作为对比，计算第k+1帧图像的HOG能量变化值作为第k+1帧图像的能量显著值；

设H_k+1为第k+1帧图像的HOG能量值，H_x为训练集中所有图像的HOG能量集合，则

式(7)为能量显著值计算公式，ener_k+1为第k+1帧图像的能量显著值，m表示训练集中已有的图像数量，H_x(i)表示训练集中的第i个图像的HOG能量；

若第k+1帧图像的能量显著值满足式(8)时，则将第k+1帧图像重新记忆进训练集，若不满足则维持第k+1帧图像的遗忘操作；

(1)样本可选择更新机制的目标跟踪算法可以对目标遮挡、剧烈光暗变化和目标形变的等复杂环境保持较好的适应性，使目标跟踪方法能够应用于更多实际场景，可以为行人意图分析等后续判断提供更可靠的目标位置信息；

(2)图像特征遗忘方法可以对跟踪结果进行筛选，遗忘与参考图像存在较大差距的跟踪结果，该方法可以适用于所有的判别模型类目标跟踪方法，可以避免训练集被遮挡物的特征信息污染，提高目标跟踪方法对目标遮挡的适应性；

(3)能量显著记忆方法可以对图像特征遗忘方法的遗忘结果进行校验，重点记忆因光暗变化、目标形变等复杂环境下出现较大变化的目标特征信息，该方法可以适用于所有的判别模型类目标跟踪方法，使训练集可以保持对目标当前状态的适应性，提高目标跟踪方法对剧烈光暗变化以及目标形变等复杂环境的跟踪有效性；

(4)本发明可以为移动机器人、自主汽车和辅助驾驶系统提供更精确的路况信息，不论是对工业机器人或者自主汽车的避障和路径规划，还是服务型机器人为特定人物目标提供引路服务等方面都可以发挥很重要的作用。

Claims (7)

1.一种红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，包括如下步骤：

S1.通过红外-可见光双目摄像头拍摄同一车前图像，得到红外车前图像和可见光车前图像；

S2.多时间尺度检测跟踪，确定红外车前图像和可见光车前图像中目标行人的位置；

S3.获取两种图像中的行人头高，并计算头部件距离估计结果，计算脚部件距离估计结果；

S4.对行人不同身体部件距离估计结果进行一级融合，对根据可见光及红外光图像输出的估计距离进行二级融合，完成级联式行人头部件、脚部件的距离融合，而确定行人与车前距离。

2.如权利要求1所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，还包括S5.对距离输出结果进行跟踪检验，输出校验准确距离。

3.如权利要求1所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，步骤S3中获取两种图像中的人头部像素高度的方法是以粗细粒度对行人头高判决，方法包括由粗粒度行人头高估计与细粒度行人头高估计：

粗粒度行人头高估计通过头部件高度与身体高度之间的固定比例r对头高估计，头高H_{re_head}与身体高度H_body比例r_hb通过仿真实例确定，

头高为

H_{re_head}＝H_body×r_hb (2)

细粒度方法是由超像素算法得到头部像素高度，而头部像素高度应在比例范围内浮动，其参考范围是：

H_{re_head}×(1-r_re)＜H_head＜H_{re_head}×(1+r_re) (3)

其中，r_re为浮动系数，控制在0.2-0.3之间，当通过细粒度方法获取到的头部像素高度H_head位于参考范围内，将H_head作为头部高度输出，否则判定超像素获取行人头部像素高度失效，并令H_{re_head}作为输出。

4.如权利要求1所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，步骤S2的多时间尺度检测跟踪的方法是：

(1)设定视频序列中某一帧为第一帧，并主动对该帧的行人信息进行标注；

(2)根据第一帧的标注内容，使用KCF算法持续对行人进行跟踪；

(3)在进行m帧图像跟踪后，将跟踪结果作为输入，提取HOG特征并通过SVM分类器在线训练行人检测模型，并检测视频序列中的图像，检测结果将作为跟踪结果的校验存在，设定每隔m帧图像对图像进行一次检测实现跟踪矫正，共进行n次，检测帧数k为：

k＝1+m×n，n∈Z (1)。

5.如权利要求1所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，步骤S4中，对行人不同身体部件距离估计结果进行一级融合的方法是：待估计距离的行人站在同一已知距离的多个不同位置，该距离是行人与车前的距离，进行距离估计，在一个位置分别进行投部件距离估计和脚部件距离估计，完成全部位置的距离估计，通过头部件获取距离估计结果集合x₁，通过脚部件获取距离估计结果集合x₂，

是头部件获取距离估计结果集合x₁的均值，

是脚部件获取距离估计结果集合x₂的均值，头部件距离估计结果所占权重为p₁，脚部件距离估计结果所占权重为p₂，σ是标准差，则融合权重为：

6.如权利要求5所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于，对于实际的某一次距离检测中，头部件距离估计结果D_A，脚部件距离估计结果D_B，则距离估计值D₁：

D₁＝p₁D_A+p₂D_B (5)。

7.如权利要求5所述的红外-可见光双目行人身体多部件融合的持续距离估计方法，其特征在于：步骤S4中对根据可见光及红外光图像输出的估计距离进行二级融合的方法是：

获取红外车前图像距离估计集合：对于使用红外车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使红外车前图像所获取的头部件距离估计结果集合是D_H，红外车前图像的脚部件距离估计结果集合是D_F，则红外车前图像的距离估计值集合是D_V：

D_V＝p₁D_H+p₂D_F (5)

获取可见光车前图像距离估计集合：对于使用可见光车前图像获取的头部件距离估计结果集合x₁和脚部件获取距离估计结果集合x₂，使可见光车前图像所获取的头部件距离估计结果集合是D_G，可见光车前图像的脚部件距离估计结果集合是D_K，则可见光车前图像的距离估计值集合是D_I：

D_I＝p₁D_G+p₂D_K

对于红外车前图像的距离估计值集合D_V，可见光车前图像的距离估计值集合D_I，

是红外车前图像的距离估计值集合D_V的均值，

是可见光车前图像的距离估计值集合D_I的均值，红外车前图像的距离估计结果所占权重为p₃，可见光车前图像的距离估计结果所占权重为p₄，则融合权重为：

对于实际的某一次距离检测中，红外车前图像的距离估计结果D_C，可见光车前图像的距离估计结果D_D，则距离估计值D₂：

D₂＝p₃D_C+p₄D_D (7)。

Images