CN111444767A - 一种基于激光雷达的行人检测和追踪方法 - Google Patents

Abstract

本发明公开了一种基于激光雷达的行人检测和追踪方法，用于从2D激光雷达点云中检测出行人并对其进行连续的追踪。与传统的行人检测和追踪的方法不同，该方法更加鲁棒的处理由于2D激光雷达数据的不稳定性及多尺度特性对检测的影响。首先，本方法利用了一种多尺度自适应随机森林分类器算法将人腿从激光雷达点云中准确且高效的检测出来；其次，该方法引入局部栅格地图来排除静态近似人腿的障碍物对行人检测的影响；进一步，通过Tracking‑by‑Detection策略，从检测的人腿中检测行人，同时建立行人的匀速运动模型；最后，利用卡尔曼滤波器对行人进行追踪，追踪的同时判断行人下一时刻的位置与下一时刻检测的人腿进行数据关联，以对下一时刻的行人进行快速检测与追踪。

Description

一种基于激光雷达的行人检测和追踪方法

技术领域

本发明属于机器人领域，更具体地，涉及一种基于激光雷达的行人检测和追踪方法。

背景技术

行人检测和追踪是机器人领域和计算机视觉领域中一项重要的研究课题，有着广泛的应用，例如自动驾驶中检测行人并追踪分析行人的运动状态，室内服务机器人检测和并追踪服务目标对象。目前，基于计算机视觉的行人检测和追踪已经取得了令人欣喜的成果，相比之下，而使用视野更开阔的2D激光雷达检测行人近些年被广泛研究。由于2D激光雷达通常安装在距离地面较低的高度，且只能够感知平行于地面的一个平面，所以多数基于激光雷达的行人检测和追踪方法都是以人腿检测为基础，进而进行行人检测和行人追踪。现有的较为优秀的方法主要利用机器学习方法检测人腿，根据人腿的空间关系检测出行人，以及贝叶斯方法进行行人的追踪。

人腿检测时完成行人检测和追踪的重要基础，会对行人的检测和追踪效果产生重要的影响。近期2D激光雷达点云人腿检测的发展主要来自于对人腿点簇特征设计的修改，设计更加具有区分力的特征来提高分类器对人腿的检测能力。这些修改方法只是关注于设计的人腿特征对人腿检测地影响，却没有从分类器设计的层面考虑如何提升人腿检测的结果。一方面，2D激光雷达点云数据具有一定的不稳定性，这种数据的不稳定性会直接影响特征的稳定性，而广泛使用地随机森林分类器算法是根据设计的特征绝对地将点簇归为某一分类，微小的数据波动很可能导致一个错误地分类；另一方面，现有的分类器算法进行分类时没有考虑到特征的多尺度特性，使得其在较远处的稀疏点簇时，往往容易出现错误的检测，而且这两个影响因素再2D激光雷达检测任务中广泛存在。

进行行人的检测和追踪时，常用的基于双腿位置关系匹配的方法在实际情况下会存在很多的问题。如：经常出现一帧雷达点云中仅存在局部区域内只存在一个腿的检测结果，容易产生行人的漏检。一些启发式行人检测方法会判断人腿是否在运动来检测行人，在机器人实际运动时，周围的场景也在不停的相对机器人运动，很容易错将静态近似人腿的物体识别为行人，产生误检，并影响行人追踪。

发明内容

本发明的目的在于提供一种基于激光雷达的行人检测和追踪方法，该方法在检测人腿时更加鲁棒，能够一定程度上处理2D激光雷达数据的不稳定性以及特征多尺度性对人腿检测造成的影响，从而能够以更高的准确率及召回率检测雷达点云中地人腿，可以有效提升行人检测的效果；同时采用“Tracking-by-detection”的策略来将从人腿中检测行人，同时引入局部静态地图来抑制静态场景产生的误检测，从而整体提升了行人检测和追踪的效果。

为实现上述目的，本发明从一个全新的视角来解决2D激光雷达下的行人检测和追踪问题。一方面，针对重要的人腿检测任务提出了一种基于多尺度自适应随机森林算法来检测人腿；另一方面，构建了包含局部静态地图的行人检测和追踪框架，具体包括以下步骤：

(1)训练多尺度自适应随机森林分类器模型，包括如下子步骤：

(1.1)对原始2D激光雷达数据集所有点云中的人腿点簇进行实例级别的标注。将人腿检测定义为二分类问题，采用的标注方法为：根据收集数据时的实际场景，在雷达点云中人腿点簇的位置添加Leg标签，标记该点簇所属类别为1，记为正样本；在其他非人腿点簇处不添加标签，默认该点簇所属类别为0，记为负样本。完成对所有原始2D激光雷达数据集标注，得到带标注的标准训练数据集；

(1.2)构建训练样本，根据(1.1)所得到的带标注的标准数据集，遍历数据集中每一帧2D激光雷达点云数据。对点云进行聚类，并提取点云中标记的人腿点簇和非人腿点簇，并计算每个点簇的17维特征作为训练样本，同时计算每维特征在全局训练样本中对正负样本的区分度，包括：

(1.2.1)2D激光雷达点云分割，针对正训练样本集中每一帧雷达数据包含的n个点s＝{r₁,r₂,…,r_n|r_n＝(p,q)},首先，通过基于相邻点之间欧式距离d_n-1,n＝‖r_n-1-r_n‖的聚类算法,将该帧雷达点云所有点聚类成k个点簇s¹,s²,…,s^k,且这k个点簇相互之间不包含的同一个点。具体地，将雷达点云地第一个点作为第一个点簇的初始点，判断下一个相邻点于当前点之间的距离d，若d<0.13,则将下一个点归为上一个点所属地点簇，否则下一个点将作为一个新的点簇，继续依次判断下一个相邻点，直至遍历完所有点。然后，遍历聚类得到的k个点簇，剔除包含点的个数小于3的点簇，判断保留地点簇是否有Leg标签，若存在，则为正样本点簇，否则为负样本点簇。最后，按照预先设计好的特征计算每个点簇的特征值。

(1.2.2)计算样本点簇特征值。针对聚类得到的样本点簇s^k，计算以下17维特征：

1、点簇包含点个数：n＝|s^k|

2、点簇中每个点的与激光雷达之间的距离的标准差：

3、点簇中每个点到中位点的平均距离：

4、左侧是否存在遮挡：存在遮挡为1，不存在遮挡为0。

5、右侧是否存在遮挡：存在遮挡为1，不存在遮挡为0。

6、点簇宽度：点簇第一个点与最后一个点之间的欧式距离d_1,n。

7、点簇的线度：该特征描述了点簇所有点构成的直线程度。通过最小二乘法寻找出拟合该点簇所有点的最优直线，进而计算点簇所有点到该直线的距离平方和。

8、点簇的圆度：该特征描述了点簇所有点构成圆弧的成圆程度。首先通过求解三元二次方程组解得拟合圆的半径R及圆心坐标(p_c,q_c)，再进一步求得该点簇的圆度S_c。

9、点簇拟合圆半径R。

10、点簇所有点构成折线长度：l＝∑_jd_j-1,j

11、点簇平均曲率：该特征描述了点簇得弯曲程度。这里采用一种近似计算方法，计算点簇中任意三个连续得点得内接圆半径γ_i，平均曲率为：

12、点簇平均连续三点内切角：该特征计算了点簇任意三个连续点{r_i-1,r_i,r_i+1}所构成角度β_i＝∠(r_i-1r_i,r_ir_i+1)的平均值。

13、边界正则性：该特征计算了点簇中每两个相邻点之间欧氏距离d_i,i+1的平均值。

14、点簇平均内切角：该特征计算了点簇中除首尾两点外，其他任意一个点与首尾两点构成的角平均值。

α_i＝∠(r_ir₁,r_ir_n)

15、点簇平均内切角标准差：

16、点簇的中位点与激光雷达之间距离：

17、点簇所有点与激光雷达之间的平均距离：

(1.2.3)构建训练样本，对从(1.1)标准训练数据集中聚类得到的N个点簇分别提取(1.2.2)中的17维向量，组成N个训练样本χ^N×17。其中，正训练样本分类标签为1，负训练样本分类标签为0，构成训练样本所对应的训练标签

训练样本整体包含N⁺个正训练样本和N^-个负训练样本，计算正训练样本中每个特征的均值

并进一步用以下公式计算所有特征在全局训练样本中对正负样本区分能力，其中第i个特征计算方式如下：

由此，计算得到Φ＝[Φ₁,Φ₂,…,Φ₁₇]，来表示每一维特征在全局训练样本中对正负样本的区分能力，训练样本、训练标签和特征的区分能力一同用于训练模型。

(1.3)定义多尺度自适应随机森林分类器模型，根据(1.2)中提取得到的训练样本及训练标签，设计分类器的分类器多尺度结构，特征选择方式和样本划分方式，通过训练标签监督训练样本来训练多尺度自适应随机森林模型。包括：

(1.3.1)构建随机森林分类器的多尺度结构，根据训练样本所描述的点簇到2D激光雷达之间的距离，即第16维特征f₁₆，首先将全局训练样本划分为三种不同距离尺度：

χ₁＝{f₁₆<3.0}

χ₂＝{3.0≤f₁₆<6.0}

χ₃＝{f₁₆≥6.0}

其次，随机森林分类器F的多尺度结构采用“层叠式”的结构，共由三层子森林组成：F＝{F₁,F₂,F₃}。第一层F₁由100棵决策树组成，负责对任意尺度{χ₁，χ₂,χ₃}的样本分类，在训练每棵决策树时，从N个全局训练样本中随机有放回地选取N个样本作为该树的训练样本集；第二层F₂由80棵决策树组成，负责对{χ₂,χ₃}尺度下地样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机地选取训练样本，当选取的样本属于{χ₂,χ₃}时，该样本以1的概率加入到该树的训练样本集，否则，该样本以0.6的概率加入到该树的训练样本集；第三层F₃由60棵决策树组成，负责对{χ₃}尺度下的样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机地选取训练样本，当选取地样本属于{χ₃}时，该样本以1的概率加入到该树的训练样本集，否则，该样本以0.6的概率加入到该树的训练样本集。

(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据，决策树在初始时仅包含一个结点，作为树的初始根结点，判断当前结点是否至少满足以下任意一个条件：

1)、树的深度大于等于20

2)、当前结点样本个数小于等于1

3)、联合基尼不纯度G小于等于0.0001；

若满足，则直接生成叶子结点，并记录当前结点的正样本占全体样本比例。不满足，则从17个特征中随机选取4个特征，依次尝试使用这4个特征中将当前节点的n个训练样本划分为左右两个子集。具体地，当尝试使用i特征进行划分时，若样本第i维特征小于划分阈值θ_i，则该样本被划分至左子集，反之划分至右子集。通过基尼不纯度评估划分对正负样本的分开程度，并选择将正负样本更清楚地分开的特征f_i以及划分阈值θ_i作为该结点的参数。

然后，采用(1.2.3)中同样的方法，计算最优划分特征f_i在当前结点的局部样本集上对正负样本的区分能力φ_i。

当φ_i-Φ_i>0.2时，该结点转化为采用概率划分方式样本。使用i特征将当前结点的n个样本重新进行划分，第k个样本分别以权重p_k,l和p_k,r划分至左子集和右子集，其中：

p_k,l＝P(x_k,i<θ_i)

p_k,r＝P(x_k,i>θ_i)＝1-p_k,l

所有样本划分完毕后，计算左右样本子集的带权基尼不纯度G_l和G_r，并计算左右样本子集的联合基尼不纯度G：

G＝w_l·G_l+w_r·G_r

其中

和

分别代表左样本子集中第k个正样本或负样本的权重，通过比较联合基尼不纯度，搜索使得联合基尼不纯度最小的阈值

作为该结点特征f_i的分割阈值。

当φ_i-Φ_i<0.2时，该结点仍然采用原始的划分方式，并保留学习到的最优划分特征f_i和分割阈值θ_i。

继续创建该结点的子结点，采用上述训练方式，递归的训练每个子结点，直至没有新的结点创建，决策树训练完毕。

(2)利用上述训练好的模型对待检测的2D激光雷达数据进行人腿检测，包括如下子步骤：

(2.1)先采用(1.2.1)所描述的点云聚类方法，将待检测的一帧激光雷达点云聚类为多个点簇，并将包含点的个数小于3的点簇剔除。针对每一个点簇，按照(1.2.2)中特征的计算方式，计算每个点簇的17个特征f＝[f₁,f₂,…,f₁₇]，并以此作为训练好的多尺度自适应随机森林分类器模型的输入。

(2.2)随机森林首先根据点簇与激光雷达之间的距离f₁₆判断测试样本f所属于的尺度，然后选择模型中特定层次的森林进行判断。若f₁₆<3.0，则该样本属于χ₁，由第一层森林F₁进行预测；若3.0≤f₁₆<6.0，则该样本属于χ₂，由第一层和第二层森林{F₁,F₂}共同进行预测，分别输出人腿置信度预测值y₁和y₂，计算平均值

进行融合，作为最终预测结果；若f₁₆≥6.0，则该样本属于χ₃，由三层森林{F₁,F₂,F₃}共同进行预测，分别输出人腿置信度预测值y₁,y₂和y₃，计算平均值

进行融合，作为最终预测结果。

随机森林中每棵决策树进行预测时包含以下步骤：

(2.2.1)对于待预测的样本f＝[f₁,f₂,…,f₁₇]，决策树从根结点开始预测，初始样本权重为ω_prev＝1。依据结点学习的特征i及其分割阈值θ_i，将该样本划分至其子结点。

若该结点采用普通划分方式，当f_i<θ_i时，划分到左子结点，否则划分至右子结点。样本在划分时维持当前权重：

ω_next＝ω_prev，

若该结点采用概率划分方式，样本将以权重w_l和w_r分别划分至左右结点。在划分至左右子结点时，样本在左右子结点上的权重

和

需要更新：

其中w_l＝P(f_i<θ_i)，w_r＝1-w_l。

决策树地结点递归地采用上述方式将样本划分至n个叶子结点，假设这n个叶子结点输出分别为o₁,o₂,…,o_n,测试样本在这些叶子结点上的权重分别为ω¹,ω²,…,ωⁿ，则该决策树的最后输出为：

预测值＝o₁·ω¹+…+o_n·ωⁿ

第i层森林F_i的所有决策树预测值的平均值作为该层森林的输出：

(2.3)每个点簇预测完成后，得到该点簇为人腿点簇的置信度y∈[0,1]。一般地，并将置信度大于0.5的点簇判定为人腿，并以点簇的几何中心坐标作为人腿的位置。

(3)利用原始2D激光雷达数据构建局部地图，同时利用上述模型输出的人腿检测结果，进行行人检测以及追踪，具体包含以下步骤：

(3.1)根据机器人的里程计数据以及当前的激光雷达数据帧，构建以机器人当前位置为中心的栅格地图M，其中地图大小为20m×20m，地图的每一个栅格大小为5cm×5cm，栅格地图中的所有栅格初始值为0。在接受到一帧新激光雷达数据后，首先，根据机器人当前的位姿R和t，更新当前地图的中心。同时将该帧激光雷达点云转化到世界坐标系下。然后，判断栅格地图中的每个栅格是否有激光雷达点落入该区域。并采用以下更新函数计算更新值：

若存在点落在该栅格M_ij，则栅格值M_ij＝M_ij+g(0.7)；若不存在，则栅格值M_ij＝M_ij+g(0.4)。在每次有新的雷达点云数据时，更新该地图，从而维护局部地图以辅助行人检测。

(3.2)从检测的人腿中检测行人和追踪行人。根据(2.3)输出的人腿检测结果，以及(3.1)得到的当前局部地图，首先将检测的人腿的位置对应到局部地图中，判断该位置是否为静态的障碍物。如果人腿所处的栅格值大于0.06，则表明该人腿可能是静态的障碍物，剔除该人腿，不参与行人的检测。将保留下的行人加入到待检测的队列中，通过Tracking-by-Detection方法进行行人检测和追踪。

(3.2.1)首先判断前一时刻t-1的追踪目标集合

是否存在待追踪的行人。若

不为空，表示当前存在n个追踪的行人。基于行人匀速运动模型而构建的卡尔曼滤波器

更新已追踪行人在当前的位置：

更新完行人位置后，采用“最邻近数据关联”方式，将行人

与当前时刻检测的人腿

进行匹配。

若第j个行人

能够关联到两条未被其他行人匹配到的人腿l_t,a和l_t,b，则使用l_t,a和l_t,b的几何中心位置

作为观测值，并基于观测值用卡尔曼滤波器优化行人在当前t时刻位置：

若仅能关联到一条人腿，则使用

与人腿l_t,a的几何中心作为观测值优化行人在当前时刻的位置。若未关联到人腿，则

T_t,j则作为第j个行人在t时刻的追踪结果，完成对其的追踪。对于其他未被关联的人腿，则采用以下述方式进行行人检测。

(3.2.2)从当前t-1时刻未关联的人腿中检测行人，首先，将这些人腿

加入到追踪目标集合

中。在t时刻时，按照(3.2.1)中行人追踪的方法对人腿进行追踪。并记录人腿从加入时刻到当前t时刻之间的移动距离。然后，在当前t时刻，尝试将追踪目标集合

中任意两个人腿进行组合。当组合的两条腿之间T_t,a和T_t,b欧式距离小于0.8米且每条腿记录的移动距离均大于0.5米时，则将该人腿组合检测为行人T_t,new。同时从追踪目标集合

中删除这两条腿的追踪，并加入新行人追踪T_t,new加入追踪目标集合

中，完成行人检测。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：

(1)准确度高：该发明提出的多尺度自适应随机森岭比常规的2D检测人腿的方法更加健壮，克服了雷达数据不稳定造成的特征不可信的情况，同时引入多尺度的分类器结构和训练方法，使得设计的分类其能够对不同尺度下的人腿进行鲁棒且更为准确的检测；同时在进行行人检测和追踪时，采用Tracking-by-Detection的策略，以及局部地图的引入，能够提高行人检测的准确度和追踪的效果。

(2)通用性强：本发明可用于扩展检测2D激光雷达下多种目标而不限定于对某一类特定物体进行专门设计，理论上可以用于任何有类似性质的物体检测和追踪。

附图说明

图1是本发明基于多尺度自适应随机森林的2D激光雷达检测人腿方法的整体流程图，其中，实线箭头表示训练，虚线箭头表示测试；

图2是本发明中决策树的训练主要步骤流程图；

图3是本发明在一实施例中利用训练好的多尺度自适应随机森林模型对2D激光雷达点云的检测的可视化结果，其中图(3a),为机器人在静止状态下对距离机器人较近的行人的检测和追踪结果；图(3b)同样为机器人在静止状态下的行人检测和追踪结果，该行人的位置距离机器人相对较远；图(3c)和图(3d)为机器人在运动过程中检测并追踪到的行人结果，其中图(3d)展示了该方法同时检测并追踪场景中多个人的效果。。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下首先就本发明的技术术语进行解释和说明：

2D激光雷达：又称单线激光雷达，是一种距离传感器。它能够精准地测量其安装平面上一定范围以内的周围物体的距离信息。更具体地来讲，2D激光雷达通过向四周发射多束激光束，每一束激光束会测量出一个距离值，且相邻激光束之间的角度间隔为固定值。所有激光束的测距结果构成一帧数据帧。

决策树(Decision Tree)：决策树是一类常见的机器学习算法。它具有树形结构，二叉树结构是其中一种被经常采用的结构，由结点和分支组成，其中结点一般分为内部结点和叶子结点两类。其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树通常被应用于分类任务和回归任务。

随机森林(Random Forest)：随机森林是一种包含多棵决策树的分类器。它保证了每棵决策树的之间相互具有差异性，从而可以融合多棵决策树的预测结果提高分类器最终预测的准确度。

卡尔曼滤波(Kalman Filter)：是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。在机器人应用中，经常用物体的运动状态估计。基于物体的运动模型，输入物体状态的观测值，优化物体的运动状态估计。

栅格地图：栅格地图是机器人领域中一种常用的地图表示方法。最常应用于激光雷达的建图与导航中。二维栅格地图由多个栅格组成，可类比于灰度图像，栅格相当于图像的一个像素点。其中栅格一般有三种状态：未知、可行区域和障碍物。

如图1所示，本发明基于激光雷达的行人检测和追踪方法包括下述步骤：

(1)训练多尺度自适应随机森林分类器模型，包括如下子步骤：

(1.1)对原始2D激光雷达数据集的点云中的人腿点簇进行实例级别标注。采用的标注方法为：根据收集数据时的实际场景，在雷达点云中为人腿点簇的位置添加Leg标签，标签为点簇所属类别1，记为正样本；在其他非人腿点簇处不添加标签，默认该点簇所属类别0，记为负样本。完成对所有原始2D激光雷达数据集标注，得到带标注的标准训练数据集；

(1.2)构建训练样本，根据(1.1)所得到的带标注的标准数据集，遍历数据集中的2D激光雷达点云数据，提取标记的人腿点簇和非腿点簇，并计算每个点簇的特征作为训练样本，同时计算特征的全局正负样本区分度，包括：

(1.2.1)2D激光雷达点云聚类，针对训练样本集中每一帧雷达数据包含点云，首先，通过基于相邻点之间的欧式距离的聚类算法,将每一帧雷达点云聚类成k个点簇s¹,s²,…,s^k,点簇相互之间互相不包含的相同的点，剔除点簇中包含点的个数小于3的点簇。判断保留下点簇是否有Leg标签，若存在，则为正样本点簇，否则为负样本点簇。

(1.2.2)计算每个样本点簇17个特征值，包括：点簇包含点个数，点簇中每个点的与激光雷达之间的距离标准差，点簇中每个点到中位点的平均距离，左侧是否存在遮挡，右侧是否存在遮挡，点簇宽度，点簇的线度，点簇的圆度，点簇拟合圆半径，点簇所有点构成折线长度，点簇平均曲率，点簇平均连续三点内切角，边界正则性，点簇平均内切角，点簇平均内切角标准差，点簇的中位点与激光雷达之间距离，点簇所有点与激光雷达之间的平均距离。

(1.2.3)构建训练样本，对从(1.1)标准训练数据集中聚类得到的N个点簇分别提取(1.2.2)中的17维向量，组成N个训练样本χ^N×17。其中，正训练样本分类标签为1，负训练样本分类标签为0，构成训练样本所对应的训练标签

计算正训练样本中每个特征的均值

并进一步计算每一个特征在全局训练样本中对正负样本区分能力。计算得到Φ＝[Φ₁,Φ₂,…,Φ₁₇]，来表示每一维特征在全局训练样本中对正负样本的区分能力。将训练样本χ^N×17，训练标签

和Φ一同用于训练模型。

(1.3)定义多尺度自适应随机森林分类器模型，根据(1.2)中提取得到的训练样本及训练标签，设计分类器中特征选择方式和样本划分方式，设计分类器多尺度结构。包括：

(1.3.1)构建随机森林分类器的多尺度结构，根据训练样本的与激光雷达之间的距离，多尺度自适应随机森林F的多尺度结构采用“层叠式”结构，用于预测处于三种不同距离尺度的样本：

χ₁＝{f₁₆<3.0}

χ₂＝{3.0≤f₁₆<6.0}

χ₃＝{f₁₆≥6.0}

随机森林共由三层子森林组成：F＝{F₁,F₂,F₃}。第一层F₁由100棵决策树组成，负责对任意尺度{χ₁,χ₂,χ₃}的样本分类，在训练每棵决策树时，从N个全局训练样本中随机有放回地选取N个样本作为该树的训练样本集；第二层F₂由80棵决策树组成，负责对{χ₂,χ₃}尺度下地样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机地选取训练样本，当选取的样本属于{χ₂,χ₃}时，该样本以1的概率加入到该树的训练样本集，否则，该样本以0.6的概率加入到该树的训练样本集；第三层F₃由60棵决策树组成，负责对{χ₃}尺度下的样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机地选取训练样本，当选取地样本属于{χ₃}时，该样本以1的概率加入到该树的训练样本集，否则，该样本以0.6的概率加入到该树的训练样本集。

(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据，决策树训练过程如图2所示，在初始时创建一个结点，作为树的初始根结点。首先，判断当前结点是否至少满足以下任意一个条件：

1)、树的深度大于等于20

2)、当前结点样本个数小于等于1

3)、联合基尼不纯度G小于等于0.0001；

若满足，则直接生成叶子结点，并记录当前结点的正样本占全体样本比例。不满足，则从17个特征中随机选取4个特征，依次尝试使用这4个特征中将当前节点的n个训练样本划分为左右两个子集。具体地，当尝试使用i特征进行划分时，若样本第i维特征小于划分阈值θ_i，则该样本被划分至左子集，反之划分至右子集。通过基尼不纯度评估划分对正负样本的分开程度，并选择将正负样本更清楚地分开的特征f_i以及划分阈值θ_i作为该结点的参数。

然后，计算最优划分特征f_i在当前结点的局部样本集上对正负样本的区分能力φ_i。当φ_i-Φ_i>0.2时，该结点转化为采用概率划分方式样本。使用i特征将当前结点的n个样本重新进行划分，第k个样本分别以权重p_k,l和p_k,r划分至左子集和右子集，其中：

p_k,l＝P(x_k,i<θ_i)

p_k,r＝P(x_k,i>θ_i)＝1-p_k,l

所有样本划分完毕后，计算左右样本子集的带权基尼不纯度G_l和G_r，并计算左右样本子集的联合基尼不纯度G：

G＝w_l·G_l+w_r·G_r

其中

和

分别代表左样本子集中第k个正样本或负样本的权重，通过比较联合基尼不纯度，搜索使得联合基尼不纯度最小的阈值

作为该结点特征f_i的分割阈值。

当φ_i-Φ_i<0.2时，该结点仍然采用原始的划分方式，并保留学习到的最优划分特征f_i和分割阈值θ_i。

继续创建该结点的子结点，采用上述训练方式，递归的训练每个子结点，直至没有新的结点创建，决策树训练完毕。

(2)利用上述训练好的模型对待检测的2D激光雷达数据进行人腿检测，首先先采用(1.2.1)所描述的点云聚类方法，将待检测的一帧激光雷达点云聚类为多个点簇，并将包含点的个数小于3的点簇剔除。针对每一个点簇，按照(1.2.2)中特征的计算方式，计算每个点簇的17维特征并以此作为训练好的多尺度自适应随机森林分类器模型的输入。随机森林首先根据点簇与激光雷达之间的距离f₁₆判断测试样本f所属于的尺度，然后选择模型中特定层次的森林进行预测。若f₁₆<3.0，则该样本属于χ₁，由第一层森林F₁进行预测；若3.0≤f₁₆<6.0，则该样本属于χ₂，由第一层和第二层森林{F₁,F₂}共同进行预测，分别输出人腿置信度预测值y₁和y₂并进行融合，作为最终预测结果；若f₁₆≥6.0，则该样本属于χ₃，由三层森林{F₁,F₂,F₃}共同进行预测，分别输出人腿置信度预测值y₁,y₂和y₃并进行融合，作为最终结果。

并将置信度大于0.5的点簇判定为人腿，并以点簇的几何中心坐标作为人腿的位置。

(3)利用原始2D激光雷达数据，构建以机器人当前位置为中心的局部栅格地图，栅格地图记录周围环境中静态的障碍物。首先，利用栅格地图剔除部分静态的近似人腿的障碍物。然后将追踪目标集合

与t时刻检测的人腿进行数据关联，完成行人检测以及追踪。

图3是本发明在一实施例中基于2D激光雷达的行人检测和追踪的可视化结果。图3中“行人”在可视化工具中标记为圆柱体与球体的组合体，“行人”上方记录着其ID和可信度，表示为“ID/可信度”。由结果可以看到，本发明能够对2D激光雷达下的人腿取得准确的检测效果。

其中图(3a),为机器人在静止状态下对距离机器人较近的行人的检测和追踪结果；图(3b)同样为机器人在静止状态下的行人检测和追踪结果，该行人的位置距离机器人相对较远；图(3c)和图(3d)为机器人在运动过程中检测并追踪到的行人结果，其中图(3d)展示了该方法同时检测并追踪场景中多个人的效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光雷达的行人检测和追踪方法，其特征在于，所述方法包括下述步骤：

(1)训练多尺度自适应随机森林分类器模型，包括如下子步骤：

(1.1)对原始2D激光雷达数据集所有点云中的人腿点簇进行实例级别的标注，得到带标注的标准训练数据集；

(1.2)根据(1.1)所得到的带标注的标准数据集，遍历数据集中的2D激光雷达点云数据，提取标记的人腿点簇和非腿点簇，并计算每个点簇的特征作为训练样本，同时计算特征的全局正负样本区分度；

(1.3)定义多尺度自适应随机森林分类器模型，根据(1.2)中提取得到的训练样本及训练标签，设计分类器的多尺度结构、特征选择方式及样本划分方式，通过训练标签监督训练样本来训练多尺度自适应随机森林模型；

(2)利用上述训练好的多尺度自适应随机森林模型对待检测的2D激光雷达数据进行人腿检测，包括如下子步骤：

(2.1)先将待检测的一帧激光雷达点云聚类为多个点簇，并将包含点的个数小于预设阈值的点簇剔除，计算每个点簇的特征并以此作为训练好的多尺度自适应随机森林分类器模型的输入；

(2.2)随机森林首先根据点簇与激光雷达之间的距离f₁₆判断待检测对象f所属于的尺度，然后选择模型中特定层次的森林进行判断，对于待预测的样本，决策树从根结点开始预测，样本根据结点参数向子结点传递，直至叶子结点输出结果；

(2.3)每个点簇预测完成后，得到该点簇为人腿点簇的置信度y∈[0,1]，将置信度大于预设阈值的点簇判定为人腿，并以点簇的几何中心坐标作为人腿的位置；

(3)利用原始2D激光雷达数据构建局部地图，同时利用上述模型输出的人腿检测结果，进行行人检测以及追踪。

2.根据权利要求1所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.2)包括：

(1.2.1)针对训练样本集中每一帧激光雷达点云，通过基于相邻点之间的欧式距离的聚类算法,将每一帧雷达点云聚类成k个点簇s¹,s²,…,s^k,k为预设值，点簇相互之间互相不包含相同的点，剔除这些点簇中包含点的个数小于3的点簇，判断保留下的点簇是否有Leg标签，若存在则为正样本点簇，否则为负样本点簇；

(1.2.2)计算样本点簇的17维几何特征值，包括：点簇包含点个数，点簇中每个点的与激光雷达之间的距离标准差，点簇中每个点到中位点的平均距离，左侧是否存在遮挡，右侧是否存在遮挡，点簇宽度，点簇的线度，点簇的圆度，点簇拟合圆半径，点簇所有点构成折线长度，点簇平均曲率，点簇平均连续三点内切角，边界正则性，点簇平均内切角，点簇平均内切角标准差，点簇的中位点与激光雷达之间距离，点簇所有点与激光雷达之间的平均距离；

(1.2.3)构建训练样本，对从(1.1)标准训练数据集中聚类得到的N个点簇分别提取(1.2.2)中的17维向量，构成训练样本，其中，正训练样本分类标签为1，负训练样本分类标签为0，构成训练样本所对应的训练标签；

(1.2.4)计算所有特征在全局训练样本中对正负样本区分能力。

3.根据权利要求1或2所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.3)包括：

(1.3.1)构建随机森林分类器的多尺度结构，根据训练样本的点簇中位点与激光雷达之际距离，将全局训练样本划分为三种不同尺度，随机森林分类器F的多尺度结构采用层叠式的结构，共由三层子森林组成；

(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据，训练该决策树。

4.根据权利要求2所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.2.2)中的17维特征具体为：

1)、点簇包含点个数：n＝|s^k|；

2)、点簇中每个点的与激光雷达之间的距离的标准差：

3)、点簇中每个点到中位点的平均距离：

4)、左侧是否存在遮挡：存在遮挡为1，不存在遮挡为0；

5)、右侧是否存在遮挡：存在遮挡为1，不存在遮挡为0；

6)、点簇宽度：点簇第一个点与最后一个点之间的欧式距离d_1,n；

7)、点簇的线度：该特征描述了点簇所有点构成的直线程度，通过最小二乘法寻找出拟合该点簇所有点的最优直线，进而计算点簇所有点到该直线的距离平方和；

8)、点簇的圆度：该特征描述了点簇所有点构成圆弧的成圆程度，首先通过求解三元二次方程组解得拟合圆的半径R及圆心坐标(p_c,q_c)，再进一步求得该点簇的圆度S_c；

9)、点簇拟合圆半径R；

10)、点簇所有点构成折线长度：l＝∑_jd_j-1,j；

11)、点簇平均曲率：该特征描述了点簇得弯曲程度，这里采用一种近似计算方法，计算点簇中任意三个连续得点得内接圆半径γ_i，平均曲率为：

12)、点簇平均连续三点内切角：该特征计算了点簇任意三个连续点{r_i-1,r_i,r_i+1}所构成角度β_i＝∠(r_i-1r_i,r_ir_i+1)的平均值；

13)、边界正则性：该特征计算了点簇中每两个相邻点之间欧氏距离d_i,i+1的平均值；

14)、点簇平均内切角：该特征计算了点簇中除首尾两点外，其他任意一个点与首尾两点构成的角平均值：

α_i＝∠(r_ir₁,r_ir_n)

15)、点簇平均内切角标准差：

16)、点簇的中位点与激光雷达之间距离：

17)、点簇所有点与激光雷达之间的平均距离：

5.根据权利要求2所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.2.4)包括：

训练样本整体包含N⁺个正训练样本和N^-个负训练样本，计算正训练样本中每个特征的均值

用以下公式计算每一个特征在全局训练样本中对正负样本区分能力，其中第i个特征计算方式如下：

计算得到Φ＝[Φ₁,Φ₂,…,Φ₁₇]，来表示每一维特征在全局训练样本中对正负样本的区分能力，训练样本、训练标签和特征的区分能力一同用于训练模型。

6.根据权利要求3所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.3.1)包括：

根据训练样本与激光雷达之间的距离，多尺度自适应随机森林分类器模型F的多尺度结构采用“层叠式”结构，用于预测处于三种不同距离尺度的样本：

随机森林共由三层子森林组成：F＝{F₁,F₂,F₃}；第一层F₁由100棵决策树组成，负责对任意尺度

的样本分类，在训练每棵决策树时，从N个全局训练样本中随机有放回地选取N个样本作为该决策树的训练样本集；第二层F₂由80棵决策树组成，负责对

尺度下的样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机地选取训练样本，当选取的样本属于

时，该样本以1的概率加入到该决策树的训练样本集，否则该样本以0.6的概率加入到该决策树的训练样本集；第三层F₃由60棵决策树组成，负责对

尺度下的样本进行分类，在训练每棵决策树时，从N个全局训练样本中随机选取训练样本，当选取的样本属于

时，该样本以1的概率加入到该决策树的训练样本集，否则该样本以0.6的概率加入到该决策树的训练样本集。

7.根据权利要求3所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(1.3.2)包括：

决策树在初始时仅包含一个结点，作为树的初始根结点，判断当前结点是否至少满足以下任意一个条件：a)树的深度大于等于20；b)当前结点样本个数小于等于1；c)联合基尼不纯度G小于等于0.0001；

若满足，则直接生成叶子结点，并记录当前结点的正样本占全体样本比例，不满足，则从17个特征中随机选取4个特征，依次尝试使用这4个特征中将当前结点的n个训练样本划分为左右两个子集，通过基尼不纯度评估划分对正负样本的分开程度，并选择将正负样本更加正确分开的特征f_i以及划分阈值θ_i作为该结点的参数，计算最优划分特征f_i在当前结点的局部样本集上对正负样本的区分能力φ_i；

当φ_i-Φ_i>0.2时，该结点转化为采用概率划分方式样本，使用i特征将当前结点的n个样本重新进行划分，第k个样本分别以权重p_k,l和p_k,r划分至左子集和右子集，其中：

p_k,l＝P(x_k,i<θ_i)

p_k,r＝P(x_k,i>θ_i)＝1-p_k,l

所有样本划分完毕后，计算左右样本子集的带权基尼不纯度G_l和G_r，并计算左右样本子集的联合基尼不纯度G：

G＝w_l·G_l+w_r·G_r

其中

和

分别代表左样本子集中第k个正样本或负样本的权重，通过比较联合基尼不纯度，搜索使得联合基尼不纯度最小的阈值

作为该结点特征f_i的分割阈值，当φ_i-Φ_i<0.2时，该结点仍然采用原始的划分方式，并保留学习到的最优划分特征f_i和分割阈值θ_i；

继续创建该结点的子结点，采用上述训练方式，递归的训练每个子结点，直至没有新的结点创建，决策树训练完毕。

8.根据权利要求1或2所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(2.2)具体在于：

若f₁₆<3.0，则该样本属于尺度

由第一层森林F₁进行预测，输出人腿置信度预测值y＝y₁；

若3.0≤f₁₆<6.0，则该样本属于尺度

由第一层和第二层森林{F₁,F₂}共同进行预测，分别输出人腿置信度预测值y₁和y₂，计算平均值

进行融合，作为最终预测结果；

若f₁₆≥6.0，则该样本属于尺度

由三层森林{F₁,F₂,F₃}共同进行预测，分别输出人腿置信度预测值y₁,y₂和y₃，计算平均值

进行融合，作为最终预测结果。

9.根据权利要求1或2所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(3)包括：

(3.1)根据机器人的里程计数据以及当前的激光雷达数据帧，构建以机器人当前位置为中心的栅格地图M，其中地图大小为20m×20m，地图的每一个栅格大小为5cm×5cm，栅格地图中的所有栅格初始值为0，在接受到一帧新激光雷达数据后，首先，根据机器人当前的位姿R和t，更新当前地图的中心，同时将该帧激光雷达点云转化到世界坐标系下，然后判断栅格地图中的每个栅格是否有激光雷达点落入该区域，并采用以下更新函数计算更新值：

若存在点落在该栅格M_ij，则栅格值M_ij＝M_ij+g(0.7)；若不存在，则栅格值M_ij＝M_ij+g(0.4)，在每次有新的雷达点云数据时，更新该地图，从而维护局部地图以辅助行人检测；

(3.2)从检测的人腿中检测行人和追踪行人，根据(2.3)输出的人腿检测结果，以及(3.1)得到的当前局部地图，首先将检测的人腿的位置对应到局部地图中，判断该位置是否为静态的障碍物，如果人腿所处的栅格值大于0.06，则表明该人腿可能是静态的障碍物，剔除该人腿，不参与行人的检测，将保留下的行人加入到待检测的队列中，通过Tracking-by-Detection方法进行行人检测和追踪。

10.根据权利要求9所要求的基于激光雷达的行人检测和追踪方法，其特征在于，所述步骤(3.2)包括：

(3.2.1)首先判断前一时刻t-1的追踪目标集合

是否存在待追踪的行人，若

不为空，表示当前存在n个追踪的行人，基于行人匀速运动模型而构建的卡尔曼滤波器

更新已追踪行人在当前的位置：

更新完行人位置后，采用“最邻近数据关联”方式，将行人

与当前时刻检测的人腿l_t＝{l_t,1,l_t,2,…,l_t,m}进行匹配；

若第j个行人

能够关联到两条未被其他行人匹配到的人腿l_t,a和l_t,b，则使用l_t,a和l_t,b的几何中心位置

作为观测值，并基于观测值用卡尔曼滤波器优化行人在当前t时刻位置：

若仅能关联到一条人腿，则使用

与人腿l_t,a的几何中心作为观测值优化行人在当前时刻的位置，若未关联到人腿，则

T_t,j则作为第j个行人在t时刻的追踪结果，完成对其的追踪，对于其他未被关联的人腿，则采用(3.2.2)中的方式进行行人检测；

(3.2.2)从当前t-1时刻未关联的人腿中检测行人，首先，将这些人腿

加入到追踪目标集合

中，在t时刻时，按照(3.2.1)中行人追踪的方法对人腿进行追踪，并记录人腿从加入时刻到当前t时刻之间的移动距离，然后在当前t时刻，尝试将追踪目标集合

中任意两个人腿进行组合，当组合的两条腿之间T_t,a和T_t,b欧式距离小于0.8米且每条腿记录的移动距离均大于0.5米时，则将该人腿组合检测为行人T_t,new，同时从追踪目标集合

中删除这两条腿的追踪，并加入新行人追踪T_t,new加入追踪目标集合

中，完成行人检测。

Images