CN111444769A - 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 - Google Patents
一种基于多尺度自适应随机森林的激光雷达检测人腿方法 Download PDFInfo
- Publication number
- CN111444769A CN111444769A CN202010116963.3A CN202010116963A CN111444769A CN 111444769 A CN111444769 A CN 111444769A CN 202010116963 A CN202010116963 A CN 202010116963A CN 111444769 A CN111444769 A CN 111444769A
- Authority
- CN
- China
- Prior art keywords
- point
- sample
- training
- samples
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于多尺度自适应随机森林的激光雷达检测人腿方法,用于从2D激光雷达点云中检测出行人腿部。与传统的检测人腿的方法不同,该方法能够鲁棒地处理由于2D激光雷达数据的不稳定导致分类器检测能力下降的问题,同时也能够处理2D激光雷达数据的多尺度特性对检测的影响。首先,通过聚类算法将2D激光雷达点云聚类成多个点簇;其次,从每一个点簇中提取多维特征构成特征向量;进一步,将该特征向量输入分类器,分类器输出该点簇是人腿的置信度。该方法是针对2D激光雷达下进行人腿检测任务所提出的一种新颖的检测方法,其实现简单,易于扩展,具有较高的计算效率和检测准确度,能够部署在低成本机器人上,具有很强的实际应用价值。
Description
技术领域
本发明属于机器人领域,更具体地,涉及一种基于多尺度自适应随机森林的激光雷达检测人腿方法。
背景技术
行人检测是机器人领域和计算机视觉领域中一项重要的研究课题,有着广泛的应用,例如自动驾驶中检测行人,室内导航机器人规避行人及安防机器人跟随行人。基于计算机视觉的行人检测已经取得了令人欣喜的成果,相比之下,而使用视野更开阔的2D激光雷达检测行人近些年被广泛研究。由于2D激光雷达通常安装在距离地面较低的高度,且只能够感知平行于地面的一个平面,所以多数检测行人的方法都是基于检测人腿来完成行人检测任务。现有的较为优秀的检测方法主要利用机器学习方法,设计一些具有区分力的几何特征,并用分类器学习人腿的这些特征来检测人腿。
近期2D激光雷达点云人腿检测的发展主要来自于对人腿点簇特征设计的修改,设计更加具有区分力的特征来能够提高分类器对人腿的检测能力。特征设计的好坏对人腿检测结果的好坏会产生很重要的影响,一般而言, 2D激光雷达点云的特征具有随距离变化的特性。现有的方法提出了一些有效的特征,使得人腿检测的能力取得了不错的提升,同时还具备较高的计算效率。
虽然现有的方法取得了较为不错的检测效果,但是仍然有可以提升的空间。这些修改方法只是关注于设计的人腿特征对人腿检测的影响,却没有从分类器设计的层面考虑如何提升人腿检测的结果。一方面,2D激光雷达点云数据具有一定的不稳定性,这种数据的不稳定性会直接影响特征的稳定性,而广泛使用随机森林分类器算法是根据设计的特征绝对地将点簇归为某一分类,微小的数据波动很可能导致一个错误的分类;另一方面,现有的分类器算法进行分类时没有考虑到特征的多尺度特性,使得其在较远处的稀疏点簇时,往往容易出现错误的检测,而且这两个影响因素在2D激光雷达检测任务中广泛存在。
发明内容
本发明的目的在于提供一种新颖的基于多尺度自适应随机森林的激光雷达检测人腿方法,该检测方法相比于基于传统随机森林的方法更加健壮,能够一定程度上处理2D激光雷达数据的不稳定性以及特征多尺度性对人腿检测造成的影响,从而能够以更高的准确率及召回率检测雷达点云中的人腿,并可以有效提升行人检测的效果。
为实现上述目的,本发明从一个全新的视角来解决2D激光雷达下的人腿检测问题,提出了一种基于随机森林算法的具有自适应特征选择和样本划分机制,并由此而设计了多尺度自适应随机森林分类器模型,包括以下步骤:
(1)训练多尺度自适应随机森林分类器模型,包括如下子步骤:
(1.1)对原始2D激光雷达数据集所有点云中的人腿点簇进行实例级别的标注。将人腿检测定义为二分类问题,采用的标注方法为:根据收集数据时的实际场景,在雷达点云中人腿点簇的位置添加Leg标签,标记该点簇所属类别为1,记为正样本;在其他非人腿点簇处不添加标签,默认该点簇所属类别为0,记为负样本。完成对所有原始2D激光雷达数据集标注,得到带标注的标准训练数据集;
(1.2)构建训练样本,根据(1.1)所得到的带标注的标准数据集,遍历数据集中每一帧2D激光雷达点云数据。对点云进行聚类,并提取点云中标记的人腿点簇和非人腿点簇,并计算每个点簇的17维特征作为训练样本,同时计算特征的全局正负样本区分度,包括:
(1.2.1)2D激光雷达点云分割,针对正训练样本集中每一帧雷达数据包含的n个点s={r1,r2,…,rn|rn=(p,q)},首先,通过基于相邻点之间欧式距离dn-1,n=‖rn-1-rn‖的聚类算法,将该帧雷达点云所有点聚类成k个点簇s1,s2,…,sk,且这k个点簇相互之间不包含的同一个点。具体地,将雷达点云的第一个点作为第一个点簇的初始点,判断下一个相邻点于当前点之间的距离d,若d<0.13,则将下一个点归为上一个点所属的点簇,否则下一个点将作为一个新的点簇,继续依次判断下一个相邻点,直至遍历完所有点。然后,遍历聚类得到的k个点簇,剔除包含点的个数小于3的点簇,判断保留的点簇是否有Leg标签,若存在,则为正样本点簇,否则为负样本点簇。最后,按照预先设计好的特征计算每个点簇的特征值。
(1.2.2)计算样本点簇特征值。针对聚类得到的样本点簇sk,计算以下17维特征:
1、点簇包含点个数:n=|sk|;
2、点簇中每个点的与激光雷达之间的距离的标准差:
3、点簇中每个点到中位点的平均距离:
4、左侧是否存在遮挡:存在遮挡为1,不存在遮挡为0;
5、右侧是否存在遮挡:存在遮挡为1,不存在遮挡为0;
6、点簇宽度:点簇第一个点与最后一个点之间的欧式距离d1,n;
7、点簇的线度:该特征描述了点簇所有点构成的直线程度。通过最小二乘法寻找出拟合该点簇所有点的最优直线,进而计算点簇所有点到该直线的距离平方和;
8、点簇的圆度:该特征描述了点簇所有点构成圆弧的成圆程度。首先通过求解三元二次方程组解得拟合圆的半径R及圆心坐标(pc,qc),再进一步求得该点簇的圆度Sc:
9、点簇拟合圆半径R;
10、点簇所有点构成折线长度:l=∑jdj-1,j;
11、点簇平均曲率:该特征描述了点簇得弯曲程度。这里采用一种近似计算方法,计算点簇中任意三个连续得点得内接圆半径γi,平均曲率为:
12、点簇平均连续三点内切角:该特征计算了点簇任意三个连续点 {ri-1,ri,ri+1}所构成角度βi=∠(ri-1ri,riri+1)的平均值;
13、边界正则性:该特征计算了点簇中每两个相邻点之间欧氏距离di,i+1的平均值;
14、点簇平均内切角:该特征计算了点簇中除首尾两点外,其他任意一个点与首尾两点构成的角平均值:
αi=∠(rir1,rirn)
15、点簇平均内切角标准差:
(1.2.3)构建训练样本,对从(1.1)标准训练数据集中聚类得到的N 个点簇分别提取(1.2.2)中的17维向量,组成N个训练样本xN×17。其中,正训练样本分类标签为1,负训练样本分类标签为0,构成训练样本所对应的训练标签
由此,计算得到Φ=[Φ1,Φ2,…,Φ17],来表示每一维特征在全局训练样本中对正负样本的区分能力,训练样本、训练标签和特征的区分能力一同用于训练模型。
(1.3)定义多尺度自适应随机森林分类器模型,根据(1.2)中提取得到的训练样本及训练标签,设计分类器的分类器多尺度结构,特征选择方式和样本划分方式,通过训练标签监督训练样本来训练多尺度自适应随机森林模型。包括:
(1.3.1)构建随机森林分类器的多尺度结构,根据训练样本所描述的点簇到2D激光雷达之间的距离,即第16维特征f16,首先将全局训练样本划分为三种不同距离尺度:
x1={f16<3.0}
x2={3.0≤f16<6.0}
x3={f16≥6.0}
其次,随机森林分类器F的多尺度结构采用“层叠式”的结构,共由三层子森林组成:F={F1,F2,F3}。第一层F1由100棵决策树组成,负责对任意尺度{x1,x2,x3}的样本分类,在训练每棵决策树时,从N个全局训练样本中随机有放回地选取N个样本作为该树的训练样本集;第二层F2由80棵决策树组成,负责对{x2,x3}尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机地选取训练样本,当选取的样本属于{x2,x3}时,该样本以1的概率加入到该树的训练样本集,否则,该样本以0.6的概率加入到该树的训练样本集;第三层F3由60棵决策树组成,负责对{x3}尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机地选取训练样本,当选取的样本属于{x3}时,该样本以1的概率加入到该树的训练样本集,否则,该样本以0.6的概率加入到该树的训练样本集。
(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据,决策树在初始时仅包含一个结点,作为树的初始根结点,判断当前结点是否至少满足以下任意一个条件:
a)树的深度大于等于20;
b)当前结点样本个数小于等于1;
c)联合基尼不纯度G小于等于0.0001;
若满足,则直接生成叶子结点,并记录当前结点的正样本占全体样本比例。不满足,则从17个特征中随机选取4个特征,依次尝试使用这4个特征中将当前结点的n个训练样本划分为左右两个子集。具体地,当尝试使用 i特征进行划分时,若样本第i维特征小于划分阈值θi,则该样本被划分至左子集,反之划分至右子集。通过基尼不纯度评估划分对正负样本的分开程度,并选择将正负样本更清楚分开的特征fi以及划分阈值θi作为该结点的参数。
然后,采用(1.2.3)中同样的方法,计算最优划分特征fi在当前结点的局部样本集上对正负样本的区分能力φi。
当φi-Φi>0.2时,该结点转化为采用概率划分方式样本。使用i特征将当前结点的n个样本重新进行划分,第k个样本分别以权重pk,l和pk,r划分至左子集和右子集,其中:
pk,l=P(xk,i<θi)
pk,r=P(xk,i>θi)=1-pk,l
所有样本划分完毕后,计算左右样本子集的带权基尼不纯度Gl和Gr,并计算左右样本子集的联合基尼不纯度G:
G=wl·Gl+wr·Gr
当φi-Φi<0.2时,该结点仍然采用原始的划分方式,并保留学习到的最优划分特征fi和分割阈值θi。
继续创建该结点的子结点,采用上述训练方式,递归的训练每个子结点,直至没有新的结点创建,决策树训练完毕。
(2)利用上述训练好的模型对待检测的2D激光雷达数据进行人腿检测,包括如下子步骤:
(2.1)先采用(1.2.1)所描述的点云聚类方法,将待检测的一帧激光雷达点云聚类为多个点簇,并将这些点簇中包含点的个数小于3的点簇剔除。针对每一个点簇,按照(1.2.2)中特征的计算方式,计算每个点簇的 17个特征f=[f1,f2,…,f17],并以此作为训练好的多尺度自适应随机森林分类器模型的输入。
(2.2)随机森林首先根据点簇与激光雷达之间的距离f16判断待检测对象f所属于的尺度,然后选择模型中特定层次的森林进行判断。若f16<3.0,则该样本属于x1,由第一层森林F1进行预测;若3.0≤f16<6.0,则该样本属于x2,由第一层和第二层森林{F1,F2}共同进行预测,分别输出人腿置信度预测值y1和y2,计算平均值进行融合,作为最终预测结果;若f16≥6.0,则该样本属于x3,由三层森林{F1,F2,F3}共同进行预测,分别输出人腿置信度预测值y1,y2和y3,计算平均值进行融合,作为最终预测结果。
对于第i层森林中第m棵决策树,其进行预测时包含以下步骤:
(2.2.1)对于待预测的样本f=[f1,f2,…,f17],决策树从根结点开始预测。如图3(b)所示,初始样本权重为ωprev=1。依据结点学习的特征i 及其分割阈值θi,将该样本划分至其子结点。
若该结点采用普通划分方式,当fi<θi时,划分到左子结点,否则划分至右子结点。样本在划分时维持当前权重:
ωnext=ωprev,
其中wl=P(fi<θi),wr=1-wl。
决策树的结点递归地采用上述方式将样本划分至n个叶子结点,假设这n个叶子结点输出分别为o1,o2,…,on,待检测对象在这些叶子结点上的权重分别为ω1,ω2,…,ωn,则该决策树的最后输出为:
第i层森林Fi的所有决策树预测值的平均值作为该层森林的输出:
(2.3)每个点簇预测完成后,得到该点簇为人腿点簇的置信度y∈[0,1]。一般地,并将置信度大于0.5的点簇判定为人腿,并以点簇的几何中心坐标作为人腿的位置。
通过本发明所构思的以上技术方案,与现有技术相比,本发明具有以下技术效果:
(1)准确度高:该发明比利用常规的随机森林分类器进行2D激光雷达检测人腿的方法更加健壮,克服了雷达数据不稳定造成的特征不可信的情况,同时引入多尺度的分类器结构和训练方法,使得设计的分类其能够对不同尺度下的人腿进行鲁棒且更为准确的检测;
(2)通用性强:本发明可用于扩展检测2D激光雷达下多种目标而不限定于对某一类特定物体进行专门设计,理论上可以用于任何有类似性质的物体检测。
附图说明
图1是本发明基于多尺度自适应随机森林的激光雷达检测人腿方法的整体流程图,其中实线箭头表示训练,虚线箭头表示测试;
图2是本发明中决策树的训练主要步骤流程图;
图3是本发明设计的多尺度自适应随机森林模型中决策树的结构与传统决策树结构对比,其中图3(a)为传统的随机森林中的决策树结构,图 3(b)为多尺度自适应随机森林模型中决策树的结构。
图4是本发明在一实施例中利用训练好的多尺度自适应随机森林模型对2D激光雷达点云的检测的可视化结果,其中图4(a)为第一个例子,图 4(b)为第二个例子。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明的技术术语进行解释和说明:
2D激光雷达:又称单线激光雷达,是一种距离传感器。它能够精准地测量其安装平面上一定范围以内的周围物体的距离信息。具体地,2D 激光雷达通过向四周发射多束激光束,每一束激光束会测量出一个距离值,且相邻激光束之间的角度间隔为固定值。所有激光束的测距结果构成一帧数据帧。
点云:点云是指2D激光雷达每一帧完整的扫描数据,由确定个数的点组成。通常,每种型号的激光雷达每一帧扫描数据中包含有确定个数的点。
点簇:点簇是点云的子集,每个点簇往往由多个点。点云聚类得到多个点簇,且每个点簇包含点的个数不尽相同。
决策树(Decision Tree):决策树是一类常见的机器学习算法。它具有树形结构,二叉树结构是其中一种被经常采用的结构,由结点和分支组成,其中结点一般分为内部结点和叶子结点两类。其中每个内部结点表示一个属性上的测试,每个分支代表一个测试输出,每个叶结点代表一种类别。决策树通常被应用于分类任务和回归任务。
随机森林(Random Forest):随机森林是一种包含多棵决策树的分类器。它保证了每棵决策树的之间相互具有差异性,从而可以融合多棵决策树的预测结果提高分类器最终预测的准确度。
如图1所示,本发明基于多尺度自适应随机森林的激光雷达检测人腿方法包括下述步骤:
(1)训练多尺度自适应随机森林分类器模型,包括如下子步骤:
(1.1)对原始2D激光雷达数据集的点云中的人腿点簇进行实例级别标注。
采用的标注方法为:根据收集数据时的实际场景,在雷达点云中为人腿点簇的位置添加Leg标签,表示该样本记为正样本;在其他非人腿点簇处不添加标签,表示该样本记为负样本。完成对所有原始2D激光雷达数据集标注,得到带标注的标准训练数据集;
(1.2)构建训练样本,根据(1.1)所得到的带标注的标准数据集,遍历数据集中的2D激光雷达点云数据,提取标记的人腿点簇和非腿点簇,并计算每个点簇的特征作为训练样本,同时计算特征的全局正负样本区分度,包括:
(1.2.1)2D激光雷达点云聚类,针对训练样本集中每一帧激光雷达点云,通过基于相邻点之间的欧式距离的聚类算法,将每一帧雷达点云聚类成 k个点簇s1,s2,…,sk,k为预设值,点簇相互之间互相不包含相同的点,剔除这些点簇中包含点的个数小于3的点簇。判断保留下的点簇是否有Leg标签,若存在则为正样本点簇,否则为负样本点簇。
(1.2.2)计算每个样本点簇的17个特征值,包括:点簇包含点的个数,点簇中每个点与激光雷达之间距离的标准差,点簇中每个点到中位点的平均距离,左侧是否存在遮挡,右侧是否存在遮挡,点簇的宽度,点簇的线度,点簇的圆度,点簇拟合圆半径,点簇所有点构成折线长度,点簇平均曲率,点簇平均连续三点内切角,边界正则性,点簇平均内切角,点簇平均内切角标准差,点簇的中位点与激光雷达之间距离,点簇所有点与激光雷达之间的平均距离,每个样本点簇的特征值向量记为f=[f1,f2,…,f17],f1到f17分别对应上述17个特征值。
(1.2.3)构建训练样本,对从(1.1)标准训练数据集中聚类得到的N 个点簇分别提取(1.2.2)中的17维向量,构成训练样本xN×17。其中,正训练样本分类标签为1,负训练样本分类标签为0,构成训练样本所对应的训练标签
计算得到Φ=[Φ1,Φ2,…,Φ17],来表示每一维特征在全局训练样本中对正负样本的区分能力。训练样本,训练标签和特征的区分能力一同用于训练模型。
(1.3)定义多尺度自适应随机森林分类器模型,根据(1.2)中提取得到的训练样本及训练标签,设计分类器中特征选择方式和样本划分方式,设计分类器多尺度结构。包括:
(1.3.1)构建随机森林分类器的多尺度结构,根据训练样本与激光雷达之间的距离,多尺度自适应随机森林分类器模型F的多尺度结构采用“层叠式”结构,用于预测处于三种不同距离尺度的样本:
x1={f16<3.0}
x2={3.0≤f16<6.0}
x3={f16≥6.0}
随机森林共由三层子森林组成:F={F1,F2,F3}。第一层F1由100棵决策树组成,负责对任意尺度{x1,x2,x3}的样本分类,在训练每棵决策树时,从N个全局训练样本中随机有放回地选取N个样本作为该决策树的训练样本集;第二层F2由80棵决策树组成,负责对{x2,x3}尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机地选取训练样本,当选取的样本属于{x2,x3}时,该样本以1的概率加入到该决策树的训练样本集,否则该样本以0.6的概率加入到该决策树的训练样本集;第三层F3由60棵决策树组成,负责对{x3}尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机选取训练样本,当选取的样本属于{x3}时,该样本以1的概率加入到该决策树的训练样本集,否则该样本以0.6的概率加入到该决策树的训练样本集。
(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据,决策树训练过程如图2所示,在初始时创建一个结点,作为树的初始根结点。首先,判断当前结点是否至少满足以下任意一个条件:
a)树的深度大于等于20;
b)当前结点样本个数小于等于1;
c)联合基尼不纯度G小于等于0.0001;
若满足,则直接生成叶子结点,并记录当前结点的正样本占全体样本比例。
不满足,则从17个特征中随机选取4个特征,依次尝试每一个特征以及对应的划分阈值,将当前结点包含的n个训练样本划分为左右两个子集。具体地,当尝试使用i特征进行划分时,若某一样本第i维特征小于划分阈值θi,则该样本被划分至左子集,反之划分至右子集。通过基尼不纯度评估划分对正负样本的分开程度,并选择将正负样本更正确分开的特征 fi以及划分阈值θi作为该结点的参数。
然后,采用(1.2.3)中同样的方法,计算最优划分特征fi在当前结点的局部样本集上对正负样本的区分能力φi。
当φi-Φi>0.2时,该结点转化为采用概率划分方式样本。使用i特征将当前结点的n个样本重新进行划分,第k个样本分别以权重pk,l和pk,r划分至左子集和右子集,其中:
pk,l=P(xk,i<θi)
pk,r=P(xk,i>θi)=1-pk,l
所有样本划分完毕后,计算左右样本子集的带权基尼不纯度Gl和Gr,并计算左右样本子集的联合基尼不纯度G:
G=wl·Gl+wr·Gr
当φi-Φi<0.2时,该结点仍然采用原始的划分方式,并保留学习到的最优划分特征fi和分割阈值θi。
继续创建该结点的子结点,采用上述训练方式,递归的训练每个子结点,直至没有新的结点创建,决策树训练完毕。
(2)利用上述训练好的模型对待检测的2D激光雷达数据进行人腿检测,包括如下子步骤:
(2.1)先采用(1.2.1)所描述的点云聚类方法,将待检测的一帧激光雷达点云聚类为多个点簇,并将包含点的个数小于3的点簇剔除。针对每一个点簇,按照(1.2.2)中特征的计算方式,计算每个点簇的17维特征f=[f1,f2,…,f17],并以此作为训练好的多尺度自适应随机森林分类器模型的输入。
(2.2)随机森林首先根据点簇与激光雷达之间的距离f16判断待检测对象f所属于的尺度,然后选择模型中特定层次的森林进行预测。
若f16<3.0,则该样本属于尺度x1,由第一层森林F1进行预测,输出人腿置信度预测值y=y1;
对于第i层森林中第m棵决策树,其进行预测时包含以下步骤:
对于待预测的样本f=[f1,f2,…,f17],决策树从根结点开始预测。图3 (a)为传统的随机森林中的决策树结构,图3(b)为多尺度自适应随机森林模型中决策树的结构。如图3(b)所示,初始样本权重为ωprev=1。依据结点学习的特征i及其分割阈值θi,将该样本划分至其子结点。
若该结点采用普通划分方式,当fi<θi时,划分到左子结点,否则划分至右子结点。样本在划分时维持当前权重:
ωnext=ωprev,
其中wl=P(fi<θi),wr=1-wl。
决策树的结点递归地采用上述方式将样本划分至n个叶子结点,假设这n个叶子结点输出分别为o1,o2,…,on,待检测对象在这些叶子结点上的权重分别为ω1,ω2,…,ωn,则该决策树的最后输出为:
第i层森林Fi的所有决策树预测值的平均值作为该层森林的输出:
(2.3)每个点簇预测完成后,得到该点簇为人腿点簇的置信度y∈ [0,1]。一般地,将置信度大于预设阈值(例如0.5)的点簇判定为人腿,并以点簇的几何中心坐标作为人腿的位置。
图4是本发明在一实施例中利用训练好的多尺度自适应随机森林模型对2D激光雷达点云的检测的可视化结果,其中图4(a)为第一个例子,图4(b)为第二个例子。
图4中“行人”标记表示该处存在真实的行人,白色矩形框为检测出的人腿。由结果可以看到,本发明能够对2D激光雷达下的人腿取得准确的检测效果。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述方法包括下述步骤:
(1)训练多尺度自适应随机森林分类器模型,包括如下子步骤:
(1.1)对原始2D激光雷达数据集所有点云中的人腿点簇进行实例级别的标注,得到带标注的标准训练数据集;
(1.2)根据(1.1)所得到的带标注的标准数据集,遍历数据集中的2D激光雷达点云数据,提取标记的人腿点簇和非腿点簇,并计算每个点簇的特征作为训练样本,同时计算特征的全局正负样本区分度;
(1.3)定义多尺度自适应随机森林分类器模型,根据(1.2)中提取得到的训练样本及训练标签,设计分类器的多尺度结构、特征选择方式及样本划分方式,通过训练标签监督训练样本来训练多尺度自适应随机森林模型;
(2)利用上述训练好的多尺度自适应随机森林模型对待检测的2D激光雷达数据进行人腿检测,包括如下子步骤:
(2.1)先将待检测的一帧激光雷达点云聚类为多个点簇,并将包含点的个数小于预设阈值的点簇剔除,计算每个点簇的特征并以此作为训练好的多尺度自适应随机森林分类器模型的输入;
(2.2)随机森林首先根据点簇与激光雷达之间的距离f16判断待检测对象f所属于的尺度,然后选择模型中特定层次的森林进行判断,对于待预测的样本,决策树从根结点开始预测,样本根据结点参数向子结点传递,直至叶子结点输出结果;
(2.3)每个点簇预测完成后,得到该点簇为人腿点簇的置信度y∈[0,1],将置信度大于预设阈值的点簇判定为人腿,并以点簇的几何中心坐标作为人腿的位置。
2.根据权利要求1所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.2)包括:
(1.2.1)针对训练样本集中每一帧激光雷达点云,通过基于相邻点之间的欧式距离的聚类算法,将每一帧雷达点云聚类成k个点簇s1,s2,…,sk,k为预设值,点簇相互之间互相不包含相同的点,剔除这些点簇中包含点的个数小于3的点簇,判断保留下的点簇是否有Leg标签,若存在则为正样本点簇,否则为负样本点簇;
(1.2.2)计算样本点簇的17维几何特征值,包括:点簇包含点个数,点簇中每个点的与激光雷达之间的距离标准差,点簇中每个点到中位点的平均距离,左侧是否存在遮挡,右侧是否存在遮挡,点簇宽度,点簇的线度,点簇的圆度,点簇拟合圆半径,点簇所有点构成折线长度,点簇平均曲率,点簇平均连续三点内切角,边界正则性,点簇平均内切角,点簇平均内切角标准差,点簇的中位点与激光雷达之间距离,点簇所有点与激光雷达之间的平均距离;
(1.2.3)构建训练样本,对从(1.1)标准训练数据集中聚类得到的N个点簇分别提取(1.2.2)中的17维向量,构成训练样本,其中,正训练样本分类标签为1,负训练样本分类标签为0,构成训练样本所对应的训练标签;
(1.2.4)计算所有特征在全局训练样本中对正负样本区分能力。
3.根据权利要求1或2所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.3)包括:
(1.3.1)构建随机森林分类器的多尺度结构,根据训练样本的点簇中位点与激光雷达之际距离,将全局训练样本划分为三种不同尺度,随机森林分类器F的多尺度结构采用层叠式的结构,共由三层子森林组成;
(1.3.2)将每棵决策树选取的训练样本集中所有样本作为输入数据,训练该决策树。
4.根据权利要求2所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.2.2)中的17维特征具体为:
1)、点簇包含点个数:n=|sk|;
2)、点簇中每个点的与激光雷达之间的距离的标准差:
3)、点簇中每个点到中位点的平均距离:
4)、左侧是否存在遮挡:存在遮挡为1,不存在遮挡为0;
5)、右侧是否存在遮挡:存在遮挡为1,不存在遮挡为0;
6)、点簇宽度:点簇第一个点与最后一个点之间的欧式距离d1,n;
7)、点簇的线度:该特征描述了点簇所有点构成的直线程度,通过最小二乘法寻找出拟合该点簇所有点的最优直线,进而计算点簇所有点到该直线的距离平方和;
8)、点簇的圆度:该特征描述了点簇所有点构成圆弧的成圆程度,首先通过求解三元二次方程组解得拟合圆的半径R及圆心坐标(pc,qc),再进一步求得该点簇的圆度Sc;
9)、点簇拟合圆半径R;
10)、点簇所有点构成折线长度:l=∑jdj-1,j;
11)、点簇平均曲率:该特征描述了点簇得弯曲程度,这里采用一种近似计算方法,计算点簇中任意三个连续得点得内接圆半径γi,平均曲率为:
12)、点簇平均连续三点内切角:该特征计算了点簇任意三个连续点{ri-1,ri,ri+1}所构成角度βi=∠(ri-1ri,riri+1)的平均值;
13)、边界正则性:该特征计算了点簇中每两个相邻点之间欧氏距离di,i+1的平均值;
14)、点簇平均内切角:该特征计算了点簇中除首尾两点外,其他任意一个点与首尾两点构成的角平均值:
αi=∠(rir1,rirn)
15)、点簇平均内切角标准差:
6.根据权利要求3所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.3.1)包括:
随机森林共由三层子森林组成:F={F1,F2,F3};第一层F1由100棵决策树组成,负责对任意尺度的样本分类,在训练每棵决策树时,从N个全局训练样本中随机有放回地选取N个样本作为该决策树的训练样本集;第二层F2由80棵决策树组成,负责对尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机地选取训练样本,当选取的样本属于时,该样本以1的概率加入到该决策树的训练样本集,否则该样本以0.6的概率加入到该决策树的训练样本集;第三层F3由60棵决策树组成,负责对尺度下的样本进行分类,在训练每棵决策树时,从N个全局训练样本中随机选取训练样本,当选取的样本属于时,该样本以1的概率加入到该决策树的训练样本集,否则该样本以0.6的概率加入到该决策树的训练样本集。
7.根据权利要求3所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.3.2)包括:
决策树在初始时仅包含一个结点,作为树的初始根结点,判断当前结点是否至少满足以下任意一个条件:a)树的深度大于等于20;b)当前结点样本个数小于等于1;c)联合基尼不纯度G小于等于0.0001;
若满足,则直接生成叶子结点,并记录当前结点的正样本占全体样本比例,不满足,则从17个特征中随机选取4个特征,依次尝试使用这4个特征中将当前结点的n个训练样本划分为左右两个子集,通过基尼不纯度评估划分对正负样本的分开程度,并选择将正负样本更加正确分开的特征fi以及划分阈值θi作为该结点的参数,计算最优划分特征fi在当前结点的局部样本集上对正负样本的区分能力φi;
当φi-Φi>0.2时,该结点转化为采用概率划分方式样本,使用i特征将当前结点的n个样本重新进行划分,第k个样本分别以权重pk,l和pk,r划分至左子集和右子集,其中:
pk,l=P(xk,i<θi)
pk,r=P(xk,i>θi)=1-pk,l
所有样本划分完毕后,计算左右样本子集的带权基尼不纯度Gl和Gr,并计算左右样本子集的联合基尼不纯度G:
G=wl·Gl+wr·Gr
其中和分别代表左样本子集中第k个正样本或负样本的权重,通过比较联合基尼不纯度,搜索使得联合基尼不纯度最小的阈值作为该结点特征fi的分割阈值,当φi-Φi<0.2时,该结点仍然采用原始的划分方式,并保留学习到的最优划分特征fi和分割阈值θi;
继续创建该结点的子结点,采用上述训练方式,递归的训练每个子结点,直至没有新的结点创建,决策树训练完毕。
9.根据权利要求8所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,对第i层森林中第m棵决策树,其进行预测时包含以下步骤:
初始样本权重为ωprev=1,依据结点学习的特征i及其分割阈值θi,将该样本划分至其子结点;
若该结点采用普通划分方式,当fi<θi时,划分到左子结点,否则划分至右子结点,样本在划分时维持当前权重:ωnext=ωprev;
10.根据权利要求1所要求的基于多尺度自适应随机森林的激光雷达检测人腿方法,其特征在于,所述步骤(1.1)包括:
根据收集数据时的实际场景,在雷达点云中为人腿点簇的位置添加Leg标签,表示该样本记为正样本,在其他非人腿点簇处不添加标签,表示该样本记为负样本,完成对所有原始2D激光雷达数据集标注,得到带标注的标准训练数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010116963.3A CN111444769B (zh) | 2020-02-25 | 2020-02-25 | 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010116963.3A CN111444769B (zh) | 2020-02-25 | 2020-02-25 | 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444769A true CN111444769A (zh) | 2020-07-24 |
CN111444769B CN111444769B (zh) | 2022-07-01 |
Family
ID=71652736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010116963.3A Active CN111444769B (zh) | 2020-02-25 | 2020-02-25 | 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444769B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651433A (zh) * | 2020-12-17 | 2021-04-13 | 广州锦行网络科技有限公司 | 一种特权账号异常行为分析方法 |
CN112995155A (zh) * | 2021-02-09 | 2021-06-18 | 中国工商银行股份有限公司 | 金融异常报文识别方法及装置 |
CN113156529A (zh) * | 2021-05-07 | 2021-07-23 | 广东电网有限责任公司计量中心 | 计量检定流水线的启停控制方法、系统、终端和存储介质 |
CN113221755A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人底盘防压脚方法、装置、计算机设备及存储介质 |
CN113822210A (zh) * | 2021-09-27 | 2021-12-21 | 山东睿思奥图智能科技有限公司 | 一种基于激光技术的人腿检测方法 |
CN113959432A (zh) * | 2021-10-20 | 2022-01-21 | 上海擎朗智能科技有限公司 | 移动设备的跟随路径的确定方法、装置及存储介质 |
CN114310886A (zh) * | 2021-12-28 | 2022-04-12 | 深圳中智永浩机器人有限公司 | 人腿识别方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140184644A1 (en) * | 2013-01-03 | 2014-07-03 | Qualcomm Incorporated | Rendering augmented reality based on foreground object |
CN104268598A (zh) * | 2014-09-26 | 2015-01-07 | 东南大学 | 一种基于二维扫描激光的人腿检测方法 |
CN108734124A (zh) * | 2018-05-18 | 2018-11-02 | 四川国软科技发展有限责任公司 | 一种激光雷达动态行人检测方法 |
CN110490114A (zh) * | 2019-08-13 | 2019-11-22 | 西北工业大学 | 一种基于深度随机森林和激光雷达的无人机实时空中目标检测避障方法 |
-
2020
- 2020-02-25 CN CN202010116963.3A patent/CN111444769B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140184644A1 (en) * | 2013-01-03 | 2014-07-03 | Qualcomm Incorporated | Rendering augmented reality based on foreground object |
CN104268598A (zh) * | 2014-09-26 | 2015-01-07 | 东南大学 | 一种基于二维扫描激光的人腿检测方法 |
CN108734124A (zh) * | 2018-05-18 | 2018-11-02 | 四川国软科技发展有限责任公司 | 一种激光雷达动态行人检测方法 |
CN110490114A (zh) * | 2019-08-13 | 2019-11-22 | 西北工业大学 | 一种基于深度随机森林和激光雷达的无人机实时空中目标检测避障方法 |
Non-Patent Citations (2)
Title |
---|
QINGHUA XIAO ET AL.: "Human tracking and following of mobile robot with a laser scanner", 《2017 2ND INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND MECHATRONICS (ICARM)》 * |
扈彬: "基于随机森林与卡尔曼滤波的人体跟踪方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651433A (zh) * | 2020-12-17 | 2021-04-13 | 广州锦行网络科技有限公司 | 一种特权账号异常行为分析方法 |
CN112651433B (zh) * | 2020-12-17 | 2021-12-14 | 广州锦行网络科技有限公司 | 一种特权账号异常行为分析方法 |
CN112995155A (zh) * | 2021-02-09 | 2021-06-18 | 中国工商银行股份有限公司 | 金融异常报文识别方法及装置 |
CN113156529A (zh) * | 2021-05-07 | 2021-07-23 | 广东电网有限责任公司计量中心 | 计量检定流水线的启停控制方法、系统、终端和存储介质 |
CN113221755A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人底盘防压脚方法、装置、计算机设备及存储介质 |
CN113822210A (zh) * | 2021-09-27 | 2021-12-21 | 山东睿思奥图智能科技有限公司 | 一种基于激光技术的人腿检测方法 |
CN113959432A (zh) * | 2021-10-20 | 2022-01-21 | 上海擎朗智能科技有限公司 | 移动设备的跟随路径的确定方法、装置及存储介质 |
CN113959432B (zh) * | 2021-10-20 | 2024-05-17 | 上海擎朗智能科技有限公司 | 移动设备的跟随路径的确定方法、装置及存储介质 |
CN114310886A (zh) * | 2021-12-28 | 2022-04-12 | 深圳中智永浩机器人有限公司 | 人腿识别方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111444769B (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444769B (zh) | 一种基于多尺度自适应随机森林的激光雷达检测人腿方法 | |
CN111444767B (zh) | 一种基于激光雷达的行人检测和追踪方法 | |
CN112526513B (zh) | 基于聚类算法的毫米波雷达环境地图构建方法及装置 | |
CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN111079602A (zh) | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 | |
CN112347550B (zh) | 耦合式室内三维语义建图及建模方法 | |
CN107451619A (zh) | 一种基于感知生成对抗网络的小目标检测方法 | |
JP2020123330A (ja) | ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置 | |
JP2020126613A (ja) | イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置 | |
CN113484875B (zh) | 一种基于混合高斯排序的激光雷达点云目标分级识别方法 | |
US20220051052A1 (en) | Ground extraction method for 3d point clouds of outdoor scenes based on gaussian process regression | |
JP2020119505A (ja) | マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。{learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi−camera system and testing method and testing device using the same} | |
CN110610165A (zh) | 一种基于yolo模型的船舶行为分析方法 | |
CN111950488A (zh) | 一种改进的Faster-RCNN遥感图像目标检测方法 | |
CN105354578A (zh) | 一种多目标物体图像匹配方法 | |
US11887303B2 (en) | Image processing model generation method, image processing method and device, and electronic device | |
CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
CN112613504A (zh) | 一种声呐水下目标检测方法 | |
Guo et al. | Classification of airborne laser scanning data using JointBoost | |
CN111860359B (zh) | 一种基于改进随机森林算法的点云分类方法 | |
CN113570005A (zh) | 一种基于机载光子雷达的远距离舰船类型识别方法 | |
CN113486902A (zh) | 基于元学习的三维点云分类算法自动选择方法 | |
CN115937520A (zh) | 基于语义信息引导的点云运动目标分割方法 | |
CN111796250A (zh) | 一种基于风险评估的虚假点迹多维层次化抑制方法 | |
CN118279320A (zh) | 基于自动提示学习的目标实例分割模型建立方法及其应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |