CN111709430B - 基于高斯过程回归的室外场景三维点云的地面提取方法 - Google Patents

基于高斯过程回归的室外场景三维点云的地面提取方法 Download PDF

Info

Publication number
CN111709430B
CN111709430B CN202010510160.6A CN202010510160A CN111709430B CN 111709430 B CN111709430 B CN 111709430B CN 202010510160 A CN202010510160 A CN 202010510160A CN 111709430 B CN111709430 B CN 111709430B
Authority
CN
China
Prior art keywords
point
ground
points
local ground
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010510160.6A
Other languages
English (en)
Other versions
CN111709430A (zh
Inventor
安毅
李秀胜
王晋豫
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010510160.6A priority Critical patent/CN111709430B/zh
Publication of CN111709430A publication Critical patent/CN111709430A/zh
Priority to PCT/CN2021/071055 priority patent/WO2021248908A1/zh
Application granted granted Critical
Publication of CN111709430B publication Critical patent/CN111709430B/zh
Priority to US17/513,876 priority patent/US20220051052A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及三维点云的地面提取方法,一种基于高斯过程回归的室外场景三维点云的地面提取方法,包括以下步骤:(1)获取室外场景的三维点云,(2)构建三维点云的邻域关系,(3)计算三维点云的协方差矩阵和法向量,(4)根据邻域形状对三维点云进行初步分类,(5)提取初步地面Gs,(6)分割初步地面,(7)二维高斯过程回归,(8)寻找局部地面邻域
Figure DDA0002527906620000011
(9)提取最终地面Ge。本发明利用逐层提取的思想和高斯过程回归的构建,从室外场景三维点云中准确完整地提取出了地面点云数据,有效地解决了由于室外场景复杂、地面零碎、起伏不定等因素而造成的地面提取不完整、不准确的问题。

Description

基于高斯过程回归的室外场景三维点云的地面提取方法
技术领域
本发明涉及一种三维点云的地面提取方法,更具体地说,涉及一种基于高斯过程回归的室外场景三维点云的地面提取方法。
背景技术
随着三维扫描测距技术的发展,三维点云在逆向工程、工业检测、自主导航等领域的应用越来越为广泛。三维点云处理技术作为实现上述应用的基础,发挥了至关重要的作用。在三维点云处理技术中,三维点云的特征提取是一个非常关键的技术,尤其是室外场景三维点云的地面特征提取,其对于室外场景的分割识别、移动机器人的路径规划等后续处理,都有着极其重要的作用。
在移动机器人自主导航领域,室外场景三维点云的地面提取是移动机器人进行路径规划的前提,完整的三维点云地面为移动机器人提供了准确的可行区域,提高了移动机器人的空间通过能力,保障了移动机器人在行进过程中的自身安全。在室外场景分析领域,由于室外场景极其复杂,会涉及到各种不同的物体,例如建筑、树木、车辆、人员等,为了便于进行场景分析,就需要对室外场景的三维点云进行有效的分割,而地面作为整幅场景的大背景,其准确完整的提取有助于将地面上的各类物体从空间中相互剥离,以便于后续的物体分割和场景分析。
目前,较为常见的三维点云地面提取方法为随机抽样一致性算法(RANSAC算法),该方法将地面当作所处理场景中最大的平面而直接获取,这种方法对于比较平整大块的地面,具有较好的效果,但对于室外场景较为复杂、地面比较零碎、起伏不定的情况,这种方法就不能保证地面提取的完整性和准确性。
发明内容
为了克服现有技术中存在的不足,本发明目的是提供一种基于高斯过程回归的室外场景三维点云的地面提取方法。该方法针对一个室外场景,首先利用激光扫描测距仪获取室外场景的三维点云,其实质为三维空间中的一个点集,然后通过一定的点云提取方法,从室外场景三维点云中,准确完整地提取出地面点云数据。该方法解决了由于室外场景复杂、地面零碎、起伏不定等因素而造成的地面提取不完整、不准确的问题,以提高室外场景地面提取的准确性和完整性,具有较好的地面提取效果。
为了实现上述发明目的,解决已有技术中所存在的问题,本发明采取的技术方案是:一种基于高斯过程回归的室外场景三维点云的地面提取方法,包括以下步骤:
步骤1、获取室外场景的三维点云:利用激光扫描测距仪,获取室外场景的三维点云;
步骤2、构建三维点云的邻域关系:采用KD-Tree算法构建全体点云的结构树,根据点云的坐标将全体点云划分到不同的空间区域,在邻域构建时即可利用空间地址信息实现邻近点的搜索,以快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn},其中:pi为给定点邻点,i为给定点邻点的序号,nn为给定点邻点的个数;
步骤3、计算三维点云的协方差矩阵和法向量:选取三维点云中的任意一点为给定点p=(x,y,z),利用其邻域N={pi=(xi,yi,zi)|1≤i≤nn},构建协方差矩阵M,求解协方差矩阵M的特征值λ1、λ2、λ3和特征向量v1、v2、v3,以及给定点p的法向量n,具体包括以下子步骤:
(a)、利用步骤2所构建的三维点云的邻域关系,来快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn};
(b)、构建给定点p的邻域N的协方差矩阵M,通过公式(1)进行描述,
Figure GDA0003149605680000031
式中:T为向量转置符号,其将列向量转置为行向量;
(c)、求解协方差矩阵M的特征值λ1、λ2、λ3123),以及对应的特征向量v1、v2、v3
(d)、将最小特征值λ1对应的特征向量v1单位化,即得到给定点p的法向量n;
(e)、对三维点云中的每一个点,重复步骤3子步骤(a)-(d),继而求解每一个点的协方差矩阵的特征值、特征向量和法向量;
步骤4、根据邻域形状对三维点云进行初步分类:利用给定点p的协方差矩阵M的特征值λ1、λ2、λ3之间的大小关系,来判断其邻域形状,并以此将三维点云分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs,具体包括以下子步骤:
(a)、若协方差矩阵M的特征值λ1≈λ2≈λ3,即λ32≤8和λ21≤8,则给定点p与其邻点pi呈散乱状分布,将给定点p分类为点性点;
(b)、若协方差矩阵M的特征值λ1≈λ2<<λ3,即λ32>8和λ21≤8,则给定点p与其邻点pi呈直线状分布,将给定点p分类为线性点;
(c)、若协方差矩阵M的特征值λ1<<λ2≈λ3,即λ32≤8和λ21>8,则给定点p与其邻点pi呈平面状分布,将给定点p分类为面性点;
(d)、对三维点云中的每一个点,重复步骤4子步骤(a)-(c),将整个三维点云初步分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs
步骤5、提取初步地面Gs:将所有面性点集合Cs的法向量映射到单位球上,以构建法向量球S,并利用Mean-Shift聚类算法,在法向量球S上对所有面性点集合Cs的法向量的顶点进行聚类,将面性点集合Cs分为若干个平面区域Fj,并从中提取出初步地面Gs,具体包括以下子步骤:
(a)、将面性点集合Cs内每一个面性点的法向量映射到单位球上,以构建法向量球S,法向量球S上的点即为面性点的法向量的顶点;
(b)、利用Mean-Shift聚类算法,在法向量球S上,对所有面性点的法向量的顶点进行聚类,进而可将面性点的法向量分为若干类,最终可将面性点分为若干个平面区域Fj,1≤j≤m,其中:j为平面区域的序号,m为平面区域的个数;
(c)、计算每一个平面区域Fj的平均高程
Figure GDA0003149605680000041
和平均法向量
Figure GDA0003149605680000042
若某个平面区域Fj的平均高程
Figure GDA0003149605680000043
和平均法向量
Figure GDA0003149605680000044
满足条件:
Figure GDA0003149605680000045
Figure GDA0003149605680000046
其中:
Figure GDA0003149605680000047
为平均法向量
Figure GDA0003149605680000048
与垂直方向的夹角,则认为该平面区域Fj为初步地面区域的一个组成部分,利用该方法对每一个平面区域Fj进行判断和筛选,则可获取整个的初步地面Gs
步骤6、分割初步地面:使用K-Means聚类算法,根据初步地面Gs中的初步地面点pt到各个局部地面中心点pk之间的距离远近,将初步地面Gs细分为K个局部地面LGk={pks=(xks,yks,zks|1≤s≤nk)},1≤k≤K,其中,pks是局部地面点,k是局部地面序号,K是局部地面个数,s是局部地面LGk中的点序号,nk是局部地面LGk包含的点数,具体包括以下子步骤:
(a)、确定局部地面的个数K,用最远点采样法选取K个点作为初始的局部地面中心点pk,1≤k≤K;
(b)、计算初步地面点pt(1≤t≤ns)与各个局部地面中心点pk之间的距离,把每个初步地面点pt分配给距离它最近的局部地面中心点pk,其中,t是初步地面点序号,ns是初步地面点个数;
(c)、当初步地面点pt均被分配完毕后,每一个局部地面中心点pk会根据局部地面LGk中的局部地面点pks被重新计算,通过公式(2)进行描述,
Figure GDA0003149605680000051
式中,pk表示计算后新的局部地面中心点;
(d)、这个过程将不断重复,直到满足没有局部地面中心点pk再发生变化为止;最后,将每一个局部地面中心点pk和分配给它们的局部地面点pks看成一个簇,一共分为K簇,以此完成局部地面的划分,将初步地面Gs细分为K个局部地面LGk(1≤k≤K);
步骤7、二维高斯过程回归:构建局部地面LGk的二维高斯过程回归模型,并以局部地面LGk作为训练样本来训练二维高斯过程回归模型,用共轭梯度法优化方法求出该模型的超参数(lk
Figure GDA0003149605680000052
Figure GDA0003149605680000053
)的最优解,具体包括以下子步骤:
(a)、局部地面LGk上定义离散函数zks=fd(tks),tks=[xks,yks]T,该函数在tks处的值fd(tks)是高斯过程的随机变量;
(b)、通过均值函数m(tks)和协方差函数
Figure GDA0003149605680000054
Figure GDA0003149605680000055
指定高斯过程为,
Figure GDA0003149605680000056
于是,可以进一步将高斯过程GP写为
Figure GDA0003149605680000057
(c)、考虑到数据存在噪声,zks=fd(tks)+ε,在噪声
Figure GDA0003149605680000058
的假设条件下,得到观测值
Figure GDA0003149605680000059
的先验分布为,
Figure GDA00031496056800000510
其中:
Figure GDA00031496056800000511
K(Tk,Tk)=(kst)是输入样本Tk的一个n×n阶对称正定的协方差矩阵,矩阵元素kst用来度量tks和tkt之间的相关性,计算kst的公式为平方指数协方差函数,
Figure GDA00031496056800000512
式中,lk是方差尺度,
Figure GDA00031496056800000513
是信号方差,1≤s,t≤nk,s≠t;
(d)、观测值zk和预测值f*的联合先验分布为,
Figure GDA0003149605680000061
K(Tk,t*)=K(t*,Tk)T是测试点t*与训练输入Tk之间的n×1阶的协方差矩阵,K(t*,t*)是测试点t*自身的协方差,I是n阶单位矩阵;由此可以计算出预测值f*的后验分布,即要构建的局部地面LGk的二维高斯过程归回数学模型为
f*|Tk,zk,t*~N(m(f*),cov(f*)) (7)
式中,
Figure GDA0003149605680000062
Figure GDA0003149605680000063
(e)、用局部地面LGk中的点作为训练样本,首先建立训练样本条件概率的负对数似然函数,并令其对超参数(lk
Figure GDA0003149605680000064
Figure GDA0003149605680000065
)求偏导;然后采用共轭梯度法优化方法对偏导数进行最小化,从而得到超参数的最优解;
步骤8、寻找局部地面邻域
Figure GDA0003149605680000066
对于某一个局部地面LGk,逐个判断整个室外场景P={pa=(xa,ya,za)|1≤a≤na}中的场景点pa,只要场景点pa距离局部地面LGk中任意一点pks(pks∈LGk)小于距离阈值rk,那么该点就归属于局部地面LGk的一个邻域点,其中,a是场景点序号,na是整个室外场景的总点数,具体包括以下子步骤:
(a)、求出每一个局部地面点pks的地面点邻域
Figure GDA0003149605680000067
Figure GDA0003149605680000068
其中,nks是地面点邻点个数,
Figure GDA0003149605680000069
Figure GDA00031496056800000610
是LGk中距离pks最近的点;
(b)、将步骤8子步骤(a)中得到的每一个地面点邻域
Figure GDA00031496056800000611
求并集,并将结果作为局部地面LGk的邻域
Figure GDA00031496056800000612
Figure GDA00031496056800000613
Figure GDA00031496056800000614
其中,
Figure GDA00031496056800000615
是局部地面邻域点,s′是局部地面邻域点序号,
Figure GDA00031496056800000616
是局部地面邻域点个数;
步骤9、提取最终地面Ge:将每一个局部地面LGk的邻域
Figure GDA0003149605680000071
代入到局部地面的二维高斯过程归回模型中,计算出每个
Figure GDA0003149605680000072
的预测均值
Figure GDA0003149605680000073
和方差
Figure GDA0003149605680000074
若预测均值和方差满足下列条件:
Figure GDA0003149605680000075
Figure GDA0003149605680000076
Figure GDA0003149605680000077
被认为是地面点,通过对每个局部地面LGk使用上述方法检查其邻域
Figure GDA0003149605680000078
中的点,得到最终的地面Ge,其中
Figure GDA0003149605680000079
Figure GDA00031496056800000710
分别表示方差阈值和马氏距离阈值,
Figure GDA00031496056800000711
本发明有益效果是:一种基于高斯过程回归的室外场景三维点云的地面提取方法,包括以下步骤:(1)获取室外场景的三维点云,(2)、构建三维点云的邻域关系,(3)、计算三维点云的协方差矩阵和法向量,(4)、根据邻域形状对三维点云进行初步分类,(5)、提取初步地面Gs,(6)、分割初步地面,(7)、二维高斯过程回归,(8)、寻找局部地面邻域
Figure GDA00031496056800000712
(9)、提取最终地面Ge。与已有技术相比,本发明采用了逐层提取的思想:首先,通过协方差矩阵的特征值分析,来提取室外场景三维点云中的整体平面区域(面性点集合Cs);然后,通过构建面性点Cs的法向量球S及其上的法向量聚类,将整体平面区域(面性点集合Cs)分为若干个平面区域Fj;接着,通过法向量信息和高程信息的结合,从若干个平面区域Fj中提取初步地面区域Gs;然后,用K-Means聚类算法将初步地面分割成若干个更紧凑的局部地面LGk,并找出每个局部地面的邻域点;最终,通过局部地面区域的高斯过程回归,来获取完整地面区域Ge。逐层提取的思想能够使地面三维点云的提取更加完整和准确,尤其是当室外场景比较复杂时,将初步地面分割成若干个紧凑的局部地面,然后分别进行高斯过程回归,最后通过“或逻辑”获得完整地面,这对提取零碎、离散、起伏地面具有很大的帮助。因此,本发明所提方法有效地解决了由于室外场景复杂、地面零碎、起伏不定等因素而造成的地面提取不完整、不准确的问题,具有较好的地面提取效果。
附图说明
图1是本发明方法步骤流程图。
图2是室外场景三维点云显示图。
图3是本发明面性点提取结果图。
图4是本发明法向量球构建结果图。
图5是本发明法向量顶点聚类结果图。
图6是本发明初始地面图。
图7是本发明初始地面分割效果图。
图8是局部地面及其邻域图。
图9是本发明最终地面提取结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,一种基于高斯过程回归的室外场景三维点云的地面提取方法,包括以下步骤:
步骤1、获取室外场景的三维点云,利用激光扫描测距仪,获取室外场景的三维点云。如图2所示,整幅室外场景由大约10万个点组成,其中包括地面、树木、草丛、建筑、车辆、人员等。
步骤2、构建三维点云的邻域关系:采用KD-Tree算法构建全体点云的结构树,根据点云的坐标将全体点云划分到不同的空间区域,在邻域构建时即可利用空间地址信息实现邻近点的搜索,以快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn},其中:pi为给定点邻点,i为给定点邻点的序号,nn为给定点邻点的个数;
步骤3、计算三维点云的协方差矩阵和法向量:选取三维点云中的任意一点为给定点p=(x,y,z),利用其邻域N={pi=(xi,yi,zi)|1≤i≤nn},构建协方差矩阵M,求解协方差矩阵M的特征值λ1、λ2、λ3和特征向量v1、v2、v3,以及给定点p的法向量n,具体包括以下子步骤:
(a)、利用步骤2所构建的三维点云的邻域关系,来快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn};
(b)、构建给定点p的邻域N的协方差矩阵M,通过公式(1)进行描述,
Figure GDA0003149605680000091
式中,T为向量转置符号,其将列向量转置为行向量;
(c)、求解协方差矩阵M的特征值λ1、λ2、λ3123),以及对应的特征向量v1、v2、v3
(d)、将最小特征值λ1对应的特征向量v1单位化,即得到给定点p的法向量n;
(e)、对三维点云中的每一个点,重复步骤3子步骤(a)-(d),继而求解每一个点的协方差矩阵的特征值、特征向量和法向量;
步骤4、根据邻域形状对三维点云进行初步分类:利用给定点p的协方差矩阵M的特征值λ1、λ2、λ3之间的大小关系,来判断其邻域形状,并以此将三维点云分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs,具体包括以下子步骤:
(a)、若协方差矩阵M的特征值λ1≈λ2≈λ3,即λ32≤8和λ21≤8,则给定点p与其邻点pi呈散乱状分布,将给定点p分类为点性点;
(b)、若协方差矩阵M的特征值λ1≈λ2<<λ3,即λ32>8和λ21≤8,则给定点p与其邻点pi呈直线状分布,将给定点p分类为线性点;
(c)、若协方差矩阵M的特征值λ1<<λ2≈λ3,即λ32≤8和λ21>8,则给定点p与其邻点pi呈平面状分布,将给定点p分类为面性点;
(d)、对三维点云中的每一个点,重复步骤4子步骤(a)-(c),将整个三维点云初步分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs,室外场景中面性点集合Cs的提取结果如图3所示。
步骤5、提取初步地面Gs:将所有面性点集合Cs的法向量映射到单位球上,以构建法向量球S,并利用Mean-Shift聚类算法,在法向量球S上对所有面性点集合Cs的法向量的顶点进行聚类,将面性点集合Cs分为若干个平面区域Fj,并从中提取出初步地面Gs,具体包括以下子步骤:
(a)、将面性点集合Cs内每一个面性点的法向量映射到单位球上,以构建法向量球S,如图4所示,法向量球S上的点即为面性点的法向量的顶点;
(b)、利用Mean-Shift聚类算法,在法向量球S上,对所有面性点的法向量的顶点进行聚类,如图5所示,进而可将面性点的法向量分为若干类,最终可将面性点分为若干个平面区域Fj,1≤j≤m,其中:j为平面区域的序号,m为平面区域的个数;
(c)、计算每一个平面区域Fj的平均高程
Figure GDA0003149605680000101
和平均法向量
Figure GDA0003149605680000102
若某个平面区域Fj的平均高程
Figure GDA0003149605680000103
和平均法向量
Figure GDA0003149605680000104
满足条件:
Figure GDA0003149605680000105
Figure GDA0003149605680000106
其中:
Figure GDA0003149605680000107
为平均法向量
Figure GDA0003149605680000108
与垂直方向的夹角,则认为该平面区域Fj为初步地面区域的一个组成部分,利用该方法对每一个平面区域Fj进行判断和筛选,则可获取整个的初步地面Gs,如图6所示。
步骤6、分割初步地面:使用K-Means聚类算法,根据初步地面Gs中的初步地面点pt到各个局部地面中心点pk之间的距离远近,将初步地面Gs细分为K个局部地面LGk={pks=(xks,yks,zks|1≤s≤nk)},1≤k≤K,其中,pks是局部地面点,k是局部地面序号,K是局部地面个数,s是局部地面LGk中的点序号,nk是局部地面LGk包含的点数,具体包括以下子步骤:
(a)、确定局部地面的个数K,用最远点采样法选取K个点作为初始的局部地面中心点pk,1≤k≤K;
(b)、计算初步地面点pt(1≤t≤ns)与各个局部地面中心点pk之间的距离,把每个初步地面点pt分配给距离它最近的局部地面中心点pk,其中,t是初步地面点序号,ns是初步地面点个数;
(c)、当初步地面点pt均被分配完毕后,每一个局部地面中心点pk会根据局部地面LGk中的局部地面点pks被重新计算,通过公式(2)进行描述,
Figure GDA0003149605680000111
式中,pk表示计算后新的局部地面中心点;
(d)、这个过程将不断重复,直到满足没有局部地面中心点pk再发生变化为止;最后,将每一个局部地面中心点pk和分配给它们的局部地面点pks看成一个簇,一共分为K簇,以此完成局部地面的划分,将初步地面Gs细分为K个局部地面LGk(1≤k≤K),如图7所示。
步骤7、二维高斯过程回归:构建局部地面LGk的二维高斯过程回归模型,并以局部地面LGk作为训练样本来训练二维高斯过程回归模型,用共轭梯度法优化方法求出该模型的超参数(lk
Figure GDA0003149605680000112
Figure GDA0003149605680000113
)的最优解,具体包括以下子步骤:
(a)、局部地面LGk上定义离散函数zks=fd(tks),tks=[xks,yks]T,该函数在tks处的值fd(tks)是高斯过程的随机变量;
(b)、通过均值函数m(tks)和协方差函数
Figure GDA0003149605680000114
Figure GDA0003149605680000115
指定高斯过程为,
Figure GDA0003149605680000116
于是,可以进一步将高斯过程GP写为
Figure GDA0003149605680000117
(c)、考虑到数据存在噪声,zks=fd(tks)+ε,在噪声
Figure GDA0003149605680000118
的假设条件下,得到观测值
Figure GDA0003149605680000121
的先验分布为,
Figure GDA0003149605680000122
其中:
Figure GDA0003149605680000123
K(Tk,Tk)=(kst)是输入样本Tk的一个n×n阶对称正定的协方差矩阵,矩阵元素kst用来度量tks和tkt之间的相关性,计算kst的公式为平方指数协方差函数,
Figure GDA0003149605680000124
式中,lk是方差尺度,
Figure GDA0003149605680000125
是信号方差,1≤s,t≤nk,s≠t;
(d)、观测值zk和预测值f*的联合先验分布为,
Figure GDA0003149605680000126
K(Tk,t*)=K(t*,Tk)T是测试点t*与训练输入Tk之间的n×1阶的协方差矩阵,K(t*,t*)是测试点t*自身的协方差,I是n阶单位矩阵;由此可以计算出预测值f*的后验分布,即要构建的局部地面LGk的二维高斯过程归回数学模型为f*
f*|Tk,zk,t*~N(m(f*),cov(f*)) (7)
式中,
Figure GDA0003149605680000127
Figure GDA0003149605680000128
(e)、用局部地面LGk中的点作为训练样本,首先建立训练样本条件概率的负对数似然函数,并令其对超参数(lk
Figure GDA0003149605680000129
Figure GDA00031496056800001210
)求偏导;然后采用共轭梯度法优化方法对偏导数进行最小化,从而得到超参数的最优解;
步骤8、寻找局部地面邻域
Figure GDA00031496056800001211
对于某一个局部地面LGk,逐个判断整个室外场景P={pa=(xa,ya,za)|1≤a≤na}中的场景点pa,只要场景点pa距离局部地面LGk中任意一点pks(pks∈LGk)小于距离阈值rk,那么该点就归属于局部地面LGk的一个邻域点,其中,a是场景点序号,na是整个室外场景的总点数,具体包括以下子步骤:
(a)、求出每一个局部地面点pks的地面点邻域
Figure GDA0003149605680000131
Figure GDA0003149605680000132
其中,nks是地面点邻点个数,
Figure GDA0003149605680000133
Figure GDA0003149605680000134
是LGk中距离pks最近的点;
(b)、将步骤8子步骤(a)中得到的每一个地面点邻域
Figure GDA0003149605680000135
求并集,并将结果作为局部地面LGk的邻域
Figure GDA0003149605680000136
Figure GDA0003149605680000137
Figure GDA0003149605680000138
其中,
Figure GDA0003149605680000139
是局部地面邻域点,s′是局部地面邻域点序号,
Figure GDA00031496056800001310
是局部地面邻域点个数,局部地面邻域如图8所示。
步骤9、提取最终地面Ge:将每一个局部地面LGk的邻域
Figure GDA00031496056800001311
代入到局部地面的二维高斯过程归回模型中,计算出每个
Figure GDA00031496056800001312
的预测均值
Figure GDA00031496056800001313
和方差
Figure GDA00031496056800001314
若预测均值和方差满足下列条件:
Figure GDA00031496056800001315
Figure GDA00031496056800001316
Figure GDA00031496056800001317
被认为是地面点,通过对每个局部地面LGk使用上述方法检查其邻域
Figure GDA00031496056800001318
中的点,得到最终的地面Ge如图9所示。其中
Figure GDA00031496056800001319
Figure GDA00031496056800001320
分别表示方差阈值和马氏距离阈值,
Figure GDA00031496056800001321
本发明优点在于:在没有任何函数假设的情况下,例如线性或二次,高斯过程回归通过考虑函数值与给定观测值的相关性,可以很好地逼近未知函数值,即使是在突变的情况下。这一特点有利于灵活处理非常不规则的地面情况。本发明利用逐层提取的思想和高斯过程回归的构建,从室外场景三维点云中准确完整地提取出了地面点云数据,有效地解决了由于室外场景复杂、地面零碎、起伏不定等因素而造成的地面提取不完整、不准确的问题,具有较好的地面提取效果。

Claims (1)

1.一种基于高斯过程回归的室外场景三维点云的地面提取方法,其特征在于包括以下步骤:
步骤1、获取室外场景的三维点云,利用激光扫描测距仪,获取室外场景的三维点云;
步骤2、构建三维点云的邻域关系,采用KD-Tree算法构建全体点云的结构树,根据点云的坐标将全体点云划分到不同的空间区域,在邻域构建时即可利用空间地址信息实现邻近点的搜索,以快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn},其中:pi为给定点邻点,i为给定点邻点的序号,nn为给定点邻点的个数;
步骤3、计算三维点云的协方差矩阵和法向量,选取三维点云中的任意一点为给定点p=(x,y,z),利用其邻域N={pi=(xi,yi,zi)|1≤i≤nn},构建协方差矩阵M,求解协方差矩阵M的特征值λ1、λ2、λ3和特征向量v1、v2、v3,以及给定点p的法向量n,具体包括以下子步骤:
(a)、利用步骤2所构建的三维点云的邻域关系,来快速构建给定点p=(x,y,z)的邻域N={pi=(xi,yi,zi)|1≤i≤nn};
(b)、构建给定点p的邻域N的协方差矩阵M,通过公式(1)进行描述,
Figure FDA0003149605670000011
式中:T为向量转置符号,其将列向量转置为行向量;
(c)、求解协方差矩阵M的特征值λ1、λ2、λ3123),以及对应的特征向量v1、v2、v3
(d)、将最小特征值λ1对应的特征向量v1单位化,即得到给定点p的法向量n;
(e)、对三维点云中的每一个点,重复步骤3子步骤(a)-(d),继而求解每一个点的协方差矩阵的特征值、特征向量和法向量;
步骤4、根据邻域形状对三维点云进行初步分类,利用给定点p的协方差矩阵M的特征值λ1、λ2、λ3之间的大小关系,来判断其邻域形状,并以此将三维点云分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs,具体包括以下子步骤:
(a)、若协方差矩阵M的特征值λ1≈λ2≈λ3,即λ32≤8和λ21≤8,则给定点p与其邻点pi呈散乱状分布,将给定点p分类为点性点;
(b)、若协方差矩阵M的特征值λ1≈λ2<<λ3,即λ32>8和λ21≤8,则给定点p与其邻点pi呈直线状分布,将给定点p分类为线性点;
(c)、若协方差矩阵M的特征值λ1<<λ2≈λ3,即λ32≤8和λ21>8,则给定点p与其邻点pi呈平面状分布,将给定点p分类为面性点;
(d)、对三维点云中的每一个点,重复步骤4子步骤(a)-(c),将整个三维点云初步分为三大类,即点性点集合Cp、线性点集合Cl和面性点集合Cs
步骤5、提取初步地面Gs,将所有面性点集合Cs的法向量映射到单位球上,以构建法向量球S,并利用Mean-Shift聚类算法,在法向量球S上对所有面性点集合Cs的法向量的顶点进行聚类,将面性点集合Cs分为若干个平面区域Fj,并从中提取出初步地面Gs,具体包括以下子步骤:
(a)、将面性点集合Cs内每一个面性点的法向量映射到单位球上,以构建法向量球S,法向量球S上的点即为面性点的法向量的顶点;
(b)、利用Mean-Shift聚类算法,在法向量球S上,对所有面性点的法向量的顶点进行聚类,进而可将面性点的法向量分为若干类,最终可将面性点分为若干个平面区域Fj,1≤j≤m,其中:j为平面区域的序号,m为平面区域的个数;
(c)、计算每一个平面区域Fj的平均高程
Figure FDA0003149605670000021
和平均法向量
Figure FDA0003149605670000022
若某个平面区域Fj的平均高程
Figure FDA0003149605670000031
和平均法向量
Figure FDA0003149605670000032
满足条件:
Figure FDA0003149605670000033
Figure FDA0003149605670000034
其中:
Figure FDA0003149605670000035
为平均法向量
Figure FDA0003149605670000036
与垂直方向的夹角,则认为该平面区域Fj为初步地面区域的一个组成部分,利用该方法对每一个平面区域Fj进行判断和筛选,则可获取整个的初步地面Gs
步骤6、分割初步地面,使用K-Means聚类算法,根据初步地面Gs中的初步地面点pt到各个局部地面中心点pk之间的距离远近,将初步地面Gs细分为K个局部地面LGk={pks=(xks,yks,zks|1≤s≤nk)},1≤k≤K,其中,pks是局部地面点,k是局部地面序号,K是局部地面个数,s是局部地面LGk中的点序号,nk是局部地面LGk包含的点数,具体包括以下子步骤:
(a)、确定局部地面的个数K,用最远点采样法选取K个点作为初始的局部地面中心点pk,1≤k≤K;
(b)、计算初步地面点pt(1≤t≤ns)与各个局部地面中心点pk之间的距离,把每个初步地面点pt分配给距离它最近的局部地面中心点pk,其中,t是初步地面点序号,ns是初步地面点个数;
(c)、当初步地面点pt均被分配完毕后,每一个局部地面中心点pk会根据局部地面LGk中的局部地面点pks被重新计算,通过公式(2)进行描述,
Figure FDA0003149605670000037
式中,pk表示计算后新的局部地面中心点;
(d)、这个过程将不断重复,直到满足没有局部地面中心点pk再发生变化为止;最后,将每一个局部地面中心点pk和分配给它们的局部地面点pks看成一个簇,一共分为K簇,以此完成局部地面的划分,将初步地面Gs细分为K个局部地面LGk(1≤k≤K);
步骤7、二维高斯过程回归,构建局部地面LGk的二维高斯过程回归模型,并以局部地面LGk作为训练样本来训练二维高斯过程回归模型,用共轭梯度法优化方法求出该模型的超参数(lk
Figure FDA0003149605670000041
Figure FDA0003149605670000042
)的最优解,具体包括以下子步骤:
(a)、局部地面LGk上定义离散函数zks=fd(tks),tks=[xks,yks]T,该函数在tks处的值fd(tks)是高斯过程的随机变量;
(b)、通过均值函数m(tks)和协方差函数k(tks,tkt),
Figure FDA00031496056700000412
Figure FDA00031496056700000413
指定高斯过程为,
Figure FDA0003149605670000043
于是,可以进一步将高斯过程GP写为
Figure FDA0003149605670000044
(c)、考虑到数据存在噪声,zks=fd(tks)+ε,在噪声
Figure FDA00031496056700000411
的假设条件下,得到观测值zk=[zk1,zk2,…,zknk]的先验分布为,
Figure FDA0003149605670000045
其中:
Figure FDA0003149605670000046
K(Tk,Tk)=(kst)是输入样本Tk的一个n×n阶对称正定的协方差矩阵,矩阵元素kst用来度量tks和tkt之间的相关性,计算kst的公式为平方指数协方差函数,
Figure FDA0003149605670000047
式中,lk是方差尺度,
Figure FDA0003149605670000048
是信号方差,1≤s,t≤nk,s≠t;
(d)、观测值zk和预测值f*的联合先验分布为,
Figure FDA0003149605670000049
K(Tk,t*)=K(t*,Tk)T是测试点t*与训练输入Tk之间的n×1阶的协方差矩阵,K(t*,t*)是测试点t*自身的协方差,I是n阶单位矩阵;由此可以计算出预测值f*的后验分布,即要构建的局部地面LGk的二维高斯过程归回数学模型为
f*|Tk,zk,t*~N(m(f*),cov(f*)) (7)
式中,
Figure FDA00031496056700000410
Figure FDA0003149605670000051
(e)、用局部地面LGk中的点作为训练样本,首先建立训练样本条件概率的负对数似然函数,并令其对超参数(lk
Figure FDA0003149605670000052
Figure FDA0003149605670000053
)求偏导;然后采用共轭梯度法优化方法对偏导数进行最小化,从而得到超参数的最优解;
步骤8、寻找局部地面邻域
Figure FDA00031496056700000523
对于某一个局部地面LGk,逐个判断整个室外场景P={pa=(xa,ya,za)|1≤a≤na}中的场景点pa,只要场景点pa距离局部地面LGk中任意一点pks(pks∈LGk)小于距离阈值rk,那么该点就归属于局部地面LGk的一个邻域点,其中,a是场景点序号,na是整个室外场景的总点数,具体包括以下子步骤:
(a)、求出每一个局部地面点pks的地面点邻域
Figure FDA0003149605670000054
Figure FDA0003149605670000055
其中,nks是地面点邻点个数,
Figure FDA0003149605670000056
Figure FDA0003149605670000057
是LGk中距离pks最近的点;
(b)、将步骤8子步骤(a)中得到的每一个地面点邻域
Figure FDA00031496056700000524
求并集,并将结果作为局部地面LGk的邻域
Figure FDA0003149605670000058
Figure FDA0003149605670000059
Figure FDA00031496056700000510
其中,
Figure FDA00031496056700000511
是局部地面邻域点,s′是局部地面邻域点序号,
Figure FDA00031496056700000512
是局部地面邻域点个数;
步骤9、提取最终地面Ge,将每一个局部地面LGk的邻域
Figure FDA00031496056700000525
代入到局部地面的二维高斯过程归回模型中,计算出每个
Figure FDA00031496056700000513
的预测均值
Figure FDA00031496056700000514
和方差
Figure FDA00031496056700000515
若预测均值和方差满足下列条件:
Figure FDA00031496056700000516
Figure FDA00031496056700000517
Figure FDA00031496056700000518
被认为是地面点,通过对每个局部地面LGk使用上述方法检查其邻域
Figure FDA00031496056700000519
中的点,得到最终的地面Ge,其中
Figure FDA00031496056700000520
Figure FDA00031496056700000521
分别表示方差阈值和马氏距离阈值,
Figure FDA00031496056700000522
CN202010510160.6A 2020-06-08 2020-06-08 基于高斯过程回归的室外场景三维点云的地面提取方法 Active CN111709430B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010510160.6A CN111709430B (zh) 2020-06-08 2020-06-08 基于高斯过程回归的室外场景三维点云的地面提取方法
PCT/CN2021/071055 WO2021248908A1 (zh) 2020-06-08 2021-01-11 基于高斯过程回归的室外场景三维点云的地面提取方法
US17/513,876 US20220051052A1 (en) 2020-06-08 2021-10-28 Ground extraction method for 3d point clouds of outdoor scenes based on gaussian process regression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010510160.6A CN111709430B (zh) 2020-06-08 2020-06-08 基于高斯过程回归的室外场景三维点云的地面提取方法

Publications (2)

Publication Number Publication Date
CN111709430A CN111709430A (zh) 2020-09-25
CN111709430B true CN111709430B (zh) 2021-10-15

Family

ID=72539434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510160.6A Active CN111709430B (zh) 2020-06-08 2020-06-08 基于高斯过程回归的室外场景三维点云的地面提取方法

Country Status (3)

Country Link
US (1) US20220051052A1 (zh)
CN (1) CN111709430B (zh)
WO (1) WO2021248908A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709430B (zh) * 2020-06-08 2021-10-15 大连理工大学 基于高斯过程回归的室外场景三维点云的地面提取方法
CN116167668B (zh) * 2023-04-26 2023-07-14 山东金至尊装饰工程有限公司 基于bim的绿色节能建筑施工质量评价方法及系统
CN116933549B (zh) * 2023-07-28 2024-01-23 北京航空航天大学 基于点云数据的大长径比筒件装配界面快速余量计算方法
CN117576087A (zh) * 2024-01-15 2024-02-20 海克斯康制造智能技术(青岛)有限公司 基于点云法线的物体表面凹凸性的检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN104463856A (zh) * 2014-11-25 2015-03-25 大连理工大学 基于法向量球的室外场景三维点云数据的地面提取方法
CN104504718A (zh) * 2015-01-06 2015-04-08 南京大学 高分辨率航空遥感数据自动道路提取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620638B2 (en) * 2017-08-18 2020-04-14 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
CN107992850B (zh) * 2017-12-20 2020-01-14 大连理工大学 一种室外场景三维彩色点云分类方法
CN108764187B (zh) * 2018-06-01 2022-03-08 百度在线网络技术(北京)有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
US20200027266A1 (en) * 2018-07-17 2020-01-23 Uti Limited Partnership Building contour generation from point clouds
CN110349192B (zh) * 2019-06-10 2021-07-13 西安交通大学 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN110490812A (zh) * 2019-07-05 2019-11-22 哈尔滨理工大学 基于高斯过程回归算法的地面滤波方法
CN111709430B (zh) * 2020-06-08 2021-10-15 大连理工大学 基于高斯过程回归的室外场景三维点云的地面提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268609A (zh) * 2013-05-17 2013-08-28 清华大学 一种有序提取地面的点云分割方法
CN104463856A (zh) * 2014-11-25 2015-03-25 大连理工大学 基于法向量球的室外场景三维点云数据的地面提取方法
CN104504718A (zh) * 2015-01-06 2015-04-08 南京大学 高分辨率航空遥感数据自动道路提取方法

Also Published As

Publication number Publication date
CN111709430A (zh) 2020-09-25
WO2021248908A1 (zh) 2021-12-16
US20220051052A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
CN111709430B (zh) 基于高斯过程回归的室外场景三维点云的地面提取方法
Cerutti et al. A parametric active polygon for leaf segmentation and shape estimation
CN104573744B (zh) 精细粒度类别识别及物体的部分定位和特征提取方法
CN113221625B (zh) 一种利用深度学习的局部特征对齐行人重识别方法
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN105389799B (zh) 基于素描图与低秩分解的sar图像目标检测方法
CN107817802B (zh) 混合双层地图的构建方法及装置
CN107491734A (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN108052886A (zh) 一种小麦条锈病菌夏孢子自动统计计数方法
CN106023155A (zh) 基于水平集的在线目标轮廓跟踪方法
Chen et al. Locating crop plant centers from UAV-based RGB imagery
CN108629297A (zh) 一种基于空域自然场景统计的遥感图像云检测方法
CN110516533A (zh) 一种基于深度度量的行人再辨识方法
CN115170805A (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
Bansal et al. Detecting Severity Levels of Cucumber Leaf Spot Disease using ResNext Deep Learning Model: A Digital Image Analysis Approach
Ge et al. Coarse-to-fine foraminifera image segmentation through 3D and deep features
CN110348478B (zh) 一种基于形状分类与组合的室外点云场景中树木提取方法
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN112509017A (zh) 一种基于可学习差分算法的遥感影像变化检测方法
CN112241956A (zh) 基于区域生长法和变差函数的PolSAR图像山脊线提取方法
Sirmacek et al. Road detection from remotely sensed images using color features
CN116310583A (zh) 基于深度语义拓扑融合网络的极化sar图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant