CN107992850B - 一种室外场景三维彩色点云分类方法 - Google Patents

一种室外场景三维彩色点云分类方法 Download PDF

Info

Publication number
CN107992850B
CN107992850B CN201711381670.2A CN201711381670A CN107992850B CN 107992850 B CN107992850 B CN 107992850B CN 201711381670 A CN201711381670 A CN 201711381670A CN 107992850 B CN107992850 B CN 107992850B
Authority
CN
China
Prior art keywords
point cloud
image
point
cloud data
outdoor scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711381670.2A
Other languages
English (en)
Other versions
CN107992850A (zh
Inventor
安毅
王磊
宋天宁
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201711381670.2A priority Critical patent/CN107992850B/zh
Publication of CN107992850A publication Critical patent/CN107992850A/zh
Application granted granted Critical
Publication of CN107992850B publication Critical patent/CN107992850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

本发明涉及三维点云数据处理与三维场景重建技术领域，一种室外场景三维彩色点云分类方法，包括以下步骤：(1)获取室外场景三维彩色点云数据，(2)构建室外场景三维彩色点云数据训练集，(3)在点云和图像模态中分别构建条件随机场分类器，(4)在点云模态中进行学习训练和分类推断，(5)在图像模态中进行学习训练和分类推断，(6)给出最终分类结果，(7)不断更新协同学习。本发明具有以下优点：一是、本发明将单模态学习扩展为多模态学习，利用模态之间的交互学习，构建多模态协同学习机制，充分发挥各模态优势；二是、本发明将有监督学习扩展为半监督学习，充分利用实时获取的大量无类标签数据进行协同学习，准确分类室外场景。

Description

一种室外场景三维彩色点云分类方法
技术领域
本发明涉及一种室外场景三维彩色点云分类方法，属于三维点云数据处理与三维场景重建技术领域。
背景技术
在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。室外场景三维彩色点云分类是解决三维场景重建的关键性技术，具有较强的理论意义和应用价值，目前已在目标识别、自主导航、路径规划、环境探测、文物保护等领域有了越来越多的应用。
对于同一个三维场景，通过不同方法采集的场景信息就构成了此场景的不同模态表示，例如，场景的二维图像和场景的三维点云就构成了场景的两个模态。根据场景信息模态的不同，三维场景分类方法也不尽相同。二维图像采集便捷，基于二维图像的场景分类方法目前较为成熟，例如图像分类、图像识别等，但其无法提供环境的几何位置信息，致使应用领域有所局限；三维点云获取可靠，基于三维点云的场景分类方法也已取得了较大的发展，例如点云分类、点云识别等，但其无法提供环境的颜色纹理信息，致使认知效果有待提升。随着数据采集技术的快速发展，三维彩色点云数据作为一种新兴的数字媒体形式逐渐走进人们的生产生活，它是由图像和点云两种模态融合而成，兼具图像颜色信息和点云几何信息。目前，基于三维彩色点云的场景分类受到了广泛的关注，可以较好地解决传统认知方法所无法解决的问题。
室外场景三维彩色点云分类是指利用激光测距传感器和图像传感器来获取室外场景的三维点云数据和二维图像数据，并将二者融合，形成室外场景三维彩色点云数据，在此基础上，通过对室外场景三维彩色点云数据的学习和挖掘，将其分类为各种自然物体(地面、建筑、树木、车辆等)，以实现对室外场景的深入理解和对目标的准确识别。目前，室外场景三维彩色点云分类已经成为人工智能领域的前沿课题和研究热点。
现有三维彩色点云分类方法均将图像和点云多模态特征相组合，用一个分类器进行学习训练和分类推断，其本质上还是单模态学习方法，并没有充分发挥多模态的优势；此外，现有三维彩色点云分类方法均为有监督学习方法，在学习过程中只利用训练集中的有类标签数据，并没有充分利用实时获取的大量无类标签数据所蕴含的分布信息。
发明内容
为了克服现有技术中存在的不足，本发明目的是提供一种室外场景三维彩色点云分类方法，以提高室外场景分类的准确性和可靠性。该方法借鉴人类学习过程，将单模态有监督学习扩展为多模态半监督学习，研究基于点云和图像多模态协同学习的室外场景三维彩色点云分类机制，充分发挥各模态优势，利用无类标签数据进行协同学习，准确分类室外场景，丰富类人感知认知技术与理论，将成为一项非常有益的尝试，具有重要的理论意义和应用价值。
为了实现上述发明目的，解决己有技术中存在的问题，本发明采取的技术方案是：一种室外场景三维彩色点云分类方法，包括以下步骤：
步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据P＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤n}，其中：pi为彩色点，(xi,yi,zi)为彩色点pi的坐标，(ri,gi,bi)为彩色点pi的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据S＝{(xi,yi,zi)|1≤i≤n}和图像数据C＝{(ri,gi,bi)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息；
步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li，构建室外场景三维彩色点云数据训练集L＝{pi,li|1≤i≤n}、点云数据训练集Ls＝{(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc＝{(ri,gi,bi),li|1≤i≤n}；
步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：
(a)、在点云模态中，构建点云条件随机场分类器
Figure BDA0001515758780000031
Figure BDA0001515758780000032
其中：表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure BDA0001515758780000034
为第i个点的点云特征向量，
Figure BDA0001515758780000035
为当某点属于第k类的权重，
Figure BDA0001515758780000036
为第i个点属于第k类的值；
Figure BDA0001515758780000037
表示每一条边的能量势函数之和，
Figure BDA0001515758780000038
为边的集合，
Figure BDA0001515758780000039
为第ij条边的点云特征向量，
Figure BDA00015157587800000310
为当某边属于第k类的权重，
Figure BDA00015157587800000311
为第ij条边属于第k类的值；
Figure BDA00015157587800000312
表示每一个团即点云中的某一部分的能量势函数之和，
Figure BDA00015157587800000313
为团的集合，
Figure BDA00015157587800000314
为第c个团的点云特征向量，
Figure BDA00015157587800000315
为当某团属于第k类的权重，
Figure BDA00015157587800000316
为第c个团属于第k类的值，为归一化因子系数；
Figure BDA00015157587800000318
为条件概率，通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；
(b)、在图像模态中，构建图像条件随机场分类器 其中：
Figure BDA00015157587800000321
表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure BDA00015157587800000322
为第i个点的图像特征向量，
Figure BDA00015157587800000323
为当某点属于第k类的权重，
Figure BDA00015157587800000324
为第i个点属于第k类的值；
Figure BDA00015157587800000325
表示每一条边的能量势函数之和，
Figure BDA00015157587800000326
为边的集合，
Figure BDA00015157587800000327
为第ij条边的图像特征向量，为当某边属于第k类的权重，
Figure BDA00015157587800000329
为第ij条边属于第k类的值；表示每一个团即图像中的某一部分的能量势函数之和，
Figure BDA0001515758780000042
为团的集合，
Figure BDA0001515758780000043
为第c个团的图像特征向量，为当某团属于第k类的权重，
Figure BDA0001515758780000045
为第c个团属于第k类的值，
Figure BDA0001515758780000046
为归一化因子系数；
Figure BDA0001515758780000047
为条件概率，通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；
步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集Ls去训练点云条件随机场分类器fs，并利用训练后获得的点云条件随机场分类器fs，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc，具体包括以下子步骤：
(a)、针对室外场景三维彩色点云数据，利用KD-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域N＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤k}，其中：pi为邻点，i为邻点的序号，k为邻点的个数；
(b)、通过公式(1)
Figure BDA0001515758780000048
构建给定点p的邻域N的协方差矩阵M，T为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵M的特征值λ1、λ2、λ3，且λ1<λ2<λ3，以及相应的特征向量v1、v2、v3，最小特征值λ1对应的特征向量v1为给定点p的法向量n＝(xn,yn,zn)，中间特征值λ2对应的特征向量v2为给定点p的基向量b＝(xb,yb,zb)，最大特征值λ3对应的特征向量v3为给定点p的切向量t＝(xt,yt,zt)；
(c)、构造第i个点的点云特征向量
Figure BDA0001515758780000049
其中，
Figure BDA00015157587800000410
为高度特征，
Figure BDA00015157587800000411
为点性特征,
Figure BDA00015157587800000412
为线性特征,
Figure BDA00015157587800000413
为面性特征，
Figure BDA00015157587800000414
为切向量特征，
Figure BDA00015157587800000415
为法向量特征；
(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量
Figure BDA0001515758780000051
和
Figure BDA0001515758780000052
将第ij条边的两个端点的点云特征向量相减，即可得第ij条边的点云特征向量
Figure BDA0001515758780000053
其中，
Figure BDA0001515758780000054
i为第ij条边的一个端点的序号，j为第ij条边的另一个端点的序号；
(e)、在点云模态中，利用K-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第c个团的点云特征向量为
Figure BDA0001515758780000056
其中，
Figure BDA0001515758780000057
为该团的平均高度，为该团内点的个数，为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集Ls的点云特征向量，并利用Max-margin方法对点云条件随机场分类器fs进行学习训练，并获得该分类器的所有参数
Figure BDA00015157587800000510
和
(g)、在获得点云条件随机场分类器fs后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率
Figure BDA00015157587800000512
大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc；
步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集Lc去训练图像条件随机场分类器fc，并利用训练后获得的图像条件随机场分类器fc，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls，具体包括以下子步骤：
(a)、构造第i个点的图像特征向量
Figure BDA00015157587800000513
图像特征向量
Figure BDA00015157587800000514
为30维向量，包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征，上述特征均利用标准图像处理方法计算得到；
(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和
Figure BDA0001515758780000062
将第ij条边的两个端点的图像特征向量相减，即可得第ij条边的图像特征向量
Figure BDA0001515758780000063
(c)、在图像模态中，利用K-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第c个团的图像特征向量为
Figure BDA0001515758780000064
为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集Lc的图像特征向量，并利用Max-margin方法对图像条件随机场分类器fc进行学习训练，并获得该分类器的所有参数
Figure BDA0001515758780000065
和
(e)、在获得图像条件随机场分类器fc后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率
Figure BDA0001515758780000067
大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls；
步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果；
步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集Ls和图像数据训练集Lc，不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
本发明有益效果是：一种室外场景三维彩色点云分类方法，包括以下步骤：(1)获取室外场景三维彩色点云数据，(2)构建室外场景三维彩色点云数据训练集，(3)在点云和图像模态中分别构建条件随机场分类器，(4)在点云模态中进行学习训练和分类推断，(5)在图像模态中进行学习训练和分类推断，(6)给出最终分类结果，(7)不断更新协同学习。与已有技术相比，本发明具有以下优点：一是、本发明将单模态学习扩展为多模态学习，利用模态之间的交互学习，构建多模态协同学习机制，充分发挥各模态优势；二是、本发明将有监督学习扩展为半监督学习，充分利用实时获取的大量无类标签数据进行协同学习，准确分类室外场景。
附图说明
图1是本发明方法步骤流程图。
图2是室外场景三维彩色点云数据显示图。
图3是室外场景三维点云数据显示图。
图4是室外场景二维图像数据显示图。
图5是本发明原理示意图。
图6是室外场景三维彩色点云分类结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种室外场景三维彩色点云分类方法，包括以下步骤：
步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据P＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤n}，其中：pi为彩色点，(xi,yi,zi)为彩色点pi的坐标，(ri,gi,bi)为彩色点pi的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据S＝{(xi,yi,zi)|1≤i≤n}和图像数据C＝{(ri,gi,bi)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息，如图2、图3和图4所示。
步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li，构建室外场景三维彩色点云数据训练集L＝{pi,li|1≤i≤n}、点云数据训练集Ls＝{(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc＝{(ri,gi,bi),li|1≤i≤n}。
步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：
(a)、在点云模态中，构建点云条件随机场分类器
Figure BDA0001515758780000081
Figure BDA0001515758780000082
其中：
Figure BDA0001515758780000083
表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure BDA0001515758780000084
为第i个点的点云特征向量，
Figure BDA0001515758780000085
为当某点属于第k类的权重，
Figure BDA0001515758780000086
为第i个点属于第k类的值；
Figure BDA0001515758780000087
表示每一条边的能量势函数之和，
Figure BDA0001515758780000088
为边的集合，
Figure BDA0001515758780000089
为第ij条边的点云特征向量，
Figure BDA00015157587800000810
为当某边属于第k类的权重，
Figure BDA00015157587800000811
为第ij条边属于第k类的值；表示每一个团即点云中的某一部分的能量势函数之和，
Figure BDA00015157587800000813
为团的集合，
Figure BDA00015157587800000814
为第c个团的点云特征向量，为当某团属于第k类的权重，
Figure BDA00015157587800000816
为第c个团属于第k类的值，
Figure BDA00015157587800000817
为归一化因子系数；
Figure BDA00015157587800000818
为条件概率，通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；
(b)、在图像模态中，构建图像条件随机场分类器
Figure BDA00015157587800000819
Figure BDA00015157587800000820
其中：
Figure BDA00015157587800000821
表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure BDA00015157587800000822
为第i个点的图像特征向量，
Figure BDA00015157587800000823
为当某点属于第k类的权重，
Figure BDA00015157587800000824
为第i个点属于第k类的值；
Figure BDA00015157587800000825
表示每一条边的能量势函数之和，为边的集合，
Figure BDA00015157587800000827
为第ij条边的图像特征向量，
Figure BDA00015157587800000828
为当某边属于第k类的权重，
Figure BDA00015157587800000829
为第ij条边属于第k类的值；
Figure BDA00015157587800000830
表示每一个团即图像中的某一部分的能量势函数之和，
Figure BDA00015157587800000831
为团的集合，
Figure BDA00015157587800000832
为第c个团的图像特征向量，
Figure BDA00015157587800000833
为当某团属于第k类的权重，为第c个团属于第k类的值，为归一化因子系数；
Figure BDA0001515758780000093
为条件概率，通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型，如图5所示。
步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集Ls去训练点云条件随机场分类器fs，并利用训练后获得的点云条件随机场分类器fs，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc，具体包括以下子步骤：
(a)、针对室外场景三维彩色点云数据，利用KD-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域N＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤k}，其中：pi为邻点，i为邻点的序号，k为邻点的个数；
(b)、通过公式(1)
Figure BDA0001515758780000094
构建给定点p的邻域N的协方差矩阵M，T为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵M的特征值λ1、λ2、λ3，且λ1<λ2<λ3，以及相应的特征向量v1、v2、v3，最小特征值λ1对应的特征向量v1为给定点p的法向量n＝(xn,yn,zn)，中间特征值λ2对应的特征向量v2为给定点p的基向量b＝(xb,yb,zb)，最大特征值λ3对应的特征向量v3为给定点p的切向量t＝(xt,yt,zt)；
(c)、构造第i个点的点云特征向量
Figure BDA0001515758780000095
其中，
Figure BDA0001515758780000096
为高度特征，
Figure BDA0001515758780000097
为点性特征,
Figure BDA0001515758780000098
为线性特征,
Figure BDA0001515758780000099
为面性特征，
Figure BDA00015157587800000910
为切向量特征，
Figure BDA00015157587800000911
为法向量特征；
(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量
Figure BDA00015157587800000912
和
Figure BDA00015157587800000913
将第ij条边的两个端点的点云特征向量相减，即可得第ij条边的点云特征向量
Figure BDA0001515758780000101
其中，
Figure BDA0001515758780000102
Figure BDA0001515758780000103
i为第ij条边的一个端点的序号，j为第ij条边的另一个端点的序号；
(e)、在点云模态中，利用K-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第c个团的点云特征向量为
Figure BDA0001515758780000104
其中，为该团的平均高度，
Figure BDA0001515758780000106
为该团内点的个数，
Figure BDA0001515758780000107
为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集Ls的点云特征向量，并利用Max-margin方法对点云条件随机场分类器fs进行学习训练，并获得该分类器的所有参数
Figure BDA0001515758780000108
和
Figure BDA0001515758780000109
(g)、在获得点云条件随机场分类器fs后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率
Figure BDA00015157587800001010
大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc，如图5所示。
步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集Lc去训练图像条件随机场分类器fc，并利用训练后获得的图像条件随机场分类器fc，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls，具体包括以下子步骤：
(a)、构造第i个点的图像特征向量
Figure BDA00015157587800001011
图像特征向量为30维向量，包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征，上述特征均利用标准图像处理方法计算得到；
(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量
Figure BDA0001515758780000111
和
Figure BDA0001515758780000112
将第ij条边的两个端点的图像特征向量相减，即可得第ij条边的图像特征向量
Figure BDA0001515758780000113
(c)、在图像模态中，利用K-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第c个团的图像特征向量为
Figure BDA0001515758780000114
为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集Lc的图像特征向量，并利用Max-margin方法对图像条件随机场分类器fc进行学习训练，并获得该分类器的所有参数
Figure BDA0001515758780000115
和
(e)、在获得图像条件随机场分类器fc后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率
Figure BDA0001515758780000117
大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls，如图5所示。
步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果，如图6所示。
步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集Ls和图像数据训练集Lc，不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
本发明优点在于：1、本发明将单模态学习扩展为多模态学习，利用模态之间的交互学习，构建多模态协同学习机制，充分发挥各模态优势；2、本发明将有监督学习扩展为半监督学习，充分利用实时获取的大量无类标签数据进行协同学习，准确分类室外场景。

Claims (1)

1.一种室外场景三维彩色点云分类方法，其特征在于包括以下步骤：
步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据P＝{pi＝(xi,yi,zi,ri,gi,bi)|1≤i≤n}，其中：pi为彩色点，(xi,yi,zi)为彩色点pi的坐标，(ri,gi,bi)为彩色点pi的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据S＝{(xi,yi,zi)|1≤i≤n}和图像数据C＝{(ri,gi,bi)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息；
步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li，构建室外场景三维彩色点云数据训练集L＝{pi,li|1≤i≤n}、点云数据训练集Ls＝{(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc＝{(ri,gi,bi),li|1≤i≤n}；
步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：
(a)、在点云模态中，构建点云条件随机场分类器
Figure FDA0002146357060000011
Figure FDA0002146357060000012
其中：
Figure FDA0002146357060000013
表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure FDA0002146357060000014
为第
Figure FDA0002146357060000015
个点的点云特征向量，
Figure FDA0002146357060000016
为当某点属于第k类的权重，
Figure FDA0002146357060000017
为第个点属于第k类的值；
Figure FDA0002146357060000019
表示每一条边的能量势函数之和，
Figure FDA00021463570600000110
为边的集合，
Figure FDA00021463570600000111
为第
Figure FDA00021463570600000112
条边的点云特征向量，为当某边属于第k类的权重，
Figure FDA00021463570600000114
为第条边属于第k类的值；
Figure FDA00021463570600000116
表示每一个团即点云中的某一部分的能量势函数之和，
Figure FDA00021463570600000117
为团的集合，
Figure FDA00021463570600000118
为第
Figure FDA00021463570600000119
个团的点云特征向量，
Figure FDA00021463570600000120
为当某团属于第k类的权重，
Figure FDA00021463570600000121
为第
Figure FDA00021463570600000122
个团属于第k类的值，
Figure FDA00021463570600000123
为归一化因子系数；
Figure FDA0002146357060000021
为条件概率，
Figure FDA0002146357060000022
为类别值
Figure FDA0002146357060000023
和
Figure FDA0002146357060000024
的集合，
Figure FDA0002146357060000025
为点云特征向量和
Figure FDA0002146357060000027
的集合；通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；
(b)、在图像模态中，构建图像条件随机场分类器
Figure FDA0002146357060000029
其中：
Figure FDA00021463570600000210
表示每一个点的能量势函数之和，N为点的个数，K为类的个数，
Figure FDA00021463570600000211
为第
Figure FDA00021463570600000212
个点的图像特征向量，
Figure FDA00021463570600000213
为当某点属于第k类的权重，为第
Figure FDA00021463570600000215
个点属于第k类的值；
Figure FDA00021463570600000216
表示每一条边的能量势函数之和，为边的集合，
Figure FDA00021463570600000218
为第
Figure FDA00021463570600000219
条边的图像特征向量，
Figure FDA00021463570600000220
为当某边属于第k类的权重，
Figure FDA00021463570600000221
为第
Figure FDA00021463570600000222
条边属于第k类的值；
Figure FDA00021463570600000223
表示每一个团即图像中的某一部分的能量势函数之和，为团的集合，
Figure FDA00021463570600000225
为第
Figure FDA00021463570600000226
个团的图像特征向量，
Figure FDA00021463570600000227
为当某团属于第k类的权重，
Figure FDA00021463570600000228
为第
Figure FDA00021463570600000229
个团属于第k类的值，
Figure FDA00021463570600000230
为归一化因子系数；
Figure FDA00021463570600000231
为条件概率，
Figure FDA00021463570600000232
为类别值
Figure FDA00021463570600000233
和的集合，
Figure FDA00021463570600000235
为图像特征向量
Figure FDA00021463570600000236
和
Figure FDA00021463570600000237
的集合；通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；
步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集Ls去训练点云条件随机场分类器fs，并利用训练后获得的点云条件随机场分类器fs，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc，具体包括以下子步骤：
(a)、针对室外场景三维彩色点云数据，利用KD-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域Np＝{pj＝(xj,yj,zj,rj,gj,bj)|1≤j≤m}，其中：pj为邻点，j为邻点的序号，m为邻点的个数；
(b)、通过公式(1)
Figure FDA0002146357060000031
构建给定点p的邻域Np的协方差矩阵M，T为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵M的特征值λ1、λ2、λ3，且λ1<λ2<λ3，以及相应的特征向量v1、v2、v3，最小特征值λ1对应的特征向量v1为给定点p的法向量n＝(xn,yn,zn)，中间特征值λ2对应的特征向量v2为给定点p的基向量b＝(xb,yb,zb)，最大特征值λ3对应的特征向量v3为给定点p的切向量t＝(xt,yt,zt)；
(c)、构造第个点的点云特征向量
Figure FDA0002146357060000033
其中，
Figure FDA0002146357060000034
为高度特征，为点性特征,
Figure FDA0002146357060000036
为线性特征,
Figure FDA0002146357060000037
为面性特征，
Figure FDA0002146357060000038
为切向量特征，
Figure FDA0002146357060000039
Figure FDA00021463570600000310
为法向量特征；
(d)、利用步骤4中子步骤(c)分别计算第
Figure FDA00021463570600000311
条边的两个端点的点云特征向量
Figure FDA00021463570600000312
和
Figure FDA00021463570600000313
将第条边的两个端点的点云特征向量相减，即可得第
Figure FDA00021463570600000315
条边的点云特征向量
Figure FDA00021463570600000316
其中，
Figure FDA00021463570600000317
Figure FDA00021463570600000318
Figure FDA00021463570600000319
为第
Figure FDA00021463570600000320
条边的一个端点的序号，
Figure FDA00021463570600000321
为第
Figure FDA00021463570600000322
条边的另一个端点的序号；
(e)、在点云模态中，利用K-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第个团的点云特征向量为
Figure FDA00021463570600000324
其中，为该团的平均高度，
Figure FDA00021463570600000326
为该团内点的个数，
Figure FDA00021463570600000327
为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集Ls的点云特征向量，并利用Max-margin方法对点云条件随机场分类器fs进行学习训练，并获得该分类器的所有参数
Figure FDA00021463570600000328
和
Figure FDA00021463570600000329
(g)、在获得点云条件随机场分类器fs后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc，用于扩充图像数据训练集Lc；
步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集Lc去训练图像条件随机场分类器fc，并利用训练后获得的图像条件随机场分类器fc，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls，具体包括以下子步骤：
(a)、构造第
Figure FDA0002146357060000042
个点的图像特征向量
Figure FDA0002146357060000043
图像特征向量
Figure FDA0002146357060000044
为30维向量，包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征，上述特征均利用标准图像处理方法计算得到；
(b)、利用步骤5中子步骤(a)分别计算第
Figure FDA0002146357060000045
条边的两个端点的图像特征向量
Figure FDA0002146357060000046
和
Figure FDA0002146357060000047
将第
Figure FDA0002146357060000048
条边的两个端点的图像特征向量相减，即可得第
Figure FDA0002146357060000049
条边的图像特征向量
Figure FDA00021463570600000410
(c)、在图像模态中，利用K-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第
Figure FDA00021463570600000411
个团的图像特征向量为
Figure FDA00021463570600000412
Figure FDA00021463570600000413
为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集Lc的图像特征向量，并利用Max-margin方法对图像条件随机场分类器fc进行学习训练，并获得该分类器的所有参数
Figure FDA00021463570600000414
和
(e)、在获得图像条件随机场分类器fc后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率
Figure FDA0002146357060000051
大于0.9的分类结果及其点云数据加入点云数据训练集Ls，用于扩充点云数据训练集Ls；
步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果；
步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集Ls和图像数据训练集Lc，不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
CN201711381670.2A 2017-12-20 2017-12-20 一种室外场景三维彩色点云分类方法 Active CN107992850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711381670.2A CN107992850B (zh) 2017-12-20 2017-12-20 一种室外场景三维彩色点云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711381670.2A CN107992850B (zh) 2017-12-20 2017-12-20 一种室外场景三维彩色点云分类方法

Publications (2)

Publication Number Publication Date
CN107992850A CN107992850A (zh) 2018-05-04
CN107992850B true CN107992850B (zh) 2020-01-14

Family

ID=62038229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711381670.2A Active CN107992850B (zh) 2017-12-20 2017-12-20 一种室外场景三维彩色点云分类方法

Country Status (1)

Country Link
CN (1) CN107992850B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201811601SA (en) * 2018-11-13 2020-06-29 Beijing Didi Infinity Technology & Development Co Ltd Methods and systems for color point cloud generation
CN109858437B (zh) * 2019-01-30 2023-05-30 苏州大学 基于生成查询网络的行李体积自动分类方法
CN110555826B (zh) * 2019-08-04 2022-04-15 大连理工大学 一种基于局部离群因子的三维点云特征提取方法
CN111310811B (zh) * 2020-02-06 2021-01-15 东华理工大学 一种基于多维特征最优组合的大场景三维点云分类方法
CN111709430B (zh) * 2020-06-08 2021-10-15 大连理工大学 基于高斯过程回归的室外场景三维点云的地面提取方法
CN113239749B (zh) * 2021-04-27 2023-04-07 四川大学 一种基于多模态联合学习的跨域点云语义分割方法
CN115327562A (zh) * 2022-10-16 2022-11-11 常州海图信息科技股份有限公司 一种手持可视激光测距仪器
CN115374498B (zh) * 2022-10-24 2023-03-10 北京理工大学 一种考虑道路属性特征参数的道路场景重构方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463856B (zh) * 2014-11-25 2017-06-27 大连理工大学 基于法向量球的室外场景三维点云数据的地面提取方法
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
CN104504709B (zh) * 2014-12-28 2017-05-03 大连理工大学 一种基于特征球的室外场景三维点云数据的分类方法
CN105488809B (zh) * 2016-01-14 2018-04-17 电子科技大学 基于rgbd描述符的室内场景语义分割方法
US10192347B2 (en) * 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
CN106485274B (zh) * 2016-10-09 2019-05-10 湖南穗富眼电子科技有限公司 一种基于目标特性图的物体分类方法
CN107016415B (zh) * 2017-04-12 2019-07-19 合肥工业大学 一种基于全卷积网络的彩色图像色彩语义分类方法
CN107167811B (zh) * 2017-04-26 2019-05-03 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法

Also Published As

Publication number Publication date
CN107992850A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN107992850B (zh) 一种室外场景三维彩色点云分类方法
Wang et al. Sgpn: Similarity group proposal network for 3d point cloud instance segmentation
Hong et al. Multi-view object retrieval via multi-scale topic models
Wang et al. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
Zhang et al. A multilevel point-cluster-based discriminative feature for ALS point cloud classification
Zhang et al. Deep learning-based classification and reconstruction of residential scenes from large-scale point clouds
CN104268593B (zh) 一种小样本情况下多稀疏表示的人脸识别方法
Liu et al. Adaptive spatial pooling for image classification
Arif et al. Automated body parts estimation and detection using salient maps and Gaussian matrix model
CN110097060B (zh) 一种面向树干图像的开集识别方法
Nedović et al. Stages as models of scene geometry
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
Elguebaly et al. Simultaneous high-dimensional clustering and feature selection using asymmetric Gaussian mixture models
Sekma et al. Human action recognition based on multi-layer fisher vector encoding method
CN105868706A (zh) 一种基于稀疏自编码的三维模型识别方法
CN115170805A (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
Xi et al. Beyond context: Exploring semantic similarity for small object detection in crowded scenes
CN106203448B (zh) 一种基于非线性尺度空间的场景分类方法
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
Naseer et al. Pixels to precision: features fusion and random forests over labelled-based segmentation
Lu et al. A two level approach for scene recognition
Cai et al. Rgb-d scene classification via multi-modal feature learning
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN109948662B (zh) 一种基于K-means和MMD的人脸图像深度聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant