CN102930246A - 一种基于点云片段分割的室内场景识别方法 - Google Patents

Abstract

本发明涉及一种基于点云片段分割的室内场景识别方法，该方法包括以下步骤：结合图论方法，根据三维点云的平面法向量和颜色信息对三维点云图像进行场景预分割，将图像分割成为不同点云片段，且保证每个片段属于不同的物体；构建一个同时合并和识别的概率模型框架对点云片段进行合并和物体分类，实现对场景空间中不同物体的识别；采用融合语义信息和拓扑关系的场景空间层次模型来表示场景空间的图像特征、物体类别、物体间的关系及场景所在的区域信息，并构建一个基于有向图的场景空间信息推理模型获得场景的空间语义信息。与现有技术相比，本发明具有识别精确、操作简便等优点。

Description

一种基于点云片段分割的室内场景识别方法

技术领域

本发明涉及一种场景识别方法，尤其是涉及一种基于点云片段分割的室内场景识别方法。

背景技术

随着机器人技术的发展、机器人应用领域也开始从传统的工厂制造领域拓展到家庭、医院、老年关怀中心、军事、旅游、运输、勘探、抢险救灾等现场和服务领域。这类环境的特征往往是不确定的或者变化的，机器人如何感知与理解环境成为一个挑战，而机器人环境感知和理解的基础和核心问题就是场景识别。对于场景识别问题，常用的方法有Spatial Envelope场景描述子(也被称为场景的Gist)方法，对场景图像的自然度、开放度、粗糙度等特性进行描述，舍弃了识别物体的过程，通过直接对场景全局特征分类进行场景识别。这种场景识别方法由于不需要进行图像分割和物体识别过程，因而得到了广泛的应用。另一种思路是通过首先提取图像局部特征算子，再形成图像的全局描述。近年来，局域不变特征算子如SIFT(ScaleInvariant Feature Transform)、SURF(Speed Up Robust Features)等在机器人视觉中开始广泛应用，词包模型(Bag-of-Word，BoW)图像分类以及图像匹配开始兴起，其衍生出的许多方法在场景识别领域也取得了不错的效果。还有一些方法使用生成模型(Generative Model)引入隐含变量(latent variable)对场景进行建模，图像由一些局部特征的集合来表示，同时每一块区域都被赋予了一种“主题”，通过Graphical model的推演来判断场景的类别。随机潜在语义分析(probabilistic Latent SemanticAnalysis，pLSA)方法通过学习图片的向量描述，利用支持向量机(SVM)或者K近邻(KNN)算法对场景进行识别。

以上场景识别方法主要是通过对场景全局或局部基本特征的提取，生成图像描述对整个场景建模，然后进行识别。实际上，一个特定的场景是由很多不同的物体组成，现有方法更多的考虑到了场景特征的统计特性而较少关心场景中的物体语义，或者区域的空间分布与关系；场景和物体通常作为独立的部分或者只是建立了简单的对应关系，还没有形成一套完善的模型体系。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精确、操作简便的基于点云片段分割的室内场景识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于点云片段分割的室内场景识别方法，该方法包括以下步骤：

步骤一，结合图论方法，根据三维点云的平面法向量和颜色信息对三维点云图像进行场景预分割，将图像分割成为不同点云片段，且保证每个片段属于不同的物体；

步骤二，构建一个同时合并和识别的概率模型框架对点云片段进行合并和物体分类，实现对场景空间中不同物体的识别；

步骤三，采用融合语义信息和拓扑关系的场景空间层次模型来表示场景空间的图像特征、物体类别、物体间的关系及场景所在的区域信息，并构建一个基于有向图的场景空间信息推理模型获得场景的空间语义信息。

所述的场景预分割具体包括以下步骤：

1)构建一个无向图G(V，E)，其中V表示图中的顶点，每一个顶点代表场景空间中的一个数据点，每个点v_i＝(x_i，y_i，z_i，r_i，g_i，b_i，nx_i，ny_i，nz_i)，包括点的几何坐标(X，Y，Z)、颜色信息(R，G，B)和法向量(NX，NY，NZ)，(NX，NY，NZ)(NX，NY，NZ)^T＝1；E表示相邻两个点之间的边e_ij＝(v_i，v_j)，用d(e_ij)和w(e_ij)分别表示边的法向量权值和颜色权值，d(e_ij)＝1-|nx_i·nx_j+ny_i·ny_j+nz_i·nz_j|，

2)对E中所有的边，按d(e_ij)的值进行升序排列，然后依次检查每条边，如果边上的权值满足d(e_ij)≤T_d且w(e_ij)≤T_w，则将边上的两个顶点分割为同一个区域，其中T_d和T_w分别为合并边上两个顶点的法向量阈值和颜色阈值。

所述的同时合并和识别的概率模型框架具体为：

$P\left(s_{i+j}\right|D)=\underset{l\∈L}{\mathrm{\Σ}}P(x_i=l|s_i,D)P(x_j=l|s_j,D)P\left(s_{i+j}\right|x_{i+j}=l,D)$

其中，s_i和s_j为相邻的两个区域片段，D表示相应的数据特征，它们相应的类别分别为x_i和x_j，s_i+j表示两个区域片段的联合，x_i+j为相应的区域类别，l∈L，L表示物体的类别；P(s_i+j|D)表示区域片段s_i和s_j合并的概率，P(x_i＝l|s_i，D)和P(x_j＝l|s_j，D)分别表示区域片段s_i和s_j属于物体类别l的概率；P(s_i+j|x_i+j＝l，D)表示当物体类别均为l时，区域片段s_i和s_j合并为单一区域片段的概率；

对于每一个数据片段s_i，相应的数据特征D＝d₁，d₂，…，依次表示数据片段的平面度、平面法向量与垂直地面法向量的差值、数据点的个数、最大长度、最大宽度、最大高度和颜色直方图，则P(x_i＝l|s_i，D)可以表示为

$P(x_i=l|s_i,D)=\frac{1}{Z}P(x_i=l|d_1,d_2,...)=\frac{1}{Z}P(x_i=l)\underset{k}{\mathrm{\Π}}P\left(d_k\right|x_i=l)$

其中P(x_i＝l)表示物体类别l的先验概率；P(d_k|x_i＝l)表示物体类别为l时数据特征d_k的似然概率；Z是归一化常数，

所述的拓扑关系包括场景中物体之间的相对位置关系和物体间精确的距离关系；所述的语义信息包括场景中物体的类别及属性关系信息。

与现有其他方法主要通过对场景全局或局部基本特征的提取，生成图像描述对整个场景建模并进行场景识别不同，本发明通过点云片段分割和同时合并与识别的概率模型框架对室内场景空间中的物体进行识别，然后通过场景空间层次模型和基于有向图的场景空间信息推理模型识别场景，形成了一套完善的模型体系，能够精确识别场景空间中的各个物体，识别操作简便。

附图说明

图1为本发明中场景空间层次模型的示意图；

图2为本发明中场景空间信息推理模型的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

一种基于点云片段分割的室内场景识别方法，该方法包括以下步骤：

步骤一，结合图论方法，根据三维点云的平面法向量和颜色信息对三维点云图像进行场景预分割，将图像分割成为不同点云片段，且保证每个片段属于不同的物体。室内场景空间中包含很多物体，如墙壁、门、地板、天花板、桌子、椅子等，为了获取场景中的语义信息，更好的理解环境，场景分割是必不可少的先决条件。

所述的场景预分割具体包括以下步骤：

1)构建一个无向图G(V，E)，其中V表示图中的顶点，每一个顶点代表场景空间中的一个数据点，每个点v_i＝(x_i，y_i，z_i，r_i，g_i，b_i，nx_i，ny_i，nz_i)，包括点的几何坐标(X，Y，Z)、颜色信息(R，G，B)和法向量(NX，NY，NZ)，(NX，NY，NZ)(NX，NY，NZ)^T＝1；E表示相邻两个点之间的边e_ij＝(v_i，v_j)，用d(e_ij)和w(e_ij)分别表示边的法向量权值和颜色权值，d(e_ij)＝1-|nx_i·nx_j+ny_i·ny_j+nz_i·nz_j|，

2)对E中所有的边，按d(e_ij)的值进行升序排列，然后依次检查每条边，如果边上的权值满足d(e_ij)≤T_d且w(e_ij)≤T_w，则将边上的两个顶点分割为同一个区域，其中T_d和T_w分别为合并边上两个顶点的法向量阈值和颜色阈值。这样，就把三维点云数据分割为不同的片段，通过对合并阈值的调节，保证每个片段属于同一个物体，不同的物体上的点不要出现在同一个片段上。

步骤二，构建一个同时合并和识别的概率模型框架对点云片段进行合并和物体分类，实现对场景空间中不同物体的识别。

所述的同时合并和识别的概率模型框架具体为：

用L表示物体的类别，x＝l∈L表示区域片段的类别，用s表示区域片段，D表示相应的数据特征，则可通过计算片段s和类别x的联合概率P(s，x|D)来同时判断是否需要合并相邻的片段和识别片段的类型。

设s_i和s_j为相邻的两个区域片段，它们相应的类别分别为x_i和x_j，用s_i+j表示两个区域片段的联合，x_i+j为相应的区域类别，用P(s_i+j|D)表示区域片段s_i和s_j合并的概率：

$P\left(s_{i,j}\right|D)=\underset{i\∈L}{\mathrm{\Σ}}P(x_i=L|s_i,D)P(x_j=l|s_j,D)P\left(s_{i,j}\right|x_{i,j}=l,D)$

其中，P(x_i＝l|s_i，D)和P(x_j＝l|s_j，D)分别表示区域片段s_i和s_j属于物体类别l的概率；P(s_i+j|x_i+j＝l，D)表示当物体类别均为l时，区域片段s_i和s_j合并为单一区域片段的概率；

对于每一个数据片段s_i，相应的数据特征D＝d₁，d₂，…，依次表示数据片段的平面度、平面法向量与垂直地面法向量的差值、数据点的个数、最大长度、最大宽度、最大高度和颜色直方图，则P(x_i＝l|s_i，D)可以表示为

$P(x_i=l|s_i,D)=\frac{1}{Z}P(x_i=l|d_1,d_2,...)=\frac{1}{Z}P(x_i=l)\underset{k}{\mathrm{\Π}}P\left(d_k\right|x_i=l)$

其中P(x_i＝l)表示物体类别l的先验概率；P(d_k|x_i＝l)表示物体类别为l时数据特征d_k的似然概率；Z是归一化常数，

当物体的类别x已知时，区域s是单一物体类别的概率P(s|x＝l，D)可以根据相关的先验知识计算，如当类别x为墙壁时，区域是单一物体类别的概率就和区域的平面度和平面法向量与垂直地面法向量的差值成正比。

步骤三，采用融合语义信息和拓扑关系的场景空间层次模型来表示场景空间的图像特征、物体类别、物体间的关系及场景所在的区域信息，并构建一个基于有向图的场景空间信息推理模型获得场景的空间语义信息。

场景空间中的图像特征、物体类别、物体间的关系、场景所在的区域信息等如何表达是空间信息描述的基础。为了更好的理解场景，需要建立一种多层次的场景模型，将场景的图像特征、物体类别、物体之间的关系、场景所在的区域等信息结合在一起，有效的表达场景，并可以在该模型下进行场景推理。本实施例采用一种融合拓扑关系和语义信息的场景空间层次模型，能够有效描述场景的图像特征、物体的属性与类别、物体之间的拓扑关系和场景的位置语义等信息，并可以在该模型下进行场景推理。如图1所示场景空间层次模型，它包含了场景的拓扑关系、语义关系和位置类别三部分。拓扑关系表示场景中物体之间的相对位置关系，主要包括前、后、左、右、上、下、平行、垂直等关系，如桌子在柜子的左后方，柜子在地方上且离墙壁的距离很近等。同时，拓扑关系中还包含物体间精确的距离关系，如桌子距离门1m等，这些信息能够为场景识别推理提供有力的证据。语义关系描述场景中物体的类别及属性关系信息，主要是is-a和part-of关系，如房间中的桌子、柜子可以归为家具一类；墙壁、门、地板是房间的框架信息；家具和框架又可以归为室内物体一类；通过物体之间的属性关系可以判断物体的识别是否准确、场景的推断是否合理。最后，通过物体之间的拓扑关系和物体类别及属性关系可以推断出物体所在的场景，即场景的语义。

基于上述场景空间层次模型，本发明通过监督学习识别物体，并构建一个有向图模型推理场景语义信息。基于有向图的场景空间信息推理模型如图2所示，其中q表示场景的位置语义，O表示场景中的物体，S表示场景中物体的位置，A表示场景中物体的外观特征，G表示场景中的几何特征，V表示场景中的基本图像特征，图中的外框表示场景中的所有物体，内框表示每个物体的多个特征。我们可以看到，在该模型中场景q生成很多的物体O，每个物体O包括外观特征A和位置S，同时每个特征A和位置S分别对应多个特征G和V，场景中物体的数量可以用N表示，每个物体的基本特征数量可以用n表示。

根据该模型，首先用有监督地学习场景中的单个物体模型，然后利用贝叶斯原理计算位置和物体的联合后验概率分布：

P(q，O，S|A，Z)＝P(O，S|A，Z)P(q|O，S，A，Z)

其中Z＝{G，V}。上式右侧两部分中，前一部分为位置模型，后一部分为语义识别，位置模型推断物体和它们的位置，语义识别根据场景中的物体推断出场景的语义标签。通过该推理模型，根据学习到的物体模型、场景的基本几何特征和图像特征，可以推断出物体的种类，物体的位置关系，并最终可以推断出场景的语义信息。

Claims (4)

1.一种基于点云片段分割的室内场景识别方法，其特征在于，该方法包括以下步骤：

步骤一，结合图论方法，根据三维点云的平面法向量和颜色信息对三维点云图像进行场景预分割，将图像分割成为不同点云片段，且保证每个片段属于不同的物体；

步骤二，构建一个同时合并和识别的概率模型框架对点云片段进行合并和物体分类，实现对场景空间中不同物体的识别；

步骤三，采用融合语义信息和拓扑关系的场景空间层次模型来表示场景空间的图像特征、物体类别、物体间的关系及场景所在的区域信息，并构建一个基于有向图的场景空间信息推理模型获得场景的空间语义信息。

2.根据权利要求1所述的一种基于点云片段分割的室内场景识别方法，其特征在于，所述的场景预分割具体包括以下步骤：

1)构建一个无向图G(V，E)，其中V表示图中的顶点，每一个顶点代表场景空间中的一个数据点，每个点v_i＝(x_i，y_i，z_i，r_i，g_i，b_i，nx_i，ny_i，nz_i)，包括点的几何坐标(X，Y，Z)、颜色信息(R，G，B)和法向量(NX，NY，NZ)，(NX，NY，NZ)(NX，NY，NZ)^T＝1；E表示相邻两个点之间的边e_ij＝(v_i，v_j)，用d(e_ij)和w(e_ij)分别表示边的法向量权值和颜色权值，d(e_ij)＝1-|nx_i·nx_j+ny_i·ny_j+nz_i·nz_j|，

2)对E中所有的边，按d(e_ij)的值进行升序排列，然后依次检查每条边，如果边上的权值满足d(e_ij)≤T_d且w(e_ij)≤T_w，则将边上的两个顶点分割为同一个区域，其中T_d和T_w分别为合并边上两个顶点的法向量阈值和颜色阈值。

3.根据权利要求1所述的一种基于点云片段分割的室内场景识别方法，其特征在于，所述的同时合并和识别的概率模型框架具体为：

$P\left(s_{i+j}\right|D)=\underset{l\∈L}{\mathrm{\Σ}}P(x_i=l|s_i,D)P(x_j=l|s_j,D)P\left(s_{i+j}\right|x_{i+j}=l,D)$

其中，s_i和s_j为相邻的两个区域片段，D表示相应的数据特征，它们相应的类别分别为x_i和x_j，s_i+j表示两个区域片段的联合，x_i+j为相应的区域类别，l∈L，L表示物体的类别；P(s_i+j|D)表示区域片段s_i和s_j合并的概率，P(x_i＝l|s_i，D)和P(x_j＝l|s_j，D)分别表示区域片段s_i和s_j属于物体类别l的概率；P(s_i+j|x_i+j＝l，D)表示当物体类别均为l时，区域片段s_i和s_j合并为单一区域片段的概率；

对于每一个数据片段s_i，相应的数据特征D＝d₁，d₂，…，依次表示数据片段的平面度、平面法向量与垂直地面法向量的差值、数据点的个数、最大长度、最大宽度、最大高度和颜色直方图，则P(x_i＝l|s_i，D)可以表示为

$P(x_i=l|s_i,D)=\frac{1}{Z}P(x_i=l|d_1,d_2,...)=\frac{1}{Z}P(x_i=l)\underset{k}{\mathrm{\Π}}P\left(d_k\right|x_i=l)$

其中P(x_i＝l)表示物体类别l的先验概率；P(d_k|x_i＝l)表示物体类别为l时数据特征d_k的似然概率；Z是归一化常数，

4.根据权利要求1所述的一种基于点云片段分割的室内场景识别方法，其特征在于，所述的拓扑关系包括场景中物体之间的相对位置关系和物体间精确的距离关系；所述的语义信息包括场景中物体的类别及属性关系信息。

Images