CN105354591A - 基于高阶类别相关先验知识的三维室外场景语义分割系统 - Google Patents

Abstract

本发明是一种针对三维室外场景语义分割的系统，属于计算机视觉领域。本发明解决的问题是：针对三维室外场景中遮蔽多、点云密度不均、物体结构复杂等问题，提出一种利用高阶与类别相关的先验知识的分割分类三维点云场景的系统。本发明系统的主要算法的核心部分在于提出了一种利用与类别相关的高阶语义分割框架，并分析了三维室外场景中类别相关的先验信息，提出了相应的高阶函数模型。本发明在传统的高阶单一先验知识的语义分割框架的基础上，进一步提出了一种利用类别相关先验知识的语义分割方法，能够更加精确的分割分类三维室外场景。

Description

基于高阶类别相关先验知识的三维室外场景语义分割系统

技术领域

本发明主要针对三维室外场景中遮蔽多、点云密度不均、物体结构复杂等特点，提出了一种适合分割并分类三维点云场景的系统。

背景技术

随着三维摄像机(例如激光雷达摄像机)，立体技术和运动重建结构系统(StructureFromMotion)的迅猛发展，获得室外场景的三维点云变得更加容易。能否正确分割并分类这些点云数据成为许多重要应用的关键步骤。以自动驾驶应用为例，在复杂路况和多行人的情况下，无人车首先需要采集到道路以及周围环境的三维点云数据，紧接着实时区分出道路、行人、路灯和房屋等物体，最终规划出一条合理的行进路线，并在遇到危险或行人时能够自动减速停车。

目前，三维场景语义分割的系统主要是依靠提取某些可靠的几何特征(高度等)，以及一些先验知识(局部一致性等)。但是在三维室外场景中，点云数据存在大量因遮挡而造成的空洞，采样密度不均匀，物体结构复杂等问题，给特征提取的方法带来了许多挑战。同时之前一些利用先验知识的方法也存在着先验知识过于单一，无法充分利用真实场景丰富信息等问题。

为了解决现有技术中存在的问题，本文提出了一种基于高阶类别相关先验知识的语义分割三维室外场景的系统。该系统将三维室外场景语义分割的问题置于高阶能量函数最小化的框架下，并依据类别相关的先验知识充分利用真实场景的信息建模，提高了分类结果的识别率和正确率。

发明内容

本发明的目的：针对采集到的三维室外场景点云数据进行分割和分类处理，准确分析出三维场景中所包含的内容。该项技术连接了计算机视觉领域上游的数据采集和下游的视觉控制技术，极大地促进了城市建模、自动驾驶和虚拟现实等应用的发展。

针对现有技术中存在的问题，本发明提出了一种基于高阶类别相关先验知识的三维场景语义分割的系统。该系统通过专业的雷达设备采集大规模室外场景的点云数据，分析并提取点云数据的几何特征，最终在高阶能量函数优化的框架下达到正确地分类点云类别的目的。雷达数据采集模块用以采集激光雷达数据，构成系统的输入点云数据。数据预处理模块去除了点云数据中的地面点，并对剩下的点云数据进行了预分割处理，使得较为相邻的点云构成一个聚类，作为分类的基本单元。特征提取模块提取了聚类的各种三维特征，并将这些特征送入一个训练模块，经过训练之后，这个训练模块能够给出测试场景中聚类的预测概率。最终，高阶能量函数优化模块利用这些预测概率，以及场景中和类别相关的先验信息对聚类进行分类，达到我们预期的目的。最后可视化模块展示分类的结果。

本系统的核心算法是利用与类别相关的先验知识构建的高阶能量函数模型。这个能量函数的具体形式为：

该函数由三部分组成，分别是一阶项函数ψ_i(x_i)，二阶项函数ψ_ij(x_i，x_j)和高阶项函数三个。一阶项函数描述了每个节点的预测数据x_i与观测到数据的吻合度。二阶项函数则要求相邻的两个节点趋于拥有同样的类别。高阶项函数则描述了三维场景中物体与物体之间复杂的关系。区别于背景技术中提到的利用单一先验知识的方法，在这里对不同类别的先验知识分别建模，提出了与物体类别相关的高阶模型。这些模型对属于该类别的先验知识的描述更加有针对性和准确性。要获得三维室外场景正确的分类结果x^*就是寻找到使得场景能量函数(1)取得最小值时的x，即：

$x^{*}=\arg \underset{x\∈L^n}{min}E\left(x\right)$

分类场景中所有点云类别的工作转化为最小化能量函数(1)。我们采用一种称为SOSPD的算法。该算法能够高效的优化高阶多类别的能量函数，并且提供可靠的优化上界。根据该算法的优化结果，我们能够预测出整个场景点云的类别。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1是本系统完整过程的流程图。

具体实施方式

以下将结合附图1来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决问题，并达成技术效果的实现过程能充分理解并据以实施。

装置11是一个激光雷达数据采集设备，安装在一辆稳步行驶的汽车上。它能够扫描汽车沿途驶过的室外场景并不断产生相应的点云数据放入到雷达数据采集模块12。

雷达数据采集模块12负责收集采集而来的点云数据，并负责对齐以及拼接成一个完整的大规模室外场景三维点云。

数据预处理模块13是对大规模室外场景三维点云数据的预处理，使得它符合系统的处理要求，具体包含以下3个子步骤：

子步骤1301、去除地面点。原始的三维室外场景的点云数据中的80％属于地面，因此我们首先识别出地面并且去除地面，极大的减少了运算量和运行时间。

子步骤1302、聚类点云数据。点云数据是由大量的点组成，但是这些点本身包含非常少的信息，以至于很难准确判断每个点的类别。因此我们考虑一种预分割的方法，将点云场景中的邻近点聚集到一起，形成一个新的分类单位-聚类。相比于单个的点，聚类是由一组点聚合而成，拥有更多的分类信息。

数据预处理模块产生的点云数据将会按照7∶3的比例产生训练数据14和测试数据17。

训练数据14中的点云类别采用人工标记的方法，并在特征提取模块15中提取点云的三维特征，例如高度，体积等等。将这些三维的特征和人工标记的类别信息送入训练模块16，即可得到一个点云的分类器。再将这个分类器应用到数据预处理模块13产生的测试数据17上，即可得到测试场景中聚类属于每种类别的概率了。

进入高阶能量函数优化模块，依据所提出的算法核心公式(1)，可以建立整个场景的能量函数，优化这个能量函数，就可得到最后的分类结果。在该系统中，可以区分出来的类别有汽车、地面、房屋、邮箱、植物、路标、路灯和垃圾桶八种类别。能量函数中的一阶项依赖于训练模块16和测试数据17所得到的概率信息，二阶项则依赖于相邻聚类具有近似类别的先验信息。对于不同类别的点云，根据不同的先验知识，该模块建立了共面模型，非共面模型，直线模型和pⁿ波特(Ports)模型，现分别介绍如下：

①共面模型

适用类别：汽车，地面，房屋

先验知识：属于适用类别的物体由若干平面组成，表面的法向量方向比较一致

能量函数：

其中c代表了一个团簇(clique)，它是场景中聚类及其相邻聚类的集合，N_c代表了一个团簇c内所有节点法向量的方差，函数则要求一个团簇内的节点趋于拥有相同的类别，定义为：

$P_n^l\left(x_c\right)=\left\{\begin{array}{c}\begin{array}{ccc}{\mathrm{\η}}_l& if& x_i=l,\∀i\∈c\end{array}\\ \begin{array}{cc}{\mathrm{\η}}_{\max }& otherwise\end{array}\end{array}\right.---\left(3\right)$

②非共面模型

适用类别：植物

先验知识：植物表面不规则，法向量方向随机

能量函数：

这个函数要求处于植物上的节点趋于拥有相同的类别。

③直线模型

适用类别：路灯，路标

先验知识：属于适用类别的物体的外观类似于一条直线

能量函数：

其中是团簇c的最佳拟合直线。对于落在路灯或路标上的这些节点，这个函数要求这些节点趋于拥有相同的类别，而对于处于其他部分的节点，则没有要求。

④pⁿ波特模型

适用类别：邮箱、垃圾桶

先验知识：属于适用类别的物体体积比较小，小范围内一致性比较高。

能量函数：

$P_n^l\left(x_c\right)=\left\{\begin{array}{c}\begin{array}{ccc}{\mathrm{\η}}_l& if& x_i=l,\∀i\∈c\end{array}\\ \begin{array}{cc}{\mathrm{\η}}_{\max }& otherwise\end{array}\end{array}\right.$

给出了针对所有待预测的八种类别的高阶类别相关模型，下面的工作转化为最小化能量函数(1)。我们采用一种基于子模块求和的原始对偶算法(Sum-of-submodularPrimalDualAlgorithm)。该算法能够高效的优化高阶多类别的能量函数，并且提供可靠的优化上界。根据该算法的优化结果，我们能够预测出整个场景点云的类别。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (2)

1.一种基于高阶类别相关先验知识的三维室外场景语义分割系统，是可以采集室外场景三维点云数据，提取点云特征，训练点云分类以及高阶能量函数优化的点云分类系统，其特征是包含以下主要步骤：

步骤一、将激光雷达设备安放在一辆平稳行驶的汽车上，扫描沿途的室外场景并采集大规模室外场景的点云数据。

步骤二、预处理原始的三维室外场景的点云数据，包括去除地面点，聚类点云数据等。

步骤三、提取训练场景中点云的特征并输入分类器，并利用训练出来的分类器预测测试场景中点云的类别。

步骤四、充分利用训练模块提供的概率信息，以及场景本身包含的先验信息，在高阶能量函数优化模块中建立场景的高阶能量函数，并最小化该能量函数，实现对场景所有点云类别的最终划分。

2.权利要求1所述的步骤四的高阶能量函数优化模块的特征在于，我们将场景的语义分割问题放置在一个高阶类别相关的能量函数优化的框架下。该框架能够捕获三维场景中与类别相关的先验信息，并且能够对此建立相应的高阶类别相关的能量函数模型，通过能量最小化的框架达到较准确语义分割三维室外场景的目的。具体来说，该系统的能量函数的核心公式是：

E(x)＝E_一阶(x)+E_二阶(x)+E_{类别相关高阶}(x)

$\begin{array}{c}\underset{i\∈v}{\Σ}{\mathrm{\ψ}}_i\left(x_i\right)+\underset{\left(i,j\right)\∈\mathrm{\ϵ}}{\Σ}{\mathrm{\ψ}}_{ij}\left(x_i,x_j\right)+\underset{\left|c\right|>2}{\Σ}{\mathrm{\ψ}}_c\left(x_c\right)\\ =\underset{i\∈v}{\Σ}{\mathrm{\ψ}}_i\left(x_i\right)+\underset{\left(i,j\right)\∈\mathrm{\ϵ}}{\Σ}{\mathrm{\ψ}}_{ij}\left(x_i,x_j\right)+\underset{\left|c\right|>2}{\Σ}\left(\underset{l\∈L}{\Σ}1\left\{x_s=l\right\}{\mathrm{\ψ}}_c^l\left(x_c\right)\right)\end{array}---\left(1\right)$

该函数由三部分组成，分别是一阶项函数ψ_i(x_i)，二阶项函数ψ_ij(x_i，x_j)和高阶项函数三个。其中高阶能量函数是分别基于四种类别相关先验知识的高阶能量模型，包括共面模型，非共面模型，直线模型和Potts模型。这四个模型的能量函数分别是：

共面模型： ${\mathrm{\&psi;}}_c^l\left(x_c\right)=\left\{\begin{array}{cc}{\mathrm{\&lambda;P}}_n^l\left(x_c\right)& if\mathrm{var}\left(N_c\right)<\mathrm{\&theta;}\\ {\mathrm{\&lambda;}}^{\&prime;}/P_n^l\left(x_c\right)& otherwise\end{array}\right.---\left(2\right),$ 其中 $P_n^l\left(x_c\right)=\left\{\begin{array}{cc}{\mathrm{\&eta;}}_l& if{x}_i=l,\&ForAll;i\&Element;c\\ {\mathrm{\&eta;}}_{\max }& otherwise\end{array}\right.---\left(3\right)$

非共面模型： ${\mathrm{\&psi;}}_c^l\left(x_c\right)=\left\{\begin{array}{cc}{\mathrm{\&lambda;P}}_n^l\left(x_c\right)& if\mathrm{var}\left(N_c\right)>\mathrm{\&theta;}\\ {\mathrm{\&lambda;}}^{\&prime;}/P_n^l\left(x_c\right)& otherwise\end{array}\right.---\left(4\right)$

直线模型：

Potts模型： $P_n^l\left(x_c\right)=\left\{\begin{array}{cc}{\mathrm{\&eta;}}_l& if{x}_i=l,\&ForAll;i\&Element;c\\ {\mathrm{\&eta;}}_{\max }& otherwise\end{array}\right.---\left(6\right).$