CN110910390B - 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 - Google Patents

Abstract

本发明属于三维点云数据处理与三维场景语义分割技术领域，一种基于深度畸变卷积的全景三维彩色点云语义分割方法，包括以下步骤：(1)获取全景三维彩色点云数据，(2)提取全景图像数据，(3)构建全景图像训练集，(4)构建深度全景图像语义分割网络，(5)训练深度全景图像语义分割网络，(6)进行语义分割。本发明的优点在于：对三维彩色点云中提取的含有畸变的全景图像模态，将畸变卷积的方法，应用到全景图像语义分割中，并将RBlock1模块应用到ASPP中，以提高对图像边缘和纹理的分割精度。同时在解码端将特征图与低层特征进行3次融合，充分利用了低层特征，提高了对整体全景三维彩色点云的分割精度。

Description

一种基于深度畸变卷积的全景三维彩色点云语义分割方法

技术领域

本发明涉及一种基于深度畸变卷积的全景三维彩色点云语义分割方法，属于三维点云数据处理与三维场景语义分割技术领域。

背景技术

在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。全景图像作为三维彩色点云中的一个模态，其精确地语义分割是决定三维彩色点云精确理解的关键技术，具有较强的理论意义和实用价值。

深度全景三维彩色点云语义分割的目的即进行像素级地分割，赋予每个像素一个标签。常用全景图像语义分割(Semantic Segmentation)方法有：全卷积网络(FCN)、SegNet、ConvNet、PSPNet、ERF-PSPNet、Deeplab系列方法，其中最传统的方法是FCN，其采用的反卷积和上采样使得其编码-解码结构的图像分割，Deeplab V3+是它们其中性能最优的。

经大量研究发现，与本发明相近的深度全景三维彩色点云语义分割方法如下：由于全景图像含有畸变，不能用传统图像语义分割解决。传统解决畸变问题有两种思路：1.将全景图像转换为普通图像，但这种方法难免会存在一定的畸变。2.利用畸变卷积直接处理全景图像。本文利用第2种方法，这种方法存在以下不足之处：1)利用畸变卷积处理畸变图像时，畸变卷积的畸变程度并不能随着图像而自适应变化，影响分割准确度；2)现有全景图像语义分割方法，由于其卷积和池化操作，对全景图像纹理和边缘的分割精度仍可增强，准确度有待提高。

发明内容

为了进一步提高三维彩色点云语义分割的精度，本发明提供了一种基于深度畸变卷积的全景三维彩色点云语义分割方法。本发明是在利用三维彩色点云图像模态的语义分割解决三维彩色点云语义分割问题，为全景图像设计一种新型语义分割框架，从而实现三维彩色点云的准确语义分割。

为了实现上述发明目的，解决已有技术中存在的向题，本发明采取的技术方案是：一种基于深度畸变卷积的全景三维彩色点云语义分割方法，其特征在于：

步骤1、获取全景三维彩色点云数据，利用三维彩色激光扫描测距系统，对室外场景进行全向扫描，获得一幅全景三维彩色点云P＝{p(i,j)＝(x(i,j),y(i,j),z(i,j),r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，其中，p(i,j)为三维彩色点云P的彩色点，(x(i,j),y(i,j),z(i,j))为彩色点p(i,j)的坐标，(r(i,j),g(i,j),b(i,j))为彩色点p(i,j)的颜色，m为三维彩色点云P的列数，n为三维彩色点云P的行数，i为三维彩色点云P的扫描列号，j为三维彩色点云P的扫描行号；

步骤2、提取全景图像数据，从全景三维彩色点云P中，提取全景图像数据I＝{c(i,j)＝(r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，从全景三维彩色点云P中提取的图像为全景图像，含有畸变；

步骤3、构建全景图像训练集，利用步骤1和步骤2的方法，采集2000张全景图像，为了增加训练集全景图像的样本数，以适合深度学习，对已获得的每一张全景图像进行降采样，在降采样过程中，抽取像素的扫描列号i和扫描行号j均为4的整数倍，即i∈{1+4h,2+4h,3+4h,4+4h}，j∈{1+4l,2+4l,3+4l,4+4l}，其中，h和l为正整数，因此扫描行列号的组合方式有16种，进而每张全景图像降采样为16张，2000张全景图像降采样为32000张全景图像，并对其进行标记，标记每一张全景图像中每一个像素的类别，形成全景图像训练集；

步骤4、构建深度全景图像语义分割网络，深度全景图像语义分割网络主要包括编码端和解码端，编码端包括畸变卷积层、Resnet-101网络和改进的空洞空间金字塔池化模块，解码端包括上采样模块和特征结合模块，具体包括以下子步骤：

(a)、畸变卷积层DCL实现输入全景图像的畸变卷积操作，每一输出通道的畸变卷积均按公式(1)进行描述，

其中，

为输出特征图S中第

列

行上的像素，

为卷积核K_c中第

列第

行上的元素，I_c为输入全景图像I的颜色通道图像，c∈{1,2,3}，I₁、I₂、I₃分别表示输入全景图像I的R、G、B通道图像，

为颜色通道图像I_c中第

列第

行上的像素，

为全景图像的畸变采样坐标，用于抵消全景图像中畸变的影响，

int表示向下取整数，畸变卷积区域9×7，卷积核K_c尺寸7×7，步长为1，填充方式为相同填充，输出通道数为3；

(b)、将全景图像经过畸变卷积得到的特征图，输入到Resnet-101网络中，Resnet-101网络依次包括6个部分：1个卷积层RConv1、1个池化层RPool1和4组卷积层GConv1、GConv2、GConv3、GConv4，串行连接，网络深度共计101层；卷积层RConv1的参数为卷积核尺寸7×7、步长2、相同填充、输出通道数64；池化层RPool1的参数为3×3最大池化、步长2、相同填充；卷积层组GConv1包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数64，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数64，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；卷积层组GConv2包含4个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数128，第2个卷积层的参数为卷积核尺寸3×3、步长2、相同填充、输出通道数128，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512；卷积层组GConv3包含23个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数1024；卷积层组GConv4包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数512，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数2048；

(c)、将Resnet-101网络输出的特征图，输入到改进的空洞空间金字塔池化模块IASPP中，改进的空洞空间金字塔池化模块包括并列的6个部分：1个卷积层IConv1、3个空洞卷积层AConv1、AConv2和AConv3、1个全局平均池化层IPool1和1个改进卷积块RBlock1，并行连接；卷积层IConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；空洞卷积层AConv1的参数为卷积核尺寸3×3、步长1、空洞率12、相同填充、输出通道数256；空洞卷积层AConv2的参数为卷积核尺寸3×3、步长1、空洞率24、相同填充、输出通道数256；空洞卷积层AConv3的参数为卷积核尺寸3×3、步长1、空洞率36、相同填充、输出通道数256；全局平均池化层IPool1首先进行全局平均池化，得到256张尺寸为1×1的特征图，然后进行卷积核尺寸1×1、步长1、无填充、输出通道数256的卷积操作，最后进行双线性插值上采样，得到256张与空洞卷积层输出特征图尺寸相同的特征图；改进卷积块RBlock1依次包括3个卷积层和1个加法器，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，最后加法器将第3个卷积层输出的特征图与第1个卷积层输出的特征图相加，作为RBlock1的输出，改进卷积块RBlock1的增加提高了算法对全景图像边缘和纹理的分割精度；上述6个部分输出的特征图拼接在一起，作为改进的空洞空间金字塔池化模块的输出；

(d)、将改进的空洞空间金字塔池化模块输出的特征图，输入到卷积层PConv1，卷积层PConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，将经过卷积层PConv1的特征图输入到解码端的上采样模块USM，上采样模块将接收到的特征图进行上采样，使其与畸变卷积层输出的特征图尺寸相同；

(e)、将上采样模块输出的特征图，输入到解码端的特征结合模块FCM，特征结合模块首先将畸变卷积层DCL输出的特征图输入到卷积层FConv1，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数48；将卷积层FConv1输出的特征图与上采样模块输出的特征图进行拼接，将拼接后的特征图输入到卷积层FConv2，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv2输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv3，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv3输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv4，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv4输出的特征图输入到卷积层FConv5，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数6；

步骤5、训练深度全景图像语义分割网络，利用步骤3构建的全景图像训练集来训练步骤4构建的深度全景图像语义分割网络，获得网络的参数和模型；

步骤6、进行语义分割，利用步骤5训练的深度全景图像语义分割网络，对新采集的全景三维彩色点云中的全景图像进行语义分割，获得全景图像语义分割结果，并利用全景图像中像素点和全景三维彩色点云中彩色点的一一对应关系，将全景图像语义分割结果映射到全景三维彩色点云中，获得全景三维彩色点云语义分割结果。

本发明有益效果是：一种基于深度畸变卷积的全景三维彩色点云语义分割方法，包括以下步骤：(1)获取全景三维彩色点云数据，(2)提取全景图像数据，(3)构建全景图像训练集，(4)构建深度全景图像语义分割网络，(5)训练深度全景图像语义分割网络，(6)进行语义分割。与已有技术相比，本发明的优点在于：设计全景三维彩色点云语义分割方法新框架，对三维彩色点云中提取的含有畸变的全景图像模态，将畸变卷积的方法，应用到全景图像语义分割中，并将RBlock1模块应用到ASPP中，以提高对图像边缘和纹理的分割精度。同时在解码端将特征图与低层特征进行3次融合，充分利用了低层特征，从而提高了对整体全景三维彩色点云的分割精度。

附图说明

图1是本发明方法步骤流程图。

图2是全景图像示意图。

图中：(a)三维彩色点云示意图，(b)三维彩色点云全景图像模态示意图。

图3全景图像降采样示意图。

图4是深度全景图像语义分割网络示意图。

图5是7x9畸变卷积核示意图。

图6是Resnet-101网络结构示意图。

图7是IASPP网络结构示意图。

图8是语义分割网络解码端结构示意图。

图9是场景1全景图像语义分割结果图。

图中：(a)全景图像语义分割原始图像图，(b)全景图像语义分割结果图。

图10是场景2全景图像语义分割结果图。

图中：(a)全景图像语义分割原始图像图，(b)全景图像语义分割结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于深度畸变卷积的全景三维彩色点云语义分割方法，包括以下步骤：

步骤1、获取全景三维彩色点云数据，利用三维彩色激光扫描测距系统，对室外场景进行全向扫描，获得一幅全景三维彩色点云P＝{p(i,j)＝(x(i,j),y(i,j),z(i,j),r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，其中，p(i,j)为三维彩色点云P的彩色点，(x(i,j),y(i,j),z(i,j))为彩色点p(i,j)的坐标，(r(i,j),g(i,j),b(i,j))为彩色点p(i,j)的颜色，m为三维彩色点云P的列数，n为三维彩色点云P的行数，i为三维彩色点云P的扫描列号，j为三维彩色点云P的扫描行号；

步骤2、提取全景图像数据，从全景三维彩色点云P中，提取全景图像数据I＝{c(i,j)＝(r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，从全景三维彩色点云P中提取的图像为全景图像，含有畸变，如图2所示；

步骤3、构建全景图像训练集，利用步骤1和步骤2的方法，采集2000张全景图像，为了增加训练集全景图像的样本数，以适合深度学习，对已获得的每一张全景图像进行降采样，在降采样过程中，抽取像素的扫描列号i和扫描行号j均为4的整数倍，即i∈{1+4h,2+4h,3+4h,4+4h}，j∈{1+4l,2+4l,3+4l,4+4l}，其中，h和l为正整数，因此扫描行列号的组合方式有16种，进而每张全景图像降采样为16张，2000张全景图像降采样为32000张全景图像，并对其进行标记，标记每一张全景图像中每一个像素的类别，形成全景图像训练集，如图3所示；

步骤4、构建深度全景图像语义分割网络，如图4所示，深度全景图像语义分割网络主要包括编码端和解码端，编码端包括畸变卷积层、Resnet-101网络和改进的空洞空间金字塔池化模块，解码端包括上采样模块和特征结合模块，具体包括以下子步骤：

(a)、畸变卷积层DCL实现输入全景图像的畸变卷积操作，每一输出通道的畸变卷积均按公式(1)进行描述，

其中，

为输出特征图S中第

列

行上的像素，

为卷积核K_c中第

列第

行上的元素，I_c为输入全景图像I的颜色通道图像，c∈{1,2,3}，I₁、I₂、I₃分别表示输入全景图像I的R、G、B通道图像，

为颜色通道图像I_c中第

列第

行上的像素，

为全景图像的畸变采样坐标，用于抵消全景图像中畸变的影响，

int表示向下取整数，畸变卷积区域9×7，卷积核K_c尺寸7×7，步长为1，填充方式为相同填充，输出通道数为3，如图5所示；

(b)、将全景图像经过畸变卷积得到的特征图，输入到Resnet-101网络中，Resnet-101网络依次包括6个部分：1个卷积层RConv1、1个池化层RPool1和4组卷积层GConv1、GConv2、GConv3、GConv4，串行连接，网络深度共计101层；卷积层RConv1的参数为卷积核尺寸7×7、步长2、相同填充、输出通道数64；池化层RPool1的参数为3×3最大池化、步长2、相同填充；卷积层组GConv1包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数64，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数64，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；卷积层组GConv2包含4个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数128，第2个卷积层的参数为卷积核尺寸3×3、步长2、相同填充、输出通道数128，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512；卷积层组GConv3包含23个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数1024；卷积层组GConv4包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数512，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数2048，如图6所示；

(c)、将Resnet-101网络输出的特征图，输入到改进的空洞空间金字塔池化模块IASPP中，改进的空洞空间金字塔池化模块包括并列的6个部分：1个卷积层IConv1、3个空洞卷积层AConv1、AConv2和AConv3、1个全局平均池化层IPool1和1个改进卷积块RBlock1，并行连接；卷积层IConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；空洞卷积层AConv1的参数为卷积核尺寸3×3、步长1、空洞率12、相同填充、输出通道数256；空洞卷积层AConv2的参数为卷积核尺寸3×3、步长1、空洞率24、相同填充、输出通道数256；空洞卷积层AConv3的参数为卷积核尺寸3×3、步长1、空洞率36、相同填充、输出通道数256；全局平均池化层IPool1首先进行全局平均池化，得到256张尺寸为1×1的特征图，然后进行卷积核尺寸1×1、步长1、无填充、输出通道数256的卷积操作，最后进行双线性插值上采样，得到256张与空洞卷积层输出特征图尺寸相同的特征图；改进卷积块RBlock1依次包括3个卷积层和1个加法器，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，最后加法器将第3个卷积层输出的特征图与第1个卷积层输出的特征图相加，作为RBlock1的输出，改进卷积块RBlock1的增加提高了算法对全景图像边缘和纹理的分割精度；上述6个部分输出的特征图拼接在一起，作为改进的空洞空间金字塔池化模块的输出，如图7所示；

(d)、将改进的空洞空间金字塔池化模块输出的特征图，输入到卷积层PConv1，卷积层PConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，将经过卷积层PConv1的特征图输入到解码端的上采样模块USM，上采样模块将接收到的特征图进行上采样，使其与畸变卷积层输出的特征图尺寸相同，如图8所示；

(e)、将上采样模块输出的特征图，输入到解码端的特征结合模块FCM，特征结合模块首先将畸变卷积层DCL输出的特征图输入到卷积层FConv1，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数48；将卷积层FConv1输出的特征图与上采样模块输出的特征图进行拼接，将拼接后的特征图输入到卷积层FConv2，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv2输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv3，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv3输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv4，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv4输出的特征图输入到卷积层FConv5，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数6；

步骤5、训练深度全景图像语义分割网络，利用步骤3构建的全景图像训练集来训练步骤4构建的深度全景图像语义分割网络，获得网络的参数和模型；

步骤6、进行语义分割，利用步骤5训练的深度全景图像语义分割网络，对新采集的全景三维彩色点云中的全景图像进行语义分割，获得全景图像语义分割结果，如图9和图10所示，并利用全景图像中像素点和全景三维彩色点云中彩色点的一一对应关系，将全景图像语义分割结果映射到全景三维彩色点云中，获得全景三维彩色点云语义分割结果。

本发明优点在于：设计全景三维彩色点云语义分割方法新框架，对三维彩色点云中提取的含有畸变的全景图像模态，将畸变卷积的方法，应用到全景图像语义分割中，并将RBlock1模块应用到ASPP中，以提高对图像边缘和纹理的分割精度。同时在解码端将特征图与低层特征进行3次融合，充分利用了低层特征，从而提高了对整体全景三维彩色点云的分割精度。

Claims (1)

1.一种基于深度畸变卷积的全景三维彩色点云语义分割方法，其特征在于包括以下步骤：

步骤1、获取全景三维彩色点云数据，利用三维彩色激光扫描测距系统，对室外场景进行全向扫描，获得一幅全景三维彩色点云P＝{p(i,j)＝(x(i,j),y(i,j),z(i,j),r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，其中，p(i,j)为三维彩色点云P的彩色点，(x(i,j),y(i,j),z(i,j))为彩色点p(i,j)的坐标，(r(i,j),g(i,j),b(i,j))为彩色点p(i,j)的颜色，m为三维彩色点云P的列数，n为三维彩色点云P的行数，i为三维彩色点云P的扫描列号，j为三维彩色点云P的扫描行号；

步骤2、提取全景图像数据，从全景三维彩色点云P中，提取全景图像数据I＝{c(i,j)＝(r(i,j),g(i,j),b(i,j))|1≤i≤m,1≤j≤n}，从全景三维彩色点云P中提取的图像为全景图像，含有畸变；

步骤3、构建全景图像训练集，利用步骤1和步骤2的方法，采集2000张全景图像，为了增加训练集全景图像的样本数，以适合深度学习，对已获得的每一张全景图像进行降采样，在降采样过程中，抽取像素的扫描列号i和扫描行号j均为4的整数倍，即i∈{1+4h,2+4h,3+4h,4+4h}，j∈{1+4l,2+4l,3+4l,4+4l}，其中，h和l为正整数，因此扫描行列号的组合方式有16种，进而每张全景图像降采样为16张，2000张全景图像降采样为32000张全景图像，并对其进行标记，标记每一张全景图像中每一个像素的类别，形成全景图像训练集；

步骤4、构建深度全景图像语义分割网络，深度全景图像语义分割网络主要包括编码端和解码端，编码端包括畸变卷积层、Resnet-101网络和改进的空洞空间金字塔池化模块，解码端包括上采样模块和特征结合模块，具体包括以下子步骤：

(a)、畸变卷积层DCL实现输入全景图像的畸变卷积操作，每一输出通道的畸变卷积均按公式(1)进行描述，

其中，

为输出特征图S中第

列

行上的像素，

为卷积核K_c中第

列第

行上的元素，I_c为输入全景图像I的颜色通道图像，c∈{1,2,3}，I₁、I₂、I₃分别表示输入全景图像I的R、G、B通道图像，

为颜色通道图像I_c中第

列第

行上的像素，

为全景图像的畸变采样坐标，用于抵消全景图像中畸变的影响，

int表示向下取整数，畸变卷积区域9×7，卷积核K_c尺寸7×7，步长为1，填充方式为相同填充，输出通道数为3；

(b)、将全景图像经过畸变卷积得到的特征图，输入到Resnet-101网络中，Resnet-101网络依次包括6个部分：1个卷积层RConv1、1个池化层RPool1和4组卷积层GConv1、GConv2、GConv3、GConv4，串行连接，网络深度共计101层；卷积层RConv1的参数为卷积核尺寸7×7、步长2、相同填充、输出通道数64；池化层RPool1的参数为3×3最大池化、步长2、相同填充；卷积层组GConv1包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数64，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数64，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；卷积层组GConv2包含4个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数128，第2个卷积层的参数为卷积核尺寸3×3、步长2、相同填充、输出通道数128，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512；卷积层组GConv3包含23个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数1024；卷积层组GConv4包含3个相同的卷积块，每个卷积块包含3个卷积层，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数512，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数512，第3个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数2048；

(c)、将Resnet-101网络输出的特征图，输入到改进的空洞空间金字塔池化模块IASPP中，改进的空洞空间金字塔池化模块包括并列的6个部分：1个卷积层IConv1、3个空洞卷积层AConv1、AConv2和AConv3、1个全局平均池化层IPool1和1个改进卷积块RBlock1，并行连接；卷积层IConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；空洞卷积层AConv1的参数为卷积核尺寸3×3、步长1、空洞率12、相同填充、输出通道数256；空洞卷积层AConv2的参数为卷积核尺寸3×3、步长1、空洞率24、相同填充、输出通道数256；空洞卷积层AConv3的参数为卷积核尺寸3×3、步长1、空洞率36、相同填充、输出通道数256；全局平均池化层IPool1首先进行全局平均池化，得到256张尺寸为1×1的特征图，然后进行卷积核尺寸1×1、步长1、无填充、输出通道数256的卷积操作，最后进行双线性插值上采样，得到256张与空洞卷积层输出特征图尺寸相同的特征图；改进卷积块RBlock1依次包括3个卷积层和1个加法器，第1个卷积层的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，第2个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，第3个卷积层的参数为卷积核尺寸3×3、步长1、相同填充、输出通道数256，最后加法器将第3个卷积层输出的特征图与第1个卷积层输出的特征图相加，作为RBlock1的输出，改进卷积块RBlock1的增加提高了算法对全景图像边缘和纹理的分割精度；上述6个部分输出的特征图拼接在一起，作为改进的空洞空间金字塔池化模块的输出；

(d)、将改进的空洞空间金字塔池化模块输出的特征图，输入到卷积层PConv1，卷积层PConv1的参数为卷积核尺寸1×1、步长1、无填充、输出通道数256，将经过卷积层PConv1的特征图输入到解码端的上采样模块USM，上采样模块将接收到的特征图进行上采样，使其与畸变卷积层输出的特征图尺寸相同；

(e)、将上采样模块输出的特征图，输入到解码端的特征结合模块FCM，特征结合模块首先将畸变卷积层DCL输出的特征图输入到卷积层FConv1，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数48；将卷积层FConv1输出的特征图与上采样模块输出的特征图进行拼接，将拼接后的特征图输入到卷积层FConv2，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv2输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv3，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv3输出的特征图与卷积层FConv1输出的特征图进行拼接，然后输入到卷积层FConv4，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数256；将卷积层FConv4输出的特征图输入到卷积层FConv5，其参数为卷积核尺寸1×1、步长1、无填充、输出通道数6；

步骤5、训练深度全景图像语义分割网络，利用步骤3构建的全景图像训练集来训练步骤4构建的深度全景图像语义分割网络，获得网络的参数和模型；

步骤6、进行语义分割，利用步骤5训练的深度全景图像语义分割网络，对新采集的全景三维彩色点云中的全景图像进行语义分割，获得全景图像语义分割结果，并利用全景图像中像素点和全景三维彩色点云中彩色点的一一对应关系，将全景图像语义分割结果映射到全景三维彩色点云中，获得全景三维彩色点云语义分割结果。

Images