CN110349247A - 一种基于语义理解的室内场景cad三维重建方法 - Google Patents

Abstract

一种基于语义理解的室内场景CAD三维重建方法，它涉及一种Y型融合RGB与Depth的语义分割网络、语义场景重建及聚类实例分割的CAD自动组合建模方法。它解决了传统室内三维CAD重建时，现有软件的使用复杂性和自动化程度低的问题，提高了室内高还原度组合建模的效率。本发明的步骤为：一、训练Y型融合RGB与Depth的语义分割网络，得到单帧二维的语义结果；二、语义场景的重建，完成3D立体像素的体积表示；三、同一语义类别的实例分割；四、基于语义实例及CAD模型的室内组合重建。本发明利用深度学习技术，克服了点云数据获取的缺失、表面重构的复杂性的难题，很方便的基于真实环境进行室内的CAD组合重建，提高室内CAD组合重建的真实性和智能化程度。

Description

一种基于语义理解的室内场景CAD三维重建方法

技术领域

本发明应用于逆向工程领域的室内三维CAD重建，具体是基于深度学习对室内真实环境进行语义理解，得到三维语义信息，并结合已有模型自动完成室内CAD组合重建的方法。

背景技术

逆向工程是一种利用实物模型的数据，通过测量、分析转变为工程概念或工程设计CAD模型的过程。三维CAD模型的重建是逆向工程中的关键技术，目前所谓的逆向工程是指对现有的实际物体，利用3D数字化测量仪准确、快速的获得点云图像，之后经过曲面重构、编辑、修改之后，放入CAD/CAM系统，计算加工路径，进而加工制作模具或产品，所以出现了很多单个物体的CAD模型。对于室内环境这样大的场景，则由于数据获取的缺失、表面重构的复杂性，导致基于真实环境自动进行室内的CAD重建难度较大。

伴随着逆向工程及其CAD重建相关技术理论研究的深入进行，也涌现了大量的商业化逆向工程CAD重建软件系统，比如AutoCAD，Pro/Engineer，Solidworks等，但是软件使用复杂，智能化程度低，最重要的是，对于室内场景，需要人为的设置不同部件之间的关系，这个难免会与真实位置情况有偏差。

在过去的几年中，随着人工智能以及大数据的发展，深度学习由于具有很强的特征表达能力，通过学习训练已经在图像分类、检测、分割等诸多领域中取得了突破性成就，其中比较困难的是场景的多类语义分割理解。图像语义理解在计算机视觉领域是一个比较热的研究方向，对于机器理解真实世界至关重要，随着深度数据获取的方便，国内外在场景的理解上也由传统的2D彩色照片转向与深度点云信息进行结合。由于深度点云信息存在不完整、无序、特征提取困难、数据量大等问题，无法采用传统的几何特征以及现有的方法进行很好的语义理解。随着国内外的广泛研究，目前已经出现了一些比较好的语义分割网络，比如FCN，UNet等，深度卷积网络在许多视觉识别任务中超越了现有技术的水平，若该信息可以用于辅助三维重建，将会使CAD重建的质量获得提升。

本发明，一种基于语义理解的室内场景CAD三维重建方法，是一种通过设计语义分割网络对室内真实场景进行语义分割，进而对室内环境建立语义点云模型，然后对每一类语义分割结果通过实例分割提取出单个的物体；最后，使用已有的CAD模型完成室内场景的语义组合重建。整个过程全自动完成，使得基于真实环境的室内CAD组合重建更加智能化。

发明内容

本发明的目的在于利用深度学习技术提高室内CAD组合重建的真实性和智能性，解决了传统室内三维CAD重建时各部件之间的位置与真实情况有偏差，以及现有软件的使用复杂性和手动操作过多的问题，提出了一种利用室内场景的点云语义模型，全自动高还原度的进行CAD组合重建的方法，最终提高了室内CAD重建的质量、稳定性与智能化，进一步提高了应用层次。

本发明的目的是通过以下技术方案实现的：设计Y型融合RGB与Depth的语义分割网络，生成单帧场景的语义分割结果；基于2D-3D转换特征，进行室内场景的点云语义模型重建；基于距离几何特征进行场景的实例分割；基于三维分割语义和已有的单个CAD模型，设计大小、位置、方向匹配方案，完成室内的组合重建。

本发明的流程图如附图1所示，共分为四个步骤，具体步骤如下：

步骤一：训练Y型融合RGB与Depth的语义分割网络。

1）收集RGB-D数据，根据训练目标完成训练样本的制作，受google提出的训练优化方法Batch Normalization（BN）层的影响，使图像在空域和频域上具有一致可比性，便于后续的图像特征对比，有效的防止了训练过程中的梯度爆炸与梯度弥散问题，所以本文将所有的输入数据处理为均值为0，方差为1的分布：

之后进行亮度通道的调整，通过使用亮度通道的均衡化，使图像更加清晰，提高图像的对比度质量。通过使用水平、垂直、同时水平垂直三种方式的镜像操作，增加数据量，使特征的学习更加有效；

2）设计Y型融合RGB与Depth的语义分割网络（如图2），本方案设计的网络由三部分组成，前端是两个分割网络，其中一个是基于改进UNet网络对RGB彩色图像进行语义分割，另一个是基于改进UNet网络对Depth深度图像进行语义分割，相对于最原始的UNet网络，本文的输入图片尺寸更大，所以增加一层卷积池化层，使可以学习的特征更多，同时在反卷积融合层之后，增加一个相同尺度的卷积层，将特征混合处理，完成UNet的改进。后端是一个门控融合层，包括串接层、卷积层和一个sigmoid层三部分，通过将RGB和Depth图的分割结果合并，学习一个加权门阵列来衡量RGB与Depth这两个模态对场景中物体最终语义分割的贡献率，所以整个网络很好的综合了RGB与Depth的不同特点，是一个端到端的语义分割学习网络，形状呈现Y型。

步骤二：语义场景的重建。

1）生成单帧语义点云，为了更好的利用深度图与网络输出语义标签的一一对应关系，将黑白点云转换成深度图，从而将网络输出语义标签结果赋给对应的三维点云，生成单帧的语义点云，为了更好的理解点云与深度图的转换关系，本文考虑世界坐标系的点P(X,Y,Z)映射到深度图像点p(u,v)的过程， 表示目标到相机的距离，可以得到关系：

这里考虑相机坐标系与世界坐标系重合，所以

所以深度图像点p(u,v)与世界坐标系的点P(X,Y,Z)的变换公式为：

由于深度图与对应的语义图是一一对应的，所以P(X,Y,Z)对应的语义即为语义图中点p(u,v)处对应的语义。

2）单机位多帧点云的初步拼接融合，由于只有 、 的平移量变化， 的偏航角变化，其他均为0，所以帧间的变换关系为：

3）对于多机位的多帧点云，通过照片和点云特征点匹配的方法进行匹配，首先使用surf算法，获取照片的特征点，并进行两个机位间照片的特征点匹配，取特征点匹配最多的两帧照片（分别对应两个机位），根据照片帧的对应关系获取对应的点云帧，根据二维照片特征点对根据几何位置关系转为点云中的特征点对，将无效点NAN数据，以及深度信息不匹配的点对通过ransac方法进行去除，选择3对最好的三维特征点对，根据三点法得到两机位之间的坐标变换关系，完成多机位点云的融合，设P中匹配的3个点为p1,p2,p3，在Q中对应的3个点为q1,q2,q3，所以得到正交坐标矢量为：

将正交坐标矢量单位化之后，得到分别以p1、p2为坐标原点的坐标系：

令 QUOTE ,由于P中任意一点p0,，经过旋转平移可得到Q中对应的一点q0，且在两个坐标系下坐标轴上的投影一样，所以：

由于， 是单位正交矩阵，所以

所以变换矩阵。

4）语义场景的最终重建，首先对初步重建场景进行离群点去除和下采样处理，去除较多的杂点，再进行三维栅格化，根据点云的尺寸建立新的点云包围立方体，通过预先设置的栅格化间隔，将立方体细分，根据真实点云是否会落入细分立方体将其置为1或者0，若为1，则将对应的颜色进行赋值，最后取所有标志位1的细分立方体的中心点，作为栅格化后的立方体，减少数据的噪声误差，完成最终室内点云场景的重建

步骤三：同一语义类别的实例分割。

本文采用基于欧式距离的聚类分割思想，将同一语义的各个实例进行分割，以解决室内这种需要将由多个空间分布独立的区域组成的点云分割成各个独立的点云子集问题，基于距离和阈值的聚类分割算法如下：

1）对输入三维点云数据建立KdTree存储结构，并记输出实例数i=0；

2）找空间中未标记的某点p，若没找到则跳到Step5，否则标记点p，在KdTree中找到离他最近的n个点，计算其到p的距离，将距离小于阈值T的点放到Qi里；

3）在Qi中未标记的点内，选一点，重复Step2；

4）当Qi中不再有新点加入时，则一个实例出现，i=i+1，重复Step2；

5）对所有的Q排序，若后者小于前者点数的一定阈值，则将后者去除，完成最终的聚类分割。

通过这个基于距离和阈值的聚类分割方法，可以有效的将同一类的不同实例进行划分，并有效的去除杂点信息，使实例分割更加准确。

步骤四：基于语义实例及CAD模型的室内组合重建。

1）根据设置的语义训练类别，从已有的CAD模型库中选取每个类别的合适CAD模型；

2）根据识别出的墙壁、地面和屋顶信息，通过迭代法提取点云的最小包围矩形，完成整体框架的CAD重建，并根据迭代法得到的角度将语义场景摆正。采用的迭代法是选取使得点云的包围矩形面积最小的方向不断迭代，直到前后两个的面积差达到一定的阈值，迭代停止，其中，通过计算点云在x,y,z三个方向的最大值和最小值，得到包围面积为

3）CAD模型与语义点云的匹配，根据语义，对于立体模型，通过计算实例分割结果的最小包围立方体，完成模型的大小匹配，并与地面进行衔接；通过计算CAD模型与语义点云最小包围立方体的中心点，完成平移位置关系的匹配；通过计算最小包围立方体时得到的迭代角度，完成模型方向的匹配；而对于近平面模型，由于结构简单以及模型已经在上一步骤中摆正，所以直接计算对应语义点云在三个坐标轴的最值，完成大小和位置的匹配，通过大尺度重采样后估计法向量方向，完成方向的匹配，加快了CAD组合重建的速度。

最终，针对不同的语义类别，自动的完成室内场景的CAD组合重建。

本发明与现有技术相比具有如下优点：

在传统的逆向工程CAD重建中，主要针对的是单个的物体模型，对于室内环境这样大的场景，则由于数据获取的缺失、表面重构的复杂性，导致基于真实环境进行室内的CAD重建难度较大，该方法利用深度学习技术提高室内CAD组合重建的真实性和智能化程度，解决了传统室内CAD三维重建时各部件之间的位置与真实情况有偏差，以及现有软件的使用复杂性和手动操作过多的问题。

该方法针对不同类别的模型，设计不同的匹配策略，实现了全自动高还原度CAD组合重建，最终提高了室内CAD重建的质量、稳定性与智能化，减少了人的参与，避免了人为误差，提高了室内高还原度组合重建的效率。

附图说明

图1为本发明的整体流程图；

图2为Y型融合RGB与Depth的语义分割网络；

图3为实施例中语义网络训练的loss曲线；

图4为实施例中语义网络的语义分割结果；

图5为实施例中单帧语义点云的生成结果；

图6为实施例中最终重建的语义场景；

图7为实施例中基于改进的聚类分割结果；

图8为CAD组合重建部分的细节流程图；

图9为实施例中基于真实环境的CAD组合模型视角图。

具体实施方案

下面结合实施例和附图说明本发明的具体实施方式：在使用该系统进行室内三维重建的过程中，考虑到操作性、价格、使用条件以及精度等因素，选择微软公司的集成了诸多视觉技术的自然交互设备Kinect V1，其深度识别范围是0.5米至4.5米，选择重建的目标实验室大小为7.8m*7.8m*4m。

执行步骤一：本文选择的训练数据集来源于NYU Depth Dataset V2，含有RGB彩色图、深度图、语义标签，从中挑选出1311个训练样本作为初始训练数据集。受google提出的训练优化方法Batch Normalization（BN）层的影响，使图像在空域和频域上具有一致可比性，便于后续的图像特征对比，有效的防止了训练过程中的梯度爆炸与梯度弥散问题，所以本文将所有的输入数据处理为均值为0，方差为1的分布：

之后进行亮度通道的调整，通过使用亮度通道的均衡化，使图像更加清晰，提高图像的对比度质量。通过使用水平、垂直、同时水平垂直三种方式的镜像操作，增加数据量，使特征的学习更加有效。由于原始数据集的标签种类为894类，本文选择常见的10类作为语义分割目标，分别是天花板、墙、地板、窗户（窗帘）、门、桌子、凳子、沙发、床、其他。

使用图附2所示的网络结构，设置学习率为10^-4、10^-5、10^-6进行迭代，得到的loss曲线如附图3所示。语义分割结果如附图4所示，第一行为输入的彩色照片，第二行为输入的深度图，第三行为语义分割结果，第四行为语义标签，可以看出分割效果较好。

执行步骤二：对室内设置8个机位进行数据的采集，之后利用深度图与网络输出语义标签的一一对应关系，将黑白点云转换成深度图，从而将语义标签结果赋给对应的三维点云，生产单帧的语义点云，结果如附图5所示，其中第一列是原始RGB图，第二列是黑白点云得到的深度图，第三列是语义标签，第四列是最终生成的单帧语义点云。经过单机位与多机位的拼接，以及后期的滤波、栅格化处理，得到最终的语义场景如附图6所示。

执行步骤三：以门这个语义类别为例，采用基于欧式距离的聚类分割思想，将同一语义的各个实例进行分割，其中阈值设置为1/5，实例分割结果如附图7所示，最左边是输入，右边依次是输出的三个实例，可以明显的看出，左图中较小的杂点通过合适的阈值被自动去掉了。

执行步骤四：从CAD模型库中选择的合适CAD模型有窗户（窗帘）、门、桌子、凳子、沙发、床，基于三维语义点云进行室内场景的CAD组合重建流程如附图8所示，不同的类别执行不同的重建方案，通过大小，位置，方向的自动匹配，自动的完成室内场景的CAD组合重建，最终效果图的几个视角如附图9所示。

本方案利用深度学习技术，克服了点云数据获取的缺失、表面重构的复杂性的难题，很方便的基于真实环境进行室内的CAD组合重建，提高室内CAD组合重建的真实性和智能化程度。

本方案的上述步骤除了数据采集外，全部自动化完成，实现了全自动高还原度CAD组合重建，解决了现有软件的使用复杂性和手动操作过多的问题，提高了室内高还原度组合重建的效率。

Claims (5)

1.一种基于语义理解的室内场景CAD三维重建方法，其特征在于它包括如下步骤：

步骤一：训练Y型融合RGB与Depth的语义分割网络；

步骤二：语义场景的重建；

步骤三：同一语义类别的实例分割；

步骤四：基于语义实例及CAD模型的室内组合重建。

2.根据权利要求1所述的一种基于语义理解的室内场景CAD三维重建方法，其特征在于所述的步骤一为：

1）收集RGB-D数据，根据训练目标完成训练样本的制作，受google提出的训练优化方法Batch Normalization（BN）层的影响，使图像在空域和频域上具有一致可比性，便于后续的图像特征对比，有效的防止了训练过程中的梯度爆炸与梯度弥散问题，所以本文将所有的输入数据处理为均值为0，方差为1的分布：

之后进行亮度通道的调整，通过使用亮度通道的均衡化，使图像更加清晰，提高图像的对比度质量。通过使用水平、垂直、同时水平垂直三种方式的镜像操作，增加数据量，使特征的学习更加有效；

2）设计Y型融合RGB与Depth的语义分割网络，本方案设计的网络由三部分组成，前端是两个分割网络，其中一个是基于改进UNet网络对RGB彩色图像进行语义分割，另一个是基于改进UNet网络对Depth深度图像进行语义分割，相对于最原始的UNet网络，本文的输入图片尺寸更大，所以增加一层卷积池化层，使可以学习的特征更多，同时在反卷积融合层之后，增加一个相同尺度的卷积层，将特征混合处理，完成UNet的改进；后端是一个门控融合层，包括串接层、卷积层和一个sigmoid层三部分，通过将RGB和Depth图的分割结果合并，学习一个加权门阵列来衡量RGB与Depth这两个模态对场景中物体最终语义分割的贡献率，所以整个网络很好的综合了RGB与Depth的不同特点，是一个端到端的语义分割学习网络，形状呈现Y型。

3.根据权利要求1所述的一种基于语义理解的室内场景CAD三维重建方法，其特征在于所述的步骤二为：

1）生成单帧语义点云：考虑世界坐标系的点P(X,Y,Z)映射到深度图像点p(u,v)的过程， 表示目标到相机的距离，可以得到关系：

这里考虑相机坐标系与世界坐标系重合，所以

所以深度图像点p(u,v)与世界坐标系的点P(X,Y,Z)的变换公式为：

由于深度图与对应的语义图是一一对应的，所以P(X,Y,Z)对应的语义即为语义图中点p(u,v)处对应的语义；

2）单机位多帧点云的初步拼接融合，由于只有 、 的平移量变化， 的偏航角变化，其他均为0，所以帧间的变换关系为：

QUOTE

；

3）对于多机位的多帧点云，通过照片和点云特征点匹配的方法进行匹配，首先使用surf算法，获取照片的特征点，并进行两个机位间照片的特征点匹配，取特征点匹配最多的两帧照片（分别对应两个机位），根据照片帧的对应关系获取对应的点云帧，根据二维照片特征点对根据几何位置关系转为点云中的特征点对，将无效点NAN数据，以及深度信息不匹配的点对通过ransac方法进行去除，选择3对最好的三维特征点对，根据三点法得到两机位之间的坐标变换关系，完成多机位点云的融合，设P中匹配的3个点为p1,p2,p3，在Q中对应的3个点为q1,q2,q3，所以得到正交坐标矢量为：

将正交坐标矢量单位化之后，得到分别以p1、p2为坐标原点的坐标系：

令 QUOTE ,由于P中任意一点p0,，经过旋转平移可得到Q中对应的一点q0，且在两个坐标系下坐标轴上的投影一样，所以：

由于 ， 是单位正交矩阵，所以

所以变换矩阵 ；

4）语义场景的最终重建，首先对初步重建场景进行离群点去除和下采样处理，去除较多的杂点，再进行三维栅格化，根据点云的尺寸建立新的点云包围立方体，通过预先设置的栅格化间隔，将立方体细分，根据真实点云是否会落入细分立方体将其置为1或者0，若为1，则将对应的颜色进行赋值，最后取所有标志位1的细分立方体的中心点，作为栅格化后的立方体，减少数据的噪声误差，完成最终室内点云场景的重建。

4.根据权利要求1所述的一种基于语义理解的室内场景CAD三维重建方法，其特征在于所述的步骤三为：

1）对输入三维点云数据建立KdTree存储结构，并记输出实例数i=0；

2）找空间中未标记的某点p，若没找到则跳到Step5，否则标记点p，在KdTree中找到离他最近的n个点，计算其到p的距离，将距离小于阈值T的点放到Qi里；

3）在Qi中未标记的点内，选一点，重复Step2；

4）当Qi中不再有新点加入时，则一个实例出现，i=i+1，重复Step2；

5）对所有的Q排序，若后者小于前者点数的一定阈值，则将后者去除，完成最终的聚类分割。

5.根据权利要求1所述的一种基于语义理解的室内场景CAD三维重建方法，其特征在于所述的步骤四为：

1）根据设置的语义训练类别，从已有的CAD模型库中选取每个类别的合适CAD模型；

2）根据识别出的墙壁、地面和屋顶信息，通过迭代法提取点云的最小包围矩形，完成整体框架的CAD重建，并根据迭代法得到的角度将语义场景摆正。采用的迭代法是选取使得点云的包围矩形面积最小的方向不断迭代，直到前后两个的面积差达到一定的阈值，迭代停止，其中，通过计算点云在x,y,z三个方向的最大值和最小值，得到包围面积为

3）CAD模型与语义点云的匹配，根据语义，对于立体模型，通过计算实例分割结果的最小包围立方体，完成模型的大小匹配，并与地面进行衔接；通过计算CAD模型与语义点云最小包围立方体的中心点，完成平移位置关系的匹配；通过计算最小包围立方体时得到的迭代角度，完成模型方向的匹配；而对于近平面模型，由于结构简单以及模型已经在上一步骤中摆正，所以直接计算对应语义点云在三个坐标轴的最值，完成大小和位置的匹配，通过大尺度重采样后估计法向量方向，完成方向的匹配，加快了CAD组合重建的速度。