CN110378349A - Android移动端室内场景三维重建及语义分割方法 - Google Patents

Abstract

本发明提出一种Android移动端室内场景三维重建及语义分割方法，通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算，利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计，实现快速三维重建。通过设计轻量化的二维室内场景语义分割CNN网络，并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少，可以很方便的将语义分割的深度学习框架放置在普通的Android设备上，从而实现一整套的Android移动端三维重建与语义分割的解决方案。

Description

Android移动端室内场景三维重建及语义分割方法

技术领域

本发明涉及三维重建技术。

背景技术

在目前流行的三维重建技术过程中，大部分三维重建技术是需要在PC端利用GPU实现大规模的并行计算操作从而满足实时性的要求，而少数是针对于移动端的三维重建技术，或者是基于IOS系统上metal加速计算进行的三维重建，或者是基于Nvidia移动端的显卡利用cuda实现并行计算从而进行三维重建，而针对于普通的Android移动设备，目前尚未有有效的移动端三维重建方法的实现。

在当下的三维重建中，若仅仅利用Tof相机采集的视觉信息计算相机姿态，由于通常初始化为上一帧的相机姿态，使得整个ICP过程收敛迭代次数较多，且对于相对较大的偏移估计不够准确，如何加速ICP过程的计算速度是当下移动端三维重建技术的难点。

在当下针对于三维重建后模型的语义分割，由于三维CNN网络而言参数量过于庞大，网络模型很大，难于在移动端完成语义分割相关任务。

发明内容

本发明针对当前三维重建方法的局限性导致难以在Android移动端快速实现三维重建以及精确得到每一帧的相机姿态的问题，提出一种Android移动端室内场景三维重建及语义分割方法，包括如下步骤：

步骤A、三维重建

步骤A1、获得图像的深度图信息、RGB信息以及加速度信息；

步骤A2、利用Renderscript框架所提供的异构硬件加速api，实现三维重建中需要密集计算的体素融合和表面提取,以及帧与模型之间匹配的ICP与直接法的单像素贡献计算；

步骤A3、利用Android neon技术针对于计算好的单像素贡献进行快速累加，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态；

步骤A4将深度图的四角根据计算出的当前帧姿态映射到TSDF模型中，获得在TSDF模型中的bounding box，仅在bounding box中进行模型融合；

步骤B、语义分割

步骤B1、针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合；

步骤B2、利用attention机制，针对于concat后的各个通道信息进行权重提取；

步骤B3、将体素模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割。

进一步地，所述步骤A1中，利用带有Tof相机的移动端的Android设备进行室内场景扫描，通过Android相机中的Tof相机采集深度图信息以及RGB信息，通过IMU惯性测量设备得到角速度以及加速度信息。

进一步地，所述步骤A1中还包括：对每个像素的深度进行截断，然后对于深度图进行双边滤波去噪。

进一步地，所述步骤A2中，在提取模型表面时，从当前帧每个像素计算一条射线沿着相机光心到该像素归一化平面点的方向进行运动，采用变速raycasting算法找到由正值变为负值的体素位置，通过三线性插值得到该像素所对应的点云位置以及RGB颜色信息，所述变速raycasting算法如下：若当前体素的TSDF的值为空时，则当前的raycasting射线快速运动，直到进入存有有效TSDF模型值的区域，在进入存有有效TSDF模型区域后，若有效的TSDF的值为负数，说明在模型背面因而舍弃该射线，若为正值，则降低raycasting射线的速度寻找TSDF值为0的点得到模型表面。

进一步地，所述步骤B1中：

对于RGB的高分辨率局部空间信息提取，采用两个shortcut的bottleneck级联的方式设计网络，通过bottleneck模块快速提取得到整个图像的细节特征；

对于RGB图像的高分辨率大感受野信息的提取，backbone选择mobilenetv2，同时利用全局平均池化获取全局结构信息，与下采样32倍和16倍的特征图进行混合，得到RGB高分辨率大感受野的空间信息；

对于深度图像采用与RGB图像提取低分辨率局部空间信息相同的网络结构，利用较多的channel和较浅的网络来保留丰富的空间信息生成高分辨率的特征。

与现有技术相比，本发明的优点和积极效果在于：

本发明通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算，利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计，加速ICP跟踪流程计算的整体时间，从而实现利用手机上逐渐普及的Tof相机以及IMU设备在普通Android设备上的快速三维重建方案。通过设计轻量化的二维室内场景语义分割CNN网络，并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少，可以很方便的将语义分割的深度学习框架放置在普通的Android设备上，从而实现一整套的Android移动端三维重建与语义分割的解决方案。

附图说明

图1为本发明实施例Android三维重建与语义分割方法总体流程图；

图2本发明实施例语义分割网络结构图；

图3为本发明实施例Bottleneck模块处理流程图；

图4为本发明实施例Attention模块处理流程图。

具体实施方式

本发明的整体方案思路如下：

本发明利用了Android的Renderscript框架，通过Renderscript这种类C的高性能编程，利用Renderscript框架所提供的异构硬件加速应用程序编程接口，实现三维重建中需要密集计算的体素融合和表面提取，以及帧与模型之间匹配的ICP与直接法的单像素贡献计算。然后利用Android neon技术针对于计算好的单像素贡献进行快速累加从而得到高斯牛顿迭代法所需的雅可比方程，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态。同时通过设定移动端tof相机采集的深度图像的深度值范围，过滤掉噪音较大可信度较低的深度值，并将深度图的四角根据计算出的当前帧姿态映射到TSDF(截断符号距离函数)模型中，从而得到在TSDF模型中的bounding box，仅在bounding box中进行模型融合，加速耗时最长的体素融合阶段。

同时针对于移动端三维重建模型的语义分割，利用二维卷积神经网络针对于每帧的深度图像与RGB图像结合进行语义分割，为了提高语义分割的准确率，通过针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合，并利用注意力attention机制，针对于拼接后的各个通道信息进行权重提取。最后将TSDF模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割标签。

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。

参考图1及图2，本实施例基于Renderscript与neon的Android移动端三维重建方法主要包括以下几个步骤：对图像进行预处理→利用ICP与直接法计算当前帧相机姿态→根据相机姿态将深度图与RGB图融合到TSDF体素模型中→利用光线追踪算法从模型中提取当前视角下的表面。

A.图像预处理：

针对于小型的室内场景，利用带有Tof相机的移动端的Android设备进行室内场景扫描，通过Android相机中的Tof相机采集深度图信息以及RGB信息，通过IMU惯性测量设备得到角速度以及加速度信息。针对于利用Android设备的tof相机采集到的深度图像，首先根据预先设定好的深度取值范围，对于每个像素的深度进行截断，然后对于深度图进行双边滤波去噪，之后根据相机的内参得到相机坐标系下的点云，用于之后的变换矩阵计算。其中截断、去噪以及生成点云的过程均是在每个像素分别进行操作，因而可以利用renderscript进行并行计算。

B.利用ICP与直接法计算当前帧相机姿态：

由于当下的Android移动端设备普遍配备了IMU惯性测量单元，因而可以将从步骤C中投影出来的前一帧的点云利用IMU测量数据进行初步变换，然后再计算当前帧与变换后得到的点云之间的变换矩阵得到当前帧的相机姿态。计算相机姿态的方法主要利用ICP与直接法相结合的方法。由于帧与帧之间相机姿态变化很小，因而先假设当前帧与根据IMU数据变换后的前一帧相机姿态相同，将当前帧的像素投影到上一帧建立像素间的匹配关系，然后利用ICP衡量点到平面的误差，利用直接法衡量匹配像素间的光度误差，构建误差函数通过高斯牛顿法进行迭代求解，由于本发明利用了IMU的测量数据，因而可以舍弃常见的利用构建深度金字塔加速迭代收敛的方法，这样使得计算相机姿态的速度进一步提高。由于ICP以及直接法的匹配以及每像素针对于最终最小二乘方程的贡献的计算均是每个像素单独操作，因而使用renderscript进行并行计算。而针对于每像素贡献累加成为最小二乘方程的Hessian矩阵的计算则可以利用neon技术加速。通过这种增强型的SIMD技术，利用一个指令处理多个数据，使用128位寄存器同时进行，可以大幅提高累加计算的速度。

C.深度图融合到体素模型：

由于我们在图像预处理阶段对深度图像进行了截断，因此本发明对每幅图像的四个顶点利用D中计算得到的相机姿态以及最大和最小的深度值，将其映射到TSDF体素模型中，从而得到了体素模型中当前帧需要进行模型融合的区域bounding box。由于模型融合在整个移动端三维重建过程中所占用的时间最长，因而通过计算提前得到融合区域可以显著提高重建速度。深度图的融合过程利用renderscript在bounding box的xy平面上每个像素分配一个线程，每个线程处理z轴方向的所有体素来进行并行操作。对于每个体素的TSDF值采用加权融合方式。

D.利用光线追踪法表面提取：

在提取模型表面时，从当前帧每个像素计算一条射线沿着相机光心到该像素归一化平面点的方向进行运动，找到由正值变为负值的体素位置，通过三线性插值得到该像素所对应的点云位置以及RGB颜色信息。而由于体素模型中大部分位置的TSDF的值为空，仅模型表面附近存在有效的TSDF模型的值，因而在raycasting的过程中若射线全程保持低速状态则会浪费大量时间在无效的TSDF模型的体素中。因而我们采用一种变速raycasting算法，若当前体素的TSDF的值为空时，则当前的raycasting射线快速运动，直到进入存有有效TSDF模型值的区域。在进入存有有效TSDF模型区域后，若有效的TSDF的值为负数，说明在模型背面因而舍弃该射线，若为正值，则降低raycasting射线的速度寻找TSDF值为0的点得到模型表面。由于该算法也是每个像素独立计算，因而可以利用renderscript进行并行计算加速。

Renderscript利用rs_allocation申请分配内存放入计算所需的数据，并在其中提前根据需要分配好所需要的线程数目，随后Android操作系统会根据需求动态分配CPU以及GPU的计算资源完成每个线程所需实现的并行计算。

本实施例Android移动端语义分割方法如下：

语义分割线程利用三维重建中计算得到的相机姿态将二维的语义分割结果映射到TSDF模型中得到三维体素级别标签。在最终扫描完成后，利用marchingcube算法提取得到最终的三维重建模型，对于每个体素内得到的预测label数组，提取出频率最高的标签作为该体素的最终标签。

语义分割任务的精确完成既需要大尺度大感受野的空间信息来判断像素物体的标签，同时也需要小尺度的空间细节信息来保持语义分割边缘的准确性，因此利用二维CNN网络针对于每一帧的RGB图像设计两个通路分别进行较高尺度大感受野的空间信息提取以及低尺度局部空间信息的提取。同时针对于深度图像提取空间信息辅助RGB图像完成语义分割任务。

对于RGB的高分辨率局部空间信息提取，采用两个shortcut的bottleneck级联的方式设计网络，通过少量但是高效的bottleneck模块快速提取得到整个图像的细节特征。

对于RGB图像的高分辨率大感受野信息的提取，由于需要更深层的网络，若采用参数庞大的网络结构不利于在移动端进行部署,因而本实施例的backbone选择mobilenetv2。同时利用全局平均池化获取全局结构信息，与下采样32倍和16倍的特征图进行混合，得到最终的RGB高分辨率大感受野的空间信息。

对于深度图像采用与RGB图像提取低分辨率局部空间信息相同的网络结构，利用较多的channel和较浅的网络来保留丰富的空间信息生成高分辨率的特征。

利用注意力机制针对于RGB图像提取出来的特征以及深度图像提取的特征融合后的通道给予不同的权重。

本发明将三维重建与语义分割做了结合，提出了一整套端到端的三维重建语义分割工具，在移动端针对于两个领域进行了耦合，在三维重建的同时完成了语义分割，提高了信息的利用率，加速了整个流程的推进，使得实时的用户与场景的更大自由度交互成为可能。最终可以同时得到三维重建结果以及相应的体素级别语义标签。通过Renderscript框架以及neon技术对三维重建中的高并行计算进行针对性的优化，设计轻量型的网络结构结合扫描得到的深度图像以及RGB图像信息，最终得到体素级别的语义分割结果。整个方法过程可以在扫描完成后较短时间内的得到整个扫描空间的稠密mesh模型附带颜色纹理，以及语义分割结果，为未来可以实施的VR、AR应用提供了支持。

本发明利用的是视觉slam方法，通过结合Tof相机采集的深度图像、RGB图像，IMU采集到的角速度以及加速度信息进行结合，能够预测在运动中的Android设备中各个时刻图像相机姿态，从而将各个时刻的表面模型进行融合，得到整个物体完整的模型表面。在常见的室内场景如客厅、办公室、餐厅等，利用手持的移动端Android设备，针对于室内场景进行扫描，可以实时在移动端设备实时得到场景的模型，以及模型中不同部分的类别，例如桌子、椅子、电视等等，从而使得用户可以在该技术支持下的AR应用中更好得与场景进行交互。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种Android移动端室内场景三维重建及语义分割方法，其特征在于包括：

步骤A、三维重建

步骤A1、获得图像的深度图信息、RGB信息以及加速度信息；

步骤A2、利用Renderscript框架所提供的异构硬件加速api，实现三维重建中需要密集计算的体素融合和表面提取,以及帧与模型之间匹配的ICP与直接法的单像素贡献计算；

步骤A3、利用Android neon技术针对于计算好的单像素贡献进行快速累加，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态；

步骤A4将深度图的四角根据计算出的当前帧姿态映射到TSDF模型中，获得在TSDF模型中的bounding box，仅在bounding box中进行模型融合；

步骤B、语义分割

步骤B1、针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合；

步骤B2、利用attention机制，针对于concat后的各个通道信息进行权重提取；

步骤B3、将体素模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割。

2.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A1中，利用带有Tof相机的移动端的Android设备进行室内场景扫描，通过Android相机中的Tof相机采集深度图信息以及RGB信息，通过IMU惯性测量设备得到角速度以及加速度信息。

3.根据权利要求2所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A1中还包括：对每个像素的深度进行截断，然后对于深度图进行双边滤波去噪。

4.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A2中，在提取模型表面时，从当前帧每个像素计算一条射线沿着相机光心到该像素归一化平面点的方向进行运动，采用变速raycasting算法找到由正值变为负值的体素位置，通过三线性插值得到该像素所对应的点云位置以及RGB颜色信息，所述变速raycasting算法如下：若当前体素的TSDF的值为空时，则当前的raycasting射线快速运动，直到进入存有有效TSDF模型值的区域，在进入存有有效TSDF模型区域后，若有效的TSDF的值为负数，说明在模型背面因而舍弃该射线，若为正值，则降低raycasting射线的速度寻找TSDF值为0的点得到模型表面。

5.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤B1中：

对于RGB的高分辨率局部空间信息提取，采用两个shortcut的bottleneck级联的方式设计网络，通过bottleneck模块快速提取得到整个图像的细节特征；

对于RGB图像的高分辨率大感受野信息的提取，backbone选择mobilenetv2，同时利用全局平均池化获取全局结构信息，与下采样32倍和16倍的特征图进行混合，得到RGB高分辨率大感受野的空间信息；

对于深度图像采用与RGB图像提取低分辨率局部空间信息相同的网络结构，利用较多的channel和较浅的网络来保留丰富的空间信息生成高分辨率的特征。