CN108629835A - 基于高光谱、真彩图与点云互补的室内重建方法及系统 - Google Patents

Abstract

基于高光谱、真彩图与点云互补的室内重建方法及系统，它涉及场景自适应、基于SVM的波谱识别、基于高光谱与真彩图的点云闭环矫正以及距离统计、贪婪三角形等方法。它解决了点云获取设备对材质、光照和热量等不敏感以及三维重建的全自动问题。本发明的步骤为：一、获取初始数据；二、根据高光谱数据识别出点云缺失的位置；三、三维点云信息的初步修正；四、根据真彩图矫正修补结果；五、点云的滤波、拼接自动化、点云的面片化及纹理映射。本发明利用高光谱与真彩图信息对点云进行修补，弥补了硬件的不足，使重建的质量获得提升，通过自适应处理及全自动化的实现，使得三维室内重建的稳定性和实用性也获得提升，应用前景越来越广阔。

Description

基于高光谱、真彩图与点云互补的室内重建方法及系统

技术领域

本发明应用于虚拟现实领域的室内三维重建，具体是采用高光谱信息、三维点云信息以及真彩RGB图像信息完成室内三维场景的高质量重建。

背景技术

三维重建技术是计算机图形学和计算机视觉的一个热门研究目标，大到地图的绘制，小至晶粒组织的重建，它既能帮助我们将生活中的场景和物体进行快速准确的数字化保存，又能便于科学研究，应用前景越来越广阔。

近年来，在室内三维重建方面，有基于2D图像的双目视觉三维重建，有基于3D深度信息的即时定位与地图构建（Simultaneous Localization And Mapping，SLAM）等。在市面上流行有很多采集深度信息的产品，但是由于玻璃等高反光材质的平面物体对光源不敏感，并且光源的反射与光照强度、热量分布有一定的关系，使获得的点云数据存在丢失现象，导致单依靠点云数据的室内三维重建效果不理想。而目前的常用方法是通过多角度多次采集的方式，将丢失数据进行部分修补，这样无疑会提高采集人员的专业性要求，并且高质量重建的自动化程度低，对于某些无法通过采集来增加细节的场景将无能为力。

由于高光谱分辨率遥感技术以及高光谱信息挖掘技术的发展，可以对光谱波形等特征进行处理和信息提取，最终挖掘数据特征，达到识别物体的目标。高光谱中存在大量的细节信息，但是高光谱数据目前主要用于大场景的物体识别，如果将高光谱用于室内小场景的物体识别，将可以方便的提取到成像光源对材质、光照和热量不敏感的位置，若该信息可以用于辅助三维重建，将会使重建的质量获得提升。

本发明，基于高光谱、真彩图与点云互补的室内三维重建系统，是一种综合高光谱、三维点云及真彩图数据的特征，利用高光谱数据进行点云修补，利用彩色RGB图像数据进行点云矫正，使得传统三维重建中出现的点云不完整问题得以解决，最终达到室内场景高质量重建的系统，并通过自适应的预处理参数使得整个重建过程全自动化。

发明内容

本发明的目的在于提出一种综合高光谱、三维点云及真彩图数据的室内三维重建技术，解决了传统三维重建时光源对材质、光照条件和热量等不敏感现象导致的点云缺失问题，提出了一种利用高光谱信息填补缺失点云，利用彩色图像数据矫正点云的方法，再结合其他滤波等技术，最终提高了三维重建的质量与稳定性，进一步提高了应用层次。

本发明的目的是通过以下技术方案实现的：首先，将世界坐标系定义为室内场景的中心点，以方便观察重建效果，并通过陀螺仪记录采集每一帧的点云及其对应的高光谱信息和彩色RGB信息时的位置和姿态；在进行三维重建之前，利用高光谱信息识别出成像光源对材质、光照和热量等不敏感的物体，从而对点云数据进行初步修补；并利用具有综合信息的彩色RGB数据对修补结果进行矫正，以获得高质量的待拼接点云；将陀螺仪获得的坐标系信息作为迭代最近点算法（Iterative Closest Point, ICP）配准的初始输入，实现点云的准确配准拼接；在配准过程中，采用一定的滤波和平滑处理，参数根据场景的大小自适应处理，以解决点云存在噪声以及累积数据量越来越大的问题，通过三角化与纹理映射操作，提高了重建场景的可视化效果，使得系统准确且高质量的完成室内场景的数字化重建及保存功能。

本发明的流程图如图1所示，共分为五个步骤，具体步骤如下：

步骤一：初始数据的获取。

1）获取世界坐标系的原点，在待重建场景的中心部位选择一个标志点，并标记；

2）获取点云数据、高光谱数据以及彩色RGB数据，选择拍摄视角，在原点采用单点自动旋转12帧的方式以重建室内的概况，再采用手动围绕物件采集的方式以获得物件的细节信息，在每个拍摄位置获取三维点云、高光谱以及彩色RGB三种数据；

3）获取初始姿态矩阵，根据陀螺仪记录位姿信息，每一个拍摄视角对应的数据有（ψ，θ，Ψ，x，y，z），其中ψ为滚转角，θ为俯仰角，Ψ为偏航角，（x，y，z）为拍摄点在世界坐标系中的位置，根据ZYX的转动顺序，将各次旋转的变换矩阵相乘，得到拍摄点在世界坐标系中的初始姿态矩阵，作为配准的初始位置参数：

步骤二：根据高光谱数据识别出成像光源对材质、光照和热量等不敏感的物体。

此步骤是解决传统设备所得点云有缺陷的关键之处，通过对高光谱数据的信息提取，得到成像光源对小场景材质、光照和热量等不敏感物体的坐标信息，用于填补缺失的点云。

1）根据丰富的光谱数据库、知识库，确定对材质、光照和热量等不敏感的物体在高光谱超维空间的密度分布函数，以提高识别精度；

2）分别获得对材质、光照和热量不敏感物体的端元波谱，将高光谱数据进行最小噪声分离变换处理，用于判断图像数据内在的维数（即波段数），分离数据中的噪声，减少后续处理中的计算量，假设所获取的高光谱图像的每个观测信号z可以表示为：

其中n为噪声信号的密度分布函数（假设与s不相关），s为对材质、光照和热量等不敏感物体的无噪声信号的密度分布函数，记Σ _z 为观测信号z的协方差矩阵，Σ _n 为观测信号n的协方差矩阵，假设矩阵F为Σ _n 的白化矩阵，则有：

其中Δ _n 为由Σ _n 的特征值组成的对角矩阵，F=EΔ ^-1/2 _n ，矩阵E由Σ _n 的特征向量组成，满足：

记Σ _w 为调整噪声（白化）之后的观测数据的协方差矩阵，且满足：

对此矩阵做主成分变换，可以得到矩阵G，使得：

其中Λ _w 是由Σ _w 的特征值所组成的对角矩阵，G是由相应的特征向量构成，根据特征向量可知，数据的主要部分会集中在前面的几个波段中，从而分别得到对材质、光照和热量不敏感物体的端元波谱；

3）利用支持向量机（Support Vector Machine, SVM）识别对材质、光照和热量不敏感的物体，并获得二维位置坐标，根据端元波谱及对应的特征向量可以得到光谱吸收特征参数：吸收波段的波深和斜率等作为特征值，将光谱分为训练集、测试集和验证集，通过交叉验证得到适用于对材质、光照和热量不敏感物体的识别SVM模型，利用SVM分类器对光谱吸收特征参数做最后的波谱分类识别，并得到对材质、光照和热量不敏感物体的二维位置坐标，记作（x，y）。

步骤三：三维点云信息的初步修正。

采用同步拍摄的方式，可以将点云数据和高光谱数据以及真彩图的坐标关系通过手动标定的方式统一，前面通过对高光谱数据的处理，得到了小场景中对材质、光照和热量不敏感物体的二维位置信息（x，y），利用该信息将三维点云中缺失的平面点云进行初步修正操作。

1）利用二维位置信息，根据梯度寻找特征角点，并将数据范围存储下来，从而得到不敏感物体的三个角点坐标及小平面范围；

2）在三维点云空间搜索每个角点的4个邻近点，采用取平均值的方式确定角点的深度信息z：

3）利用点法式确定平面的方程，设三个特征角点分别为（x ₁ ，y ₁ ，z ₁ ），（x ₂ ，y ₂ ，z ₃ ），（x ₃ ，y ₃ ，z ₃ ），点法式方程为A（x-x ₁ ）+B（y-y ₁ ）+C（z-z ₁ ）=0，待定系数求得：

得到不敏感物体的小平面的方程，通过在每个小平面内线性等距离插值得到修补点云。

步骤四：真彩图数据对修补点云结果的矫正。

点云的初步填补将不敏感物体转化为多个小平面处理，且高光谱中单色信息导致的缺乏综合信息，所以结合具有整体信息的彩色RGB图像对修补后的点云做平滑矫正。

1）将修补后的点云进行平面投影，设每个点为（x _i ，y _i ，z _i ），则对应的灰度对比图中位置（x _i ，y _i ）处的灰度值为:

其中将生成灰度对比图记作gray，并且

，

降低点云的精度以获得点云的二维等效灰度图；

2）将原始彩色RGB图像灰度化，记作灰度图gray1，标记特征点，并与灰度对比图进行特征匹配，得到两个灰度图灰度值之间的相互关系；

3）遍历比较两个图的灰度值，将灰度值差异超过一定阈值的灰度对比图像素采取均值模糊处理；

4）将替换后的灰度对比图，根据投影关系还原回三维坐标中，得到矫正后的点云坐标：

。

步骤五：基于场景自适应的点云滤波、拼接自动化、面片化及纹理映射。

对点云进行更深层次的滤波优化以消除本身存在的散点噪声误差，将各种预处理算法中参数的设置根据获取点云场景的大小自适应处理，使得全自动化更加可靠，并采用ICP算法进行位姿的闭环补偿以减少陀螺仪的零点漂移等问题，得到最终的位姿参数。

1）采用体积法计算点云整体的平均密度，使得各种参数的自适应成为可能：

点间的平均距离记为：

,

其中num表示每帧点的数量，V表示点云的范围体积，假设点云在xyz三个轴上的最大最小值分别为max和min，则V=（X _max -X _min ）*（Y _max -Y _min ）*（Z _max -Z _min ），滤波参数依据该平均距离选取；

2）去除离群点，对查询点和邻域点之间的距离进行统计，根据统计得到的均值和标准差判断是否为离群点，平均距离在标准范围之外的点定义为离群点，并将之去除，标准范围std由统计所得到的均值μ和标准差σ决定：

其中std_mul为标准差倍数阈值，决定敏感程度；

3）下采样，根据输入点云创建一组三维体素网格，将每个体素网格（半径为nδ _平均 的立方体，其中n为自适应灵敏度参数）内的所有点云用其重心点来代替，在减少数据量的同时保持空间结构基本不变，并提高了计算速度；

4）点云配准拼接，利用陀螺仪等测得的位姿信息进行粗配准，利用A_初始将点云粗略地从相机坐标系转化到世界坐标系中，再结合ICP算法进行源点云与目标点云的精配准，并得到精配准的矩阵A_ICP；

5）重采样平滑点云，提高点云的重建质量，对周围数据点（mδ _平均的范围内，其中m为自适应灵敏度参数）进行高阶多项式插值使点云平滑，以解决配准的过程中出现的“双墙”问题，建立完整的三维模型；

6）点云面片化与纹理映射，使用基于三角剖分算法的空间区域增长算法生成三角面片（搜索连接点间的最大距离为qδ _平均，其中q为自适应灵敏度参数），且可使用最终的位姿矩阵进行纹理贴图：首先，根据计算得到的位姿矩阵A_最终=A_ICP*A_初始，将每一帧点云投影到彩色RGB图片对应的二维平面上，然后，每个点都找到一个颜色信息，最后返回三维模型，将三角面片的颜色信息由周围点的颜色信息插值，得到最终的彩色纹理映射结果。

通过将现有技术的参数的自适应调整，以及全自动化组合的方式，使得重建的效率与应用范围都得到了提升。

本发明与现有技术相比具有如下优点：

在传统的室内三维重建技术中，没有解决成像光源对材质、光照和热量等不敏感带来的点云缺失问题，而该方法结合并引入高光谱信息，利用光谱的吸收特征与物体的化学成分密切相关的特点，通过光谱曲线的光谱波形和光谱吸收特征参数的分析，进而识别对材质、光照和热量等不敏感的物体，利用该信息将缺失的点云进行修补，并且该方法结合带有综合信息的RGB图像进行修补点云的矫正，使得点云的质量得到明显提高。

该系统将室内三维重建全自动化实现，得到完整的、高质量的三维模型，避免由于人的参与带来的误差，实现过程中通过滤波，重采样等参数的自适应性处理，配合陀螺仪的ICP精配准等使得重建质量和效率都进一步提升，使系统的重建效果稳定，应用前景更加广阔。

附图说明

图1为本发明的流程图。

图2为实施例中的室内采集位置分配图。

图3为实施例中的处理效果图。

具体实施方式

下面结合实施例和附图说明本发明的具体实施方式：在使用该系统进行室内三维重建的过程中，考虑到操作性、价格、使用条件以及精度等因素，选择微软公司的集成了诸多视觉技术的自然交互设备Kinect2，其深度识别范围是0.5米至4.5米，选择重建的目标实验室大小为7.8m*7.8m*4m，高光谱成像系统选择地物高光谱成像仪。

执行步骤一：由于Kinect2的采集深度的限制，尽量选择室内有特征的中心（如图1的position_0）作为世界坐标系的原点（0,0,0），由于室内比较小，选择单点自动旋转的方式重建室内的概况，再根据细节重建需求，手动采集物件点云（如图1中的position_1-4），使得拍摄的点云包含室内的全部信息。为了方便采集，将原点处的旋转角度设置为顺时针每帧30度，这样采集到12帧点云数据，每一帧有217088个点，再根据实际需要采集几帧平移操作的点云用于补充室内不完整的点云信息，在每一个位置采集点云数据的同时，采集高光谱数据和真彩图数据。其中的位姿信息可以使用陀螺仪得到，计算可得初始姿态矩阵。

执行步骤二：根据已有的光谱数据库、知识库得到对材质、光照和热量等不敏感的物体在高光谱超维空间的密度分布函数之后，首先对高光谱数据进行最小噪声分离变换变换，通过该变换，数据的主要部分会集中在前面的几个波段中；再根据变换结果，选择信息量集中的波段，得到端元波谱；通过SVM分类器做分类识别工作，得到对材质、光照和热量不敏感的物体及其对应的位置坐标，记为（x，y）。

执行步骤三：将点云、高光谱以及真彩图数据之间的坐标关系通过手动标定的方式统一，在点云信息的初步修正工作中，首先将识别出的对材质、光照和热量不敏感物体的二维位置坐标信息提取出来，采取梯度提取角点措施，寻找特征角点，并将数据范围存储下来。根据角点，在三维点云空间搜索其邻近点（假设半径为5cm的范围内有4个点云坐标），以确定角点的深度信息z：

根据找到的三个特征角点，利用点法式确定平面的方程，再根据对材质、光照和热量不敏感物体的数据范围，将三维空间中缺失的点云补齐。

执行步骤四：首先将原始点云XY平面精度减少到0.01级别，再乘以100，得到灰度对比图的尺寸范围，将点云Z方向的深度信息进行归一化，再乘255作为灰度对比图的灰度值，根据这个投影关系将单帧点云转化为灰度图；将原始彩色图像灰度化，记为被对比灰度图，并在该灰度图以及灰度对比图中选择两对一一对应的特征点，据此将两幅灰度图进行匹配，得到两个灰度图灰度值之间的相互关系；根据该关系遍历灰度图，将灰度差异超过一定阈值（这里取5）的像素点，根据被对比灰度图的灰度值以及对比灰度图中该像素点的四邻域像素值作平均，得到矫正的对比灰度图；根据之前的投影关系，将对比灰度图还原回三维点云中。

执行步骤五：首先采用体积法计算点云整体的平均密度，其中num为217088，点云的范围体积V根据场景的不同自动计算；合适的点云滤波方式可以使点云处理的速度加快，并且视觉效果得到增强，由于得到的点云比较密，并且为了适应Kinect2，在距离统计时选择统计周围30个点，离群点的标准差倍数阈值选择1.0，这样，可以将一些离群点去掉的同时对整体不会造成太大的影响，最终将大量的杂点滤除；体素化网格实现下采样的过程中，关键在于体素网格的划分，在应用中，为了使点的数量不会过多，采用以0.5δ _平均的间隔从2δ _平均至4δ _平均多次下采样，使点云最大程度的保持结构信息不变；将所有的点云根据最初陀螺仪得到的位姿信息矩阵转换到世界坐标系下，达到粗配准的目的，之后使用ICP算法，迭代30次，得到初步拼接好的室内点云模型和修正的位姿信息；为了使ICP配准更加准确，避免一帧配不好影响最终效果，每拼接完5帧便进行一次以半径为30δ _平均的重采样（为下采样的10倍左右即可），得到最终平滑完整的三维室内点云模型。

进行点云的面片化操作时，如连接点间的最大距离，领域点的最大数目等参数对最终的效果有很大的影响，在实际操作中，设置连接点间的最大距离为300δ _平均 （重采样半径的十倍）时效果比较好，领域点的最大数目限制为300，使得点云搜索速度比较适中，加快整体处理效率；根据ICP的结果矩阵和陀螺仪的初始矩阵，得到最终修正的位姿矩阵之后，再根据相机的焦距368，对应点云的修改图像像素尺寸为424*512，可以使得们每个三角面片的每个点，在彩色RGB图像中找到对应的颜色信息，进行得到最终的纹理映射结果。

本系统将上述的步骤全自动化完成，结合高光谱信息可以很好的识别出对材质、光照和热量不敏感的物体，并将点云填补完整；利用RGB信息进行矫正使得质量进一步提升，且拓宽了应用范围；最后ICP闭环修正位姿信息将陀螺仪的漂移问题解决，使应用范围进一步扩大。可见，本发明所提出的方法将室内场景全自动的快速重建，解决了Kinect2等点云拍摄设备对材质、光照和热量的不敏感以及重建效率的问题，具有较高的可靠性和实用性，经过测试不同的室内环境，参数的自适应调整使得得到的效果都比较理想，可以用于后续的案发现场勘探等，具有很强工程实际意义。

Claims (5)

1.基于高光谱、真彩图与点云互补的室内重建方法及系统，其特征在于它包括如下步骤：

步骤二：根据高光谱数据识别出成像光源对材质、光照和热量等不敏感的物体；

步骤三：三维点云信息的初步修正；

步骤四：真彩图数据对修补点云结果的矫正；

步骤五：基于场景自适应的点云滤波、拼接自动化、面片化及纹理映射。

2.根据权利要求1所述的基于高光谱、真彩图与点云互补的室内重建方法及系统，其特征在于所述的步骤二为：

1）根据丰富的光谱数据库、知识库，确定对材质、光照和热量等不敏感的物体在高光谱超维空间的密度分布函数，以提高识别精度；

2）分别获得对材质、光照和热量不敏感物体的端元波谱，将高光谱数据进行最小噪声分离变换处理，用于判断图像数据内在的维数（即波段数），分离数据中的噪声，减少后续处理中的计算量，假设所获取的高光谱图像的每个观测信号z可以表示为：

其中n为噪声信号的密度分布函数（假设与s不相关），s为对材质、光照和热量等不敏感物体的无噪声信号的密度分布函数，记Σ _z 为观测信号z的协方差矩阵，Σ _n 为观测信号n的协方差矩阵，假设矩阵F为Σ _n 的白化矩阵，则有：

其中Δ _n 为由Σ _n 的特征值组成的对角矩阵，F=EΔ ^-1/2 _n ，矩阵E由Σ _n 的特征向量组成，满足：

记Σ _w 为调整噪声（白化）之后的观测数据的协方差矩阵，且满足：

对此矩阵做主成分变换，可以得到矩阵G，使得：

其中Λ _w 是由Σ _w 的特征值所组成的对角矩阵，G是由相应的特征向量构成，根据特征向量可知，数据的主要部分会集中在前面的几个波段中，从而分别得到对材质、光照和热量不敏感物体的端元波谱；

3）利用支持向量机（Support Vector Machine, SVM）识别对材质、光照和热量不敏感的物体，并获得二维位置坐标，根据端元波谱及对应的特征向量可以得到光谱吸收特征参数：吸收波段的波深和斜率等作为特征值，将光谱分为训练集、测试集和验证集，通过交叉验证得到适用于对材质、光照和热量不敏感物体的识别SVM模型，利用SVM分类器对光谱吸收特征参数做最后的波谱分类识别，并得到对材质、光照和热量不敏感物体的二维位置坐标，记作（x，y）。

3.根据权利要求1所述的基于高光谱、真彩图与点云互补的室内重建方法及系统，其特征在于所述的步骤三为：

1）利用二维位置信息，根据梯度寻找特征角点，并将数据范围存储下来，从而得到不敏感物体的三个角点坐标及小平面范围；

2）在三维点云空间搜索每个角点的4个邻近点，采用取平均值的方式确定角点的深度信息z：

3）利用点法式确定平面的方程，设三个特征角点分别为（x ₁ ，y ₁ ，z ₁ ），（x ₂ ，y ₂ ，z ₃ ），（x ₃ ，y ₃ ，z ₃ ），点法式方程为A（x-x ₁ ）+B（y-y ₁ ）+C（z-z ₁ ）=0，待定系数求得：

得到不敏感物体的小平面的方程，通过在每个小平面内线性等距离插值得到修补点云。

4.根据权利要求1所述的基于高光谱、真彩图与点云互补的室内重建方法及系统，其特征在于所述的步骤四为：

1）将修补后的点云进行平面投影，设每个点为（x _i ，y _i ，z _i ），则对应的灰度对比图中位置（x _i ，y _i ）处的灰度值为:

其中将生成灰度对比图记作gray，并且

，

降低点云的精度以获得点云的二维等效灰度图；

2）将原始彩色RGB图像灰度化，记作灰度图gray1，标记特征点，并与灰度对比图进行特征匹配，得到两个灰度图灰度值之间的相互关系；

3）遍历比较两个图的灰度值，将灰度值差异超过一定阈值的灰度对比图像素采取均值模糊处理；

4）将替换后的灰度对比图，根据投影关系还原回三维坐标中，得到矫正后的点云坐标：

。

5.根据权利要求1所述的基于高光谱、真彩图与点云互补的室内重建方法及系统，其特征在于所述的步骤五为：

1）采用体积法计算点云整体的平均密度，使得各种参数的自适应成为可能：

点间的平均距离记为：

,

其中num表示每帧点的数量，V表示点云的范围体积，假设点云在xyz三个轴上的最大最小值分别为max和min，则V=（X _max -X _min ）*（Y _max -Y _min ）*（Z _max -Z _min ），滤波参数依据该平均距离选取；

2）去除离群点，对查询点和邻域点之间的距离进行统计，根据统计得到的均值和标准差判断是否为离群点，平均距离在标准范围之外的点定义为离群点，并将之去除，标准范围std由统计所得到的均值μ和标准差σ决定：

其中std_mul为标准差倍数阈值，决定敏感程度；

3）下采样，根据输入点云创建一组三维体素网格，将每个体素网格（半径为nδ _平均 的立方体，其中n为自适应灵敏度参数）内的所有点云用其重心点来代替，在减少数据量的同时保持空间结构基本不变，并提高了计算速度；

4）点云配准拼接，利用陀螺仪等测得的位姿信息进行粗配准，利用A_初始将点云粗略地从相机坐标系转化到世界坐标系中，再结合ICP算法进行源点云与目标点云的精配准，并得到精配准的矩阵A_ICP；

5）重采样平滑点云，提高点云的重建质量，对周围数据点（mδ _平均的范围内，其中m为自适应灵敏度参数）进行高阶多项式插值使点云平滑，以解决配准的过程中出现的“双墙”问题，建立完整的三维模型；

6）点云面片化与纹理映射，使用基于三角剖分算法的空间区域增长算法生成三角面片（搜索连接点间的最大距离为qδ _平均，其中q为自适应灵敏度参数），且可使用最终的位姿矩阵进行纹理贴图：首先，根据计算得到的位姿矩阵A_最终=A_ICP*A_初始，将每一帧点云投影到彩色RGB图片对应的二维平面上，然后，每个点都找到一个颜色信息，最后返回三维模型，将三角面片的颜色信息由周围点的颜色信息插值，得到最终的彩色纹理映射结果。