CN108986204A - 一种基于双重校准的全自动快速室内场景三维重建装置 - Google Patents

Abstract

一种基于双重校准的全自动快速室内场景三维重建装置，它涉及装置设计、位置粗校准、基于奇异值的关键点提取、局部收敛抑制、特征描述子的提取与匹配等方法。本装置为一键式重建，它解决了传统室内三维重建操作复杂的问题，是一款全自动，环境适应度高的重建装置。同时通过离散的数据进行场景重建，大大的减少了重建数据量，提高了系统的快速性。本装置的实现步骤为：一、装置设计；二、机体镜头粗校准；三、校准误差判断；四、机体镜头精校准；五、室内场景重建。本发明对装置进行镜头校准，通过步进电机实现全自动化，将获得的24帧数据根据校准数据融合，可快速的在显示端看到重建结果，适用于室内场景的自动化快速重建。

Description

一种基于双重校准的全自动快速室内场景三维重建装置

技术领域

本发明属于逆向工程技术领域，具体涉及一种基于双重校准的全自动快速室内场景三维重建装置的设计与校正。

背景技术

随着计算机图形学和计算机视觉的迅速发展，三维重建技术的应用也进一步扩大。从最初的军用装备建模到现在的商用室内装潢建模，三维重建替代了二维图纸，可以更加准确、全面、便捷的对场景和物体进行数字化存储。在市场需求的推动下各式各样的重建装置与系统也层出不穷。在室内三维重建方面，有基于图像的三维视觉重建系统如单目、双目，也有基于激光雷达通过3D深度信息配合SLAM实现的三维视觉重建系统。

目前的室内三维重建系统虽然根据传感器不同，使用不同的三维重构算法，但是采集方式多半是单点旋转多角度式采集，再对得到的离散数据进行相应处理，如matterport公司的Pro 3D Camera等，其受限于固定的单帧视场，这种采集方式需要采集人员自行规划采集路径，自动化程度低且对采集人员的专业要求很高，场景的重建效果很大程度上取决于采集人员的经验，且采集占用场景时间长，这一点加强了光线变化甚至场景变化对重建结果的影响，在室内三维重构的大范围普及上不具有优势。

本发明，一种基于双重校准的全自动快速室内场景三维重建装置，是一种全自动化、小数据量的快速室内全彩三维重建装置。利用环形排布的八组配套的深度传感器和相机结合步进电机获取三个高度360°范围内的空间深度数据和场景纹理，具有简便、快捷、使用门槛低、环境适应性强等优点。

发明内容

本发明的目的在于降低传统室内三维重建的复杂度，并提升室内重建的快速性。提供一种全自动快速的室内三维重建装置，通过双重校准的环形视场代替固定单帧视场，从而达到一次性采集水平视角360°的目的，同时本装置自带三个可调高度，通过自动调节高度扩大场景的采集范围。

本发明的目的是通过以下技术方案实现的：设计一种八面体的采集装置并对八组镜头进行双重校准，实现视场融合得到环形视场三维数据，再通过步进电机调节高度扩大场景采集范围，将全24帧数据融合的结果经wifi传入显示设备，实现全空间重建。

本装置实现主要分为几个步骤，具体步骤包括：

步骤一：装置设计。

装置分为采集模块和显示模块。采集模块由机体、调整台、升降杆和底座四部分组成。

采集端机体外观为一正八面体（如图1），通过升降杆与底座固定。其中正八面体机体的每个垂直面上嵌入一个结构光深度摄像机和一个同分辨率彩色摄像机。为保证深度相机与彩色相机的充分利用，本装置选择视场相同的两种相机。同时正八面体采集装置上的深度相机水平扫射角应大于45°，以保证环形视场的连贯性。选择分辨率640×480，帧率30fps的深度/彩色相机，同时深度相机水平扫射角70°，垂直扫射角60°，检测范围0.5-4.5m。同时八边形机体内部还绑定有采集端信息处理器，用来记录初始标定的结果，并依照标定结果整合八台深度相机以及纹理照相机的数据流。将信息以全场景点云、合成纹理、纹理匹配文件三种形式经由无线网络传递给显示装置接收端。

调整台内部一个步进电机与滚珠螺杆配合对高度进行自动精准调节，设定三个自动挡位对视场进行纵向扩展。同时调整台还保留有手动旋钮，用作机体旋转（偏航方向），可在校准镜头时使用。

升降杆和底座用来支撑整个装置，升降杆内芯与调整台配合调节高度。

显示模块具体包括数据接收模块、数据后处理模块、数据显示模块。可将采集装置数据保存至本地并进行进一步的处理。支持带有界面交互的彩色场景模型显示，同时开放原始数据查看导出。

步骤二：机体镜头粗校准。

为保证装置正常使用需对镜头进行校准。本发明所述室内重建装置通过八个深度、彩色摄像机获取的数据对镜头进行双重校准，流程图如图2。将校准结果作为装置内参存入相机，以此进行点云融合与纹理匹配，快速便捷的得到室内场景3D彩色模型。其中校准的准确性是保证本装置优于传统方法的关键。

1）按照机位编号对深度、彩色数据进行存储。

设定每个面上的一个深度摄像机（上）和一个彩色摄像机（下）为一个机位，采集装置共八个机位。将设备置于屋内中间位置开启设备，所需数据采集方式如图3，按照机位编号保存对应深度、彩色数据。对所需变量进行初始化，包括旋转变换R和平移变换T，最小化均方误差e(X，Y)，最小化均方误差变化量Δe(X，Y)等。矩阵初值为单位阵，数值量初始为0。采集第一次数据，点云与纹理照片各八帧记为D={1，2，3，4，5，6，7，8}，如图3中实线采集区所示，此组为主视角待校准组。调节调整台手动旋钮对机体偏航角进行调整，顺时针转动20°后固定。采集第二次数据，同样点云与纹理照片各八帧，为校准辅助组如图3中虚线采集区记作ΔD={1+，2+，3+，4+，5+，6+，7+，8+}。

2）利用相机位置关系进行粗校准

获取世界坐标系原点，以D组数据拍摄机位正八边形中心为重建中心调整D和ΔD的深度数据对应关系；

以世界坐标系Z轴为中心，D组的1号机位为基准，根据相机物理结构属性对D和ΔD的深度数据进行机位视角还原。由于点云为真实场景3D信息，数据具有刚体的性质，两个点云之间的变换仅包括旋转变换R和平移变换T。粗对准参数包括(ψ0，x，y，z)，其中ψ0为偏航角也是初始旋转变换R0，(x，y，z)为拍摄点在世界坐标系中的位置为初始平移变换T0，得数据；

步骤三：校准误差判断。

对D和ΔD两组数据运算顺序进行调整，以D组数据1机位校准为例，首轮循环先对D组1与ΔD组1+进行运算，如附图4。二轮配准中应用D组1与ΔD组8+进行运算。确定配准顺序后对每对数据计算最小化均方误差e(X，Y)和误差变化量Δe(X，Y)。将两帧点云信息，分别用集合X=x1，x2，x3，···xm和Y=y1，y2，y3，···yn表示。将X的点依次带入下式，经Ri、Ti变换之后与当前xi距离最近的Y的点即为yi，计算e(X，Y)和Δe(X，Y)。

通过Δe(X，Y)<b指标来判断迭代是否收敛，由于迭代数据特性在最初的迭代中都不会出现Δe(X，Y)<b情况。在多次循环后若仍未达到e(X，Y)>a的条件且Δe(X，Y)<b时，表示已经收敛到局部最优，为防止局部收敛的情况发生，对没有达到全局收敛要求的数据需要进行新的粗校准。在初步转换阵A的基础上追加随机扰动(Δφ，Δθ，Δψ，Δx，Δy，Δz)，其中Δφ为滚转扰动，Δθ为俯仰扰动，Δψ为偏航扰动，(Δφ，Δθ，Δψ)波动±0.1°。（Δx，Δy，Δz)为视点扰动，波动±0.01，对A添加扰动得粗校准初始数据A0，其中ψ=（ψ0+Δψ）：

应返回步骤二重新迭代，直到出现全局最优。

步骤四：机体镜头精校准。

1）结合深度摄像机视场与拍摄点交角信息对深度、纹理信息进行交叠部分剪裁和关键点提取。依照拍摄辐射角裁剪纹理如附图3。根据SVD（Singular ValueDecomposition）对裁剪后数据提取关键点，减少特征数据量：

通过奇异值U和V代替数据总体Data。

2）对数据关键点进行特征描述，将有用信息集合存储在向量{fi}里。特征描述子{fi}包含三部分信息：尺度、位置和方向。首先构造DOG尺度空间D(x)并对特征描述子进行精确定位，然后对方向赋值得到关键点描述。在灰度纹理上对图片进行DOG尺度空间构建，将图片进行一系列放缩并制定高斯核进行模糊，对相邻两层图像做差得差分图像。

为了在差分图片的基础上抽取稳定关键点，应去除对比度低的点，先对D(x)进行泰勒展开：

。

一阶导数用梯度T(D)，二阶导数用Hessian矩阵H(D)，计算DOG的局部曲率。

特征描述子方向由点L（x，y）的梯度确定：

梯度的幅值：

梯度的方向：

。

3）对两帧数据进行对应关系估计。根据两帧特征描述子{fi}和XYZ的相似度初步找出对应，剔除错误估计。根据得到转换更新R、T，通过最小化均方误差判断相邻两帧的校准状况，计算校准是否达到期望阈值a。a为0到1的百分比类型数值，越接近1匹配度越高，校准越精确。若e（X，Y）未达到a返回步骤三判断校准收敛情况。未收敛则在现有R、T基础上继续执行步骤四。若e（X，Y）达到期望阈值a，R、T即为镜头精确标定结果。

步骤五：室内场景重建。

镜头校正完成后进入数据采集，开启设备。调整台带动机体，在高中低三个位置拍摄，俯视视场如图5，单个视场依照校准数据拼接。记录步进电机步数得三组高度差如图6。根据高度拼接融合完成重建。

本发明与现有技术相比具有如下优点：

在传统的室内三维重建技术中，模型最终的效果很大程度上取决于拍摄人员的拍摄手法，自动化程度低对室内重建有很大不确定性影响。该方法使用环形视场一次性采集360°全景信息，对拍摄者要求极低。同时避免了因延时造成的场景光照变化，解除了对场景的长时间占用，提高了工作效率。

该装置实现了室内三维重建的全自动化，能够快速的得到完整的、高质量的三维模型，相比于实时配准重建数据量大幅减少，避免由于人为参与带来的误差。在镜头校准上同时应用了纹理信息和深度信息进行校准，互相制约有效的防止了进入局部最优的情况。

附图说明

图1为采集端装置图；

图2为镜头校准流程图；

图3为镜头校准数据采集示意图；

图4为镜头校准配准顺序图；

图5为数据采集视场示意图；

图6为数据采集机位示意图。

具体实施方式

下面结合实施例和附图说明本发明的装置结构与具体校准方式：

执行步骤一：进行硬件搭建，本室内快速重建装置由采集端装置与显示端装置两部分组成。采集端（如图1）负责采集数据并依照设备校准记录进行数据预处理。处理后的数据经由无线网络传入显示端进行显示以及后续处理。

采集端包括装有八组深度彩色摄像机的正八面体机体，控制机体高度的调整台，支撑装置的底座和升降杆。每组深度摄像机与对应照相机呈上下分布，所有摄像头分辨率、帧率一致。确保了彩色数据与深度数据的准确对应。机体内部包含校准运算装置与校准记录装置，计算并记录正式使用之前的镜头校准结果，在正式使用时直接应用于采集到的数据。

执行步骤二：本装置的准确性取决于镜头组的准确性，具体镜头校准步骤如图2。任意选定一个大约10m×10m空间用于校准设备，将采集装置置于场景中间位置，开启设备。镜头视场水平方向70°，垂直方向60°。相邻两个镜头会有22.5°的交叠角（如图5）。深度摄像头可拍摄0.5m-5m扇形区范围内的全部深度信息，任意设定八组摄像机里的一组为第一组依照顺时针顺序为其他七组编号，依照组别编号保存八组数据。每组数据包括一帧深度数据和一帧彩色纹理数据记为D={1，2，3，4，5，6，7，8}。初始化全部变量，矩阵值为单位阵，数值为0。调整控制台手动旋钮对机体偏航角进行调整，顺时针转动20°后固定。再采集第二次数据，同样点云与纹理照片各八帧，为校准辅助组如图3中虚线采集区记作ΔD={1+，2+，3+，4+，5+，6+，7+，8+}。

对八组深度信息进行位置调整。因点云为三维信息具有刚体的性质，点云之间的位姿变换只包括旋转变换R和平移变换T两部分，初始化旋转变换R和平移变换T，设定D组机位八边形几何中心为世界坐标系原点，以D组数据1为基准水平向右为x，垂直向上为y，深度方向向里为z，建立满足右手定则的坐标系。将各组数据的模型坐标依照拍摄点在世界坐标的位置进行平移变换，得到八组平移数据。八组摄像头高度一致，根据物理结构确定偏航角Ψ。根据公式得到八组A数据即为每一组对应的R、T，作为八组数据的迭代初值。ΔD组数据在D组粗对准基础上Ψ+20°。对已经局部收敛的数据进行重新粗校准需要在校准矩阵A的基础上加入随机扰动得到A0、R0、T0。

执行步骤三：按照图4顺序对每对数据进行配准，其中实心圈代表数据D，空心圈代表ΔD，箭头连接的两帧数据进行配准，两轮配准共16对。计算需进行配准的两帧数据误差校正函数e（X，Y）和Δe（X，Y）并进行迭代收敛判断。这一步骤旨在避免对应关系估计到局部最优解上进而使e（X，Y）无法达到a，所产生的拼接异位。Δe（X，Y）>0.001则继续执行步骤四，如Δe（X，Y）<0.001且e（X，Y）>a则迭代已收敛到局部，需进入步骤二，重新生成初始值。

执行步骤四：结合深度摄像机视场与拍摄点交角信息对点云信息和纹理信息进行交叠部分剪裁如附图3。根据SVD（Singular Value Decomposition）对裁剪后数据提取关键点，减少特征数据量，剔除部分噪声干扰。得到关键点后对点进行特征描述，首先构造DOG尺度空间，对图像进行滤波采样后利用双线性插值的方式缩小成指定大小的灰度图，再应用高斯模糊核函数取同组内相邻两层平滑图像差作为差分图像。其次，将差分图像的每个像素点与周围的像素点作比较，找出DOG函数的极值点，并去除极值点中对比度低的噪声敏感点和边缘响应点。再次，确定关键点的主方向，对关键点邻域的梯度大小进行高斯加权，以10°为一个单位分为36组，梯度相加最高的作为主方向。将坐标位置、尺度信息及方向以特征描述符{fi}形式描述。

对关联两帧进行对应关系估计。根据两帧特征描述子{fi}和XYZ的相似度找出对应，应用RANSAC算法剔除错误估计。根据对应关系更新R、T。设定迭代阈值a，迭代阈值为0到1之间数值，越接近1匹配度越高。判断校准是否达到期望阈值a，若未达到返回步骤三判断校准收敛情况。未收敛则在现有R、T基础上继续执行步骤四。已达到期望阈值a，R、T即为镜头精确标定结果。

执行步骤五：开启电源键，机体在中位拍下第一帧数据D如图6，采集端处理器校准D组数据的同时调整台上升至高位采集第二帧D1，再次调整至低位进行第三次D2的拍摄。以D为基准，根据步进电机步长与步数得到D1与D2到D的距离，记录D1，D2相对D距离并将三组数据融合。将融合结果经wifi传入显示模块，可以以3D模型文件形式拷贝转移。

上述步骤完全在采集端装置内部自行完成，是本装置实用性和可靠性的依据，在初次校准完成后就无需再次执行该操作。镜头校正数据存储在机体内采集端信息处理器中，在数据采集中直接对环形视场内数据进行整合，并通过电机带动机体扩展视场高度，达到室内三维重建的效果。

本装置为一键式重建，解决了传统室内三维重建操作复杂的问题，是一款全自动，环境适应度高的重建装置。同时通过离散的数据进行场景重建，大大的减少了重建数据量，提高了系统的快速性。

Claims (5)

1.一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于它包括如下步骤：

步骤一：装置设计；

步骤二：机体镜头粗校准；

步骤三：校准误差判断；

步骤四：机体镜头精校准；

步骤五：室内场景重建。

2.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤一为：

1）装置分为采集模块和显示模块，采集模块由机体、调整台、升降杆和底座四部分组成，显示模块具体包括数据接收模块、数据后处理模块、数据显示模块；

2）采集端机体外观为一正八面体，通过升降杆与底座固定，其中正八面体机体的每个垂直面上嵌入一个结构光深度摄像机和一个同分辨率彩色摄像机，同时八边形机体内部还绑定有采集端信息处理器，用来记录初始标定的结果，并依照标定结果整合八台深度相机以及纹理照相机的数据流；

3）调整台内部一个步进电机与滚珠螺杆配合对高度进行自动精准调节，设定三个自动挡位对视场进行纵向扩展；

4）显示模块可将采集装置数据保存至本地并进行进一步的处理，支持带有界面交互的彩色场景模型显示，同时开放原始数据查看导出。

3.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤二为：

1）按照机位编号保存对应深度、彩色数据，调节调整台手动旋钮对机体偏航角进行调节，获取数据D和ΔD；

2）获取世界坐标系原点，以D组数据拍摄机位正八边形中心为重建中心调整D和ΔD的深度数据对应关系：

3）对所需变量进行初始化，包括旋转变换R和平移变换T，最小化均方误差e(X，Y)，最小化均方误差变化量Δe(X，Y)等。

4.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤三为：

1）对D和ΔD两组数据运算顺序进行调整，以D组数据1机位校准为例，首轮循环先对D组1与ΔD组1+进行运算，二轮配准中应用D组1与ΔD组8+进行运算，以此类推；

2）确定配准顺序后对每对数据计算最小化均方误差e(X，Y)和误差变化量Δe(X，Y)：

3）通过Δe(X，Y)<b指标判断迭代是否收敛，对没有达到全局收敛要求的数据需要进行新的粗校准，在初步转换阵A的基础上追加随机扰动(Δφ，Δθ，Δψ，Δx，Δy，Δz)：

重新迭代，直到出现全局最优。

5.根据权利要求1所述的一种基于双重校准的全自动快速室内场景三维重建装置，其特征在于所述的步骤四为：

1）结合深度摄像机视场与拍摄点交角信息对深度、纹理信息进行交叠部分剪裁和关键点提取，裁剪后数据提取关键点，减少特征数据量：

通过奇异值U和V代替数据总体Data；

2）对数据关键点进行特征描述，将有用信息集合存储在向量{fi}里，确定特征描述子{fi}尺度、位置：

其中G为高斯核，用于构造DOG尺度空间D(x)并对特征描述子进行精确定位，为了在差分图片的基础上抽取稳定关键点，应去除对比度低的点，先对D(x)进行泰勒展开

一阶导数用梯度T(D)，二阶导数用Hessian矩阵H(D)，计算DOG的局部曲率：

3）确定特征描述子{fi}方向，特征描述子方向由点L（x，y）的梯度确定：

梯度的幅值：

梯度的方向：

4）对两帧数据进行对应关系估计。根据两帧特征描述子{fi}和XYZ的相似度初步找出对应，剔除错误估计,通过最小化均方误差判断相邻两帧的校准状况，计算校准是否达到期望阈值a。