CN115511952A - 一种基于深度相机的装配式铺面三维点云预处理方法 - Google Patents

Abstract

本发明涉及一种基于深度相机的装配式铺面三维点云预处理方法，包括：基于深度相机对装配式铺面进行三维信息采集；优化相机位姿，基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧；点云去噪：去除关键帧点云图像边界处的异常点和离群点；点云背景点剔除：将关键帧点云图像的RBG颜色模型转换为HSV颜色模型，并基于颜色距离进行背景点剔除；点云精简：对关键帧点云图像进行板块边界提取，基于板块边界和板块内部的点云特征分别进行点云精简；点云拼接配准：将关键帧的点云坐标转换到世界坐标系下，基于ICP算法对点云进行精确配准，完成点云拼接。与现有技术相比，本发明具有点云特征保留完整、利于后续点云处理等优点。

Description

一种基于深度相机的装配式铺面三维点云预处理方法

技术领域

本发明涉及道路工程技术领域，尤其是涉及一种基于深度相机的装配式铺面三维点云预处理方法。

背景技术

装配式铺面是一种优良的快速铺装结构，具有工厂化、标准化、机械化等特点，并且绿色环保、建造速度快、工程质量高，是面向新建和改扩建的重要铺装形式。装配式铺面能有效缓解铺面修复中水泥混凝土凝结硬化时间较长与可施工时间较短之间的矛盾。

装配式铺面技术已在美、日等国形成了成熟的技术体系，得到了较大规模的推广与应用；我国近年来也取得了一定的进展，但研究成果多应用于为小范围的试点工程。目前，国内外的学者往往针对于装配式铺面的设计方法、结构与构造以及施工工艺等方面进行研究，而对装配式铺面三维尺寸评价与质量控制方法的研究相对较少，而对装配式铺面三维尺寸评价的先决条件需要对装配式铺面进行三维信息扫描，并进行相应的点云预处理。

深度相机可以在拍摄二维图像的同时，进一步得到各像素点的深度信息，其测距原理主要基于结构光、TOF、双目立体视觉等技术。相机的扫描范围与精度随着产品的迭代不断提高，也有越来越多的学者尝试将深度相机应用于道路工程领域。针对深度相机采集到的装配式铺面三维信息，现有技术中的点云预处理方法不够全面、处理结果精确度低，不能完全适配装配式铺面点云应用场景，会对后续的评价和质量控制造成极大的影响。

发明内容

本发明的目的就是为了提供一种基于深度相机的装配式铺面三维点云预处理方法，极大程度上保留点云信息中的板块特征和边界特征，提高预处理效果，为后续装配式铺面三维尺寸评价与质量控制方法提供基础。

本发明的目的可以通过以下技术方案来实现：

一种基于深度相机的装配式铺面三维点云预处理方法，包括以下步骤：

基于深度相机对装配式铺面进行三维信息采集，获取装配式铺面的原始点云图像，所述原始点云图像包括结构化点云和深度图像；

对相机位姿进行优化，基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧；

点云去噪：去除关键帧点云图像边界处的异常点和离群点；

点云背景点剔除：将关键帧点云图像的RBG颜色模型转换为HSV颜色模型，并基于颜色距离进行背景点剔除；

点云精简：对关键帧点云图像进行板块边界提取，基于板块边界和板块内部的点云特征分别进行点云精简；

点云拼接配准：将关键帧的点云坐标转换到世界坐标系下，基于ICP算法对点云进行精确配准，完成点云拼接。

相机位姿的优化包括基于卡尔曼滤波的相机位移的优化和基于Slerp均值滤波的相机旋转的优化。

所述基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧，包括以下步骤：

将初始时刻的相机坐标系记作世界坐标系；

对于空间中任意一点P，其在世界坐标系和相机坐标系下的坐标值满足：

其中，p_w＝[p₁,p₂,p₃]^T是P在世界坐标系下的坐标，p_k＝[p₁',p₂',p₃']^T是P在相机坐标系下的坐标，R和t表示相机位姿，其中，平移向量t＝[t₁,t₂,t₃]^T表示相机坐标系原点相对于世界坐标系原点的位移，旋转矩阵R描述了相机坐标系坐标轴在空间中相对于世界坐标系的旋转角度；

引入齐次坐标将平移和旋转变换合并至同一矩阵中：

其中，T为变换矩阵，根据相机位姿确定，T的四元数表示形式为：

其中，单位四元数q＝w+xi+yj+zk；

筛选点云图像关键帧：将点云图像第一帧和最后一帧作为关键帧；对优化后的位姿数据进行三阶差分运算，得到差分后的位姿数据；在差分后的位姿数据中筛选位移大于预配置位移阈值的数据，将对应帧作为关键帧；在差分后的位姿数据中筛选旋转角度大于预配置角度阈值的数据，将对应帧作为关键帧。

去除关键帧点云图像边界处异常点采用基于联合双边滤波的点云平滑方法，具体包括以下步骤：

对原始点云图像进行双边滤波平滑，确定空间域卷积核，并基于深度图像的灰度值计算平滑后图像的特征域卷积核；

将空间域的卷积核与图像特征域卷积核相乘并作归一化处理，作为联合双边滤波的卷积核；

将联合双边滤波卷积核作用于结构化点云，以作用点邻域的加权和作为该点坐标的更新值。

去除关键帧点云图像边界处离群点采用基于半径邻域的离群点剔除算法，基于k邻域筛选出离点云主体较远的离群点，并采用半径滤波对离群点进行剔除。

所述将关键帧点云图像的RBG颜色模型转换为HSV颜色模型的方法为：

v＝max(r,g,b)

其中，r,g,b∈[0,1]，分别代表颜色均一化后的红、绿和蓝色取值；h,s,v分别代表转换后的HSV取值，且h∈[0°,360°]，s,v∈[0,1]。

所述基于颜色距离进行背景点剔除具体为：

根据点云图像的HSV颜色模型筛选图像中的灰色区域，并利用二值图像存储筛选结果；

依次计算点云图像各像素HSV颜色距离灰色区域HSV颜色阈值上下限的颜色距离：

dis＝((v₁×s₁×cosh₁-v₂×s₂×cosh₂)²

+(v₁×s₁×sinh₁-v₂×s₂×sin h₂)²+(v₂-v₁)²)^1/2

其中，dis为(h₁,s₁,v₁)与(h₂,s₂,v₂)之间的颜色距离；

判断各像素对应的颜色距离是否小于预配置的阈值，若是，则将二值图像中对应位置的像素设为黑色，否则保留白色，得到筛选后的二值图像；

对筛选后的二值图像进行形态学处理；

根据二值图像的像素索引得到完成背景点剔除的点云图像。

所述对关键帧点云图像进行板块边界提取包括以下步骤：

对图像进行逐行扫描确定板块边界初始点；

基于Moore邻域跟踪标记各初始点所对应边界，完成多个边界的查找；

根据边界周长剔除背景区域的外边界，得到板块边界。

所述基于板块边界和板块内部的点云特征分别进行点云精简包括：

板块内部点云精简：通过等间距均匀采样对分布均匀的板块内部点云进行精简；

板块边界点云精简：采用预配置大小的网格对边界进行重采样，当原边界点穿过重采样网格时，将该重采样网格标记为简化后的边界点，并利用8方向链码存储，基于重采样后的边界索引，提取精简后的边界点云；

其中，板块边界点云精简的重采样网格的大小小于板块内部点云精简的采样间隔。

所述基于ICP算法对点云进行精确配准包括以下步骤：

步骤6-2-1)输入待配准关键帧的源点云P与目标点云Q，利用栅格法查找二者重叠区域内的点云P₀和Q₀；

步骤6-2-2)对点云P₀中的每一点p_i∈P₀，在点云Q₀中搜索与p_i距离最近的匹配点q_i∈Q₀；

步骤6-2-3)以下式为目标函数，计算旋转矩阵R与平移向量t；

其中，n为P₀中的点云数；

步骤6-2-4)基于旋转矩阵R与平移向量t对Q₀进行坐标变换，记第k次迭代得到的点云为

步骤6-2-5)计算点云P₀和

中匹配点的平均距离：

步骤6-2-6)若d小于预配置的距离阈值，或已达到最大迭代次数时，停止迭代，完成点云精确配准；否则，更新点云Q₀，返回步骤6-2-2)。

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过点云去噪、背景点剔除、点云精简和拼接配准实现了深度相机拍摄点云数据的预处理，处理结果能极大程度的保留与装配式铺面板块相关的特征信息，并剔除无效信息，为后续装配式铺面三维尺寸评价与质量控制方法提供了很好的数据基础。

(2)本发明采用联合双边滤波的点云平滑方法，结合结构化点云和深度图像信息进行点云去噪，消除了图像中的噪声点，不仅平滑了点云内部的噪声，还很好的保留了板块边界信息，克服了传统双边滤波算法无法很好的去除点云边界处异常点的缺陷。

(3)本发明提出的点云精简方法首先利用图像划分出板块边界与内部区域，再针对两类点云的需求分别进行精简，进而在保留点云边界的同时，尽可能降低点云的数量，点云精简效果好。

(4)本发明对相机位姿进行优化，使得点云坐标变换更为精确，提高了配准的精确度。

(5)本发明通过选取合适的关键帧点云进行拼接配准，有效的减少了冗余点云，提高了拼接效率。

(6)本发明采用改进的ICP算法进行点云精确配准，能够省去对无关点云的搜索，提高点云配准精度，克服了现有ICP算法在迭代过程中消耗大量的时间在全局点云寻找最近匹配点，并且容易陷入局部最优解的缺陷。

附图说明

图1为本发明的方法流程图；

图2为本发明的点云背景点剔除示意图，其中，(a)为深度相机获取的图像，(b)为基于颜色距离进行处理后的二值图像，(c)为经过形态学处理后的二值图像，(d)为背景点剔除结果；

图3为本发明实施例的点云边界提取结果；

图4为本发明实施例的点云精简结果，其中，(a)为原始点云，(b)为点云精简结果；

图5为本发明实施例的点云精确配准结果；

图6为本发明实施例的点云拼接结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于深度相机的装配式铺面三维点云预处理方法，包括以下步骤：

步骤1)基于深度相机对装配式铺面进行三维信息采集，获取装配式铺面的原始点云图像

本实施例采用ZED深度相机，该相机无需外接电源，通过USB接口连接电脑后即可工作。但是，外接笔记本电脑庞大的体积给移动作业带来了不便。为进一步提升三维数据采集的移动性和便利性，本实施例使用Jetson Nano嵌入式开发板替代笔记本电脑，结合深度相机搭建了轻量化的装配式铺面三维扫描系统。其主要特点如下：

①体积小巧：Jetson Nano大小仅为70×45mm，具有极佳的便携性；

②能耗低：设备功耗仅为5～10瓦，可通过电池直接供电，无需外接电源；

③运算能力强：Jetson Nano支持CUDA，运算性能满足于点云处理、三维重建等任务需求；

④模块化程度高：支持用户自定义安装组件，以满足特定的需求。

适用嵌入式开发板可以大幅降低扫描系统的体积，提升作业的便利性，由此开发的程序也有着更好的一致性和性能。ZED SDK提供了Jetson Nano的支持，可直接通过USB接口连接。为使系统正常运行，另外安装有散热风扇、Wi-Fi及蓝牙模块以及供电模块等硬件设备，并通过外接金属壳将开发板封装。其体积远远小于笔记本电脑。现场采集数据时，可去除显示屏与键盘，利用手机远程控制ZED相机，进一步提高系统的移动性。

本实施例采用平行式扫描方法，深度相机平面与装配式铺面平面近似平行，每次扫描前，需利用水平尺调整相机的位置。此时，各点与相机的距离可视作板块与相机的距离。相比于倾斜式扫描，平行式获取的点云分布更均匀，点云质量更高。扫描范围内包含的背景区域点云较少，且可以通过距离将其与板块主体点云分离。平行式扫描时，各帧点云间的特征具有很好的一致性，能够保证点云配准的准确性。

基于双目图像的视差，ZED相机会计算出对应的深度数据，包括散乱点云、结构化点云与深度图像三类。

散乱点云是扫描范围内离散点的集合，点云中各点是无序的。除三维坐标外，ZED相机获取的点云还包含了该点的颜色信息。相机提供了对xyz、ply、obj及pcd等多种点云格式的支持。通常，单帧图像对应的点云数目为80～120万个。

结构化点云中各点与左目图像中的像素一一对应，可根据图像的像素索引，从结构化点云中读出该点在三维空间中的坐标。因此图像处理中的许多算法均可推广至结构化点云中。由于两摄像头位置的不同，左、右目图像中各有一部分区域无法匹配，上述像素在结构化点云中的对应点无测值。

深度图像以灰度图的方式展示了左目图像中各像素点的深度，各像素取值为深度值的归一化结果。深度图像精度较差，无法用于三维重构，仅可作为参考。

针对装配式铺面设计和评价的不同阶段，采用不同的设置以获取三维点云：

(1)设计阶段

装配式修复工程的设计阶段中，需检测既有路面的平面位置及高程，辅助修复方案的设计。扫描时，将架设好的相机置于修复区域之上，相机与既有路面平行，并沿修复区域板块的边界进行扫描。

(2)预制阶段

预制阶段需完成对预制板块平面尺寸与厚度的校核。单次扫描无法同时获取板块多个表面的三维信息，需要分别扫描板块表面与板侧。扫描板块表面时，将相机与支架放置于板块之上，调整相机与板块表面平行；不断移动相机，直至采集完板块表面全部区域的深度信息。扫描板侧时，将相机架设在板块的堆放高度，并调整相机平面与板侧平面平行。沿板块边界移动相机，完成对板侧数据的采集。

(3)施工阶段

施工阶段三维信息的采集对象包括周边的既有板块以及基层顶面。扫描既有板块时，将相机置于既有板块之上，调整相机平面至水平，沿板块边界连续扫描。采集基层顶面高程数据时，将相机架设至基层表面并移动相机，直至采集完成。

(4)验收阶段

验收阶段采集接缝处三维数据时，无需对接缝进行连续扫描，可沿接缝选取若干个采样区域。只对采样区域内的接缝点云数据进行采集和分析。不仅减少了数据采集的工作量，也省去了相机位姿数据处理和点云配准拼接的步骤，提高了接缝评价的效率。

步骤2)对相机位姿进行优化，基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧；

对于空间中任意一点P，其在世界坐标系和相机坐标系下的坐标值满足：

其中，p_w＝[p₁,p₂,p₃]^T是P在世界坐标系下的坐标，p_k＝[p₁',p₂',p₃']^T是P在相机坐标系下的坐标，R和t表示相机位姿，其中，平移向量t＝[t₁,t₂,t₃]^T表示相机坐标系原点相对于世界坐标系原点的位移，旋转矩阵R描述了相机坐标系坐标轴在空间中相对于世界坐标系的旋转角度；

引入齐次坐标将平移和旋转变换合并至同一矩阵中：

其中，T为变换矩阵。

步骤2-1)相机位姿优化

由于相机预估位姿数据的精度有限，数据中会存在一定的噪声。以位移数据为例，由于噪声的存在，位移数据存在一定的波动，需要对其进行优化。由于相机位移和旋转的数据类型不同，在此分别采用不同优化方法。

①基于卡尔曼滤波的相机位移的优化

平移向量t对于相机平移的表述非常简洁，只需记录各时刻相机相对初始时刻位移的三个分量即可。假设相机的位移满足马尔科夫性，即k时刻的位置只与k-1时刻的位置相关，而与之前的时刻无关。为消除观测过程中噪声的影响，可采用卡尔曼滤波对相机的位移进行最优估计。

卡尔曼滤波是一种利用线性系统状态方程，结合系统观测数据，对系统状态进行最优估计。k时刻，相机的状态为x_k，包括位置p_k和速度v_k，加速度为u_k，相机位置的观测值为z_k。相机每一帧间的时间间隔为Δt。则根据马尔可夫假设，有：

简化上式，并考虑噪声的影响，得到下式：

其中，F_k为状态转移矩阵，u_k是状态控制量，B_k为控制矩阵，W_k-1为噪声。

利用协方差矩阵P_k描述k时刻状况的不确定性。

结合协方差的性质，相邻两时刻的协方差矩阵满足：

其中，Q_k为噪声。

对应于状态x_k，相机得到的观测量为z_k。考虑到噪声的影响，观测值和状态间满足：

z_k＝Hx_k+y_k

其中，H为观测矩阵，y_k为噪声。

定义观察噪声的协方差矩阵为R，则按下式计算出卡尔曼滤波系数K_k：

则滤波后相机的状态可用于观察的结果以及卡尔曼滤波系数表示：

最后，完成对协方差矩阵的更新，供下一轮迭代使用：

相机在运动过程中，位置p_k具有三个分量[p_xk,p_yk,p_zk]。同样地，有v_k＝[v_xk,v_yk,v_zk]。由于相机未配备有IMU模块，只能观测到相机的相对位移，无法得到相机移动的速度。状态转移矩阵F_k与观察矩阵H分别为：

卡尔曼滤波对位移中的噪声起到了很好的平滑作用。

②基于Slerp均值滤波的相机旋转的优化

与平移向量t不同，旋转矩阵R虽然能简洁地表示相机坐标系的变换关系，但其并非旋转数据的最佳表述方式。使用矩阵表述旋转有以下的缺点：一，旋转本身只有三个自由度，但旋转矩阵却需要保存九个分量，冗余数据会占用不必要的存储空间并影响位姿数据处理的效率；二，矩阵各分量间须满足严格的约束关系，以确保旋转矩阵为正交矩阵且行列式为1，给位姿数据的处理来极大的困难。

因此，在对旋转数据进行优化前，先要确定合适的相机旋转表述方式。除旋转矩阵外，刚体在三维空间的旋转还可用旋转向量、欧拉角等三维向量描述。使用旋转向量或欧拉角描述三自由度的旋转时，克服旋转矩阵的冗余性。但是，任意三维向量形式的旋转描述方式都会不可避免地出现奇异性问题，导致在特殊情况下旋转自由度的丢失。

本实施例选用在四维向量空间的四元数表示旋转，以克服上述的奇异性问题。四元数q拥有一个实部和三个虚部：

q＝w+xi+yj+zk＝[w+x+y+z]

其中，w为四元数的实部，i,j,k为四元数的三个虚部，满足：

通常会将四元数的实部和虚部分开，改写为标量和向量的有序对形式，q＝[s,v],

单位四元数可以表示三维空间中的旋转。对于绕单位向量n＝[n_x,n_y,n_z]^T转动了θ角度的旋转，可用单位四元数表示为：

由上式，四元数的三个虚部i,j,k满足笛卡尔坐标系单位向量的叉积规则。虚四元数位于四维空间的三维超平面上，因此可将虚四元数的三个虚部与笛卡尔坐标系坐标轴相对应，以表示三维空间中的点。对于三维空间中的向量

其四元数形式为p＝[0,x,y,z]＝[0,p]。若p绕轴n旋转θ角后变为点p'，该旋转过程可由四元数描述为

p'＝qpq*＝qpq^-1

其中，q为该旋转对应的四元数，q^-1为q的逆四元数：

四元数对旋转的描述形式简单，相比于旋转矩阵占用空间小，存储旋转数据时只需单位四元数的虚部即可。同时，位于四维空间的四元数克服了三维向量的奇异性问题，方便后续位姿数据的优化。

为去除预估的四元数中的噪声，本实施例使用均值滤波对获取的单位四元数序列进行平滑处理，四元数的均值计算可通过Slerp插值法实现。Slerp插值，即球面线性插值，是四元数的一种线性插值运算，当插值系数取为0.5时，可认为插值结果为四元数的平均值。

设两时刻相机旋转对应的单位四元数分别为q₀与q₁。假设深度相机y轴对应的向量v经过q₀和q₁对应的旋转后分别变为v₀＝q₀vq₀*和v₁＝q₁vq₁*。，q₁和q₀对应的旋转之间的变化量对应的仍为旋转，该旋转将向量v₀绕某固定旋转轴n转动θ角度至v₁。如果将旋转的角度变为θ/2，此时向量v₀转动至v_t处，则该旋转对应的四元数q_t可视作四元数q₀与q₁的均值。

利用四元数的Slerp公式，取插值系数为0.5，则四元数q₀和q₁的均值为：

其中，θ为q₀和q₁在四维空间的夹角，可通过四元数点乘计算：

θ＝arccos(q₀·q₁)

上式可能会由于夹角θ角过小出现计算错误。因此，当θ小于阈值时，可以将该式简化为线性表达式：

q_t＝Slerp(q₀,q₁,0.5)＝0.5q₀+0.5q₁

通过上述四元数均值的计算方法，对原始四元数序列使用一维均值滤波。

步骤2-2)基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧

步骤2-2-1)将初始时刻的相机坐标系记作世界坐标系；

步骤2-2-2)根据优化后的相机位姿确定坐标变换矩阵

形式简洁的四元数在数据存储和优化方面具有很好的优势，但是对于大批量点云数据的坐标变换，四元数的乘法运算较为繁琐。使用计算好的旋转矩阵可以提高坐标变换的效率。

四元数的乘法可以通过矩阵表示。左乘和右乘四元数q＝w+xi+yj+zk分别等价于乘以矩阵：

因此，单位四元数q＝w+xi+yj+zk对向量p的变换关系等价于：

上式指出了单位四元数和旋转矩阵的变换关系。若某时刻相机的位姿数据为平移向量t＝[t₁,t₂,t₃]^T，单位四元数q＝w+xi+yj+zk，则该时刻相机位姿对应的旋转矩阵为：

值得注意的是：对原始四元数序列使用一维均值滤波时，从第二帧开始，计算每帧的四元数与其前后帧四元数的夹角，若夹角小于5°时，使用上述时刻相机位姿对应的旋转矩阵计算均值四元数，否则使用单位四元数对向量p的变换关系公式计算均值。同样地，计算新得到的两个均值四元数的均值，作为该帧旋转数据的更新值。

步骤2-2-3)筛选点云图像关键帧

ZED相机多数帧的扫描内容有很大面积的重合。如果将每一帧的点云数据都进行拼接配准，会导致大量点云的重叠。利用位姿数据对各帧进行筛选，只对具有代表性的关键帧点云进行拼接能够有效地减少冗余点云，提高拼接效率。

关键帧的选择对于装配式铺面三维重构的精度和效率有着重要的影响。当关键帧选取较密时，仍会保留大量的冗余点云，算法效率过低；关键帧选取较少时，各帧点云间重叠区域过小，可能导致板块部分区域无点云覆盖，影响建模的精度。

本发明筛选关键帧的原则为：在均匀采样的基础上，确保连续两关键帧间至少有25％的重合区域(约20～25cm)，并保留旋转角度较大的帧；具体筛选方法如下：

将点云图像第一帧和最后一帧作为关键帧；对优化后的位姿数据进行三阶差分运算，得到差分后的位姿数据；在差分后的位姿数据中筛选位移大于20cm的数据，将对应帧作为关键帧；在差分后的位姿数据中筛选旋转角度大于5°的数据，将对应帧作为关键帧。

步骤3)点云去噪：去除关键帧点云图像边界处的异常点和离群点

步骤3-1)采用基于联合双边滤波的点云平滑方法去除关键帧点云图像边界处异常点

基于图像视差得到的深度信息会由于图像本身的噪声影响出现异常值点，导致点云边界信息失真。双边滤波无法很好地去除点云边界处的异常点，本发明采用联合双边滤波进行处理。

联合双边滤波的特征域权重系数并非来自于结构化点云，而是由相机图像的灰度值得出的。其空间域权重系数的构建方法与双边滤波相同，差别在于特征域权重系数。联合双边滤波的特征域高斯函数为：

其中，J(x_i,y_i)与J(x_c,y_c)表示原始图像中对应点的灰度值。

使用双边联合滤波进行点云去噪的主要步骤为：

步骤3-1-1)对原始点云图像进行双边滤波平滑，确定空间域卷积核，并基于深度图像的灰度值计算平滑后图像的特征域卷积核；

步骤3-1-2)将空间域的卷积核与图像特征域卷积核相乘并作归一化处理，作为联合双边滤波的卷积核；

步骤3-1-3)将联合双边滤波卷积核作用于结构化点云，以作用点邻域的加权和作为该点坐标的更新值。

对原始图像的双边滤波消除了图像中的噪声点，使得图像边缘更加突出。结合滤波后图像与点云进行联合双边滤波，不仅平滑了点云内部的噪声，相机图像特征域更好地保留了边界信息。

步骤3-2)采用基于半径邻域的离群点剔除算法去除关键帧点云图像边界处离群点：基于k邻域筛选出离点云主体较远的离群点，并采用半径滤波对离群点进行剔除。

离群点是指偏离于板块表面真实测值的异常点云。使用双边滤波能在一定程度上去除点由散粒噪声导致的异常点，但去噪过程主要基于像素的位置关系，并未考虑点云的空间拓扑关系，无法剔除偏移量较大的离群点。离群点通常距离点云主体较远，且大多孤立存在，可以利用点云邻域特征将其筛选出来。

k邻域(k-nearest neighbor)通过查找距离目标点最近的k个点来构建该点的邻域，是最常用的点云邻域类型。kd树(k-dimension tree)是一种对k维空间内中的点进行快速检索的数据结构，也是快速构建点云k邻域的有效方法。

kd树是空间二分树的特殊情况，面向点云数据的kd树代表着对于三维点云空间的一种划分。kd树对空间的划分是通过若干垂直于坐标轴的超平面实现的，树上的每个结点对应一个子空间，其构造方法如下：

步骤3-2-1)创建根结点，对应于所有点云组成的空间；

步骤3-2-2)选择点云分布方差最大的坐标轴，以全部点云坐标值的中位数为切分点，设置垂直于该轴的超平面，将根结点区域划分为两个子空间；

步骤3-2-3)生成根节点的左、右子结点，分别对应于小于坐标值小于切分点的子空间和大于切分点的子空间；

步骤3-2-4)在每个子空间内重复步骤3-2-2)～步骤3-2-3)的切分操作，当子空间内无实例点时停止切分，kd树构建完成。

kd树可以将点云的查找范围缩小至子空间，从而避免对大部分数据点的查找，提升邻域检索的速度。以最近邻为例，检索某点最近邻的方法如下：

步骤3-2-5)从根节点出发逐级访问kd树的各层结点，以包含目标点的叶结点作为当前最近点；

步骤3-2-6)递归查找父结点，若父结点对应空间内包含距目标点更近的点，更新当前最近点；

步骤3-2-7)在结点对应的另一分支内查找是否存在更近点，具体做法为判断该空间是否与以目标点为球心，以当前最近距离为半径的球体相交：若不相交，继续递归查找父结点；若相交，则移动至该结点所在空间进一步搜索；

步骤3-2-8)重复步骤3-2-6)～步骤3-2-7)，直至查找至根节点，检索结束。

本发明采用半径滤波对离群点进行剔除，点云半径邻域的查找通过上一节构建的kd树实现。由于板块主体的点云分布密集且均匀，板内各点云在大小为d半径邻域内相邻点数量较多。对于图中红色的离群点，其距离板块主体较远，半径邻域内没有或仅有少数的点(通常也为离群点)。因此，可以点云半径邻域内的相邻点数量作为离群点的判定依据。使用半径滤波时，应结合点云的采集密度和分布情况选取合适的半径阈值和筛选阈值。

使用半径阈值10cm，筛选阈值为10的半径滤波处理板块点云，半径滤波有效地去除了距离板块较远的离群点。

步骤4)点云背景点剔除

ZED相机的扫描范围内除装配式铺面板本身外，也会包含大量的背景信息。从原始点云中准确地筛选出目标板块，剔除背景顶点云的影响，可以极大地提升后期点云处理的效率和精度。装配式铺面板块的主体颜色为较均匀的灰色，背景与其颜色差异较大。可以利用图像的颜色筛选出板块区域，进而从结构化点云中提取出板块点云。

步骤4-1)将关键帧点云图像的RBG颜色模型转换为HSV颜色模型；

ZED相机图像采用了最常用的RGB颜色模型表示色彩。RGB颜色模型又称为三原色光模式，通过将红绿蓝三色以不同的比例叠加，组成不同的颜色。

作为一种加色模型，RGB颜色模型中的数值并不直观，色彩在空间的分布也不均匀。相似颜色的RGB值可能有很大的差异，仅根据RGB值难以判断颜色的相似程度。以灰色为例，其主要分布于立方体的主对角线上，很难选取合适的RGB阈值将其从图像中分离。

HSV颜色模型是RGB颜色模型的一种非线性变换,通常使用圆锥来表示HSV色彩空间，在圆锥体中，色相(Hue)为绕圆锥中心轴的角度，饱和度(Saturation)为从圆锥横截面到圆心的距离，而明度(Value)为圆锥横截面的圆心到圆锥顶点的距离。

相较于RGB模型，HSV模型更符合人眼对颜色的感知方式，相近的HSV取值代表的颜色也相近，基于颜色的图像处理算法也多在HSV色彩空间进行。因此，在利用颜色差异剔除背景区域前，需先将相机图像转换为HSV颜色模型。

根据下式将RGB颜色模型转化为HSV颜色模型：

v＝max(r,g,b)

其中，r,g,b∈[0,1]，分别代表颜色均一化后的红、绿和蓝色取值；h,s,v分别代表转换后的HSV取值，且h∈[0°,360°]，s,v∈[0,1]。

步骤4-2)基于颜色距离进行背景点剔除；

在HSV值色彩空间中，可以用颜色距离来表示颜色的相近程度。根据颜色距离即可对相似程度高的像素进行筛选，从而剔除与板块无关的背景点。

步骤4-2-1)根据点云图像的HSV颜色模型筛选图像中的灰色区域，并利用二值图像存储筛选结果；

步骤4-2-2)依次计算点云图像各像素HSV颜色距离灰色区域HSV颜色阈值上下限的颜色距离：

dis＝((v₁×s₁×cosh₁-v₂×s₂×cosh₂)²

+(v₁×s₁×sinh₁-v₂×s₂×sin h₂)²+(v₂-v₁)²)^1/2

其中，dis为(h₁,s₁,v₁)与(h₂,s₂,v₂)之间的颜色距离；

步骤4-2-3)判断各像素对应的颜色距离是否小于预配置的阈值，若是，则将二值图像中对应位置的像素设为黑色，否则保留白色，得到筛选后的二值图像；

步骤4-2-4)对筛选后的二值图像进行形态学处理；

步骤4-2-5)根据二值图像的像素索引得到完成背景点剔除的点云图像。

深度相机获取的原始图像如图2(a)所示，基于颜色距离进行处理后的二值图像如图2(b)所示，经过形态学处理后的二值图像如图2(c)所示，背景点剔除结果如图2(d)所示。可以看出，本发明所述的方法较好地剔除了背景区域，结果中保留了完整的板块。

步骤5)点云精简：

步骤5-1)对关键帧点云图像进行板块边界提取；

步骤5-1-1)对图像进行逐行扫描确定板块边界初始点；

步骤5-1-2)基于Moore邻域跟踪标记各初始点所对应边界，完成多个边界的查找；

步骤5-1-3)根据边界周长剔除背景区域的外边界，得到板块边界。

该部分内容参照文献Suzuki S,Be K.Topological structural analysis ofdigitized binary images by border following[J].Computer Vision Graphics&ImageProcessing,1985,30(1):32-46.，本实施例在此不再进行赘述。本实施例中，边界提取结果如图3所示。

步骤5-2)基于板块边界和板块内部的点云特征分别进行点云精简；

板块内部点云精简：通过等间距均匀采样对分布均匀的板块内部点云进行精简；由于板块内部点云分布较为均匀，因此可以适当的增大采样间隔，本实施例中，采样间隔设置为50像素；

板块边界点云精简：采用预配置大小的网格对边界进行重采样，当原边界点穿过重采样网格时，将该重采样网格标记为简化后的边界点，并利用8方向链码存储，基于重采样后的边界索引，提取精简后的边界点云；本实施例中，对边界进行重采样的网格的大小为25像素。

本实施例的点云精简结果如图4所示。

步骤6)点云拼接配准

步骤6-1)将关键帧的点云坐标通过步骤2)所述的坐标转换方法转换到世界坐标系下；

步骤6-2)基于ICP算法对点云进行精确配准；

传统的ICP算法效率不高，迭代过程中会消耗大量的时间在全局点云寻找最近匹配点，并且容易陷入局部最优解。通常两幅点云中仅有部分区域重叠，在全局点云中寻找匹配点显然效率过低。

结合深度相机的位姿数据，本发明对传统ICP算法进行优化。深度相机每帧的扫描范围大致相同，可根据优化后的相机位姿数据粗略计算出重叠区域的位置。仅对重叠区域的点云使用ICP算法进行配准，能够省去对无关点云的搜索，提高点云配准的精度。

两幅点云的重叠区域可通过栅格法得出。完成两帧点云的坐标变换后，对其所组成的点云空间进行均匀的栅格划分。若某栅格内中同时包含了目标点云与源点云，则该栅格为重叠栅格。以所有重叠栅格的最小外接立方体作为最终的重叠区域。则改进后ICP算法的输入点云为目标点云和源点云与重叠区域的交集。

改进后的ICP算法步骤如下：

步骤6-2-1)输入待配准关键帧的源点云P与目标点云Q，利用栅格法查找二者重叠区域内的点云P₀和Q₀；

步骤6-2-2)对点云P₀中的每一点p_i∈P₀，在点云Q₀中搜索与p_i距离最近的匹配点q_i∈Q₀；

步骤6-2-3)以下式为目标函数，计算旋转矩阵R与平移向量t；

其中，n为P₀中的点云数；

步骤6-2-4)基于旋转矩阵R与平移向量t对Q₀进行坐标变换，记第k次迭代得到的点云为

步骤6-2-5)计算点云P₀和

中匹配点的平均距离：

步骤6-2-6)若d小于预配置的距离阈值，或已达到最大迭代次数时，停止迭代，完成点云精确配准；否则，更新点云Q₀，返回步骤6-2-2)；本实施例中，距离阈值设为1mm，最大迭代次数设为50次。

本实施例的点云精确配准结果如图5所示。

步骤6-3)完成点云拼接，得到完整的装配式铺面点云数据，如图6所示。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

Claims (10)

1.一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，包括以下步骤：

基于深度相机对装配式铺面进行三维信息采集，获取装配式铺面的原始点云图像，所述原始点云图像包括结构化点云和深度图像；

对相机位姿进行优化，基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧；

点云去噪：去除关键帧点云图像边界处的异常点和离群点；

点云背景点剔除：将关键帧点云图像的RBG颜色模型转换为HSV颜色模型，并基于颜色距离进行背景点剔除；

点云精简：对关键帧点云图像进行板块边界提取，基于板块边界和板块内部的点云特征分别进行点云精简；

点云拼接配准：将关键帧的点云坐标转换到世界坐标系下，基于ICP算法对点云进行精确配准，完成点云拼接。

2.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，相机位姿的优化包括基于卡尔曼滤波的相机位移的优化和基于Slerp均值滤波的相机旋转的优化。

3.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述基于相机位姿确定相机坐标系和世界坐标系的变换关系，并筛选点云图像关键帧，包括以下步骤：

将初始时刻的相机坐标系记作世界坐标系；

对于空间中任意一点P，其在世界坐标系和相机坐标系下的坐标值满足：

其中，p_w＝[p₁,p₂,p₃]^T是P在世界坐标系下的坐标，p_k＝[p₁',p₂',p₃']^T是P在相机坐标系下的坐标，R和t表示相机位姿，其中，平移向量t＝[t₁,t₂,t₃]^T表示相机坐标系原点相对于世界坐标系原点的位移，旋转矩阵R描述了相机坐标系坐标轴在空间中相对于世界坐标系的旋转角度；

引入齐次坐标将平移和旋转变换合并至同一矩阵中：

其中，T为变换矩阵，根据相机位姿确定，T的四元数表示形式为：

其中，单位四元数q＝w+xi+yj+zk；

筛选点云图像关键帧：将点云图像第一帧和最后一帧作为关键帧；对优化后的位姿数据进行三阶差分运算，得到差分后的位姿数据；在差分后的位姿数据中筛选位移大于预配置位移阈值的数据，将对应帧作为关键帧；在差分后的位姿数据中筛选旋转角度大于预配置角度阈值的数据，将对应帧作为关键帧。

4.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，去除关键帧点云图像边界处异常点采用基于联合双边滤波的点云平滑方法，具体包括以下步骤：

对原始点云图像进行双边滤波平滑，确定空间域卷积核，并基于深度图像的灰度值计算平滑后图像的特征域卷积核；

将空间域的卷积核与图像特征域卷积核相乘并作归一化处理，作为联合双边滤波的卷积核；

将联合双边滤波卷积核作用于结构化点云，以作用点邻域的加权和作为该点坐标的更新值。

5.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，去除关键帧点云图像边界处离群点采用基于半径邻域的离群点剔除算法，基于k邻域筛选出离点云主体较远的离群点，并采用半径滤波对离群点进行剔除。

6.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述将关键帧点云图像的RBG颜色模型转换为HSV颜色模型的方法为：

v＝max(r,g,b)

其中，r,g,b∈[0,1]，分别代表颜色均一化后的红、绿和蓝色取值；h,s,v分别代表转换后的HSV取值，且h∈[0°,360°]，s,v∈[0,1]。

7.根据权利要求6所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述基于颜色距离进行背景点剔除具体为：

根据点云图像的HSV颜色模型筛选图像中的灰色区域，并利用二值图像存储筛选结果；

依次计算点云图像各像素HSV颜色距离灰色区域HSV颜色阈值上下限的颜色距离：

dis＝((v₁×s₁×cos h₁-v₂×s₂×cos h₂)²+(v₁×s₁×sin h₁-v₂×s₂×sin h₂)²+(v₂-v₁)²)^1/2

其中，dis为(h₁,s₁,v₁)与(h₂,s₂,v₂)之间的颜色距离；

判断各像素对应的颜色距离是否小于预配置的阈值，若是，则将二值图像中对应位置的像素设为黑色，否则保留白色，得到筛选后的二值图像；

对筛选后的二值图像进行形态学处理；

根据二值图像的像素索引得到完成背景点剔除的点云图像。

8.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述对关键帧点云图像进行板块边界提取包括以下步骤：

对图像进行逐行扫描确定板块边界初始点；

基于Moore邻域跟踪标记各初始点所对应边界，完成多个边界的查找；

根据边界周长剔除背景区域的外边界，得到板块边界。

9.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述基于板块边界和板块内部的点云特征分别进行点云精简包括：

板块内部点云精简：通过等间距均匀采样对分布均匀的板块内部点云进行精简；

板块边界点云精简：采用预配置大小的网格对边界进行重采样，当原边界点穿过重采样网格时，将该重采样网格标记为简化后的边界点，并利用8方向链码存储，基于重采样后的边界索引，提取精简后的边界点云；

其中，板块边界点云精简的重采样网格的大小小于板块内部点云精简的采样间隔。

10.根据权利要求1所述的一种基于深度相机的装配式铺面三维点云预处理方法，其特征在于，所述基于ICP算法对点云进行精确配准包括以下步骤：

步骤6-2-1)输入待配准关键帧的源点云P与目标点云Q，利用栅格法查找二者重叠区域内的点云P₀和Q₀；

步骤6-2-2)对点云P₀中的每一点p_i∈P₀，在点云Q₀中搜索与p_i距离最近的匹配点q_i∈Q₀；

步骤6-2-3)以下式为目标函数，计算旋转矩阵R与平移向量t；

其中，n为P₀中的点云数；

步骤6-2-4)基于旋转矩阵R与平移向量t对Q₀进行坐标变换，记第k次迭代得到的点云为

步骤6-2-5)计算点云P₀和

中匹配点的平均距离：

步骤6-2-6)若d小于预配置的距离阈值，或已达到最大迭代次数时，停止迭代，完成点云精确配准；否则，更新点云Q₀，返回步骤6-2-2)。

Images