CN112215763A - 一种基于图像数据辅助的面状内部缺失点云修补方法 - Google Patents

Abstract

本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法，属于基于车载激光扫描点云数据与图像数据的多源数据融合处理技术领域。本发明实施步骤如下：选择需要修补的面状点云；将离散的待修补点云拟合成平面并计算法向量；根据待修补点云平面法向量计算待修补平面与XOZ平面的夹角；根据计算所得的夹角将待修补点云平面旋转至XOZ平面并记录下旋转角；投影待修补点云至XOZ平面生成待修补栅格图像；检测待修补栅格图像以及原始图像上面状地物的边界线；基于变换矩阵将图像数据与待修补栅格图像配准，依据图像数据待修补栅格图像数据修补；对待修补栅格图像下采样生成点云数据，并根据旋转角度将点云数据旋转至原来位置完成修补。

Description

一种基于图像数据辅助的面状内部缺失点云修补方法

技术领域

本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法，属于基于车载激光扫描点云数据与图像数据的多源数据融合处理技术领域。

背景技术

车载移动激光测量系统作为一种先进的测量手段，具有快速、不与测量物接触、实时、动态、主动、高密度及高精度等特点。激光扫描仪在采集数据的过程中不可避免的会受到树木、行人等地物干扰造成房屋立面、交通标志牌等面状地物中部分点云缺失的现象。

现有技术主要使用多次采集面状地物点云、人工后期处理的修补方法，该方法耗时耗力且经济成本高，易受到三维激光扫描仪的偶然误差影响。

发明内容

本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法，以解决现有技术中常规方法耗时耗力且经济成本高，易受到三维激光扫描仪的偶然误差影响的问题。

一种基于图像数据辅助的面状内部缺失点云修补方法，包括如下步骤：

S1.通过半交互式的方法选择需要修补的范围，根据修补范围从原始点云中裁切出待修补的面状点云；

S2.取面状点云表面的待修补处作为待修补点云，根据待修补点云拟合待修补平面的平面公式；

S3.根据待修补平面的法向量方程，分别计算各待修补平面与XOZ平面的夹角，并将待修补平面旋转至XOZ平面；

S4.投影待修补点云至XOZ平面，生成待修补点云栅格图像；

S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段，根据直线段拓扑关系确定4组同名角点之间的变换关系，将待修补点云栅格图像与原始图像数据配准；

S6.依据图像数据，对待修补栅格图像数据进行修补；

S7.对待修补栅格图像下采样，生成修补完成的点云数据；

S8.根据旋转角度将点云数据旋转至原来位置，完成修补。

步骤S2包括如下子步骤：

S2.1.任取待修补点云中的不共线三点构成平面，建立平面方程：c₀x+c₁y+c₂z+d＝0，式中，c₀，c₁，c₂，d为平面方程中的参数，(x，y，z)表示原始点云点坐标；

S2.2.计算待修补点云中其他点(x_n，y_n，z_n)到S2.1中平面的距离，记录距离小于阈值T的点个数N，距离计算公式如下：

式中，dis表示点到直线的距离；

S2.3.反复迭代获得N数量最大时的平面方程：Ax+By+Cz+D＝0。

步骤S3包括如下子步骤：

S3.1.将待修补平面法向量

分别投影到XOY平面和YOZ平面，分别生成相应的投影向量

和

S3.2.计算待修补平面的投影向量与XOY平面、XOZ平面的夹角θ₀和θ₁，公式如下：

式中，

和

为待修补平面法向量

在XOY平面和YOZ平面上的投影，

和

表示XOY平面和YOZ平面的法向量；

S3.3.根据夹角计算旋转矩阵：

式中，R＝R_xR_z，R、R_x、R_z分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵；

S3.4.遍历待修补点云，将待修补点云旋转至XOZ平面，公式如下：

式中，(x′，y′，z′)表示旋转后点云。

步骤S4包括如下子步骤：

S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标，初始化待修补栅格图像，图像像元值为NaN，计算公式如下：

式中，RowNum和ColNum分别代表待修补栅格图像的总行数和总列数，ceil表示向上取整，xmin.xmax.zmin.zmax分辨率代表待修补点云二维最小外接矩形坐标，resolution表示点云的分辨率；

S4.2.投影待修补点云生成待修补栅格图像，计算待修补点云中每个点在待修补栅格图像上的位置，公式如下：

式中，Col、Row分辨率代表当前像素的行列号，x、z分别表示当前点的x，z坐标；待修补栅格图像每个像元的值替换为对应点云的颜色值。

步骤S5包括如下子步骤：

S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理；

S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向；

S5.3.对梯度幅值进行非极大值抑制；

S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连，获得4个角点；

S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵；

S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准。

步骤S6中，遍历待修补栅格图像，当待修补栅格图像的像元值为NaN时，将原始图像上对应像元值替换NaN值。

步骤S7中，根据待修补栅格图像和待修补点云的空间位置关系，将待修补栅格图像上的每个像元还原成待修补点云中的点，公式如下：x′＝Col*resolution+xmin，y′＝0，z′＝Row*resolution+zmin。

步骤S8包括如下子步骤：

S8.1.根据S3.2和S3.3中计算所得角度和旋转矩阵，得到旋转逆矩阵：θ′₀＝θ₀，θ′₁＝θ₁，

S8.2.遍历待修补点云，根据旋转逆矩阵将待修补点云从XOZ平面旋转至原始位置，完成点云修补，公式如下：

式中，(x，y，z)表示最终获得的点云点坐标，R′_x、R′_z分别表示在X方向、Y方向上的旋转逆矩阵，θ′₀、θ′₁代表旋转角。

与现有技术相比，本发明的有益效果是：自动化程度较高，充分利用了点云数据与图像数据信息，能有效、快速的修补面状地物缺失点云，达到了较好的修补效果。

附图说明

图1为一种基于图像数据辅助的面状内部缺失点云修补方法的流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细说明：

一种基于图像数据辅助的面状内部缺失点云修补方法，流程图如图1所示，包括如下步骤：

S1.通过半交互式的方法选择需要修补的范围，根据修补范围从原始点云中裁切出待修补的面状点云；

S2.取面状点云表面的待修补处作为待修补点云，根据待修补点云拟合待修补平面的平面公式；

S3.根据待修补平面的法向量方程，分别计算各待修补平面与XOZ平面的夹角，并将待修补平面旋转至XOZ平面；

S4.投影待修补点云至XOZ平面，生成待修补点云栅格图像；

S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段，根据直线段拓扑关系确定4组同名角点之间的变换关系，将待修补点云栅格图像与原始图像数据配准；

S6.依据图像数据，对待修补栅格图像数据进行修补；

S7.对待修补栅格图像下采样，生成修补完成的点云数据；

S8.根据旋转角度将点云数据旋转至原来位置，完成修补。

步骤S2包括如下子步骤：

S2.1.任取待修补点云中的不共线三点构成平面，建立平面方程：c₀x+c₁y+c₂z+d＝0，式中，c₀，c₁，c₂，d为平面方程中的参数，(x，y，z)表示原始点云点坐标；

S2.2.计算待修补点云中其他点(x_n，y_n，z_n)到S2.1中平面的距离，记录距离小于阈值T的点个数N，距离计算公式如下：

式中，dis表示点到直线的距离；

S2.3.反复迭代获得N数量最大时的平面方程：Ax+By+Cz+D＝0。

步骤S3包括如下子步骤：

S3.1.将待修补平面法向量

分别投影到XOY平面和YOZ平面，分别生成相应的投影向量

和

S3.2.计算待修补平面的投影向量与XOY平面、XOZ平面的夹角θ₀和θ₁，公式如下：

式中，

和

为待修补平面法向量

在XOY平面和YOZ平面上的投影，

和

表示XOY平面和YOZ平面的法向量；

S3.3.根据夹角计算旋转矩阵：

式中，R＝R_xR_z，R、R_x、R_z分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵；

S3.4.遍历待修补点云，将待修补点云旋转至XOZ平面，公式如下：

式中，(x′，y′，z′)表示旋转后点云。

步骤S4包括如下子步骤：

S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标，初始化待修补栅格图像，图像像元值为NaN，计算公式如下：

式中，RowNum和ColNum分别代表待修补栅格图像的总行数和总列数，ceil表示向上取整，xmin.xmax.zmin.zmax分辨率代表待修补点云二维最小外接矩形坐标，resolution表示点云的分辨率；

S4.2.投影待修补点云生成待修补栅格图像，计算待修补点云中每个点在待修补栅格图像上的位置，公式如下：

式中，Col、Row分辨率代表当前像素的行列号，x、z分别表示当前点的x，z坐标；待修补栅格图像每个像元的值替换为对应点云的颜色值。

步骤S5包括如下子步骤：

S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理；

S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向；

S5.3.对梯度幅值进行非极大值抑制；

S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连，获得4个角点；

S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵；

S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准。

步骤S6中，遍历待修补栅格图像，当待修补栅格图像的像元值为NaN时，将原始图像上对应像元值替换NaN值。

步骤S7中，根据待修补栅格图像和待修补点云的空间位置关系，将待修补栅格图像上的每个像元还原成待修补点云中的点，公式如下：x′＝Cil*resolution+xmin，y′＝0，z′＝Row*resolution+zmin。

步骤S8包括如下子步骤：

S8.1.根据S3.2和S3.3中计算所得角度和旋转矩阵，得到旋转逆矩阵：θ′₀＝θ₀，θ′₁＝θ₁，

S8.2.遍历待修补点云，根据旋转逆矩阵将待修补点云从XOZ平面旋转至原始位置，完成点云修补，公式如下：

式中，(x，y，z)表示最终获得的点云点坐标，R′_x、R′_z分别表示在X方向、Y方向上的旋转逆矩阵，θ′₀、θ′₁代表旋转角。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，包括如下步骤：

S1.通过半交互式的方法选择需要修补的范围，根据修补范围从原始点云中裁切出待修补的面状点云；

S2.取面状点云表面的待修补处作为待修补点云，根据待修补点云拟合待修补平面的平面公式；

S3.根据待修补平面的法向量方程，分别计算各待修补平面与XOZ平面的夹角，并将待修补平面旋转至XOZ平面；

S4.投影待修补点云至XOZ平面，生成待修补点云栅格图像；

S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段，根据直线段拓扑关系确定4组同名角点之间的变换关系，将待修补点云栅格图像与原始图像数据配准；

S6.依据图像数据，对待修补栅格图像数据进行修补；

S7.对待修补栅格图像下采样，生成修补完成的点云数据；

S8.根据旋转角度将点云数据旋转至原来位置，完成修补。

2.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S2包括如下子步骤：

S2.1.任取待修补点云中的不共线三点构成平面，建立平面方程：c₀x+c₁y+c₂z+d＝0，式中，c₀，c₁，c₂，d为平面方程中的参数，(x，y，z)表示原始点云点坐标；

S2.2.计算待修补点云中其他点(x_n，y_n，z_n)到S2.1中平面的距离，记录距离小于阈值T的点个数N，距离计算公式如下：

式中，dis表示点到直线的距离；

S2.3.反复迭代获得N数量最大时的平面方程：Ax+By+Cz+D＝0。

3.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S3包括如下子步骤：

S3.1.将待修补平面法向量

分别投影到XOY平面和YOZ平面，分别生成相应的投影向量

和

S3.2.计算待修补平面的投影向量与XOY平面、XOZ平面的夹角θ₀和θ₁，公式如下：

式中，

和

为待修补平面法向量

在XOY平面和YOZ平面上的投影，

和

表示XOY平面和YOZ平面的法向量；

S3.3.根据夹角计算旋转矩阵：

式中，R＝R_xR_z，R、R_x、R_z分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵；

S3.4.遍历待修补点云，将待修补点云旋转至XOZ平面，公式如下：

式中，(x′，y′，z′)表示旋转后点云。

4.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S4包括如下子步骤：

S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标，初始化待修补栅格图像，图像像元值为NaN，计算公式如下：

式中，RowNum和ColNum分别代表待修补栅格图像的总行数和总列数，ceil表示向上取整，xmin.xmax.zmin.zmax分辨率代表待修补点云二维最小外接矩形坐标，resolution表示点云的分辨率；

S4.2.投影待修补点云生成待修补栅格图像，计算待修补点云中每个点在待修补栅格图像上的位置，公式如下：

式中，Col、Row分辨率代表当前像素的行列号，x、z分别表示当前点的x，z坐标；待修补栅格图像每个像元的值替换为对应点云的颜色值。

5.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S5包括如下子步骤：

S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理；

S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向；

S5.3.对梯度幅值进行非极大值抑制；

S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连，获得4个角点；

S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵；

S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准。

6.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S6中，遍历待修补栅格图像，当待修补栅格图像的像元值为NaN时，将原始图像上对应像元值替换NaN值。

7.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S7中，根据待修补栅格图像和待修补点云的空间位置关系，将待修补栅格图像上的每个像元还原成待修补点云中的点，公式如下：x′＝Col*resolution+xmin，y′＝0，z′＝Row*resolution+zmin。

8.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法，其特征在于，所述步骤S8包括如下子步骤：

S8.1.根据S3.2和S3.3中计算所得角度和旋转矩阵，得到旋转逆矩阵：θ′₀＝θ₀，θ′₁＝θ₁，

S8.2.遍历待修补点云，根据旋转逆矩阵将待修补点云从XOZ平面旋转至原始位置，完成点云修补，公式如下：

式中，(x，y，z)表示最终获得的点云点坐标，R′_x、R′_z分别表示在X方向、Y方向上的旋转逆矩阵，θ′₀、θ′₁代表旋转角。

Images