CN112215763B - 一种基于图像数据辅助的面状内部缺失点云修补方法 - Google Patents
一种基于图像数据辅助的面状内部缺失点云修补方法 Download PDFInfo
- Publication number
- CN112215763B CN112215763B CN202010901390.5A CN202010901390A CN112215763B CN 112215763 B CN112215763 B CN 112215763B CN 202010901390 A CN202010901390 A CN 202010901390A CN 112215763 B CN112215763 B CN 112215763B
- Authority
- CN
- China
- Prior art keywords
- repaired
- point cloud
- plane
- image data
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 20
- 230000008439 repair process Effects 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法,属于基于车载激光扫描点云数据与图像数据的多源数据融合处理技术领域。本发明实施步骤如下:选择需要修补的面状点云;将离散的待修补点云拟合成平面并计算法向量;根据待修补点云平面法向量计算待修补平面与XOZ平面的夹角;根据计算所得的夹角将待修补点云平面旋转至XOZ平面并记录下旋转角;投影待修补点云至XOZ平面生成待修补栅格图像;检测待修补栅格图像以及原始图像上面状地物的边界线;基于变换矩阵将图像数据与待修补栅格图像配准,依据图像数据待修补栅格图像数据修补;对待修补栅格图像下采样生成点云数据,并根据旋转角度将点云数据旋转至原来位置完成修补。
Description
技术领域
本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法,属于基于车载激光扫描点云数据与图像数据的多源数据融合处理技术领域。
背景技术
车载移动激光测量系统作为一种先进的测量手段,具有快速、不与测量物接触、实时、动态、主动、高密度及高精度等特点。激光扫描仪在采集数据的过程中不可避免的会受到树木、行人等地物干扰造成房屋立面、交通标志牌等面状地物中部分点云缺失的现象。
现有技术主要使用多次采集面状地物点云、人工后期处理的修补方法,该方法耗时耗力且经济成本高,易受到三维激光扫描仪的偶然误差影响。
发明内容
本发明公开了一种基于图像数据辅助的面状内部缺失点云修补方法,以解决现有技术中常规方法耗时耗力且经济成本高,易受到三维激光扫描仪的偶然误差影响的问题。
一种基于图像数据辅助的面状内部缺失点云修补方法,包括如下步骤:
S1.通过半交互式的方法选择需要修补的范围,根据修补范围从原始点云中裁切出待修补的面状点云;
S2.取面状点云表面的待修补处作为待修补点云,根据待修补点云拟合待修补平面的平面公式;
S3.根据待修补平面的法向量方程,分别计算各待修补平面与XOZ平面的夹角,并将待修补平面旋转至XOZ平面;
S4.投影待修补点云至XOZ平面,生成待修补点云栅格图像;
S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段,根据直线段拓扑关系确定4组同名角点之间的变换关系,将待修补点云栅格图像与原始图像数据配准;
S6.依据图像数据,对待修补栅格图像数据进行修补;
S7.对待修补栅格图像下采样,生成修补完成的点云数据;
S8.根据旋转角度将点云数据旋转至原来位置,完成修补。
步骤S2包括如下子步骤:
S2.1.任取待修补点云中的不共线三点构成平面,建立平面方程:c0x+c1y+c2z+d=0,式中,c0,c1,c2,d为平面方程中的参数,(x,y,z)表示原始点云点坐标;
S2.3.反复迭代获得N数量最大时的平面方程:Ax+By+Cz+D=0。
步骤S3包括如下子步骤:
S3.3.根据夹角计算旋转矩阵:
式中,R=RxRz,R、Rx、Rz分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵;
步骤S4包括如下子步骤:
S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标,初始化待修补栅格图像,图像像元值为NaN,计算公式如下:式中,RowNum和ColNum分别代表待修补栅格图像的总行数和总列数,ceil表示向上取整,xmin、xmax、zmin、zmax分别代表待修补点云二维最小外接矩形坐标,resolution表示点云的分辨率;
S4.2.投影待修补点云生成待修补栅格图像,计算待修补点云中每个点在待修补栅格图像上的位置,公式如下:式中,Col、Row分辨率代表当前像素的行列号,x、z分别表示当前点的x,z坐标;待修补栅格图像每个像元的值替换为对应点云的颜色值。
步骤S5包括如下子步骤:
S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理;
S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向;
S5.3.对梯度幅值进行非极大值抑制;
S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连,获得4个角点;
S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵;
S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准。
步骤S6中,遍历待修补栅格图像,当待修补栅格图像的像元值为NaN时,将原始图像上对应像元值替换NaN值。
步骤S7中,根据待修补栅格图像和待修补点云的空间位置关系,将待修补栅格图像上的每个像元还原成待修补点云中的点,公式如下:x′=Col*resolution+xmin,y′=0,z′=Row*resolution+zmin。
步骤S8包括如下子步骤:
S8.1.根据S3.2和S3.3中计算所得角度和旋转矩阵,得到旋转逆矩阵:θ′0=θ0,θ′1=θ1,
S8.2.遍历待修补点云,根据旋转逆矩阵将待修补点云从XOZ平面旋转至原始位置,完成点云修补,公式如下:式中,(x,y,z)表示最终获得的点云点坐标,R′x、R′z分别表示在X方向、Y方向上的旋转逆矩阵,θ′0、θ′1代表旋转角。
与现有技术相比,本发明的有益效果是:自动化程度较高,充分利用了点云数据与图像数据信息,能有效、快速的修补面状地物缺失点云,达到了较好的修补效果。
附图说明
图1为一种基于图像数据辅助的面状内部缺失点云修补方法的流程图。
具体实施方式
下面结合具体实施方式对本发明作进一步详细说明:
一种基于图像数据辅助的面状内部缺失点云修补方法,流程图如图1所示,包括如下步骤:
S1.通过半交互式的方法选择需要修补的范围,根据修补范围从原始点云中裁切出待修补的面状点云;
S2.取面状点云表面的待修补处作为待修补点云,根据待修补点云拟合待修补平面的平面公式;
S3.根据待修补平面的法向量方程,分别计算各待修补平面与XOZ平面的夹角,并将待修补平面旋转至XOZ平面;
S4.投影待修补点云至XOZ平面,生成待修补点云栅格图像;
S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段,根据直线段拓扑关系确定4组同名角点之间的变换关系,将待修补点云栅格图像与原始图像数据配准;
S6.依据图像数据,对待修补栅格图像数据进行修补;
S7.对待修补栅格图像下采样,生成修补完成的点云数据;
S8.根据旋转角度将点云数据旋转至原来位置,完成修补。
步骤S2包括如下子步骤:
S2.1.任取待修补点云中的不共线三点构成平面,建立平面方程:c0x+c1y+c2z+d=0,式中,c0,c1,c2,d为平面方程中的参数,(x,y,z)表示原始点云点坐标;
S2.3.反复迭代获得N数量最大时的平面方程:Ax+By+Cz+D=0。
步骤S3包括如下子步骤:
S3.3.根据夹角计算旋转矩阵:
式中,R=RxRz,R、Rx、Rz分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵;
步骤S4包括如下子步骤:
S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标,初始化待修补栅格图像,图像像元值为NaN,计算公式如下:式中,RowNum和ColNum分别代表待修补栅格图像的总行数和总列数,ceil表示向上取整,xmin、xmax、zmin、zmax分别代表待修补点云二维最小外接矩形坐标,resolution表示点云的分辨率;
S4.2.投影待修补点云生成待修补栅格图像,计算待修补点云中每个点在待修补栅格图像上的位置,公式如下:式中,Col、Row分辨率代表当前像素的行列号,x、z分别表示当前点的x,z坐标;待修补栅格图像每个像元的值替换为对应点云的颜色值。
步骤S5包括如下子步骤:
S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理;
S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向;
S5.3.对梯度幅值进行非极大值抑制;
S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连,获得4个角点;
S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵;
S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准。
步骤S6中,遍历待修补栅格图像,当待修补栅格图像的像元值为NaN时,将原始图像上对应像元值替换NaN值。
步骤S7中,根据待修补栅格图像和待修补点云的空间位置关系,将待修补栅格图像上的每个像元还原成待修补点云中的点,公式如下:x′=Col*resolution+xmin,y′=0,z′=Row*resolution+zmin。
步骤S8包括如下子步骤:
S8.1.根据S3.2和S3.3中计算所得角度和旋转矩阵,得到旋转逆矩阵:θ′0=θ0,θ′1=θ1,
S8.2.遍历待修补点云,根据旋转逆矩阵将待修补点云从XOZ平面旋转至原始位置,完成点云修补,公式如下:式中,(x,y,z)表示最终获得的点云点坐标,R′x、R′z分别表示在X方向、Y方向上的旋转逆矩阵,θ′0、θ′1代表旋转角。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (7)
1.一种基于图像数据辅助的面状内部缺失点云修补方法,其特征在于,包括如下步骤:
S1.通过半交互式的方法选择需要修补的范围,根据修补范围从原始点云中裁切出待修补的面状点云;
S2.取面状点云表面的待修补处作为待修补点云,根据待修补点云拟合待修补平面的平面公式;
S3.根据待修补平面的法向量方程,分别计算各待修补平面与XOZ平面的夹角,并将待修补平面旋转至XOZ平面;
S4.投影待修补点云至XOZ平面,生成待修补点云栅格图像;
S5.利用DWT和HOG联合改进的canny算子检测原始图像数据的直线段、待修补点云栅格图像的直线段,根据直线段拓扑关系确定4组同名角点之间的变换关系,将待修补点云栅格图像与原始图像数据配准;
S5.1.采用离散小波变换DWT对原始图像数据、待修补点云栅格图像进行降噪处理;
S5.2.用方向梯度直方图HOG算法计算原始图像数据的梯度幅值和方向、待修补点云栅格图像的梯度幅值和方向;
S5.3.对梯度幅值进行非极大值抑制;
S5.4.利用OTSU计算自适应阈值检测原始图像数据的边缘线、待修补点云栅格图像的边缘线并将相邻的边缘线相连,获得4个角点;
S5.5.根据4个角点计算原始图像数据、待修补点云栅格图像之间的变换矩阵;
S5.6.利用变换矩阵将待修补栅格图像与原始图像进行数据配准;
S6.依据图像数据,对待修补栅格图像数据进行修补;
S7.对待修补栅格图像下采样,生成修补完成的点云数据;
S8.根据旋转角度将点云数据旋转至原来位置,完成修补。
3.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法,其特征在于,所述步骤S3包括如下子步骤:
S3.3.根据夹角计算旋转矩阵:
式中,R=RxRz,R、Rx、Rz分别为全局旋转矩阵、x方向上旋转矩阵、z方向上旋转矩阵;
4.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法,其特征在于,所述步骤S4包括如下子步骤:
S4.1.根据待修补点云分辨率、待修补点云二维最小外接矩形坐标,初始化待修补栅格图像,图像像元值为NaN,计算公式如下:式中,RowNum和ColNum分别代表待修补栅格图像的总行数和总列数,ceil表示向上取整,xmin、xmax、zmin、zmax分别代表待修补点云二维最小外接矩形坐标,resolution表示点云的分辨率;
5.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法,其特征在于,所述步骤S6中,遍历待修补栅格图像,当待修补栅格图像的像元值为NaN时,将原始图像上对应像元值替换NaN值。
6.根据权利要求1所述的一种基于图像数据辅助的面状内部缺失点云修补方法,其特征在于,所述步骤S7中,根据待修补栅格图像和待修补点云的空间位置关系,将待修补栅格图像上的每个像元还原成待修补点云中的点,公式如下:x′=Col*resolution+xmin,y′=0,z′=Row*resolution+zmin。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010901390.5A CN112215763B (zh) | 2020-09-01 | 2020-09-01 | 一种基于图像数据辅助的面状内部缺失点云修补方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010901390.5A CN112215763B (zh) | 2020-09-01 | 2020-09-01 | 一种基于图像数据辅助的面状内部缺失点云修补方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215763A CN112215763A (zh) | 2021-01-12 |
CN112215763B true CN112215763B (zh) | 2023-02-24 |
Family
ID=74048737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010901390.5A Active CN112215763B (zh) | 2020-09-01 | 2020-09-01 | 一种基于图像数据辅助的面状内部缺失点云修补方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215763B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023319A (zh) * | 2016-05-27 | 2016-10-12 | 青岛秀山移动测量有限公司 | 一种基于ccd照片的激光点云地物目标结构特征修补方法 |
CN107590825A (zh) * | 2017-07-31 | 2018-01-16 | 东南大学 | 一种基于sfm的点云孔洞修补方法 |
CN109147040A (zh) * | 2018-08-28 | 2019-01-04 | 浙江大学 | 基于模板的人体点云孔洞修补方法 |
CN109615594A (zh) * | 2018-11-30 | 2019-04-12 | 四川省安全科学技术研究院 | 一种激光点云空洞修补着色方法 |
CN111325837A (zh) * | 2020-01-23 | 2020-06-23 | 江西理工大学 | 一种基于地面三维激光点云的边坡dem生成方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631936A (zh) * | 2014-10-31 | 2016-06-01 | 富泰华工业(深圳)有限公司 | 点云修补方法及系统 |
CN105788000A (zh) * | 2014-12-16 | 2016-07-20 | 富泰华工业(深圳)有限公司 | 网格补孔方法及系统 |
-
2020
- 2020-09-01 CN CN202010901390.5A patent/CN112215763B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023319A (zh) * | 2016-05-27 | 2016-10-12 | 青岛秀山移动测量有限公司 | 一种基于ccd照片的激光点云地物目标结构特征修补方法 |
CN107590825A (zh) * | 2017-07-31 | 2018-01-16 | 东南大学 | 一种基于sfm的点云孔洞修补方法 |
CN109147040A (zh) * | 2018-08-28 | 2019-01-04 | 浙江大学 | 基于模板的人体点云孔洞修补方法 |
CN109615594A (zh) * | 2018-11-30 | 2019-04-12 | 四川省安全科学技术研究院 | 一种激光点云空洞修补着色方法 |
CN111325837A (zh) * | 2020-01-23 | 2020-06-23 | 江西理工大学 | 一种基于地面三维激光点云的边坡dem生成方法 |
Non-Patent Citations (6)
Title |
---|
基于ArcGIS的栅格图像自动矢量化的实现新方法;董敏等;《西部探矿工程》;20110215(第02期);全文 * |
基于三角格网的点云空洞修补算法及精度研究;陈相等;《测绘通报》;20130425(第04期);全文 * |
基于三角网的点云空洞修补算法;林松等;《工程勘察》;20200801(第08期);全文 * |
基于从运动中恢复结构的三维点云孔洞修补算法研究;曾露露等;《光学学报》;20180610(第06期);全文 * |
基于栅格的点云数据的边界探测方法;何丽等;《测绘工程》;20130625(第03期);全文 * |
影像边缘特征与LS-SVM的点云边缘残缺区域修补方法;赵自明等;《测绘科学》;20120720(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112215763A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109961506B (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
Cheng et al. | 3D building model reconstruction from multi-view aerial imagery and lidar data | |
JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
CN108225319B (zh) | 基于目标特征的单目视觉快速相对位姿估计系统及方法 | |
CN108898147B (zh) | 一种基于角点检测的二维图像边缘平直化方法、装置 | |
CN109872329A (zh) | 一种基于三维激光雷达的地面点云快速分割方法 | |
CN111899290B (zh) | 一种联合偏振和双目视觉的三维重建方法 | |
CN103426184A (zh) | 一种光流跟踪方法和装置 | |
CN111640158A (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
CN111524168A (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
EP3293700A1 (en) | 3d reconstruction for vehicle | |
Ding et al. | Fusing structure from motion and lidar for dense accurate depth map estimation | |
CN110827408B (zh) | 一种基于深度传感器的实时三维重建方法 | |
CN106875430B (zh) | 动态背景下基于固定形态的单一运动目标追踪方法和装置 | |
CN114998448B (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
KR101854612B1 (ko) | 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 | |
Miksch et al. | Automatic extrinsic camera self-calibration based on homography and epipolar geometry | |
CN116222381A (zh) | 电极涂层尺寸测量方法和装置 | |
CN112465849A (zh) | 一种无人机激光点云与序列影像的配准方法 | |
CN110189403B (zh) | 一种基于单波束前视声纳的水下目标三维重建方法 | |
Moorfield et al. | Bilateral filtering of 3D point clouds for refined 3D roadside reconstructions | |
CN112215763B (zh) | 一种基于图像数据辅助的面状内部缺失点云修补方法 | |
Wu et al. | MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes | |
Oishi et al. | Denoising of range images using a trilateral filter and belief propagation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |