CN113298947A - 一种基于多源数据融合的变电站三维建模方法介质及系统 - Google Patents

一种基于多源数据融合的变电站三维建模方法介质及系统 Download PDF

Info

Publication number
CN113298947A
CN113298947A CN202110466492.3A CN202110466492A CN113298947A CN 113298947 A CN113298947 A CN 113298947A CN 202110466492 A CN202110466492 A CN 202110466492A CN 113298947 A CN113298947 A CN 113298947A
Authority
CN
China
Prior art keywords
point cloud
sparse
laser
transformer substation
laser point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110466492.3A
Other languages
English (en)
Other versions
CN113298947B (zh
Inventor
吴勇
申凌峰
韩鸣
刘东华
李刚
丁俊峰
倪峰
巫吉祥
陈功勋
金振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Power Transmission And Distribution Co ltd
Nanjing University of Posts and Telecommunications
Original Assignee
Jiangsu Power Transmission And Distribution Co ltd
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Power Transmission And Distribution Co ltd, Nanjing University of Posts and Telecommunications filed Critical Jiangsu Power Transmission And Distribution Co ltd
Priority to CN202110466492.3A priority Critical patent/CN113298947B/zh
Publication of CN113298947A publication Critical patent/CN113298947A/zh
Application granted granted Critical
Publication of CN113298947B publication Critical patent/CN113298947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多源数据融合的变电站三维建模方法介质及系统，包括如下步骤：1）多种方式扫描变电站；2）数据预处理；3）基于倾斜摄影图像得到密集点云后进行点云抽稀得到稀疏点云；4）完成激光点云与稀疏点云之间空间坐标系的统一；5）运用面向非对齐多视图数据融合的局部线性嵌入模型，完成激光点云和稀疏点云的粗配准；6）使用迭代最近点算法实现激光点云和稀疏点云的精确配准，实现激光点云和稀疏点云数据的融合；7）基于融合后的点云数据生成变电站实景三维模型。本发明能改善单一来源数据三维建模的精度，同时提高三维建模的效率。

Description

一种基于多源数据融合的变电站三维建模方法介质及系统
技术领域
本发明涉及一种基于多源数据融合的变电站三维建模方法介质及系统，属于三维重建技术领域。
背景技术
地面三维激光扫描仪采用激光测距的方法，能够高效地获取目标区域地三维数据，得到高精度的三维模型，但该方法的效率相对较低且无法获得物体表面的纹理信息；倾斜摄影测量技术采用航拍图像对目标区域进行三维建模，能够直观、真实的反映地物特征，并且具有效率高、成本低、灵活便捷等特点，但该方法的精度相对较低。因此，如何结合激光扫描的高精度特性和倾斜摄影测量技术的高效率、灵活便捷的特点，实现一种高精度、高效率的变电站三维建模方法在目前仍然是一项很有意义的任务。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于多源数据融合的变电站三维建模方法、存储介质及系统，能够解决单一激光扫描技术或者单一的倾斜摄影技术所带来的三维建模的低效率、低精度等问题。
为达到上述目的，本发明提供一种基于多源数据融合的变电站三维建模方法，包括：
获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
对倾斜摄影图像进行预处理，对激光点云进行预处理；
使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
统一激光点云与稀疏点云的空间坐标系；
对激光点云和稀疏点云进行粗配准；
基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。优先地，获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云，包括：
在无人机倾斜摄影对变电站全面积进行覆盖的前提下，调整无人机飞行高度，使得无人机的4个倾斜镜头拍摄得到的倾斜摄影图像与无人机的垂直镜头拍摄的垂直图像的重合度保持在60％～80％；
使用无人机对相互遮挡的变电站中的主变区设备进行两次覆盖拍摄，拍摄时无人机的飞行轨迹设置在变电站的主变区设备形成的行列间隔之间，且无人机两次拍摄的飞行轨迹在水平面上相互垂直；基于地面式激光扫描仪的扫描的范围，对地面式激光扫描仪设置多个扫描点，使得地面式激光扫描仪的扫描范围覆盖整个变电站，利用地面式激光扫描仪扫描变电站的外部轮廓得到激光点云。
优先地，步骤2)中，对倾斜摄影图像进行预处理，对激光点云进行预处理，包括以下步骤：对倾斜摄影图像进行图像去噪，对激光点云进行去噪和平滑处理。
优先地，统一激光点云与稀疏点云的空间坐标系，包括：
将激光点云和稀疏点云通过旋转变换和平移变换统一到同一空间坐标系下，激光点云表示为
Figure BDA0003044236150000021
其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d；稀疏点云表示为
Figure BDA0003044236150000022
其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d；
将激光点云和稀疏点云表示为用于刻画变电站的同一组点云，公式为：
Figure BDA0003044236150000023
Figure BDA0003044236150000024
其中H表示激光点云X和稀疏点云Y的集合，hi表示的是H中的任意一点，集合H中一共有(n+m)个点，每个点的维度为d。
优先地，运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准。
优先地，运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准，包括：
5.1)通过k最近邻算法选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间的存在线性关系，wi为要求解的权重系数，通过求解如下损失函数的方式对wi进行求解：
Figure BDA0003044236150000025
其中，J(w)表示回归问题的损失函数，其中
Figure BDA0003044236150000026
为激光点云与稀疏点云的集合，
Figure BDA0003044236150000027
表示hi的k个最近邻，
Figure BDA0003044236150000031
表示hi和它的k个最近邻
Figure BDA0003044236150000032
之间的线性权重系数；基于公式(1)，在约束
Figure BDA0003044236150000033
条件下最小化损失函数，求得
Figure BDA0003044236150000034
5.2)已知集合H中的点hi和k个最近邻之间的线性权重系数
Figure BDA0003044236150000035
假设集合H中的点投影之后变为
Figure BDA0003044236150000036
其中U表示集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，为了集合H中的点进行投影之后保留原来的线性关系，用最小化损失函数表示为：
Figure BDA0003044236150000037
其中，J(u)表示损失函数，
Figure BDA0003044236150000038
表示ui的k个最近邻，其中
Figure BDA0003044236150000039
为要求解的变量，加入约束
Figure BDA00030442361500000310
和
Figure BDA00030442361500000311
其中上标T表示向量转置；
5.3)稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化目标公式为：
Figure BDA00030442361500000312
其中，
Figure BDA00030442361500000313
表示激光点云
Figure BDA00030442361500000314
投影变换之后的点；
Figure BDA00030442361500000315
表示稀疏点云
Figure BDA00030442361500000316
Figure BDA00030442361500000317
投影变换之后的点，且
Figure BDA00030442361500000318
和
Figure BDA00030442361500000319
投影变换之后每个点的维度由原来的d维变为3维，
Figure BDA00030442361500000320
和
Figure BDA00030442361500000321
分别表示
Figure BDA00030442361500000322
和
Figure BDA00030442361500000323
的k个最近邻，
Figure BDA00030442361500000324
和
Figure BDA00030442361500000325
分别表示
Figure BDA00030442361500000326
以及它的k个最近邻
Figure BDA00030442361500000327
之间的线性权重系数和
Figure BDA00030442361500000328
以及它的k个最近邻
Figure BDA00030442361500000329
之间的线性权重系数，λ1和λ2表示正则化参数，公式(3)在约束条件分别为
Figure BDA00030442361500000330
和
Figure BDA00030442361500000331
的情况下分别求得
Figure BDA00030442361500000332
以及
Figure BDA00030442361500000333
I为单位矩阵，其中上标T表示向量转置；
5.4)将点云配准问题转化成非对齐的多视图问题，利用最大均值差异来描述激光点云和稀疏点云分布的距离，表示为：
Figure BDA00030442361500000334
其中，φ(xi)和φ(yi)表示对激光点云和稀疏点云进行一种映射，将映射函数设置为高斯核函数对应的投影函数，MMD(X,Y)的值越小表示激光点云和稀疏点云分布差异小，MMD(X,Y)的值越大表示激光点云和稀疏点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，所述目标函数表示为：
Figure BDA00030442361500000335
Figure BDA0003044236150000041
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为
Figure BDA0003044236150000042
Figure BDA0003044236150000043
和
Figure BDA0003044236150000044
优先地，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，目标公式为：
初始时，
Figure BDA0003044236150000045
和
Figure BDA0003044236150000046
均为赋予的随机值，
Figure BDA0003044236150000047
Figure BDA0003044236150000048
表示关于
Figure BDA0003044236150000049
和
Figure BDA00030442361500000410
的损失函数，最小化
Figure BDA00030442361500000411
得到新的
Figure BDA00030442361500000412
和新的
Figure BDA00030442361500000413
其中，
Figure BDA00030442361500000414
表示激光点云投影变换之后的点云，其中每个点云的维度为3；
Figure BDA00030442361500000415
表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；
Figure BDA00030442361500000416
表示投影变换后的激光点云
Figure BDA00030442361500000417
和投影变换后的稀疏点云
Figure BDA00030442361500000418
之间的旋转变换，
Figure BDA00030442361500000419
表示投影变换后的激光点云
Figure BDA00030442361500000420
和投影变换后的稀疏点云
Figure BDA00030442361500000421
之间的平移变换，
Figure BDA00030442361500000422
统称为刚体变换；
Figure BDA00030442361500000423
表示为：
Figure BDA00030442361500000424
其中，需要求解的变量是
Figure BDA00030442361500000425
表示
Figure BDA00030442361500000426
中的点
Figure BDA00030442361500000427
在
Figure BDA00030442361500000428
中对应的最近点；重复上述步骤直到公式(6)满足设定的收敛阈值，得到
Figure BDA00030442361500000429
得到对应的关系点对
Figure BDA00030442361500000430
和对应的最优刚体变换
Figure BDA00030442361500000431
将投影变换后的激光点云
Figure BDA00030442361500000432
进行刚体变换，然后激光点云
Figure BDA00030442361500000433
和投影变换后的稀疏点云
Figure BDA00030442361500000434
进行融合，获得融合后的点云数据S。
优先地，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。
一种计算机可读存储介质，所述可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述所述方法的步骤。
一种基于多源数据融合的变电站三维建模系统，包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，以及扫描变电站的外部轮廓所得到的激光点云；
预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
本发明所达到的有益效果：
1)能够提高实景三维建模的效率：
本方法在实现倾斜摄影三维建模中，对预处理的图像进行单体化建模，这相对于一次性整体建模的优点在于可以提高空中三角解算的效率，且降低了对计算机的内存和处理器等硬件的要求；与此同时，在基于融合后的点云数据S上，构建不规则三角网格，实现纹理的自动映射，相比较激光点云三维建模时的人工贴图，本发明的三维建模效率有很大提高。
2)能够提高实景三维建模的精度：
单一倾斜摄影图像实现三维建模虽然具有灵活、便捷和高效等优点，但其精度不高，因此本发明提出了一种点云融合算法，在点云粗配准阶段设计出一种面向非对齐多视图数据融合的局部线性嵌入模型，然后使用迭代最近点算法实现点云的融合，相比单一的倾斜摄影三维建模，本发明利用激光点云的高精度数据来提高实景三维建模的精度。
附图说明
图1为本发明的方法流程图；
图2为本发明中面向非对齐多视图数据融合的局部线性嵌入模型的流程图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于多源数据融合的变电站三维建模方法，包括以下步骤：
根据变电站的占地面积设置无人机的飞行高度和飞行轨迹，无人机倾斜摄影装置在对变电站全面积进行覆盖的前提下，调整飞行高度，使得无人机的4个倾斜镜头拍摄的图像与垂直镜头拍摄的图像的重合度保持在60％～80％，由于变电站的主变区设备相互遮挡较为严重，因此使用无人机倾斜摄影装置对整个区域进行两次全区域覆盖拍摄，飞行轨迹设置在变电设备形成的行列间隔之间，且两次拍摄的飞行轨迹相会垂直。
在无人机倾斜摄影航拍结束之后，在地面设置地面激光扫描仪的扫描点，据地面激光扫描仪的扫描的范围，设置多个扫描点，每次扫描范围的重合度保持10％～20％，便于实现激光点云的拼接，对于激光扫描不到的建筑顶部需要额外设置扫描点，从而确保激光扫描仪覆盖到了整个变电站区域。
对拍摄得到的图像和激光扫描得到的激光点云进行相应的预处理，对倾斜摄影得到的图像进行图像去噪，提高空中三角解算的精度，对激光点云进行去噪和平滑处理，滤去一些较为明显的野值点。
使用处理好的图像为变电站的进行单体化建模，得到每个变电设备的初步三维模型和密集点云，这样可以提高空中三角解算的效率，接着实现变电站密集点云的拼接，从而得到变电站全区域的密集点云，然后导出密集点云数据，最后进行点云抽稀得到稀疏点云，这样可以提高点云处理效率。
借助计算机视觉方法，完成激光点云与稀疏点云空间坐标系的统一，激光点云表示为
Figure BDA0003044236150000061
其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d，稀疏点云表示为
Figure BDA0003044236150000062
其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d，由于这两者都是表示变电站的三维点云，因此激光点云和稀疏点云也可以看成同一组点云，即：
Figure BDA0003044236150000063
其中H表示激光点云X和稀疏点云Y的集合，hi表示的是激光点云X和稀疏点云Y中的任意一点，这两者一共有(n+m)个点，每个点的维度为d。
运用现有技术中的面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云和稀疏点云的分布的距离尽可能的小，实现激光点云和稀疏点云的粗配准，具体描述为：
5.1)首先通过KNN选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间存在线性关系wi，wi为要求解的权重系数。可通过求解如下损失函数的方式对wi进行求解：
Figure BDA0003044236150000064
其中J(w)表示回归问题的损失函数，hi表示集合H中每个点，
Figure BDA0003044236150000065
表示hi的k个最近邻，
Figure BDA0003044236150000071
表示hi和它的k个最近邻
Figure BDA0003044236150000072
之间的线性权重系数，可基于该公式在约束
Figure BDA0003044236150000073
条件下最小化损失函数，可以求得
Figure BDA0003044236150000074
5.2)在已知集合H中点hi和k个最近邻之间的线性权重系数wij的前提条件下，假设集合H中的点云投影之后变为了
Figure BDA0003044236150000075
其中U表示的是激光点云和稀疏点云的集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，那么我们希望集合H中的点进行投影之后可以保留原来的线性关系，即最小化损失函数：
Figure BDA0003044236150000076
其中J(u)表示该问题的损失函数，
Figure BDA0003044236150000077
表示ui的k个最近邻，其中
Figure BDA0003044236150000078
为要求解的变量，求解过程中为了防止平凡解和得到标准化的低维数据，我们加入约束
Figure BDA0003044236150000079
和
Figure BDA00030442361500000710
5.3)本发明中使用的FaroFocus3D激光扫描仪的点位精度在距离为70m时为±3mm，而倾斜摄影得到的稀疏点云在平面和高程中精度为±0.10m，所以激光扫描仪得到的激光点云精度高，倾斜摄影得到的点云数据精度相对较低，因此在利用局部线性嵌入算法时，不同精度的点云数据在融合过程中起到的作用程度不同，我们利用高精度的激光点云数据提高变电站三维模型的精度，稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化的局部线性嵌入算法：
Figure BDA00030442361500000711
其中
Figure BDA00030442361500000712
和
Figure BDA00030442361500000713
表示激光点云
Figure BDA00030442361500000714
和稀疏点云
Figure BDA00030442361500000715
投影变换之后的点，且投影变换之后每个点的维度由原来的d维变为3维，
Figure BDA00030442361500000716
和
Figure BDA00030442361500000717
分别表示
Figure BDA00030442361500000718
和
Figure BDA00030442361500000719
的k个最近邻，
Figure BDA00030442361500000720
和
Figure BDA00030442361500000721
分别表示
Figure BDA00030442361500000722
以及它的k个最近邻
Figure BDA00030442361500000723
之间的线性权重系数和
Figure BDA00030442361500000724
以及它的k个最近邻
Figure BDA00030442361500000725
之间的线性权重系数，λ1和λ2表示正则化参数，该公式在约束条件为
Figure BDA00030442361500000726
Figure BDA00030442361500000727
和
Figure BDA00030442361500000728
的情况下求得
Figure BDA00030442361500000729
以及
Figure BDA00030442361500000730
I为单位矩阵。
5.4)由于变电站三维点云来自于地面式激光扫描仪和倾斜摄影，且来自于地面式激光扫描仪的激光点云和基于倾斜摄影图像得到的稀疏点云中点的个数不相同，因此这里的点云配准问题可转化成非对齐的多视图问题。由于激光点云和稀疏点云都是刻画变电站的三维结构，因此激光点云和稀疏点云具有强相关性，从而可利用最大均值差异来描述两组点云分布的距离，即：
Figure BDA0003044236150000081
其中φ(xi)、φ(yi)表示点云数据进行一种映射，本发明中我们将映射函数设置为高斯核函数对应的投影函数，n和m分别表示激光点云和稀疏点云中点的个数，MMD(X,Y)的值小于1，表示两组点云数据分布差异小；MMD(X,Y)的值大于1，表示两组点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，目标函数为：
Figure BDA0003044236150000082
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为
Figure BDA0003044236150000083
Figure BDA0003044236150000084
和
Figure BDA0003044236150000085
其中上标T表示向量转置。
进一步地，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，具体描述为：
初始时，
Figure BDA0003044236150000086
和
Figure BDA0003044236150000087
均为赋予的随机值，
Figure BDA0003044236150000088
Figure BDA0003044236150000089
表示关于
Figure BDA00030442361500000810
和
Figure BDA00030442361500000811
的损失函数，最小化
Figure BDA00030442361500000812
得到新的
Figure BDA00030442361500000813
和新的
Figure BDA00030442361500000814
其中，
Figure BDA00030442361500000815
表示激光点云投影变换之后的点云，其中每个点云的维度为3；
Figure BDA00030442361500000816
表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；
Figure BDA00030442361500000817
表示投影变换后的激光点云
Figure BDA00030442361500000818
和投影变换后的稀疏点云
Figure BDA00030442361500000819
之间的旋转变换，
Figure BDA00030442361500000820
表示投影变换后的激光点云
Figure BDA00030442361500000835
和投影变换后的稀疏点云
Figure BDA00030442361500000821
之间的平移变换，
Figure BDA00030442361500000822
统称为刚体变换；
Figure BDA00030442361500000823
具体描述为：
Figure BDA00030442361500000824
其中，需要求解的变量是
Figure BDA00030442361500000825
表示
Figure BDA00030442361500000826
中的点
Figure BDA00030442361500000827
在
Figure BDA00030442361500000828
中对应的最近点；
重复上述步骤直到公式(6)满足设定的收敛阈值，得到
Figure BDA00030442361500000829
得到对应的关系点对
Figure BDA00030442361500000830
和对应的最优刚体变换
Figure BDA00030442361500000831
将投影变换后的激光点云
Figure BDA00030442361500000832
进行刚体变换，然后激光点云
Figure BDA00030442361500000833
和投影变换后的稀疏点云
Figure BDA00030442361500000834
进行融合，获得融合后的点云数据S。
进一步地，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。此步骤是现有技术，本实施例中不再做具体说明。
一种计算机可读存储介质，所述可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述所述方法的步骤。
一种基于多源数据融合的变电站三维建模系统，包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，扫描变电站的外部轮廓得到激光点云；预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于多源数据融合的变电站三维建模方法，其特征在于，包括：
获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
对倾斜摄影图像进行预处理，对激光点云进行预处理；
使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
统一激光点云与稀疏点云的空间坐标系；
对激光点云和稀疏点云进行粗配准；
基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
2.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云，包括：
在无人机倾斜摄影对变电站全面积进行覆盖的前提下，调整无人机飞行高度，使得无人机的4个倾斜镜头拍摄得到的倾斜摄影图像与无人机的垂直镜头拍摄的垂直图像的重合度保持在60％～80％；
使用无人机对相互遮挡的变电站中的主变区设备进行两次覆盖拍摄，拍摄时无人机的飞行轨迹设置在变电站的主变区设备形成的行列间隔之间，且无人机两次拍摄的飞行轨迹在水平面上相互垂直；基于地面式激光扫描仪的扫描的范围，对地面式激光扫描仪设置多个扫描点，使得地面式激光扫描仪的扫描范围覆盖整个变电站，利用地面式激光扫描仪扫描变电站的外部轮廓得到激光点云。
3.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，步骤2)中，对倾斜摄影图像进行预处理，对激光点云进行预处理，包括以下步骤：对倾斜摄影图像进行图像去噪，对激光点云进行去噪和平滑处理。
4.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，统一激光点云与稀疏点云的空间坐标系，包括：
将激光点云和稀疏点云通过旋转变换和平移变换统一到同一空间坐标系下，激光点云表示为
Figure FDA0003044236140000011
其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d；稀疏点云表示为
Figure FDA0003044236140000021
其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d；
将激光点云和稀疏点云表示为用于刻画变电站的同一组点云，公式为：
Figure FDA0003044236140000022
Figure FDA0003044236140000023
其中H表示激光点云X和稀疏点云Y的集合，hi表示的是H中的任意一点，集合H中一共有(n+m)个点，每个点的维度为d。
5.根据权利要求4所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准。
6.根据权利要求5所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，
运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准，包括：
5.1)通过k最近邻算法选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间的存在线性关系，wi为要求解的权重系数，通过求解如下损失函数的方式对wi进行求解：
Figure FDA0003044236140000024
其中，J(w)表示回归问题的损失函数，其中
Figure FDA0003044236140000025
为激光点云与稀疏点云的集合，
Figure FDA0003044236140000026
表示hi的k个最近邻，
Figure FDA0003044236140000027
表示hi和它的k个最近邻
Figure FDA0003044236140000028
之间的线性权重系数；基于公式(1)，在约束
Figure FDA0003044236140000029
条件下最小化损失函数，求得
Figure FDA00030442361400000210
5.2)已知集合H中的点hi和k个最近邻之间的线性权重系数
Figure FDA00030442361400000211
假设集合H中的点投影之后变为
Figure FDA00030442361400000212
其中U表示集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，为了集合H中的点进行投影之后保留原来的线性关系，用最小化损失函数表示为：
Figure FDA00030442361400000213
其中，J(u)表示损失函数，
Figure FDA00030442361400000214
表示ui的k个最近邻，其中
Figure FDA00030442361400000215
为要求解的变量，加入约束
Figure FDA00030442361400000216
和
Figure FDA00030442361400000217
其中上标T表示向量转置；
5.3)稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化目标公式为：
Figure FDA0003044236140000031
其中，
Figure FDA0003044236140000032
表示激光点云
Figure FDA0003044236140000033
投影变换之后的点；
Figure FDA0003044236140000034
表示稀疏点云
Figure FDA0003044236140000035
Figure FDA0003044236140000036
Figure FDA0003044236140000037
投影变换之后的点，且
Figure FDA0003044236140000038
和
Figure FDA0003044236140000039
投影变换之后每个点的维度由原来的d维变为3维，
Figure FDA00030442361400000310
和
Figure FDA00030442361400000311
分别表示
Figure FDA00030442361400000312
和
Figure FDA00030442361400000313
的k个最近邻，
Figure FDA00030442361400000314
和
Figure FDA00030442361400000315
分别表示
Figure FDA00030442361400000316
以及它的k个最近邻
Figure FDA00030442361400000317
之间的线性权重系数和
Figure FDA00030442361400000318
以及它的k个最近邻
Figure FDA00030442361400000319
之间的线性权重系数，λ1和λ2表示正则化参数，公式(3)在约束条件分别为
Figure FDA00030442361400000320
和
Figure FDA00030442361400000321
的情况下分别求得
Figure FDA00030442361400000322
以及
Figure FDA00030442361400000323
I为单位矩阵，其中上标T表示向量转置；
5.4)将点云配准问题转化成非对齐的多视图问题，利用最大均值差异来描述激光点云和稀疏点云分布的距离，表示为：
Figure FDA00030442361400000324
其中，φ(xi)和φ(yi)表示对激光点云和稀疏点云进行一种映射，将映射函数设置为高斯核函数对应的投影函数，MMD(X,Y)的值越小表示激光点云和稀疏点云分布差异小，MMD(X,Y)的值越大表示激光点云和稀疏点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，所述目标函数表示为：
Figure FDA00030442361400000325
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为
Figure FDA00030442361400000326
Figure FDA00030442361400000327
和
Figure FDA00030442361400000328
7.根据权利要求6所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，包括：
6.1)初始时，
Figure FDA00030442361400000329
和
Figure FDA00030442361400000330
均为赋予的随机值；
6.2)
Figure FDA00030442361400000331
Figure FDA00030442361400000332
表示关于
Figure FDA00030442361400000333
和
Figure FDA00030442361400000334
的损失函数，最小化
Figure FDA00030442361400000335
得到新的
Figure FDA00030442361400000336
和新的
Figure FDA00030442361400000337
其中，
Figure FDA00030442361400000338
表示激光点云投影变换之后的点云，其中每个点云的维度为3；
Figure FDA0003044236140000041
表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；
Figure FDA0003044236140000042
表示投影变换后的激光点云
Figure FDA0003044236140000043
和投影变换后的稀疏点云
Figure FDA0003044236140000044
之间的旋转变换，
Figure FDA0003044236140000045
表示投影变换后的激光点云
Figure FDA00030442361400000420
和投影变换后的稀疏点云
Figure FDA0003044236140000046
之间的平移变换，
Figure FDA0003044236140000047
统称为刚体变换；
6.3)
Figure FDA0003044236140000048
表示为：
Figure FDA0003044236140000049
其中，需要求解的变量是
Figure FDA00030442361400000410
表示
Figure FDA00030442361400000411
中的点
Figure FDA00030442361400000412
在
Figure FDA00030442361400000413
中对应的最近点；重复步骤6.2)和6.3)直到公式(6)满足设定的收敛阈值，得到
Figure FDA00030442361400000414
得到对应的关系点对
Figure FDA00030442361400000415
和对应的最优刚体变换
Figure FDA00030442361400000416
将投影变换后的激光点云
Figure FDA00030442361400000417
进行刚体变换，然后激光点云
Figure FDA00030442361400000418
和投影变换后的稀疏点云
Figure FDA00030442361400000419
进行融合，获得融合后的点云数据S。
8.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。
9.一种计算机可读存储介质，所述可读存储介质存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-8所述方法的步骤。
10.一种基于多源数据融合的变电站三维建模系统，其特征在于，包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
CN202110466492.3A 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统 Active CN113298947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466492.3A CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466492.3A CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Publications (2)

Publication Number Publication Date
CN113298947A true CN113298947A (zh) 2021-08-24
CN113298947B CN113298947B (zh) 2023-10-03

Family

ID=77320610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466492.3A Active CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Country Status (1)

Country Link
CN (1) CN113298947B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628341A (zh) * 2021-08-31 2021-11-09 时空云科技有限公司 基于倾斜摄影数据和lidar点云融合自动单体化建模的方法
CN114186603A (zh) * 2021-09-28 2022-03-15 北京博能科技股份有限公司 多源模型单体化融合方法及系统、存储介质及终端
CN114820747A (zh) * 2022-06-28 2022-07-29 安徽继远软件有限公司 基于点云和实景模型的航线规划方法、装置、设备及介质
CN116468762A (zh) * 2023-04-17 2023-07-21 南京邮电大学 一种变电站点云配准方法、装置、电子设备及存储介质
CN116912251A (zh) * 2023-09-13 2023-10-20 深圳市超诺科技有限公司 一种提高红外打猎相机检测灵敏度的检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
WO2014080330A2 (en) * 2012-11-22 2014-05-30 Geosim Systems Ltd. Point-cloud fusion
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法
CN109523582A (zh) * 2018-09-10 2019-03-26 中国矿业大学(北京) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法
CN112233056A (zh) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 一种多源数据的点云融合方法、装置和存储介质
CN112258624A (zh) * 2020-09-15 2021-01-22 广东电网有限责任公司 一种三维实景融合建模的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207936A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment
WO2014080330A2 (en) * 2012-11-22 2014-05-30 Geosim Systems Ltd. Point-cloud fusion
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法
CN109523582A (zh) * 2018-09-10 2019-03-26 中国矿业大学(北京) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN112258624A (zh) * 2020-09-15 2021-01-22 广东电网有限责任公司 一种三维实景融合建模的方法
CN112233056A (zh) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 一种多源数据的点云融合方法、装置和存储介质
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李策;吴长悦;: "倾斜摄影与地面激光点云融合精细化建模研究", 现代矿业, no. 05 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628341A (zh) * 2021-08-31 2021-11-09 时空云科技有限公司 基于倾斜摄影数据和lidar点云融合自动单体化建模的方法
CN113628341B (zh) * 2021-08-31 2023-12-19 珠海尚方清洁能源科技有限公司 基于倾斜摄影数据和lidar点云融合自动单体化建模的方法
CN114186603A (zh) * 2021-09-28 2022-03-15 北京博能科技股份有限公司 多源模型单体化融合方法及系统、存储介质及终端
CN114186603B (zh) * 2021-09-28 2022-07-01 北京博能科技股份有限公司 多源模型单体化融合方法及系统、存储介质及终端
CN114820747A (zh) * 2022-06-28 2022-07-29 安徽继远软件有限公司 基于点云和实景模型的航线规划方法、装置、设备及介质
CN116468762A (zh) * 2023-04-17 2023-07-21 南京邮电大学 一种变电站点云配准方法、装置、电子设备及存储介质
CN116912251A (zh) * 2023-09-13 2023-10-20 深圳市超诺科技有限公司 一种提高红外打猎相机检测灵敏度的检测方法

Also Published As

Publication number Publication date
CN113298947B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112102458B (zh) 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN113298947A (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN111968177B (zh) 一种基于固定摄像头视觉的移动机器人定位方法
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN106570905B (zh) 一种非合作目标点云初始姿态验证方法
CN113658337B (zh) 一种基于车辙线的多模态里程计方法
CN114066960B (zh) 三维重建方法、点云融合方法、装置、设备及存储介质
CN112270698B (zh) 基于最邻近曲面的非刚性几何配准方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN104240229A (zh) 一种红外双目相机自适应极线校正方法
Zheng et al. Registration of optical images with LiDAR data and its accuracy assessment
Liu et al. Dense stereo matching strategy for oblique images that considers the plane directions in urban areas
CN114581515B (zh) 一种基于最优路径转换的多相机标定参数优化方法
CN116740488B (zh) 一种用于视觉定位的特征提取模型的训练方法及装置
Yong-guo et al. The navigation of mobile robot based on stereo vision
Kim et al. Trends in high-resolution 3D data generation technologies
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN116630556A (zh) 基于空中地图数据重构地图的方法、系统及存储介质
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN115375762A (zh) 一种基于三目视觉的电力线三维重构方法
Zhao et al. The obstacle avoidance and navigation based on stereo vision for mobile robot
CN112950683B (zh) 基于点特征的航空影像和机载点云配准优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211102 No. 280 Heyan Road, Nanjing, Jiangsu

Applicant after: JIANGSU POWER TRANSMISSION AND DISTRIBUTION Co.,Ltd.

Applicant after: Nanjing University of Posts and Telecommunications

Address before: 211102 no.58-5, Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU POWER TRANSMISSION AND DISTRIBUTION Co.,Ltd.

Applicant before: Nanjing University of Posts and Telecommunications

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant