CN113298947B - 一种基于多源数据融合的变电站三维建模方法介质及系统 - Google Patents

一种基于多源数据融合的变电站三维建模方法介质及系统 Download PDF

Info

Publication number
CN113298947B
CN113298947B CN202110466492.3A CN202110466492A CN113298947B CN 113298947 B CN113298947 B CN 113298947B CN 202110466492 A CN202110466492 A CN 202110466492A CN 113298947 B CN113298947 B CN 113298947B
Authority
CN
China
Prior art keywords
point cloud
sparse
laser
laser point
transformer substation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110466492.3A
Other languages
English (en)
Other versions
CN113298947A (zh
Inventor
吴勇
申凌峰
韩鸣
刘东华
李刚
丁俊峰
倪峰
巫吉祥
陈功勋
金振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Power Transmission And Distribution Co ltd
Nanjing University of Posts and Telecommunications
Original Assignee
Jiangsu Power Transmission And Distribution Co ltd
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Power Transmission And Distribution Co ltd, Nanjing University of Posts and Telecommunications filed Critical Jiangsu Power Transmission And Distribution Co ltd
Priority to CN202110466492.3A priority Critical patent/CN113298947B/zh
Publication of CN113298947A publication Critical patent/CN113298947A/zh
Application granted granted Critical
Publication of CN113298947B publication Critical patent/CN113298947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多源数据融合的变电站三维建模方法介质及系统，包括如下步骤：1）多种方式扫描变电站；2）数据预处理；3）基于倾斜摄影图像得到密集点云后进行点云抽稀得到稀疏点云；4）完成激光点云与稀疏点云之间空间坐标系的统一；5）运用面向非对齐多视图数据融合的局部线性嵌入模型，完成激光点云和稀疏点云的粗配准；6）使用迭代最近点算法实现激光点云和稀疏点云的精确配准，实现激光点云和稀疏点云数据的融合；7）基于融合后的点云数据生成变电站实景三维模型。本发明能改善单一来源数据三维建模的精度，同时提高三维建模的效率。

Description

一种基于多源数据融合的变电站三维建模方法介质及系统
技术领域
本发明涉及一种基于多源数据融合的变电站三维建模方法介质及系统，属于三维重建技术领域。
背景技术
地面三维激光扫描仪采用激光测距的方法，能够高效地获取目标区域地三维数据，得到高精度的三维模型，但该方法的效率相对较低且无法获得物体表面的纹理信息；倾斜摄影测量技术采用航拍图像对目标区域进行三维建模，能够直观、真实的反映地物特征，并且具有效率高、成本低、灵活便捷等特点，但该方法的精度相对较低。因此，如何结合激光扫描的高精度特性和倾斜摄影测量技术的高效率、灵活便捷的特点，实现一种高精度、高效率的变电站三维建模方法在目前仍然是一项很有意义的任务。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于多源数据融合的变电站三维建模方法、存储介质及系统，能够解决单一激光扫描技术或者单一的倾斜摄影技术所带来的三维建模的低效率、低精度等问题。
为达到上述目的，本发明提供一种基于多源数据融合的变电站三维建模方法，包括：
获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
对倾斜摄影图像进行预处理，对激光点云进行预处理；
使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
统一激光点云与稀疏点云的空间坐标系；
对激光点云和稀疏点云进行粗配准；
基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。优先地，获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云，包括：
在无人机倾斜摄影对变电站全面积进行覆盖的前提下，调整无人机飞行高度，使得无人机的4个倾斜镜头拍摄得到的倾斜摄影图像与无人机的垂直镜头拍摄的垂直图像的重合度保持在60％～80％；
使用无人机对相互遮挡的变电站中的主变区设备进行两次覆盖拍摄，拍摄时无人机的飞行轨迹设置在变电站的主变区设备形成的行列间隔之间，且无人机两次拍摄的飞行轨迹在水平面上相互垂直；基于地面式激光扫描仪的扫描的范围，对地面式激光扫描仪设置多个扫描点，使得地面式激光扫描仪的扫描范围覆盖整个变电站，利用地面式激光扫描仪扫描变电站的外部轮廓得到激光点云。
优先地，步骤2)中，对倾斜摄影图像进行预处理，对激光点云进行预处理，包括以下步骤：对倾斜摄影图像进行图像去噪，对激光点云进行去噪和平滑处理。
优先地，统一激光点云与稀疏点云的空间坐标系，包括：
将激光点云和稀疏点云通过旋转变换和平移变换统一到同一空间坐标系下，激光点云表示为其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d；稀疏点云表示为/>其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d；
将激光点云和稀疏点云表示为用于刻画变电站的同一组点云，公式为： 其中H表示激光点云X和稀疏点云Y的集合，hi表示的是H中的任意一点，集合H中一共有(n+m)个点，每个点的维度为d。
优先地，运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准。
优先地，运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准，包括：
5.1)通过k最近邻算法选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间的存在线性关系，wi为要求解的权重系数，通过求解如下损失函数的方式对wi进行求解：
其中，J(w)表示回归问题的损失函数，其中为激光点云与稀疏点云的集合，/>表示hi的k个最近邻，/>表示hi和它的k个最近邻/>之间的线性权重系数；基于公式(1)，在约束/>条件下最小化损失函数，求得/>
5.2)已知集合H中的点hi和k个最近邻之间的线性权重系数假设集合H中的点投影之后变为/>其中U表示集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，为了集合H中的点进行投影之后保留原来的线性关系，用最小化损失函数表示为：
其中，J(u)表示损失函数，表示ui的k个最近邻，其中/>为要求解的变量，加入约束/>和/>其中上标T表示向量转置；
5.3)稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化目标公式为：
其中，表示激光点云/>投影变换之后的点；/>表示稀疏点云 投影变换之后的点，且/>和/>投影变换之后每个点的维度由原来的d维变为3维，/>和/>分别表示/>和/>的k个最近邻，/>和/>分别表示/>以及它的k个最近邻/>之间的线性权重系数和/>以及它的k个最近邻/>之间的线性权重系数，λ1和λ2表示正则化参数，公式(3)在约束条件分别为/>和/>的情况下分别求得/>以及/>I为单位矩阵，其中上标T表示向量转置；
5.4)将点云配准问题转化成非对齐的多视图问题，利用最大均值差异来描述激光点云和稀疏点云分布的距离，表示为：
其中，φ(xi)和φ(yi)表示对激光点云和稀疏点云进行一种映射，将映射函数设置为高斯核函数对应的投影函数，MMD(X,Y)的值越小表示激光点云和稀疏点云分布差异小，MMD(X,Y)的值越大表示激光点云和稀疏点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，所述目标函数表示为：
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为 和/>优先地，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，目标公式为：
初始时，和/>均为赋予的随机值，
表示关于/>和/>的损失函数，最小化/>得到新的/>和新的其中，/>表示激光点云投影变换之后的点云，其中每个点云的维度为3；/>表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；/>表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的旋转变换，/>表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的平移变换，统称为刚体变换；
表示为：
其中，需要求解的变量是表示/>中的点/>在/>中对应的最近点；重复上述步骤直到公式(6)满足设定的收敛阈值，得到/>得到对应的关系点对/>和对应的最优刚体变换/>将投影变换后的激光点云/>进行刚体变换，然后激光点云/>和投影变换后的稀疏点云/>进行融合，获得融合后的点云数据S。
优先地，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。
一种计算机可读存储介质，所述可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述所述方法的步骤。
一种基于多源数据融合的变电站三维建模系统，包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，以及扫描变电站的外部轮廓所得到的激光点云；
预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
本发明所达到的有益效果：
1)能够提高实景三维建模的效率：
本方法在实现倾斜摄影三维建模中，对预处理的图像进行单体化建模，这相对于一次性整体建模的优点在于可以提高空中三角解算的效率，且降低了对计算机的内存和处理器等硬件的要求；与此同时，在基于融合后的点云数据S上，构建不规则三角网格，实现纹理的自动映射，相比较激光点云三维建模时的人工贴图，本发明的三维建模效率有很大提高。
2)能够提高实景三维建模的精度：
单一倾斜摄影图像实现三维建模虽然具有灵活、便捷和高效等优点，但其精度不高，因此本发明提出了一种点云融合算法，在点云粗配准阶段设计出一种面向非对齐多视图数据融合的局部线性嵌入模型，然后使用迭代最近点算法实现点云的融合，相比单一的倾斜摄影三维建模，本发明利用激光点云的高精度数据来提高实景三维建模的精度。
附图说明
图1为本发明的方法流程图；
图2为本发明中面向非对齐多视图数据融合的局部线性嵌入模型的流程图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于多源数据融合的变电站三维建模方法，包括以下步骤：
根据变电站的占地面积设置无人机的飞行高度和飞行轨迹，无人机倾斜摄影装置在对变电站全面积进行覆盖的前提下，调整飞行高度，使得无人机的4个倾斜镜头拍摄的图像与垂直镜头拍摄的图像的重合度保持在60％～80％，由于变电站的主变区设备相互遮挡较为严重，因此使用无人机倾斜摄影装置对整个区域进行两次全区域覆盖拍摄，飞行轨迹设置在变电设备形成的行列间隔之间，且两次拍摄的飞行轨迹相会垂直。
在无人机倾斜摄影航拍结束之后，在地面设置地面激光扫描仪的扫描点，据地面激光扫描仪的扫描的范围，设置多个扫描点，每次扫描范围的重合度保持10％～20％，便于实现激光点云的拼接，对于激光扫描不到的建筑顶部需要额外设置扫描点，从而确保激光扫描仪覆盖到了整个变电站区域。
对拍摄得到的图像和激光扫描得到的激光点云进行相应的预处理，对倾斜摄影得到的图像进行图像去噪，提高空中三角解算的精度，对激光点云进行去噪和平滑处理，滤去一些较为明显的野值点。
使用处理好的图像为变电站的进行单体化建模，得到每个变电设备的初步三维模型和密集点云，这样可以提高空中三角解算的效率，接着实现变电站密集点云的拼接，从而得到变电站全区域的密集点云，然后导出密集点云数据，最后进行点云抽稀得到稀疏点云，这样可以提高点云处理效率。
借助计算机视觉方法，完成激光点云与稀疏点云空间坐标系的统一，激光点云表示为其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d，稀疏点云表示为/>其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d，由于这两者都是表示变电站的三维点云，因此激光点云和稀疏点云也可以看成同一组点云，即：/>其中H表示激光点云X和稀疏点云Y的集合，hi表示的是激光点云X和稀疏点云Y中的任意一点，这两者一共有(n+m)个点，每个点的维度为d。
运用现有技术中的面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云和稀疏点云的分布的距离尽可能的小，实现激光点云和稀疏点云的粗配准，具体描述为：
5.1)首先通过KNN选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间存在线性关系wi，wi为要求解的权重系数。可通过求解如下损失函数的方式对wi进行求解：
其中J(w)表示回归问题的损失函数，hi表示集合H中每个点，表示hi的k个最近邻，/>表示hi和它的k个最近邻/>之间的线性权重系数，可基于该公式在约束/>条件下最小化损失函数，可以求得/>
5.2)在已知集合H中点hi和k个最近邻之间的线性权重系数wij的前提条件下，假设集合H中的点云投影之后变为了其中U表示的是激光点云和稀疏点云的集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，那么我们希望集合H中的点进行投影之后可以保留原来的线性关系，即最小化损失函数：
其中J(u)表示该问题的损失函数，表示ui的k个最近邻，其中/>为要求解的变量，求解过程中为了防止平凡解和得到标准化的低维数据，我们加入约束/>和/>
5.3)本发明中使用的FaroFocus3D激光扫描仪的点位精度在距离为70m时为±3mm，而倾斜摄影得到的稀疏点云在平面和高程中精度为±0.10m，所以激光扫描仪得到的激光点云精度高，倾斜摄影得到的点云数据精度相对较低，因此在利用局部线性嵌入算法时，不同精度的点云数据在融合过程中起到的作用程度不同，我们利用高精度的激光点云数据提高变电站三维模型的精度，稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化的局部线性嵌入算法：
其中和/>表示激光点云/>和稀疏点云/>投影变换之后的点，且投影变换之后每个点的维度由原来的d维变为3维，/>和/>分别表示/>和/>的k个最近邻，/>和/>分别表示/>以及它的k个最近邻/>之间的线性权重系数和/>以及它的k个最近邻/>之间的线性权重系数，λ1和λ2表示正则化参数，该公式在约束条件为 和/>的情况下求得/>以及/>I为单位矩阵。
5.4)由于变电站三维点云来自于地面式激光扫描仪和倾斜摄影，且来自于地面式激光扫描仪的激光点云和基于倾斜摄影图像得到的稀疏点云中点的个数不相同，因此这里的点云配准问题可转化成非对齐的多视图问题。由于激光点云和稀疏点云都是刻画变电站的三维结构，因此激光点云和稀疏点云具有强相关性，从而可利用最大均值差异来描述两组点云分布的距离，即：
其中φ(xi)、φ(yi)表示点云数据进行一种映射，本发明中我们将映射函数设置为高斯核函数对应的投影函数，n和m分别表示激光点云和稀疏点云中点的个数，MMD(X,Y)的值小于1，表示两组点云数据分布差异小；MMD(X,Y)的值大于1，表示两组点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，目标函数为：
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为 和/>其中上标T表示向量转置。
进一步地，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，具体描述为：
初始时，和/>均为赋予的随机值，
表示关于/>和/>的损失函数，最小化/>得到新的/>和新的其中，/>表示激光点云投影变换之后的点云，其中每个点云的维度为3；/>表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；/>表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的旋转变换，/>表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的平移变换，统称为刚体变换；
具体描述为：
其中，需要求解的变量是表示/>中的点/>在/>中对应的最近点；
重复上述步骤直到公式(6)满足设定的收敛阈值，得到得到对应的关系点对和对应的最优刚体变换/>
将投影变换后的激光点云进行刚体变换，然后激光点云/>和投影变换后的稀疏点云/>进行融合，获得融合后的点云数据S。
进一步地，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。此步骤是现有技术，本实施例中不再做具体说明。
一种计算机可读存储介质，所述可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现上述所述方法的步骤。
一种基于多源数据融合的变电站三维建模系统，包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，扫描变电站的外部轮廓得到激光点云；预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于多源数据融合的变电站三维建模方法，其特征在于，包括：
获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
对倾斜摄影图像进行预处理，对激光点云进行预处理；
使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
统一激光点云与稀疏点云的空间坐标系；
对激光点云和稀疏点云进行粗配准；
基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型；
其中，所述统一激光点云与稀疏点云的空间坐标系，包括：
将激光点云和稀疏点云通过旋转变换和平移变换统一到同一空间坐标系下，激光点云表示为其中X表示激光点云中点的集合，xi表示激光点云中的任意一点，激光点云总共有n个点，每个点的维度为d；稀疏点云表示为/>其中Y表示稀疏点云中点的集合，yi表示稀疏点云中的任意一点，稀疏点云总共有m个点，每个点的维度为d；
将激光点云和稀疏点云表示为用于刻画变电站的同一组点云，公式为： 其中H表示激光点云X和稀疏点云Y的集合，hi表示的是H中的任意一点，集合H中一共有(n+m)个点，每个点的维度为d；
所示对激光点云和稀疏点云进行粗配准，包括：
运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准，包括：
5.1)通过k最近邻算法选择集合H中每个点hi的k个最近邻，假设hi和这k个最近邻之间的存在线性关系，wi为要求解的权重系数，通过求解如下损失函数的方式对wi进行求解：
其中，J(w)表示回归问题的损失函数，其中为激光点云与稀疏点云的集合，表示hi的k个最近邻，/>表示hi和它的k个最近邻/>之间的线性权重系数；基于公式(1)，在约束/>条件下最小化损失函数，求得/>
5.2)已知集合H中的点hi和k个最近邻之间的线性权重系数假设集合H中的点投影之后变为/>其中U表示集合H投影变换之后的集合，ui表示的是集合U中的任意一点，集合U一共有(n+m)个点，每个点的维度为3，为了集合H中的点进行投影之后保留原来的线性关系，用最小化损失函数表示为：
其中，J(u)表示损失函数，表示ui的k个最近邻，其中/>为要求解的变量，加入约束/>和/>其中上标T表示向量转置；
5.3)稀疏点云的精度低于激光点云，利用更高精度的激光点云提高变电站三维模型的精度，在激光点云和稀疏点云上运用最小化的局部线性嵌入算法，最小化目标公式为：
其中，表示激光点云/>投影变换之后的点；/>表示稀疏点云/> 投影变换之后的点，且/>和/>投影变换之后每个点的维度由原来的d维变为3维，/>和/>分别表示/>和/>的k个最近邻，/>和/>分别表示/>以及它的k个最近邻/>之间的线性权重系数和/>以及它的k个最近邻/>之间的线性权重系数，λ1和λ2表示正则化参数，公式(3)在约束条件分别为/>和/>的情况下分别求得/>以及/>I为单位矩阵，其中上标T表示向量转置；
5.4)将点云配准问题转化成非对齐的多视图问题，利用最大均值差异来描述激光点云和稀疏点云分布的距离，表示为：
其中，φ(xi)和φ(yi)表示对激光点云和稀疏点云进行一种映射，将映射函数设置为高斯核函数对应的投影函数，MMD(X,Y)的值越小表示激光点云和稀疏点云分布差异小，MMD(X,Y)的值越大表示激光点云和稀疏点云数据分布差异大；
5.5)为了约束激光点云和稀疏点云的分布距离，将公式(4)作为一项正则化项添加进目标函数，使得激光点云与稀疏点云的距离尽可能的小，求得经过粗配准的激光点云和稀疏点云，所述目标函数表示为：
其中，λ1、λ2和λ3表示正则化参数，该公式的约束条件为 和/>
2.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云，包括：
在无人机倾斜摄影对变电站全面积进行覆盖的前提下，调整无人机飞行高度，使得无人机的4个倾斜镜头拍摄得到的倾斜摄影图像与无人机的垂直镜头拍摄的垂直图像的重合度保持在60％～80％；
使用无人机对相互遮挡的变电站中的主变区设备进行两次覆盖拍摄，拍摄时无人机的飞行轨迹设置在变电站的主变区设备形成的行列间隔之间，且无人机两次拍摄的飞行轨迹在水平面上相互垂直；基于地面式激光扫描仪的扫描的范围，对地面式激光扫描仪设置多个扫描点，使得地面式激光扫描仪的扫描范围覆盖整个变电站，利用地面式激光扫描仪扫描变电站的外部轮廓得到激光点云。
3.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，步骤2)中，对倾斜摄影图像进行预处理，对激光点云进行预处理，包括以下步骤：对倾斜摄影图像进行图像去噪，对激光点云进行去噪和平滑处理。
4.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S，包括：
6.1)初始时，和/>均为赋予的随机值；
6.2)
表示关于/>和/>的损失函数，最小化/>得到新的/>和新的/>其中，/>表示激光点云投影变换之后的点云，其中每个点云的维度为3；/>表示稀疏点云投影变换之后的点云，其中每个点云的维度为3；表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的旋转变换，表示投影变换后的激光点云/>和投影变换后的稀疏点云/>之间的平移变换，统称为刚体变换；
6.3)表示为：
其中，需要求解的变量是表示/>中的点/>在/>中对应的最近点；重复步骤6.2)和6.3)直到公式(6)满足设定的收敛阈值，得到/>得到对应的关系点对/>和对应的最优刚体变换/>
将投影变换后的激光点云进行刚体变换，然后激光点云/>和投影变换后的稀疏点云/>进行融合，获得融合后的点云数据S。
5.根据权利要求1所述的一种基于多源数据融合的变电站三维建模方法，其特征在于，基于融合后的点云数据S构建不规则三角网模型，将倾斜摄影图像映射到不规则三角网模型上，实现纹理自动映射，生成变电站实景三维模型。
6.一种计算机可读存储介质，所述可读存储介质存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-5所述方法的步骤。
7.一种基于多源数据融合的变电站三维建模系统，其特征在于，采用如权利要求1-5任一项所述的变电站三维建模方法，所述变电站三维建模系统包括：
图像点云获取模块，被配置用于获取倾斜摄影图像，以及扫描变电站的外部轮廓得到激光点云；
预处理模块，被配置用于对倾斜摄影图像进行预处理，对激光点云进行预处理；
密集点云拼接稀疏模块，被配置用于使用预处理后的倾斜摄影图像为变电站的进行单体化建模，得到每个变电站设备的密集点云，所有变电站设备的密集点云拼接后得到变电站的密集点云数据，对该密集点云进行抽稀得到稀疏点云；
空间坐标系统一模块，被配置用于统一激光点云与稀疏点云的空间坐标系；
点云粗配准模块，被配置用于运用面向非对齐多视图数据融合的局部线性嵌入模型，在考虑保持激光点云局部线性结构特征和稀疏点云局部线性结构特征在投影前后保持一致的同时，利用最大均值差异保证激光点云与稀疏点云的分布相似，进行激光点云和稀疏点云的粗配准；点云精确配准模块，被配置用于基于迭代最近点算法对激光点云和稀疏点云进行精确配准，完成激光点云和稀疏点云的融合，获得融合后的点云数据S；
变电站实景三维模型生成模块，被配置用于基于融合后的点云数据S和倾斜摄影图像实现纹理自动映射，生成变电站实景三维模型。
CN202110466492.3A 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统 Active CN113298947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110466492.3A CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110466492.3A CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Publications (2)

Publication Number Publication Date
CN113298947A CN113298947A (zh) 2021-08-24
CN113298947B true CN113298947B (zh) 2023-10-03

Family

ID=77320610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110466492.3A Active CN113298947B (zh) 2021-04-28 2021-04-28 一种基于多源数据融合的变电站三维建模方法介质及系统

Country Status (1)

Country Link
CN (1) CN113298947B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628341B (zh) * 2021-08-31 2023-12-19 珠海尚方清洁能源科技有限公司 基于倾斜摄影数据和lidar点云融合自动单体化建模的方法
CN114186603B (zh) * 2021-09-28 2022-07-01 北京博能科技股份有限公司 多源模型单体化融合方法及系统、存储介质及终端
CN114820747A (zh) * 2022-06-28 2022-07-29 安徽继远软件有限公司 基于点云和实景模型的航线规划方法、装置、设备及介质
CN116468762B (zh) * 2023-04-17 2024-06-25 南京邮电大学 一种变电站点云配准方法、装置、电子设备及存储介质
CN116912251A (zh) * 2023-09-13 2023-10-20 深圳市超诺科技有限公司 一种提高红外打猎相机检测灵敏度的检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014080330A2 (en) * 2012-11-22 2014-05-30 Geosim Systems Ltd. Point-cloud fusion
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法
CN109523582A (zh) * 2018-09-10 2019-03-26 中国矿业大学(北京) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法
CN112233056A (zh) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 一种多源数据的点云融合方法、装置和存储介质
CN112258624A (zh) * 2020-09-15 2021-01-22 广东电网有限责任公司 一种三维实景融合建模的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014080330A2 (en) * 2012-11-22 2014-05-30 Geosim Systems Ltd. Point-cloud fusion
CN104463894A (zh) * 2014-12-26 2015-03-25 山东理工大学 一种多视角三维激光点云全局优化整体配准方法
CN109523582A (zh) * 2018-09-10 2019-03-26 中国矿业大学(北京) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
US10713841B1 (en) * 2019-01-18 2020-07-14 Unkie Oy System for generating point cloud map and method therefor
CN112258624A (zh) * 2020-09-15 2021-01-22 广东电网有限责任公司 一种三维实景融合建模的方法
CN112233056A (zh) * 2020-10-16 2021-01-15 北京恒华伟业科技股份有限公司 一种多源数据的点云融合方法、装置和存储介质
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李策 ; 吴长悦 ; .倾斜摄影与地面激光点云融合精细化建模研究.现代矿业.2019,(第05期),全文. *

Also Published As

Publication number Publication date
CN113298947A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN109974707B (zh) 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN110009732A (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN113643434B (zh) 基于空地协同的三维建模方法、智能终端以及存储装置
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
CN116958437A (zh) 融合注意力机制的多视图重建方法及系统
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN115631317B (zh) 隧道衬砌正射影像生成方法及装置、存储介质、终端
CN115082446B (zh) 一种基于图像边界提取的飞机蒙皮铆钉的测量方法
Liu et al. Dense stereo matching strategy for oblique images that considers the plane directions in urban areas
CN113034681B (zh) 空间平面关系约束的三维重建方法及装置
CN114429527A (zh) 基于slam的远程操作场景三维重建方法
Hong et al. Liv-gaussmap: Lidar-inertial-visual fusion for real-time 3d radiance field map rendering
CN107610216B (zh) 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN116740488A (zh) 一种用于视觉定位的特征提取模型的训练方法及装置
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
Bai et al. Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration
CN113256693A (zh) 基于K-means与正态分布变换的多视角配准方法
CN112950683B (zh) 基于点特征的航空影像和机载点云配准优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211102 No. 280 Heyan Road, Nanjing, Jiangsu

Applicant after: JIANGSU POWER TRANSMISSION AND DISTRIBUTION Co.,Ltd.

Applicant after: Nanjing University of Posts and Telecommunications

Address before: 211102 no.58-5, Suyuan Avenue, Jiangning District, Nanjing City, Jiangsu Province

Applicant before: JIANGSU POWER TRANSMISSION AND DISTRIBUTION Co.,Ltd.

Applicant before: Nanjing University of Posts and Telecommunications

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant