CN114758061A

CN114758061A - 基于三维模型点云网格数据构建温度场的方法

Info

Publication number: CN114758061A
Application number: CN202210259003.1A
Authority: CN
Inventors: 孙笑云; 戴惠怡; 张金兰; 任登凤
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2022-03-16
Filing date: 2022-03-16
Publication date: 2022-07-15

Abstract

本发明公开了一种基于三维模型点云网格数据构建温度场的方法，该方法步骤如下：使用无人机倾斜摄影获得图像数据；对原始数据进行预处理，包括降低分辨率、转换灰度图和边缘锐化，优化建模所需的数据量和建模效果；建立基本三维模型，与其他预处理方法对比，对模型的精度、时间、点云数量等参数进行评估和调整直到符合具体项目要求；根据上述模型进行提取点云，并对其进行语义分割；将点云数据网格化；使用点云网格数据进行热处理；建立简易的温度场。该方法将建模前的数据通过预处理进行简化，便于高效、较准确地构建模型并提取出温度场计算所需的点云数据。

Description

基于三维模型点云网格数据构建温度场的方法

技术领域

本发明涉及三维重建技术，特别是一种基于三维模型点云网格数据构建温度场的方法。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。随着三维建模技术的快速发展，利用三维重建点云数据的温度场处理系统，逐渐成为测绘、仿真相关人员的广泛关注使用的快捷热处理方法。同一套无人机倾斜摄影的原始数据，根据模型后续使用目的产生了多种侧重方向不同的建模方法。

有许多需要对场景建模计算的领域都在积极尝试与三维重建技术结合，比如在采矿领域，很多的矿山开采企业在开采矿山前都会使用无人机三维倾斜摄影技术来对矿山样貌以及重要地点进行测量；在古建筑研究领域，通过采集古建筑多视角影像,利用三维模型重建,对古建筑的进行保护和数字化存档。

热处理领域也有相关研究，如为了验证示温漆的性能，利用Kinect的深度相机与彩色相机进行两相机标定。深度图像滤波，点云分割，配准和融合最后进行三维重建，来验证各模块示温漆温度。为了排查预知发动机状态及其所存在的潜在安全隐患。其运用一种光线追迹算法的航空发动机尾气温度场重建，并对温度场进行分析。

但是对于大范围的温度场重建还鲜有人研究，在少有的公开文献中，都是通过已有的点云数据去计算温度场的大小，主要研究方向也集中于通过三维空间中热辐射和热对流等物理现象。并没有改进三维重建过程本身让其更贴切温度场的需求。

发明内容

本发明的目的在于提出一种基于三维模型点云网格数据构建温度场的方法，有效提高建模效率。

实现本发明目的的技术解决方案为：一种基于三维模型点云网格数据构建温度场的方法，包括以下步骤：

步骤1：使用无人机倾斜摄影获得图像数据；

步骤2：对原始数据进行预处理，包括降低分辨率、转换灰度图和边缘锐化；

步骤3：建立基本三维模型，对模型参数进行评估和调整直到符合预设要求；

步骤4：对模型进行语义分割；

步骤5：点云数据网格化；

步骤6：建立简易的温度场。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于三维模型点云网格数据构建温度场的方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于三维模型点云网格数据构建温度场的方法。

本发明与现有技术相比，其显著优点为：(1)对于用于构建温度场的三维模型，有针对性的设计了优化处理速度的方法；并提供了完整的六大部分技术路线；(2)结合五向和井字飞行，设计了一种新的飞行路径，确保数据精度的前提下，大幅度缩短了数据获取的时间；(3)提出了忽略色彩和植被细节等非必要数据，强调边缘低离散程度的图像预处理手段，可以有效减少建模后边缘离散度和重投影误差；(4)允许操作者直接对点云进行处理，更加方便和直接，不用将点云转换为体素或者特定视角的图像等更加规整的格式；(5)通过地表热模型和光线追踪模型，利用本发明中的部分建筑立面点云面片数据模拟计算即可得到一个简易的温度场。

下面结合附图对本发明作进一步详细描述：

附图说明

图1为本发明基于三维模型点云网格数据构建温度场提升速度的方法的流程图。

图2为典型点48小时内温度变化图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

结合图1，本发明提供一种基于三维模型点云网格数据构建温度场的方法，所述方法包括以下步骤：

步骤1：使用无人机倾斜摄影获得图像数据，包括飞行参数设计，航线设计；

步骤2：对原始数据进行预处理，包括降低分辨率、转换灰度图和边缘锐化，优化建模所需的数据量和建模效果；

步骤3：建立基本三维模型，对模型参数进行评估和调整直到符合具体项目要求；

步骤4：对模型进行语义分割；

步骤5：点云数据网格化；

步骤6：建立简易的温度场。

进一步地，在其中一个实施例中，步骤1所述使用无人机倾斜摄影获得图像数据，具体包括：

步骤1-1，解读无人机内置的参数设计方法，实验对比选定航测效率最高的飞行参数，内置的参数包括飞行高度和云台角度；

步骤1-2，无人机航线设计为利用omap软件将拍摄区域分成东西南北中五个块状区域，其中中部区域为目标核心建模区域，对划分后的五个区域以2D航线分别从四个倾斜+一个垂直方向进行拍摄，经过一次飞行完成数据采集。

采用本实施例的方案，将拍摄区域分成五个区，分别以2D航线以垂直+四个倾斜角度拍摄，与传统倾斜摄影飞行方法：五向飞行和井字飞行相比，在缩短拍摄时长，减少拍摄数据的同时，更能准确地对拍摄中部区域所在房屋的立面进行采样。

进一步地，在其中一个实施例中，步骤2所述对原始数据进行预处理，具体包括：

步骤2-1，降低分辨率，将图片缩小到原有像素精度的1/4；

步骤2-2，将彩色图像转换为灰度图；

步骤2-3，采用边缘锐化降低边缘离散度，并采用

的算子模板；

采用本实施例的方案，其中降低分辨率，将彩色图像转换为灰度图有效缩短建模时间，图像预处理后的建模时间为未经预处理的1/3；采用边缘锐化降低边缘离散度后，物体边缘有明显突出，精度整体得到了提升。

进一步地，在其中一个实施例中，步骤3所述建立基本三维模型，具体包括：

步骤3-1，搜索所有尺度上的图像位置；通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点，所用高斯微分函数公式为：

式中：σ是正态分布的标准差，r为模糊半径，模糊半径是指模板元素到模板中心的距离，N为空间维度的数量；

步骤3-2，根据稳定程度选择关键点，并在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度；所用矩阵模型为：

(6σ+1)×(6σ+1)

步骤3-3，在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。采集其所在高斯金字塔图像3邻域窗口内像素的梯度和方向分布特征。所用测量梯度的模值和方向公式为：

模值:

方向公式θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

式中：L为关键点所在的尺度空间值；x，y为关键点基准方向；

步骤3-4，对所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。所用旋转不变性公式为：

式中：r为采样点的半径大小，这一步将保证梯度方向为x方向

为旋转后坐标值；

步骤3-5，对图片两两之间的特征点匹配，即每一个图像对I和J，考虑每一个特征f∈F(I)并找到最近邻的特征向量f_nn∈F(J),其中f_nn表达为：

式中：F(I)表示图像I周围的特征点，F(J)表示图像J周围的特征点，f_d为点与最近邻匹配向量的距离，f′_d为点与第二近邻匹配向量的距离

步骤3-6，用SVD求坐标x左边矩阵的零空间，再将最后一个元素归一化到1，即可求得x，三维重建的物体大小。

采用本实施例的方案：鲁棒性强，适合用来提取尺度变换和旋转角度的各种图片特征点信息；准确性强，且在离线算法下不需要考虑时间成本；得到特征点的位置信息(x，y)，同时还可获得尺寸和方向信息。

进一步地，在其中一个实施例中，步骤4所述语义分割，具体包括：

步骤4-1，利用SFM算法提取点云数据；

步骤4-2，对输入点云即固定数目的点的xyz三维坐标做仿射变换；

步骤4-3，通过两层感知肌提取特征层，连接每个点；

步骤4-4，更高维的仿射变换，使求解出来的仿射变换矩阵接近于不会丢失信息的正交矩阵。所利用的放射变换矩阵：

L_reg＝||I-AA^T||_F ²

式中：L为仿射变换后的矩阵，I为正交矩阵，A是要估计的放射变换矩阵；

步骤4-5，针对点云的整体提取出global feature(全特征)；

步骤4-6，将每个点的局部特征和全局特征进行拼接，得到维度为n x m的输出，即它对应每一类的预测分数；

步骤4-7，根据每个点的分类预测分数，整合临近同类点、分离不同类的点，最终得到语义分割后独立的目标点云。

采用本实施例的方案，针对点云具有无序性、稀疏性、信息量有限等特点，不需要将点云转换为体素等更加规整的格式，操作者可以直接对点云进行处理，更加方便和直接。

进一步地，在其中一个实施例中，步骤5所述点云数据网格化，具体包括：

步骤5-1，设置一个半径为10cm的3D球，将其放置在点云数据上；

步骤5-2，若该球碰到三个点(并且不会在回到这三个点)，就依据三点创造一个三角形。并沿已有三角形的边开始滚动，继续创造新的三角形；

采用本实施例的方案，与传统方法相比，可以实现点云网格化后精度统一、面元数量可调，以及不会因为点的离散而产生包络面的优点。

进一步地，在其中一个实施例中，步骤6所述建立简易的温度场,具体包括：

步骤6-1，建立地表热模型，所用地表能量热平衡方程为：

Q_sun+Q_skyr+M_g+H+LE+G＝0

式中：Q_sun为地表所吸收的太阳短波辐射；Q_skyr为地表所吸收的大气长波辐射；M_g为地表的辐出度；H为地表与环境之间的显热交换；LE为地表由于水分散失而引起的潜热交换；G为地表得到的热通量；

步骤6-2，计算光裸地表潜热及显热通量，所用显热通量公式为：

H＝ρ_aC_PC_Dμ_a′(T_a-T_g)

式中：ρ_a为空气密度(kg/m³)；C_p为空气定压比热容(J/kg·K)；T_a为参考高度处的大气温度(K)，T_g为地表温度(K)；μ_a`为风速(m/s)；C_D为拖曳系数；

所用潜热通量公式为：

LE＝ρ_aLC_Dμ_aw_s(q′_a-q_c)

式中：ρ_a为空气密度(kg/m³)；L为水的汽化潜热(J/kg)；C_D为拖曳系数；W_s为地表表层含水量；q_a`为参考高度处的比湿；q_c为地表表面温度下的饱和比湿；

步骤6-3，人造材质地表潜热交换；考虑人造材质的地表时可以认为没有水分蒸发，设置潜热通量为零，显热通量按光裸地表计算。

步骤6-4，编写温度场的计算程序。

结合图2，样点温度变化符合预期温度变化，选取其他点所得图像也基本符合该曲线走向；故可以将热计算的方法应用于点云网格数据，最终处理为模拟温度场数据。

本发明首次提出了一种完整的点云网格构建温度场的优化方法，并进一步完善从无人机数据采集到温度场构建的完整技术路线，包括无人机飞行、图像预处理、三维点云重建、点云分割、点云网格化等方面。最终高效、较准确地构建了模型并提取出温度场计算所需的点云数据。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种基于三维模型点云网格数据构建温度场的方法，其特征在于，包括以下步骤：

步骤1、使用无人机倾斜摄影获得图像数据；

步骤2、对原始数据进行预处理，包括降低分辨率、转换灰度图和边缘锐化；

步骤3、建立基本三维模型，对模型参数进行评估和调整直到符合预设要求；

步骤4、对模型进行语义分割；

步骤5、点云数据网格化；

步骤6、建立温度场。

2.根据权利要求1所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤1所述的无人机倾斜摄影，包括飞行参数设计、航线设计，具体如下：

步骤1-1，解读无人机内置参数的设计方法，实验对比选定航测效率最高的飞行参数，内置的参数包括飞行高度和云台角度；

3.根据权利要求2所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤2所述的对原始数据进行预处理，具体包括：

步骤2-1，降低分辨率，将图片缩小到原有像素精度的1/4；

步骤2-2，将彩色图像转换为灰度图；

步骤2-3，采用边缘锐化降低边缘离散度，并采用

的算子模板。

4.根据权利要求3所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤3所述的建立基本三维模型，具体包括：

式中，σ为正态分布的标准差，r为模糊半径，N为空间维度的数量；

(6σ+1)×(6σ+1)

步骤3-3，在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度；采集其所在高斯金字塔图像3邻域窗口内像素的梯度和方向分布特征；所用测量梯度的模值和方向公式为：

模值：

方向公式：θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

式中，L为关键点所在的尺度空间值；x，y为关键点基准方向；

步骤3-4，对图像数据关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性；旋转不变性公式为：

式中，r为采样点的半径大小，这一步将保证梯度方向为x方向

为旋转后坐标值；

式中：F(I)表示图像I周围的特征点，F(J)表示图像J周围的特征点，f_d为点与最近邻匹配向量的距离，f′_d为点与第二近邻匹配向量的距离；

5.根据权利要求4所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤4所述语义分割，具体包括：

步骤4-1，利用SFM算法提取点云数据；

步骤4-3，通过两层感知机提取特征层，连接每个点；

步骤4-4，更高维的仿射变换，使求解出来的仿射变换矩阵接近于不会丢失信息的正交矩阵；所利用的放射变换矩阵：

L_reg＝||I-AA^T||_F ²

式中，L_reg为仿射变换后的矩阵，I为正交矩阵，A为要估计的放射变换矩阵；

步骤4-5，针对点云的整体提取出全特征；

步骤4-6，将每个点的局部特征和全局特征进行拼接，得到维度为nxm的输出，即它对应每一类的预测分数；

6.根据权利要求5所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤5所述点云数据网格化，具体包括：

步骤5-2，若该球碰到三个点，依据三点创造一个三角形；并沿已有三角形的边开始滚动，继续创造新的三角形。

7.根据权利要求6所述的基于三维模型点云网格数据构建温度场的方法，其特征在于，步骤6所述建立简易的温度场，具体包括：

步骤6-1，建立地表热模型，所用地表能量热平衡方程为：

Q_sun+Q_skyr+M_g+H+LE+G＝0

式中，Q_sun为地表所吸收的太阳短波辐射；Q_skyr为地表所吸收的大气长波辐射；M_g为地表的辐出度；H为地表与环境之间的显热交换；LE为地表由于水分散失而引起的潜热交换；G为地表得到的热通量；

H＝ρ_aC_PC_Dμ_a′(T_a-T_g)

式中，ρ_a为空气密度，C_p为空气定压比热容，T_a为参考高度处的大气温度，T_g为地表温度；μ_a`为风速，C_D为拖曳系数；

所用潜热通量公式为：

LE＝ρ_aLC_Dμ_aw_s(q_a′-q_c)

式中，L为水的汽化潜热，W_s为地表表层含水量，q_a`为参考高度处的比湿，q_c为地表表面温度下的饱和比湿；

步骤6-3，人造材质地表潜热交换；考虑人造材质的地表时认为没有水分蒸发，设置潜热通量为零，显热通量按光裸地表计算；

步骤6-4，编写温度场计算程序。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的基于三维模型点云网格数据构建温度场的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于三维模型点云网格数据构建温度场的方法。