CN115578524B - 红外三维重构方法、系统、存储介质及计算机设备 - Google Patents

红外三维重构方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN115578524B
CN115578524B CN202211576067.0A CN202211576067A CN115578524B CN 115578524 B CN115578524 B CN 115578524B CN 202211576067 A CN202211576067 A CN 202211576067A CN 115578524 B CN115578524 B CN 115578524B
Authority
CN
China
Prior art keywords
point cloud
infrared
dimensional
target object
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211576067.0A
Other languages
English (en)
Other versions
CN115578524A (zh
Inventor
曾晗
邬睿源
龚宇鹏
陈铭骏
郑天毅
叶富根
林文萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202211576067.0A priority Critical patent/CN115578524B/zh
Publication of CN115578524A publication Critical patent/CN115578524A/zh
Application granted granted Critical
Publication of CN115578524B publication Critical patent/CN115578524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种红外三维重构方法、系统、存储介质及计算机设备，该方法包括以下步骤：获取目标物的点云数据；对点云数据进行配准拼接处理，以得到点云模型；将点云模型进行三维重构，以得到三维模型；获取目标物的红外图像，并将红外图像投影至三维模型的三维坐标上，得到具有红外特征的三维模型。通过获取目标物的三维模型及红外图像，将红外图像投影至三维模型的三维坐标上，得到具有红外特征的三维模型，运维人员通过上述具有红外特征的三维模型可以快速了解目标物的温度及其对应的位置信息，通过展示景深信息和三维模型，相对于目前的二维图像，极大的提高了检测效率。

Description

红外三维重构方法、系统、存储介质及计算机设备
技术领域
本发明涉及三维重构技术领域，特别涉及一种红外三维重构方法、系统、存储介质及计算机设备。
背景技术
随着铁路系统和供电系统发展的逐步壮大，牵引供电系统与变电站包含的变压器、避雷器、电流互感器和电压互感器等一系列用电设备数量都在逐年增加。
由于高铁线路的快速扩增，牵引变电设备和电力设备数量倍增，同时运维人员检修的难度也逐年攀升。
现有技术当中，为提高检修效率，运维人员通常采用红外测温设备拍摄变电设备的热成像图像，基于热成像图像确定变电设备的温度信息，变电设备某部位出现故障时，会导致该部位相应的表面区域温度过高；
然而，由于变电设备尤其是一些具有套管的设备(例如变压器、避雷器、电流互感器和电压互感器等)，而高温显示所对应的位置可能存在于任意方位对应的部分表面区域，从而导致检测准确率降低，降低检测效率。
发明内容
针对现有技术的不足，本发明的目的在于提供一种红外三维重构方法、系统、存储介质及计算机设备，旨在解决现有技术中检测效率较低的技术问题。
为了实现上述目的，本发明是通过如下技术方案来实现的：一种红外三维重构方法，包括以下步骤：
获取目标物的点云数据；
对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型；
对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型；
采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
与现有技术相比，本发明的有益效果在于：通过激光雷达等测量设备对变电设备进行扫描得到点云数据，进一步对点云数据进行配准拼接处理，得到点云模型，将点云模型进行三维重构，得到三维模型，同时获取变电设备的红外图像，将红外图像投影至三维模型的三维坐标上，得到具有红外特征的三维模型，运维人员通过上述具有红外特征的三维模型可以快速了解变电设备的温度及其对应的位置信息，尤其针对具有套管的设备，通过展示景深信息和三维模型，相对于目前的二维图像，极大的提高了检测效率。
进一步地，所述对所述点云数据依次进行粗配准和精配准处理的步骤具体包括：
基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整；
通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型。
进一步地，所述基于SAC-IC算法对所述点云数据进行粗配准的步骤具体包括：
基于待配准点云和目标点云之间的变换关系，并根据所述变换关系求得到对应点变换的距离误差和函数，函数表达式如下：
Figure SMS_1
；
式中，H(li)代表距离误差和、ml代表预设精度参考值、li表示点云位置变换后的距离差。
进一步地，所述将所述点云模型进行三维重构的步骤具体包括：
利用Delaunay细分算法形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。
进一步地，所述将所述点云模型进行三维重构的步骤之前，所述方法还包括：
根据以下公式对所述点云模型的数据点进行滤波降噪处理：
p'=p+αn；
Figure SMS_2
；
x=p-pi；
式中，p为上边界数据点、pi为下边界数据点、n为数据点p的法向量、p'为滤波完成后的数据点、α为双边滤波因子、x为数据点间距、m代表数据点p的M最近邻域Nm(Pi)中的数据点个数、θp和θc分别代表数据点p的M最近邻域Nm(Pi)法向高度长和内切平面的高斯滤波。
进一步地，在得到三维模型的步骤之后，所述方法包括：
根据以下公式对重建的三角网格面质量进行评估：
Figure SMS_3
；
式中，Q代表质量精度、dn和dmax分别代表三角形第n条边的长度和最长边的长度。
进一步地，所述基于预设的采样交叠率对目标物进行点云扫描的步骤具体包括：
根据以下公式计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率；
Figure SMS_4
；
Figure SMS_5
；
通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据：
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为所求目标物的旋转矩阵、tj为所求目标物的平移矩阵。
本发明的另一方面还提供了一种套管模型红外三维重构系统，包括：
获取模块，用于获取目标物的点云数据；
处理模块，用于对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型；
重构模块，用于对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型；
红外模块，用于采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
进一步地，所述处理模块具体包括：
粗配准单元，用于基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整；
精配准单元，用于通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型。
进一步地，所述粗配准单元具体用于基于待配准点云和目标点云之间的变换关系，并根据所述变换关系求得到对应点变换的距离误差和函数，函数表达式如下：
Figure SMS_6
；
式中，H(li)代表距离误差和、ml代表预设精度参考值、li表示点云位置变换后的距离差。
进一步地，所述重构模块具体用于，利用Delaunay细分算法形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。
进一步地，所述红外三维重构系统还包括：
降噪模块，用于根据以下公式对所述点云模型的数据点进行滤波降噪处理：
Figure SMS_7
；
Figure SMS_8
；
x=p-pi；
式中，p为上边界数据点、pi为下边界数据点、n为数据点p的法向量、p'为滤波完成后的数据点、α为双边滤波因子、x为数据点间距、m代表数据点p的M最近邻域Nm(Pi)中的数据点个数、θp和θc分别代表数据点p的M最近邻域Nm(Pi)法向高度长和内切平面的高斯滤波。
进一步地，所述红外三维重构系统还包括：
质量评估模块，用于根据以下公式对重建的三角网格面质量进行评估：
Figure SMS_9
；
式中，Q代表质量精度、dn和dmax分别代表三角形第n条边的长度和最长边的长度。
进一步地，所述获取模块具体用于：根据以下公式计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率；
通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据；
Figure SMS_10
；
Figure SMS_11
；
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为牵引变压器套管旋转矩阵、tj为牵引变压器套管平移矩阵。
本发明的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述技术方案中所述的方法。
本发明的另一方面还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如如上述技术方案中所述的方法。
附图说明
本发明的上述与/或附加的方面与优点从结合下面附图对实施例的描述中将变得明显与容易理解，其中：
图1为本发明第一实施例中红外三维重构方法的流程图；
图2为本发明第二实施例中红外三维重构方法的流程图；
图3为本发明第二实施例中不同交叠率下点云数据拼接误差曲线图；
图4为本发明第二实施例中ICP算法流程图；
图5为本发明第二实施例中曲面重构流程图；
图6为本发明第二实施例中三维模型三角面重建流程图；
图7为本发明第三实施例中红外三维重构系统的结构框图；
图8为本发明第五实施例中数据处理设备的结构示意图；
图中主要元器件符号说明：
获取模块100、处理模块200、粗配准单元210、精配准单元220、重构模块300、红外模块400、降噪模块500、质量评估模块600、处理器10、存储器20、计算机程序30。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的多实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例中的红外三维重构方法的流程图，包括以下步骤：
步骤S100，获取目标物的点云数据。具体来说，在本步骤中，上述点云数据基于三维扫描测量设备对变电设备进行扫描得到，上述三维扫描测量设备可以采用立体摄像头、激光雷达、越渡时间相机等。在本实施例中，由于不需要采集目标物的颜色信息，具体采用激光雷达对具有套管的变电设备进行扫描，激光雷达是一种主动式测量系统，通过高频测距和扫描测角采集目标物的距离、位置、角度等观测信息，从而实现目标物高分辨率三维空间信息的获取，上述点云数据包括一个三维坐标系统中的一组向量的集合。
步骤S110，对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型。具体来说，在本步骤中，由于相邻目标物点云采集帧中存在数据重叠，故需要对点云数据进行配准拼接，从而得到点云模型，上述粗配准可以采用局部特征描述的方法、基于全局搜索策略以及通过统计学概率等方法实现，上述精配准可以采用常用的ICP算法通过计算源点云与目标点云对应点距离，构造旋转平移矩阵，通过对源点云变换，计算变换之后的均方差实现，若均方差满足阈值条件，则算法结束。否则则继续重复迭代直至误差满足阈值条件或者迭代次数终止。
步骤S120，对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型。具体来说，在本步骤中，目标物的三维重构需要完成从点云模型到三维模型的转换，以形成实体模型，具体可采用Delaunay细分算法或泊松算法等将点云数据中的数据点连接起来形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。
步骤S130，采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。具体来说，在本步骤中，通过将点云数据处理后获取的目标物三维模型坐标展开，把提取出的目标设备红外二维图像正交投影至展开的三维模型坐标上，得到可有效展示红外特征的用电设备红外三维模型。
综上，本发明上述实施例当中的红外三维重构方法，通过激光雷达对变电设备进行扫描得到点云数据，进一步对点云数据进行配准拼接处理，得到点云模型，将点云模型进行三维重构，得到三维模型，同时获取变电设备的红外图像，将红外图像投影至三维模型的三维坐标上，得到具有红外特征的三维模型，运维人员通过上述具有红外特征的三维模型可以快速了解变电设备的温度及其对应的位置信息，尤其针对具有套管的设备，通过展示景深信息和三维模型，相对于目前的二维图像，极大的提高了检测效率。
请参阅图2，所示为本发明第二实施例中的红外三维重构方法的流程图，包括以下步骤：
步骤S200，计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率。
具体来说，上述计算不同交叠率下的具体数据采集完整度、旋转误差ER和平移误差Et的相关计算公式如下所示：
Figure SMS_12
；
Figure SMS_13
；
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为算法生成的牵引变压器套管旋转矩阵、tj为算法生成的牵引变压器套管平移矩阵。
示例而非限定，在本实施例的一些应用场景中，为探究最适合变电场所的采样交叠率，在确保准确性的前提下，分析实验了最适合日常工程的交叠率，如图3所示，为变压器套管的不同交叠率点云数据拼接误差曲线图，由上图可知，旋转和平移误差会随着采样交叠率的上升下降，当采样交叠率达到50%后，其值将不再产生大幅度变化。在一定范围内，点云数据采集完整度也与采样交叠率呈正相关关系。由图3的实验数据可知：当采样交叠率ROA∈(0%,25%)时，大量目标物点云数据缺失，配准精度低噪音干扰大；当ROA∈(25%,40%)时，部分缺失数据已被点云块交叠区域填补，但仍存在一定漏洞；当ROA∈(40%,80%)时，已可得到较完整的目标物点云模型。经数据拟合后，考虑其存在一定偶然性，本实施例选择50%的交叠率采集点云数据。
步骤S210，通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据。
具体来说，在本步骤中，由于激光雷达扫描获取的数据是一系列离散的不规则的三维坐标数据点，相邻采样范围内曲率相差较大时会导致信息缺失产生一些数据空洞，为了利于后期的点云配准，以及预防采集目标物点云数据时出现的数据缺失现象，本发明使用二维交叠式扫描方法，即两个激光雷达基于两个方向角扫描以获取点云数据。
步骤S220，基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整。具体来说，在本步骤中，由于传统精配准ICP算法在迭代过程中对点云数据的初始位置要求较高，本实施例中通过在精配准算法ICP前引入SAC-IA算法，使迭代次数得以优化的同时相较于ICP算法其拼接精度提升了约70%，配准耗时也减少了约20%。
具体来说，上述步骤S220具体包括：
步骤S221，基于待配准点云和目标点云之间的变换关系，并根据所述变换关系求得到对应点变换的距离误差和函数，函数表达式如下：
Figure SMS_14
；
式中，H(li)代表距离误差和、ml代表预设精度参考值、li表示点云位置变换后的距离差；具体来说，上述ml代表手动输入的预设精度参考值，当上述点云位置变换后的距离差li的绝对值小于预设精度参考值ml时，满足：H(li)＝1/2*li 2；
当上述点云位置变换后的距离差li的绝对值大于预设精度参考值ml时，满足：H(li)＝1/2*ml（2‖li‖-ml）。
步骤S230，通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型。具体来说，在本步骤中，上述精准配采用ICP配准算法，该算法的原理是：通过空间变换交叠点云的重叠区域点云P和目标点云Q，使两组点云之间空间距离最小。
基于欧氏距离残差的ICP最优目标模型为：
Figure SMS_15
；
上式中，qi和pi代表匹配点对（即原始点云及与其对应匹配的目标点云），m代表qi和pi的数据点个数，R和T代表旋转和平移矩阵。如图4所示，求解最优目标模型(R,T)的具体步骤如下：
（1）计算原始点云pi(i=1,2,⋯m)在目标点云qi(i=1,2,⋯m)的最近点；
（2）计算旋转和平移矩阵R和T，使目标模型f(R,T)最小；
（3）通过旋转和平移矩阵R和T变换重叠区域点云P，得到新的点云集合P’；
（4）计算P’与Q之间的距离：
Figure SMS_16
（5）当距离D小于预设的误差或此时超过了目标迭代次数时，停止迭代，反之则返回第一步重新开始计算直至满足收敛条件。
步骤S240，对所述点云模型的数据点进行滤波降噪处理。具体来说，在实施例中，由于变电环境较为复杂，点云数据采集过程中常因微波折射产生噪音，故在计算高斯曲率和平均曲率后使用双边滤波算法对点云模型进行降噪处理，双边滤波公式为：
p'=p+αn；
Figure SMS_17
；
x=p-pi；
式中，p为上边界数据点、pi为下边界数据点（即上述原始点云）、n为数据点p的法向量、p'为滤波完成后的数据点、α为双边滤波因子、x为数据点间距、m代表数据点p的M最近邻域Nm(Pi)中的数据点个数、θp和θc分别代表数据点p的M最近邻域Nm(Pi)法向高度长和内切平面的高斯滤波；
具体来说，在本实施例的一些应用场景中，上述激光雷达从预设方向移动进行扫描，上述扫描方向的上下两侧为扫描的边界点，上述p为扫描上边界数据点、pi为扫描下边界数据点。
步骤S250，利用Delaunay细分算法形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。具体来说，如图5所示为该步骤中曲面重构的流程图，在本实施例中，目标物的三维重构需要完成从点云模型到三维模型的转换，利用Delaunay细分算法形成三角网格，再利用高斯和平均曲率生成曲率线最终形成NURBS曲面完成三维模型重构。
Delanuay三角剖分算法用直线将点云数据中的点连接起来，形成一个外边界为凸多边形的三维图形，由于细分过程中把空外接圆作为优化准则，其构成的三角形最小内均角最大，网格最大化地保持了规范均匀，而基于隐式曲面重建的泊松算法平滑散乱点云中潜在的噪音。
曲面生成是从三角网格到三维模型的重要一步，曲面生成指根据封闭曲线的四条边界形成曲面片，其技术原理既是通过细分规则，把模型表面划分到足够光滑的程度。NURBS曲面是由NURBS曲线扩展到二维的一种曲面生成方法，由于其具备局部可修改特性，利于不均匀节点间隔的定义，方便刻画复杂的变电场所设备结构。一维k次NURBS曲线的有理多项式矢函数表示为：
Figure SMS_18
；
其中，ti(i=0,1,⋯,n)和di(i=0,1,⋯,n)分别代表NURBS的加权因子和控制顶点，Ni，k（u）表示沿着u方向的曲面函数。沿u,v方向，构造k×l次NURBS曲面，形成(m×n)控制网格的有理分式表示为：
Figure SMS_19
；
其中，Nj，l（v）表示沿着v方向的曲面函数、tij和dij分别代表NURBS曲面的控制权因子和控制顶点。
基于Delaunay三角剖分法得到的网格三角形内角最小值可以最大化，为生成NURBS曲面提供良好的前提条件。三角网格输入后通过计算高斯曲率和平均曲率形成曲率线，包围处理生成曲面，最终完成从点云模型到三维模型的转换。主要步骤包括曲率分割和NURBS曲面。
优选地，为判断Delaunay和泊松算法对于变电环境的有效性，以及评价算法的精度，对重建的三角网格面质量进行评估。三角面质量评估算法如式：
Figure SMS_20
；
其中，Q代表质量精度、dn和dmax分别代表三角形第n条边的长度和最长边的长度。
在取得完备点云数据后，分别用泊松算法和Delaunay细分算法对曲面进行重建。当获得的三角网格更趋近于等边三角形，即Q的值趋近于1时，质量更优。
便于理解地，上述三维模型三角面重建流程图如图6所示。
步骤S260，采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
综上，本实施例中的红外三维重构方法，由于传统ICP算法在迭代过程中对点云数据的初始位置要求较高，通过对传统的ICP算法做出改进，在精配准算法ICP前引入SAC-IA算法（粗配准），迭代次数得以优化的同时相较于ICP算法其拼接精度提升了约70%，配准耗时也减少了约20%；三角网格面重构时，泊松算法与Delaunay细分算法获得的网格质量分别大部分分布在区间[0.4,0.8]和区间[0.8,1]，本实施例通过采用Delaunay细分算法重建网格面，最后基于网格划分生成NURBS曲面，得到更为完整的设备三维模型；通过将红外测温技术和激光雷达扫描技术把红外图像与三维模型结合起来，解决目前二维图像设备无景深信息和三维模型无法展示设备温度信息的问题，以满足如今的设备检修需求，提高检测效率。
本发明第三实施例还提供了一种红外三维重构系统，如图7所示该红外三维重构系统包括：获取模块100，用于获取目标物的点云数据；
处理模块200，用于对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型；
重构模块300，用于对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型；
红外模块400，用于采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
具体来说，在本实施例中，上述处理模块200具体包括：
粗配准单元210，用于基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整，具体来说，上述粗配准单元具体用于基于待配准点云和目标点云之间的变换关系，并根据所述变换关系求得到对应点变换的距离误差和函数。
精配准单元220，用于通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型。
进一步地，在本实施例中，上述重构模块300具体用于，利用Delaunay细分算法形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。
更进一步地，在本实施例中，上述红外三维重构系统还包括：
降噪模块500，用于根据以下公式对所述点云模型的数据点进行滤波降噪处理：
p'=p+αn；
Figure SMS_21
；
x=p-pi；
式中，p为上边界数据点、pi为下边界数据点、n为数据点p的法向量、p'为滤波完成后的数据点、α为双边滤波因子、x为数据点间距、m代表数据点p的M最近邻域Nm(Pi)中的数据点个数、θp和θc分别代表数据点p的M最近邻域Nm(Pi)法向高度长和内切平面的高斯滤波。
优选地，在本实施例中，上述红外三维重构系统还包括：
质量评估模块600，用于根据以下公式对重建的三角网格面质量进行评估：
Figure SMS_22
；/>
式中，Q代表质量精度、dn和dmax分别代表三角形第n条边的长度和最长边的长度。
优选地，在本实施例中，上述获取模块具体用于：根据以下公式计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率；
通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据；
Figure SMS_23
；
Figure SMS_24
；
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为牵引变压器套管旋转矩阵、tj为牵引变压器套管平移矩阵。
综上，本实施例中的红外三维重构系统，通过设置处理模块200，由于传统ICP算法在迭代过程中对点云数据的初始位置要求较高，通过对传统的ICP算法做出改进，在精配准算法ICP前引入SAC-IA算法（粗配准），迭代次数得以优化的同时相较于ICP算法其拼接精度提升了约70%，配准耗时也减少了约20%；三角网格面重构时，泊松算法与Delaunay细分算法获得的网格质量分别大部分分布在区间[0.4,0.8]和区间[0.8,1]，本实施例通过设置重构模块300，采用Delaunay细分算法重建网格面，最后基于网格划分生成NURBS曲面，得到更为完整的设备三维模型；通过设置红外模块400，将红外测温技术和激光雷达扫描技术把红外图像与三维模型结合起来，解决目前二维图像设备无景深信息和三维模型无法展示设备温度信息的问题，以满足如今的设备检修需求，提高检测效率。
本发明第四实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的方法。
本发明第五实施例提供了一种计算机设备，请参阅图8，所示为本发明第五实施例当中的数据处理设备，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器执行所述程序时实现上述的方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是数据处理设备的内部存储单元，例如该数据处理设备的硬盘。存储器20在另一些实施例中也可以是数据处理设备的外部存储装置，例如数据处理设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）等。进一步地，存储器20还可以既包括数据处理设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于数据处理设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图8示出的结构并不构成对数据处理设备的限定，在其它实施例当中，该数据处理设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多种变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种红外三维重构方法，其特征在于，包括以下步骤：
获取目标物的点云数据；
其中，所述获取目标物的点云数据的步骤具体包括：
根据以下公式计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率：
Figure QLYQS_1
；
Figure QLYQS_2
；
通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据；
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为所求目标物的旋转矩阵、tj为所求目标物的平移矩阵；
对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型；
其中，所述对所述点云数据依次进行粗配准和精配准处理的步骤具体包括：
基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整；
通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型；
对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型；
采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
2.根据权利要求1所述的红外三维重构方法，其特征在于，所述基于SAC-IC算法对所述点云数据进行粗配准的步骤具体包括：
基于待配准点云和目标点云之间的变换关系，并根据所述变换关系求得到对应点变换的距离误差和函数，函数表达式如下：
Figure QLYQS_3
；
式中，H(li)代表距离误差和、ml代表预设精度参考值、li表示点云位置变换后的距离差。
3.根据权利要求1所述的红外三维重构方法，其特征在于，所述对所述点云模型依次进行三角网格划分和曲面重建的步骤具体包括：
利用Delaunay细分算法形成三角网格，并利用高斯和平均曲率生成曲率线，形成NURBS曲面以完成三维模型的重构。
4.根据权利要求1所述的红外三维重构方法，其特征在于，所述对所述点云模型依次进行三角网格划分和曲面重建的步骤之前，所述方法还包括：
根据以下公式对所述点云模型的数据点进行滤波降噪处理：
p'=p+αn；
Figure QLYQS_4
；
x=p-pi；
式中，p为上边界数据点、pi为下边界数据点、n为数据点p的法向量、p'为滤波完成后的数据点、α为双边滤波因子、x为数据点间距、m代表数据点p的M最近邻域Nm(Pi)中的数据点个数、θp和θc分别代表数据点p的M最近邻域Nm(Pi)法向高度长和内切平面的高斯滤波。
5.根据权利要求1所述的红外三维重构方法，其特征在于，在得到三维模型的步骤之后，所述方法包括：
根据以下公式对重建的三角网格面质量进行评估：
Figure QLYQS_5
；
式中，Q代表质量精度、dn和dmax分别代表三角形第n条边的长度和最长边的长度。
6.一种红外三维重构系统，其特征在于，包括：
获取模块，用于获取目标物的点云数据；
所述获取模块具体用于：根据以下公式计算不同交叠率下的点云数据的旋转误差及平移误差，以基于所述旋转误差及所述平移误差，选择得到预设采样交叠率；
通过激光雷达，并采用所述预设采样交叠率以二维交叠式的方式对目标物进行点云扫描，以获取目标物的点云数据；
Figure QLYQS_6
；
Figure QLYQS_7
；
式中，ER为旋转误差、Et为平移误差、Ri为预设旋转矩阵、ti为预设平移矩阵、Rj为牵引变压器套管旋转矩阵、tj为牵引变压器套管平移矩阵；
处理模块，用于对所述点云数据依次进行粗配准和精配准处理，实现所述点云数据的拼接，以得到对应的点云模型；
所述处理模块具体包括：
粗配准单元，用于基于SAC-IC算法对所述点云数据进行粗配准，以对所述点云数据中的初始坐标位置进行调整；
精配准单元，用于通过迭代最近点方法对粗配准后的点云数据进行精配准，实现对所述点云数据的拼接，得到点云模型；
重构模块，用于对所述点云模型依次进行三角网格划分和曲面重建，以形成所述目标物的三维模型；
红外模块，用于采集所述目标物的红外二维图像，并将所述红外二维图像投影至所述三维模型的坐标中，以得到所述目标物的红外三维模型。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一所述的方法。
8.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的方法。
CN202211576067.0A 2022-12-09 2022-12-09 红外三维重构方法、系统、存储介质及计算机设备 Active CN115578524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211576067.0A CN115578524B (zh) 2022-12-09 2022-12-09 红外三维重构方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211576067.0A CN115578524B (zh) 2022-12-09 2022-12-09 红外三维重构方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN115578524A CN115578524A (zh) 2023-01-06
CN115578524B true CN115578524B (zh) 2023-03-31

Family

ID=84590042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211576067.0A Active CN115578524B (zh) 2022-12-09 2022-12-09 红外三维重构方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN115578524B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030103B (zh) * 2023-03-07 2024-02-27 北京百度网讯科技有限公司 确定砌筑质量的方法、装置、设备和介质
CN117874421A (zh) * 2023-12-06 2024-04-12 广州海洋地质调查局 一种海洋重力数据降噪方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049385A (zh) * 2021-10-15 2022-02-15 哈尔滨工业大学（威海） 基于自适应配准的多激光雷达自主建网系统、方法、终端
CN115147833A (zh) * 2022-07-25 2022-10-04 温州大学乐清工业研究院 一种零部件位姿识别方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665535A (zh) * 2018-05-10 2018-10-16 青岛小优智能科技有限公司 一种基于编码光栅结构光的三维结构重建方法与系统
CN109115347A (zh) * 2018-07-23 2019-01-01 深圳供电局有限公司 一种电缆沟热点检测方法及系统
CN109410334A (zh) * 2018-09-21 2019-03-01 桂林电子科技大学 一种基于特征线的三维网格模型缺陷孔洞修复方法
CN109389626B (zh) * 2018-10-10 2021-08-20 湖南大学 一种基于采样球扩散的复杂异形曲面点云配准方法
CN110517193B (zh) * 2019-06-28 2022-04-12 西安理工大学 一种海底声呐点云数据处理方法
CN112562082A (zh) * 2020-08-06 2021-03-26 长春理工大学 一种三维人脸重建方法及系统
CN112102458A (zh) * 2020-08-31 2020-12-18 湖南盛鼎科技发展有限责任公司 基于激光雷达点云数据辅助的单镜头三维图像重构方法
CN112562067A (zh) * 2020-12-24 2021-03-26 华南理工大学 一种生成大批量点云数据集的方法
CN113160129B (zh) * 2021-03-08 2022-09-30 南京理工大学 组合式精简点云数据的快速配准方法
CN113390514B (zh) * 2021-06-16 2022-11-11 中国人民解放军军事科学院国防工程研究院 一种基于多传感器阵列的三维红外温度测量方法
CN113884002B (zh) * 2021-08-16 2023-08-29 江苏集萃智能光电系统研究所有限公司 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN114022526B (zh) * 2021-11-29 2024-04-26 合肥工业大学 一种基于三维形状上下文的sac-ia点云配准方法
CN115272616A (zh) * 2022-08-18 2022-11-01 中国地质大学（武汉） 一种室内场景三维重建方法、系统、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049385A (zh) * 2021-10-15 2022-02-15 哈尔滨工业大学（威海） 基于自适应配准的多激光雷达自主建网系统、方法、终端
CN115147833A (zh) * 2022-07-25 2022-10-04 温州大学乐清工业研究院 一种零部件位姿识别方法及系统

Also Published As

Publication number Publication date
CN115578524A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN115578524B (zh) 红外三维重构方法、系统、存储介质及计算机设备
Xu et al. H-nerf: Neural radiance fields for rendering and temporal reconstruction of humans in motion
Digne et al. Scale space meshing of raw data point sets
US8805908B2 (en) Approximation processing method and approximation processing device
Wang et al. Curvature-guided adaptive T-spline surface fitting
Zhao et al. Sign-agnostic implicit learning of surface self-similarities for shape modeling and reconstruction from raw point clouds
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN116071519B (zh) 基于调和映射生成网格模型的图像处理方法和装置
Wang et al. A novel method for surface mesh smoothing: applications in biomedical modeling
Kang et al. Point cloud smooth sampling and surface reconstruction based on moving least squares
CN116051751A (zh) 一种基于三平面表示的三维语义占有预测方法与系统
CN114581328A (zh) 一种料堆点云数据插补方法、装置、设备及介质
CN114792360A (zh) 基于快速傅立叶变换的动态海洋仿真方法
CN114419280A (zh) 一种快速三维点云生成三维网格的方法
Chen et al. Fitting a surface to 3-D points using an inflating balloon model
CN105574904A (zh) 一种图像重建方法、装置及设备
Zhang et al. FastMESH: Fast Surface Reconstruction by Hexagonal Mesh-based Neural Rendering
CN117607829B (zh) 激光雷达点云的有序化重建方法、计算机可读存储介质
CN117523106B (zh) 一种单目结构光的三维重建方法、系统、设备及介质
Yan et al. Point cloud data fitting-based reverse engineering technique for digital model updating of assembly structure
CN118134984A (zh) 一种基于特征边界线的三维重建算法及三维重建系统
Wang et al. A topology preserved mesh simplification algorithm
Pan et al. Improved QEM simplification algorithm based on local area feature information constraint
Amanatiadis et al. A Log-Polar interpolation applied to image scaling
Lee et al. Trash removal algorithm for fast construction of the elliptic Gabriel graph using Delaunay triangulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant