CN110866969A - 基于神经网络与点云配准的发动机叶片重构方法 - Google Patents
基于神经网络与点云配准的发动机叶片重构方法 Download PDFInfo
- Publication number
- CN110866969A CN110866969A CN201910994398.8A CN201910994398A CN110866969A CN 110866969 A CN110866969 A CN 110866969A CN 201910994398 A CN201910994398 A CN 201910994398A CN 110866969 A CN110866969 A CN 110866969A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- blade
- dimensional
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000009499 grossing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- YVPYQUNUQOZFHG-UHFFFAOYSA-N amidotrizoic acid Chemical compound CC(=O)NC1=C(I)C(NC(C)=O)=C(I)C(C(O)=O)=C1I YVPYQUNUQOZFHG-UHFFFAOYSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络与点云配准的发动机叶片重构方法，用于解决现有发动机叶片重构方法精度差的技术问题。技术方案是首先采集多组发动机叶片的深度图像和彩色图像，并将经前期数据处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD‑tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。
Description
技术领域
本发明涉及一种发动机叶片重构方法，特别涉及一种基于神经网络与点云配准的发动机叶片重构方法。
背景技术
叶片是航空发动机最主要的部件之一，它的设计制造性能和可靠性直接关系到整台发动机的性能水平耐久性和寿命。然而叶片出现断裂的概率在发动机部件中最高，危害性也最大，往往是一个叶片折断而打坏其他叶片，乃至使整台发动机无法工作而危及飞行安全。因此，如何重构完整的发动机叶片，完成对发动机的性能水平耐久性和寿命检测是当前研究的热点问题之一。
计算机三维重建是计算机中一个重要的领域，且具有二维图形不可比拟的特征。近年来，计算机视觉、深度学习、点云、3D扫描和3D打印的发展，极大的促进了三维重建技术的发展。受到测量条件的限制，对物体表面的扫描往往需要通过多次测量来完成。由于多次测量时测量设备与被测物体之间空间位置的相对变化通常无法有效估计，需要用算法对扫描得到的三维点云进行整合、配准和表面映射，以得到一副物体的完整三维模型。
文献1“申请公布号是CN110070559A的中国发明专利”公开了一种基于无人机图像的风力发电叶片三维重构方法，该方法包括图像特征点匹配、点云数据获取、点云数据网格化等步骤构建三维模型。使用基于图像尖锐度的角点匹配算法，将Canny边缘检测算子和8邻域轮廓追踪算法相结合提取单一像素级较清晰的边缘轮廓线，然后用简单有效的图像尖锐度算法提取角点，最后进行角点的粗匹配和精匹配，建立不同视角的两幅图像中感兴趣角点的一一对应关系，获得较精准的角点匹配对。但是该方法提及的点云配准算法精度不高，速度较慢，影响点云数据精度。
文献2“申请公布号是CN109767497A的中国发明专利”公开了一种基于自动检测航空叶片表面质量的检测方法。该发明设计了一套叶片检测硬件和算法，使用机械臂与变位器相互配合采集点云数据进行处理，主要包括：获取叶片三维数据、重构三维模型、三维路线规划、表面图像获取、算法服务器识别。但该方法使用机械臂操作复杂，且针对于采集到的数据未进行处理，对生成的三维模型具有较大影响。
发明内容
为了克服现有发动机叶片重构方法精度差的不足，本发明提供一种基于神经网络与点云配准的发动机叶片重构方法。该方法首先采集多组发动机叶片的深度图像和彩色图像，并对其进行前期数据处理。将处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD-tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。
本发明解决其技术问题所采用的技术方案：一种基于神经网络与点云配准的发动机叶片重构方法，其特点是包括以下步骤：
步骤一、叶片初始彩色图像与深度图像的采集。使用Kinect2.0图像采集设备，分别采集发动机叶片多组彩色图像和深度图像。使用Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有颜色信息的三维坐标。
步骤二、对彩色图像和深度图像进行处理，生成初始叶片3D点云。对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：
其中，(u′,v′)为深度图像的任意一点像素Dd的坐标，(Xd,Yd,Zd)为点(u′,v′)对应的三维空间坐标转化后的三维点云坐标，(uOIR,vOIR)为红外相机的光心坐标，像素坐标(u′,v′)对应的深度值(fUIR,fVIR)为红外相机的焦距。
步骤三、初始点云滤波，获取滤波后叶片点云数据。使用KD-tree算法查找点P(xi,yj,zi)，i＝1,2……,n的空间临近点Pj，j＝1,2……,n，求解空间点pi与其临近点的平均距离di，如果平均距离di在[μ-ασ,μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除。滤波公式为：
其中，μ为全局距离平均值，σ为标准差，di为平均距离，(xi,yi,zi)为临近点坐标，(xj,yj,zj)为空间点坐标，n为点云个数。
步骤四、采用神经网络对叶片数据进行点云配准。输入源点云PS和目标点云PT，通过共享MLP和对称池化函数，计算全局特征向量φ(P3)和φ(PT)。雅可比J用φ(PT)计算一次。找到最优扭曲参数，用于逐步更新P3的姿态，然后重新计算全局特征向量φ(PS)，完成点云配准。
设PT，P3分别为模板和源点云。φ表示PointNet函数，φ：R3×N→RK，使得对于输入点云P∈R3×N，φ(P)产生K维向量描述符。函数φ将多层感知器应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，得到K维全局描述符。将源点云PS与目标点云PT配准的刚体变换G∈SE(3)。变换G由指数映射表示为：
G＝exp(∑iξiTi) ξ＝(ξ1,ξ2,...,ξ6)T, (3)
式中，Ti是指数映射的生成元，其扭曲参数为ξ∈R6。
三维点云配准的目的即为找到G，使得
使用简写(·)来表示通过刚性变换G对PS的变换。
为求解G使得
迭代优化使用LK算法中的逆组合公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云。通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次。采用相反的框架实现目标：
φ(PS)＝φ(G-1·PT) (4)
下一步是线性化式(4)的右侧：
定义G-1＝exp(-∑iξiTi).
将雅可比矩阵表示为
其中J∈RK×6。此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架。选择使用随机梯度方法计算J。具体方法是，雅可比行列的每个列Ji通过有限差分梯度近似计算为
式中，ti是扭曲参数ξ的微小扰动。
对于模板点云，J仅计算一次，对于雅可比行列的每个列Ji，仅第i个扭曲参数具有非零值ti。ti是无穷小的，因此J等于分析导数。
公式(5)中的ξ为ξ＝J+[φ(PS)-φ(PT)] (7)
其中，J+是J的Moore-Penrose逆。
扭曲参数，然后将源点云PS更新为Ps←ΔG·PS ΔG＝exp(∑iξiTi) (8)
最终估计Gest是迭代循环期间计算的所有增量估计的乘积：
Gest＝ΔGn·...·ΔG1·ΔG0 (9)
点云配准迭代的停止标准基于ΔG的最小阈值。
步骤五、纹理映射以及叶片表面的生成。
从点云配准后获得的完整点云数据中获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理。使用三角面三个顶点a,b,c与三角形中心O距离a,b,c,a/(a+b+c),b/(a+b+c),c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息。通过点云颜色映射，最终获得完整三维模型。
本发明的有益效果是：该方法首先采集多组发动机叶片的深度图像和彩色图像，并对其进行前期数据处理。将处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD-tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明方法中三维信息采集硬件设备示意图。
图2是本发明方法中系统整体框图。
图3是图2中点云配准部分神经网络框架图。
图4是本发明方法中点云配准算法与传统ICP算法计算时间对比图。
图5是图2中表面生成部分叶片表面纹理生成流程图。
具体实施方式
参照图1-5。本发明基于神经网络与点云配准的发动机叶片重构方法具体步骤如下：
步骤1：叶片初始彩色图像与深度图像的采集。使用Kinect2.0图像采集设备，选取某型号故障涡轮叶片，分别采集多组深度图像和彩色图像。使用微软提供的Kinect ForWindows SDK软件进行编程，获得叶片在空间坐标系中具有的颜色信息的三维坐标。
步骤2：对彩色图像和深度图像处理，以生成初始叶片3D点云。对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：
其中：(u′,v′)为深度图像的任意一点像素Dd的坐标，(Xd,Yd,Zd)为点(u′,v′)对应的三维空间坐标，转化后的三维点云坐标，(uOIR,vOIR)为红外相机的光心坐标，像素坐标(u′,v′)对应的深度值(fUIR,fVIR)为红外相机的焦距。
步骤3：初始点云滤波，获取滤波后叶片点云数据。使用KD-tree算法查找点P(xi,yj,zi)(i＝1,2……,n)的空间临近点Pj(j＝1,2……,n),求解空间点pi与其临近点的平均距离di，如果di在[μ-ασ,μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除。滤波公式为：
其中：μ为全局距离平均值，σ为标准差，di为平均距离，(xi,yi,zi)为临近点坐标，(xj,yj,zj)为空间点坐标，n为点云个数。
步骤4：采用神经网络对叶片数据进行点云配准。输入源点云PS和目标点云PT通过共享MLP和对称池化函数，以计算全局特征向量φ(PS)和φ(PT)。雅可比J用φ(PT)计算一次。找到最优扭曲参数，用于逐步更新PS的姿态，然后重新计算全局特征向量φ(PS)，完成点云配准。
详细算法原理如下：设P4，PS分别为模板和源点云。φ表示PointNet函数，φ：R3×N→RK，使得对于输入点云P∈R3×N，φ(P)产生K维向量描述符。函数φ将多层感知器(MLP)应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，从而得到K维全局描述符。将源点云PS与目标点云PT配准的刚体变换G∈SE(3)。变换G由指数映射表示为：
G＝exp(∑iξiTi) ξ＝(ξ1,ξ2,...,ξ6)T, (3)
上式中Ti是指数映射的生成元，其扭曲参数为ξ∈R6。
三维点云配准的目的即为找到G，使得
上式中使用简写(·)来表示通过刚性变换G对PS的变换。
为求解G使得
迭代优化使用传统LK算法中的逆组合(IC)公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云。通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次。采用相反的框架来实现目标：
φ(PS)＝φ(G-1·PT) (4)
下一步是线性化(4)的右侧：
这里定义G-1＝exp(-∑iξiTi).
将雅可比矩阵表示为
其中J∈RK×6。此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架。选择使用随机梯度方法计算J。具体方法是，雅可比行列的每个列Ji通过有限差分梯度来近似计算为
上式中ti是扭曲参数ξ的微小扰动。
对于模板点云，J仅计算一次，并且不需要重新计算，因为在迭代配准期间源点云会变形。对于雅可比行列的每个列Ji，仅第i个扭曲参数具有非零值ti。ti是无穷小的，因此J等于分析导数。在所有迭代中将ti设置为一些小的固定值会产生最佳结果。
公式(5)中的ξ为
ξ＝J+[φ(PS)-φ(PT)] (7)
其中J+是J的Moore-Penrose逆。
扭曲参数，然后将源点云PS更新为Ps←ΔG·PS ΔG＝exp(∑iξiTi) (8)
最终估计Gest是迭代循环期间计算的所有增量估计的乘积：
Gest＝ΔGn·...·ΔG1·ΔG0 (9)
点云配准迭代的停止标准基于ΔG的最小阈值。
步骤5：纹理映射以及叶片表面的生成。
点云配准后获得的完整点云数据获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理。使用三角面三个顶点a,b,c与三角形中心O距离a,b,c,a/(a+b+c),b/(a+b+c),c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息。通过点云颜色映射，最终获得完整三维模型。
应用实施例：
本实施例采用硬件：Kinect2.0做图像采集；内存8G显卡NVIDIA GTX1060笔记本做整体计算。
采用软件：Kinect For Windows SDK,Open NI,PCL点云API,OpenCV,VS2017，PyTorch0.4.0。
步骤1：叶片初始彩色图像与深度图像的采集。
选取某型号涡轮叶片放置在自然光照背景干净清晰无杂物的室内，固定于平台。将Kinect2.0放置于固定高度，分别采集叶片的深度图像和彩色图像，采集深度信息和图像信息各多组。使用微软提供的Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有的颜色信息的三维坐标。
步骤2：对彩色图像和深度图像处理，以生成初始叶片3D点云。
本部分分彩色图像预处理、深度图像预处理、彩色与深度图像映射获取初始叶片3D点云三步来实现。以下依次分步实现：
2.1彩色图像预处理。系统中除了叶片，其他部分都是背景，对采集到的彩色图像使用OpenCV软件进行图像阈值分割，分离出叶片的彩色图像。
2.2对于采集的深度图像，去除背景获取叶片区域深度图像。
2.3对叶片的彩色图像对齐到深度图像，将深度图像转换得到初始叶片3D点云。建立彩色图像中的像素点和深度图像中像素点的索引关系，调用使用VS2017软件调用Kinect2.0中的SDK映射函数实现彩色和深度图像的对齐。对齐后的深度图像中有物体距离相机的距离信息和平面位置信息，对深度图像进行像素点进行坐标转化，以获取初始点云。转换公式中对应的深度值(fUIR,fVIR)设为(371.5,371.5)，红外相机的光心坐标(uOIR,vOIR)设为(256,212)。
步骤3：初始点云数据滤波，获取滤波后叶片点云数据。
由于Kinect2.0在工作时有系统噪声和波动，因此针对多组数据叠加产生的噪声进行点云滤波。使用KD-tree滤波算法，进行点云滤波。系统设置滤波参数k为50，α为1.0。
步骤4：采用神经网络对叶片数据进行点云配准。参照附图3，本神经网络计算流程为：输入源点云PS和目标点云PT通过共享MLP和对称池化函数以计算全局特征向量φ(PS)和φ(PT)，雅可比J用φ(PT)计算一次找到最优扭曲参数用于逐步更新PS的姿态，最后重新计算全局特征向量φ(PS)，完成点云配准。
本部分点云配准采用PyTorch0.4.0深度学习框架先对已经设定好的网络进行数据训练，训练过程需要计算损失函数，训练的损失函数针对最小化估计变换Gest和实际变换Ggt之间的差值，使用如下公式进行计算：
||(Gest)-1·Ggt-I4||c
训练结束后，对采集的叶片点云数据输入网络完成点云配准。
步骤5：纹理映射以及叶片表面的生成。
在得到完整叶片轮廓数据后，根据平面三位点的拓扑关系，获得一个三角网格曲面模型。将生成的粗糙叶片进行平滑处理。将坐标点与颜色信息乘以各自权重进行颜色融合，得到三角面的颜色信息。最后对生成的三角面进行颜色映射，最终获得完整带有真实纹理的发动机叶片三维模型。
Claims (1)
1.一种基于神经网络与点云配准的发动机叶片重构方法，其特征在于包括以下步骤：
步骤一、叶片初始彩色图像与深度图像的采集；使用Kinect2.0图像采集设备，分别采集发动机叶片多组彩色图像和深度图像；使用Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有颜色信息的三维坐标；
步骤二、对彩色图像和深度图像进行处理，生成初始叶片3D点云；对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：
其中，(u′，v′)为深度图像的任意一点像素Dd的坐标，(Xd，Yd，Zd)为点(u′，v′)对应的三维空间坐标转化后的三维点云坐标，(uOIR，vOIR)为红外相机的光心坐标，像素坐标(u′，v′)对应的深度值(fUIR，fVIR)为红外相机的焦距；
步骤三、初始点云滤波，获取滤波后叶片点云数据；使用KD-tree算法查找点P(xi，yj，zi)，i＝1，2......，n的空间临近点Pj，j＝1，2......，n，求解空间点pi与其临近点的平均距离di，如果平均距离di在[μ-ασ，μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除；滤波公式为：
其中，μ为全局距离平均值，σ为标准差，di为平均距离，(xi，yi，zi)为临近点坐标，(xj，yj，zj)为空间点坐标，n为点云个数；
步骤四、采用神经网络对叶片数据进行点云配准；输入源点云PS和目标点云PT，通过共享MLP和对称池化函数，计算全局特征向量φ(PS)和φ(PT)；雅可比J用φ(PT)计算一次；找到最优扭曲参数，用于逐步更新PS的姿态，然后重新计算全局特征向量φ(PS)，完成点云配准；
设PT，PS分别为模板和源点云；φ表示PointNet函数，φ：R3×N→RK，使得对于输入点云P∈R3×N，φ(P)产生K维向量描述符；函数φ将多层感知器应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，得到K维全局描述符；将源点云PS与目标点云PT配准的刚体变换G∈SE(3)；变换G由指数映射表示为：
G＝exp(∑iξiTi) ξ＝(ξ1，ξ2，...，ξ6)T， (3)
式中，Ti是指数映射的生成元，其扭曲参数为ξ∈R6；
三维点云配准的目的即为找到G，使得
使用简写(·)来表示通过刚性变换G对PS的变换；
为求解G使得
迭代优化使用LK算法中的逆组合公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云；通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次；采用相反的框架实现目标：
φ(PS)＝φ(G-1·PT) (4)
下一步是线性化式(4)的右侧：
定义G-1＝exp(-∑iξiTi).
将雅可比矩阵表示为
其中J∈RK×6；此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架；选择使用随机梯度方法计算J；具体方法是，雅可比行列的每个列Ji通过有限差分梯度近似计算为
式中，ti是扭曲参数ξ的微小扰动；
对于模板点云，J仅计算一次，对于雅可比行列的每个列Ji，仅第i个扭曲参数具有非零值ti；ti是无穷小的，因此J等于分析导数；
公式(5)中的ξ为ξ＝J+[φ(PS)-φ(PT)] (7)
其中，J+是J的Moore-Penrose逆；
扭曲参数，然后将源点云PS更新为
Ps←ΔG·PS ΔG＝exp(∑iξiTi) (8)
最终估计Gest是迭代循环期间计算的所有增量估计的乘积：
Gest＝ΔGn·...·ΔG1·ΔG0 (9)
点云配准迭代的停止标准基于ΔG的最小阈值；
步骤五、纹理映射以及叶片表面的生成；
从点云配准后获得的完整点云数据中获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理；使用三角面三个顶点a，b，c与三角形中心O距离a，b，c，a/(a+b+c)，b/(a+b+c)，c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息；通过点云颜色映射，最终获得完整三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910994398.8A CN110866969B (zh) | 2019-10-18 | 2019-10-18 | 基于神经网络与点云配准的发动机叶片重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910994398.8A CN110866969B (zh) | 2019-10-18 | 2019-10-18 | 基于神经网络与点云配准的发动机叶片重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110866969A true CN110866969A (zh) | 2020-03-06 |
| CN110866969B CN110866969B (zh) | 2022-06-14 |
Family
ID=69652548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910994398.8A Expired - Fee Related CN110866969B (zh) | 2019-10-18 | 2019-10-18 | 基于神经网络与点云配准的发动机叶片重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110866969B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540001A (zh) * | 2020-04-09 | 2020-08-14 | 上海交通大学 | 航空发动机涡轮叶片气膜孔轴线方向检测方法 |
| CN111612768A (zh) * | 2020-05-21 | 2020-09-01 | 重庆大学 | 一种采用结构光空间定位和二维工业ct检测叶片方法 |
| CN111768370A (zh) * | 2020-06-03 | 2020-10-13 | 北京汉飞航空科技有限公司 | 一种基于rgb-d相机的航空发动机叶片检测方法 |
| CN111797692A (zh) * | 2020-06-05 | 2020-10-20 | 武汉大学 | 一种基于半监督学习的深度图像手势估计方法 |
| CN111899328A (zh) * | 2020-07-10 | 2020-11-06 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
| CN112069923A (zh) * | 2020-08-18 | 2020-12-11 | 东莞正扬电子机械有限公司 | 3d人脸点云重建方法及系统 |
| CN112884057A (zh) * | 2021-03-04 | 2021-06-01 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
| CN113689374A (zh) * | 2020-05-18 | 2021-11-23 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
| CN114102274A (zh) * | 2021-11-12 | 2022-03-01 | 苏州大学 | 3d打印零件加工方法 |
| CN117053875A (zh) * | 2023-10-10 | 2023-11-14 | 华南农业大学 | 一种家禽表型智能测定装置及方法 |
| CN113256692B (zh) * | 2021-05-14 | 2024-04-02 | 西安交通大学 | 一种基于自适应邻域权重学习的刚体配准方法及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123161A (zh) * | 2017-06-14 | 2017-09-01 | 西南交通大学 | 一种基于narf和fpfh的接触网零全网三维重建方法 |
| US20180018787A1 (en) * | 2016-07-18 | 2018-01-18 | King Abdullah University Of Science And Technology | System and method for three-dimensional image reconstruction using an absolute orientation sensor |
| GB201813752D0 (en) * | 2018-08-23 | 2018-10-10 | Sony Interactive Entertainment Inc | Method and system for reconstructing colour and depth information of a scene |
| CN109087342A (zh) * | 2018-07-12 | 2018-12-25 | 武汉尺子科技有限公司 | 一种基于特征匹配的三维点云全局配准方法及系统 |
| CN109146929A (zh) * | 2018-07-05 | 2019-01-04 | 中山大学 | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 |
| CN109190602A (zh) * | 2018-10-22 | 2019-01-11 | 西北工业大学 | 一种智能无人机载视频监控方法 |
| CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
| CN109685890A (zh) * | 2018-12-24 | 2019-04-26 | 厦门大学 | 一种空心涡轮叶片气膜冷却孔背壁损伤主动防护方法 |
| CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
| CN110176061A (zh) * | 2019-04-30 | 2019-08-27 | 中科恒运股份有限公司 | 一种三维重建中人体表面重构方法 |
-
2019
- 2019-10-18 CN CN201910994398.8A patent/CN110866969B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180018787A1 (en) * | 2016-07-18 | 2018-01-18 | King Abdullah University Of Science And Technology | System and method for three-dimensional image reconstruction using an absolute orientation sensor |
| CN107123161A (zh) * | 2017-06-14 | 2017-09-01 | 西南交通大学 | 一种基于narf和fpfh的接触网零全网三维重建方法 |
| CN109146929A (zh) * | 2018-07-05 | 2019-01-04 | 中山大学 | 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法 |
| CN109087342A (zh) * | 2018-07-12 | 2018-12-25 | 武汉尺子科技有限公司 | 一种基于特征匹配的三维点云全局配准方法及系统 |
| GB201813752D0 (en) * | 2018-08-23 | 2018-10-10 | Sony Interactive Entertainment Inc | Method and system for reconstructing colour and depth information of a scene |
| CN109190602A (zh) * | 2018-10-22 | 2019-01-11 | 西北工业大学 | 一种智能无人机载视频监控方法 |
| CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
| CN109685890A (zh) * | 2018-12-24 | 2019-04-26 | 厦门大学 | 一种空心涡轮叶片气膜冷却孔背壁损伤主动防护方法 |
| CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
| CN110176061A (zh) * | 2019-04-30 | 2019-08-27 | 中科恒运股份有限公司 | 一种三维重建中人体表面重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张琪，吴亚锋，徐建: "基于遗传神经网络的除湿机故障诊断与寿命预测", 《装备环境工程》 * |
| 黄云，肖贵坚，邹莱: "航空发动机叶片机器人精密砂带磨削研究现状及发展趋势", 《航空学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540001B (zh) * | 2020-04-09 | 2022-08-05 | 上海交通大学 | 航空发动机涡轮叶片气膜孔轴线方向检测方法 |
| CN111540001A (zh) * | 2020-04-09 | 2020-08-14 | 上海交通大学 | 航空发动机涡轮叶片气膜孔轴线方向检测方法 |
| CN113689374B (zh) * | 2020-05-18 | 2023-10-27 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
| CN113689374A (zh) * | 2020-05-18 | 2021-11-23 | 浙江大学 | 一种植物叶片表面粗糙度确定方法及系统 |
| CN111612768A (zh) * | 2020-05-21 | 2020-09-01 | 重庆大学 | 一种采用结构光空间定位和二维工业ct检测叶片方法 |
| CN111612768B (zh) * | 2020-05-21 | 2023-06-06 | 重庆大学 | 一种采用结构光空间定位和二维工业ct检测叶片方法 |
| CN111768370A (zh) * | 2020-06-03 | 2020-10-13 | 北京汉飞航空科技有限公司 | 一种基于rgb-d相机的航空发动机叶片检测方法 |
| CN111797692A (zh) * | 2020-06-05 | 2020-10-20 | 武汉大学 | 一种基于半监督学习的深度图像手势估计方法 |
| CN111899328A (zh) * | 2020-07-10 | 2020-11-06 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
| CN112069923A (zh) * | 2020-08-18 | 2020-12-11 | 东莞正扬电子机械有限公司 | 3d人脸点云重建方法及系统 |
| CN112884057B (zh) * | 2021-03-04 | 2022-03-18 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
| CN112884057A (zh) * | 2021-03-04 | 2021-06-01 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
| CN113256692B (zh) * | 2021-05-14 | 2024-04-02 | 西安交通大学 | 一种基于自适应邻域权重学习的刚体配准方法及设备 |
| CN114102274A (zh) * | 2021-11-12 | 2022-03-01 | 苏州大学 | 3d打印零件加工方法 |
| CN117053875A (zh) * | 2023-10-10 | 2023-11-14 | 华南农业大学 | 一种家禽表型智能测定装置及方法 |
| CN117053875B (zh) * | 2023-10-10 | 2023-12-19 | 华南农业大学 | 一种家禽表型智能测定装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110866969B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866969B (zh) | 基于神经网络与点云配准的发动机叶片重构方法 | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN111080627B (zh) | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 | |
| CN111414798B (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| JP6918198B2 (ja) | 姿勢変動に頑健な顔位置調整のためのシステム及び方法 | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| CN106553195B (zh) | 工业机器人抓取过程中的物体6自由度定位方法及系统 | |
| CN110189399B (zh) | 一种室内三维布局重建的方法及系统 | |
| CN109658444B (zh) | 一种基于多模态特征的规则三维彩色点云配准方法 | |
| CN110335234B (zh) | 一种基于古文物LiDAR点云的三维变化检测方法 | |
| CN109272537A (zh) | 一种基于结构光的全景点云配准方法 | |
| WO2012014545A1 (ja) | ３次元物体認識装置及び３次元物体認識方法 | |
| CN111640158B (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
| CN110634161A (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
| CN101639947A (zh) | 基于图像的植物三维形态测量与重建方法及系统 | |
| CN109272524A (zh) | 一种基于阈值分割的小尺度点云噪声去噪方法 | |
| CN103994755B (zh) | 一种基于模型的空间非合作目标位姿测量方法 | |
| CN104537707A (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN111563878A (zh) | 一种空间目标定位方法 | |
| CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| CN116342621A (zh) | 基于空间运动目标三维重构的几何参数辨识方法及系统 | |
| CN109584347B (zh) | 一种基于主动表观模型的增强现实虚实遮挡处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220614 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |