CN110866969A - 基于神经网络与点云配准的发动机叶片重构方法 - Google Patents

Abstract

本发明公开了一种基于神经网络与点云配准的发动机叶片重构方法，用于解决现有发动机叶片重构方法精度差的技术问题。技术方案是首先采集多组发动机叶片的深度图像和彩色图像，并将经前期数据处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD‑tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。

Description

基于神经网络与点云配准的发动机叶片重构方法

技术领域

本发明涉及一种发动机叶片重构方法，特别涉及一种基于神经网络与点云配准的发动机叶片重构方法。

背景技术

叶片是航空发动机最主要的部件之一，它的设计制造性能和可靠性直接关系到整台发动机的性能水平耐久性和寿命。然而叶片出现断裂的概率在发动机部件中最高，危害性也最大，往往是一个叶片折断而打坏其他叶片，乃至使整台发动机无法工作而危及飞行安全。因此，如何重构完整的发动机叶片，完成对发动机的性能水平耐久性和寿命检测是当前研究的热点问题之一。

计算机三维重建是计算机中一个重要的领域，且具有二维图形不可比拟的特征。近年来，计算机视觉、深度学习、点云、3D扫描和3D打印的发展，极大的促进了三维重建技术的发展。受到测量条件的限制，对物体表面的扫描往往需要通过多次测量来完成。由于多次测量时测量设备与被测物体之间空间位置的相对变化通常无法有效估计，需要用算法对扫描得到的三维点云进行整合、配准和表面映射，以得到一副物体的完整三维模型。

文献1“申请公布号是CN110070559A的中国发明专利”公开了一种基于无人机图像的风力发电叶片三维重构方法，该方法包括图像特征点匹配、点云数据获取、点云数据网格化等步骤构建三维模型。使用基于图像尖锐度的角点匹配算法，将Canny边缘检测算子和8邻域轮廓追踪算法相结合提取单一像素级较清晰的边缘轮廓线，然后用简单有效的图像尖锐度算法提取角点，最后进行角点的粗匹配和精匹配，建立不同视角的两幅图像中感兴趣角点的一一对应关系，获得较精准的角点匹配对。但是该方法提及的点云配准算法精度不高，速度较慢，影响点云数据精度。

文献2“申请公布号是CN109767497A的中国发明专利”公开了一种基于自动检测航空叶片表面质量的检测方法。该发明设计了一套叶片检测硬件和算法，使用机械臂与变位器相互配合采集点云数据进行处理，主要包括：获取叶片三维数据、重构三维模型、三维路线规划、表面图像获取、算法服务器识别。但该方法使用机械臂操作复杂，且针对于采集到的数据未进行处理，对生成的三维模型具有较大影响。

发明内容

为了克服现有发动机叶片重构方法精度差的不足，本发明提供一种基于神经网络与点云配准的发动机叶片重构方法。该方法首先采集多组发动机叶片的深度图像和彩色图像，并对其进行前期数据处理。将处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD-tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。

本发明解决其技术问题所采用的技术方案：一种基于神经网络与点云配准的发动机叶片重构方法，其特点是包括以下步骤：

步骤一、叶片初始彩色图像与深度图像的采集。使用Kinect2.0图像采集设备，分别采集发动机叶片多组彩色图像和深度图像。使用Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有颜色信息的三维坐标。

步骤二、对彩色图像和深度图像进行处理，生成初始叶片3D点云。对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：

其中，(u′,v′)为深度图像的任意一点像素D_d的坐标，(X_d,Y_d,Z_d)为点(u′,v′)对应的三维空间坐标转化后的三维点云坐标，(u_OIR,v_OIR)为红外相机的光心坐标，像素坐标(u′,v′)对应的深度值(f_UIR,f_VIR)为红外相机的焦距。

步骤三、初始点云滤波，获取滤波后叶片点云数据。使用KD-tree算法查找点P(x_i,y_j,z_i)，i＝1,2……,n的空间临近点Pj，j＝1,2……,n，求解空间点pi与其临近点的平均距离d_i，如果平均距离d_i在[μ-ασ,μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除。滤波公式为：

其中，μ为全局距离平均值，σ为标准差，d_i为平均距离，(x_i,y_i,z_i)为临近点坐标，(x_j,y_j,z_j)为空间点坐标，n为点云个数。

步骤四、采用神经网络对叶片数据进行点云配准。输入源点云P_S和目标点云P_T，通过共享MLP和对称池化函数，计算全局特征向量φ(P₃)和φ(P_T)。雅可比J用φ(P_T)计算一次。找到最优扭曲参数，用于逐步更新P₃的姿态，然后重新计算全局特征向量φ(P_S)，完成点云配准。

设P_T，P₃分别为模板和源点云。φ表示PointNet函数，φ：R^3×N→R^K，使得对于输入点云P∈R^3×N，φ(P)产生K维向量描述符。函数φ将多层感知器应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，得到K维全局描述符。将源点云P_S与目标点云P_T配准的刚体变换G∈SE(3)。变换G由指数映射表示为：

G＝exp(∑_iξ_iT_i) ξ＝(ξ₁,ξ₂,...,ξ₆)^T, (3)

式中，T_i是指数映射的生成元，其扭曲参数为ξ∈R⁶。

三维点云配准的目的即为找到G，使得

使用简写(·)来表示通过刚性变换G对P_S的变换。

为求解G使得

迭代优化使用LK算法中的逆组合公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云。通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次。采用相反的框架实现目标：

φ(P_S)＝φ(G^-1·P_T) (4)

下一步是线性化式(4)的右侧：

定义G^-1＝exp(-∑iξ_iT_i).

将雅可比矩阵表示为

其中J∈R^K×6。此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架。选择使用随机梯度方法计算J。具体方法是，雅可比行列的每个列J_i通过有限差分梯度近似计算为

式中，t_i是扭曲参数ξ的微小扰动。

对于模板点云，J仅计算一次，对于雅可比行列的每个列J_i，仅第i个扭曲参数具有非零值t_i。t_i是无穷小的，因此J等于分析导数。

公式(5)中的ξ为ξ＝J⁺[φ(P_S)-φ(P_T)] (7)

其中，J⁺是J的Moore-Penrose逆。

扭曲参数，然后将源点云P_S更新为P_s←ΔG·P_S ΔG＝exp(∑_iξ_iT_i) (8)

最终估计G_est是迭代循环期间计算的所有增量估计的乘积：

G_est＝ΔG_n·...·ΔG₁·ΔG₀ (9)

点云配准迭代的停止标准基于ΔG的最小阈值。

步骤五、纹理映射以及叶片表面的生成。

从点云配准后获得的完整点云数据中获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理。使用三角面三个顶点a,b,c与三角形中心O距离a,b,c,a/(a+b+c),b/(a+b+c),c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息。通过点云颜色映射，最终获得完整三维模型。

本发明的有益效果是：该方法首先采集多组发动机叶片的深度图像和彩色图像，并对其进行前期数据处理。将处理后的数据对齐，进行坐标变换获取初始叶片的3D点云，并用KD-tree算法滤波。其次使用神经网络对点云数据进行点云配准，利用表面纹理映射与生成算法完成发动机叶片三维重建，得到完整三维模型。针对于重构的故障叶片模型，对发动机故障叶片中的裂纹、缺损等问题进行更好的分析与检测。本发明使用Kinect2.0图像采集设备采集数据，操作方便，且通过神经网络点云滤波、点云配准等对采集到的初始粗糙数据进行处理，获取的点云数据更加精确。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明方法中三维信息采集硬件设备示意图。

图2是本发明方法中系统整体框图。

图3是图2中点云配准部分神经网络框架图。

图4是本发明方法中点云配准算法与传统ICP算法计算时间对比图。

图5是图2中表面生成部分叶片表面纹理生成流程图。

具体实施方式

参照图1-5。本发明基于神经网络与点云配准的发动机叶片重构方法具体步骤如下：

步骤1：叶片初始彩色图像与深度图像的采集。使用Kinect2.0图像采集设备，选取某型号故障涡轮叶片，分别采集多组深度图像和彩色图像。使用微软提供的Kinect ForWindows SDK软件进行编程，获得叶片在空间坐标系中具有的颜色信息的三维坐标。

步骤2：对彩色图像和深度图像处理，以生成初始叶片3D点云。对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：

其中：(u′,v′)为深度图像的任意一点像素D_d的坐标，(X_d,Y_d,Z_d)为点(u′,v′)对应的三维空间坐标，转化后的三维点云坐标，(u_OIR,v_OIR)为红外相机的光心坐标，像素坐标(u′,v′)对应的深度值(f_UIR,f_VIR)为红外相机的焦距。

步骤3：初始点云滤波，获取滤波后叶片点云数据。使用KD-tree算法查找点P(x_i,y_j,z_i)(i＝1,2……,n)的空间临近点Pj(j＝1,2……,n),求解空间点pi与其临近点的平均距离d_i，如果d_i在[μ-ασ,μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除。滤波公式为：

其中：μ为全局距离平均值，σ为标准差，d_i为平均距离，(x_i,y_i,z_i)为临近点坐标，(x_j,y_j,z_j)为空间点坐标，n为点云个数。

步骤4：采用神经网络对叶片数据进行点云配准。输入源点云P_S和目标点云P_T通过共享MLP和对称池化函数，以计算全局特征向量φ(P_S)和φ(P_T)。雅可比J用φ(P_T)计算一次。找到最优扭曲参数，用于逐步更新P_S的姿态，然后重新计算全局特征向量φ(P_S)，完成点云配准。

详细算法原理如下：设P₄，P_S分别为模板和源点云。φ表示PointNet函数，φ：R^3×N→R^K，使得对于输入点云P∈R^3×N，φ(P)产生K维向量描述符。函数φ将多层感知器(MLP)应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，从而得到K维全局描述符。将源点云P_S与目标点云P_T配准的刚体变换G∈SE(3)。变换G由指数映射表示为：

G＝exp(∑_iξ_iT_i) ξ＝(ξ₁,ξ₂,...,ξ₆)^T, (3)

上式中T_i是指数映射的生成元，其扭曲参数为ξ∈R⁶。

三维点云配准的目的即为找到G，使得

上式中使用简写(·)来表示通过刚性变换G对P_S的变换。

为求解G使得

迭代优化使用传统LK算法中的逆组合(IC)公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云。通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次。采用相反的框架来实现目标：

φ(P_S)＝φ(G^-1·P_T) (4)

下一步是线性化(4)的右侧：

这里定义G^-1＝exp(-∑iξ_iT_i).

将雅可比矩阵表示为

其中J∈R^K×6。此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架。选择使用随机梯度方法计算J。具体方法是，雅可比行列的每个列J_i通过有限差分梯度来近似计算为

上式中t_i是扭曲参数ξ的微小扰动。

对于模板点云，J仅计算一次，并且不需要重新计算，因为在迭代配准期间源点云会变形。对于雅可比行列的每个列J_i，仅第i个扭曲参数具有非零值t_i。t_i是无穷小的，因此J等于分析导数。在所有迭代中将t_i设置为一些小的固定值会产生最佳结果。

公式(5)中的ξ为

ξ＝J⁺[φ(P_S)-φ(P_T)] (7)

其中J⁺是J的Moore-Penrose逆。

扭曲参数，然后将源点云P_S更新为P_s←ΔG·P_S ΔG＝exp(∑_iξ_iT_i) (8)

最终估计G_est是迭代循环期间计算的所有增量估计的乘积：

G_est＝ΔG_n·...·ΔG₁·ΔG₀ (9)

点云配准迭代的停止标准基于ΔG的最小阈值。

步骤5：纹理映射以及叶片表面的生成。

点云配准后获得的完整点云数据获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理。使用三角面三个顶点a,b,c与三角形中心O距离a,b,c,a/(a+b+c),b/(a+b+c),c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息。通过点云颜色映射，最终获得完整三维模型。

应用实施例：

本实施例采用硬件：Kinect2.0做图像采集；内存8G显卡NVIDIA GTX1060笔记本做整体计算。

采用软件：Kinect For Windows SDK,Open NI,PCL点云API,OpenCV,VS2017，PyTorch0.4.0。

步骤1：叶片初始彩色图像与深度图像的采集。

选取某型号涡轮叶片放置在自然光照背景干净清晰无杂物的室内，固定于平台。将Kinect2.0放置于固定高度，分别采集叶片的深度图像和彩色图像，采集深度信息和图像信息各多组。使用微软提供的Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有的颜色信息的三维坐标。

步骤2：对彩色图像和深度图像处理，以生成初始叶片3D点云。

本部分分彩色图像预处理、深度图像预处理、彩色与深度图像映射获取初始叶片3D点云三步来实现。以下依次分步实现：

2.1彩色图像预处理。系统中除了叶片，其他部分都是背景，对采集到的彩色图像使用OpenCV软件进行图像阈值分割，分离出叶片的彩色图像。

2.2对于采集的深度图像，去除背景获取叶片区域深度图像。

2.3对叶片的彩色图像对齐到深度图像，将深度图像转换得到初始叶片3D点云。建立彩色图像中的像素点和深度图像中像素点的索引关系，调用使用VS2017软件调用Kinect2.0中的SDK映射函数实现彩色和深度图像的对齐。对齐后的深度图像中有物体距离相机的距离信息和平面位置信息，对深度图像进行像素点进行坐标转化，以获取初始点云。转换公式中对应的深度值(f_UIR,f_VIR)设为(371.5,371.5)，红外相机的光心坐标(u_OIR,v_OIR)设为(256,212)。

步骤3：初始点云数据滤波，获取滤波后叶片点云数据。

由于Kinect2.0在工作时有系统噪声和波动，因此针对多组数据叠加产生的噪声进行点云滤波。使用KD-tree滤波算法，进行点云滤波。系统设置滤波参数k为50，α为1.0。

步骤4：采用神经网络对叶片数据进行点云配准。参照附图3，本神经网络计算流程为：输入源点云P_S和目标点云P_T通过共享MLP和对称池化函数以计算全局特征向量φ(P_S)和φ(P_T)，雅可比J用φ(P_T)计算一次找到最优扭曲参数用于逐步更新P_S的姿态，最后重新计算全局特征向量φ(P_S)，完成点云配准。

本部分点云配准采用PyTorch0.4.0深度学习框架先对已经设定好的网络进行数据训练，训练过程需要计算损失函数，训练的损失函数针对最小化估计变换G_est和实际变换G_gt之间的差值，使用如下公式进行计算：

||(G_est)^-1·G_gt-I₄||_c

训练结束后，对采集的叶片点云数据输入网络完成点云配准。

步骤5：纹理映射以及叶片表面的生成。

在得到完整叶片轮廓数据后，根据平面三位点的拓扑关系，获得一个三角网格曲面模型。将生成的粗糙叶片进行平滑处理。将坐标点与颜色信息乘以各自权重进行颜色融合，得到三角面的颜色信息。最后对生成的三角面进行颜色映射，最终获得完整带有真实纹理的发动机叶片三维模型。

Claims (1)

1.一种基于神经网络与点云配准的发动机叶片重构方法，其特征在于包括以下步骤：

步骤一、叶片初始彩色图像与深度图像的采集；使用Kinect2.0图像采集设备，分别采集发动机叶片多组彩色图像和深度图像；使用Kinect For Windows SDK软件进行编程，获得叶片在空间坐标系中具有颜色信息的三维坐标；

步骤二、对彩色图像和深度图像进行处理，生成初始叶片3D点云；对已采集的彩色图像、深度图像预处理，并将彩色对齐到深度图像，通过坐标变换，将深度图像的像素转化为三维空间坐标得到初始叶片3D点云，坐标转化公式为：

其中，(u′，v′)为深度图像的任意一点像素D_d的坐标，(X_d，Y_d，Z_d)为点(u′，v′)对应的三维空间坐标转化后的三维点云坐标，(u_OIR，v_OIR)为红外相机的光心坐标，像素坐标(u′，v′)对应的深度值(f_UIR，f_VIR)为红外相机的焦距；

步骤三、初始点云滤波，获取滤波后叶片点云数据；使用KD-tree算法查找点P(x_i，y_j，z_i)，i＝1，2......，n的空间临近点Pj，j＝1，2......，n，求解空间点pi与其临近点的平均距离d_i，如果平均距离d_i在[μ-ασ，μ+ασ]范围之外，则该临近点被定义为离群噪声点，将其从点云集中去除；滤波公式为：

其中，μ为全局距离平均值，σ为标准差，d_i为平均距离，(x_i，y_i，z_i)为临近点坐标，(x_j，y_j，z_j)为空间点坐标，n为点云个数；

步骤四、采用神经网络对叶片数据进行点云配准；输入源点云P_S和目标点云P_T，通过共享MLP和对称池化函数，计算全局特征向量φ(P_S)和φ(P_T)；雅可比J用φ(P_T)计算一次；找到最优扭曲参数，用于逐步更新PS的姿态，然后重新计算全局特征向量φ(P_S)，完成点云配准；

设P_T，P_S分别为模板和源点云；φ表示PointNet函数，φ：R^3×N→R^K，使得对于输入点云P∈R^3×N，φ(P)产生K维向量描述符；函数φ将多层感知器应用于P中的每个3D点，使得每个点的最终输出维数为K.然后应用对称合并函数，得到K维全局描述符；将源点云P_S与目标点云P_T配准的刚体变换G∈SE(3)；变换G由指数映射表示为：

G＝exp(∑_iξ_iT_i) ξ＝(ξ₁，ξ₂，...，ξ₆)^T， (3)

式中，T_i是指数映射的生成元，其扭曲参数为ξ∈R⁶；

三维点云配准的目的即为找到G，使得

使用简写(·)来表示通过刚性变换G对P_S的变换；

为求解G使得

迭代优化使用LK算法中的逆组合公式，通过颠倒目标点云和源点云的作用：在每次迭代时，解决对目标点云的增量扭曲更新，然后将此增量扭曲的逆，应用于源点云；通过这样做，执行雅可比计算，并且在优化开始之前仅执行一次；采用相反的框架实现目标：

φ(P_S)＝φ(G^-1·P_T) (4)

下一步是线性化式(4)的右侧：

定义G^-1＝exp(-∑iξ_iT_i).

将雅可比矩阵表示为

其中J∈R^K×6；此时，计算J需要G的扭曲参数的PointNet函数分析梯度框架；选择使用随机梯度方法计算J；具体方法是，雅可比行列的每个列J_i通过有限差分梯度近似计算为

式中，t_i是扭曲参数ξ的微小扰动；

对于模板点云，J仅计算一次，对于雅可比行列的每个列J_i，仅第i个扭曲参数具有非零值t_i；t_i是无穷小的，因此J等于分析导数；

公式(5)中的ξ为ξ＝J⁺[φ(P_S)-φ(P_T)] (7)

其中，J⁺是J的Moore-Penrose逆；

扭曲参数，然后将源点云P_S更新为

P_s←ΔG·P_S ΔG＝exp(∑_iξ_iT_i) (8)

最终估计G_est是迭代循环期间计算的所有增量估计的乘积：

G_est＝ΔG_n·...·ΔG₁·ΔG₀ (9)

点云配准迭代的停止标准基于ΔG的最小阈值；

步骤五、纹理映射以及叶片表面的生成；

从点云配准后获得的完整点云数据中获取其三角网格曲面模型，进行网格平滑，将生成的粗糙叶片进行平滑处理；使用三角面三个顶点a，b，c与三角形中心O距离a，b，c，a/(a+b+c)，b/(a+b+c)，c/(a+b+c)将颜色信息乘以各自权重，通过颜色融合，得到三角面的颜色信息；通过点云颜色映射，最终获得完整三维模型。

Images