CN112200777A - 快速判别航空发动机核心零部件装置拆装顺序的方法 - Google Patents

Abstract

本发明公开了一种快速判别航空发动机核心零部件装置拆装顺序的方法，装置包含3D相机、2D相机和发动机核心零部件固定装置，3D相机采集3D点云，2D相机采集关键部位2D图，发动机核心零部件固定装置固定检测物，最终得到采集图像中零件的类别和坐标位置；由采集的图像判断航空发动机核心零部件装置拆装顺序正确与否。判别方法：S1、将正确拆装步骤的标准图像与当前采集点云图配准；S2、将不能够配准的点云图判别为拆装错误，将能够配准的进行2D图像的关键部位相似度比较；S3、将2D图像相似度比较通过的判为拆装正确，否则判为错误。该实现方法能明显提升拆装顺序判定的精度，克服小零件的拆装部位不准确带来判别误差，并且能够端到端的实现。

Description

快速判别航空发动机核心零部件装置拆装顺序的方法

技术领域

本发明属于图像领域，特别涉及一种基于3D点云配准融和2D图像相似度的比较方法，用于快速判别工业上的严格要求固定流程的航空发动机核心零部件装置拆装顺序正确与否的判别。

背景技术

在一些特别严格要求拆装顺序的航空发动机，尤其所涉零部件有部分卡槽相似的情况下，如果存在连续的操作步骤错误，很容易造成航空发动机核心零部件损坏，如果是一些不可逆的拆装流程，很可能会造成巨大的经济损失。而当今的方法是极为浪费人力和资源成本的，往往需要具备极为丰富经验的操作工人去进行航空发动机的拆装操作，虽然可以保证较高的准确性，但是培养熟练的操作工人确实极为浪费人力和时间的，而且一旦操作失误会付出极大的成本和代价。而目前使用视觉的方法，在现有的条件下极大程度上依赖于大量的特征工程来实现目标的匹配，这些方法的适应性并不强，当航空发动机有细微的差异，光照等外部环境变化时，会产生致命的影响。

近年来，随着3D配准技术和深度学习技术的不断发展，很好的解决了上述问题，3D配准技术可以克服外界环境的偏移抖动等位移带来的影响，而深度学习模型，即2D图相似度判别对光照等静态物理环境有较好的适应性，所以可以克服以上两种拆卸和拆装的缺点，使速度变快，效率提升。

发明内容

本发明的目的是实现上面所述的航空发动机核心零部件拆装过程判断效果，提出一种基于3D点云配准的目标检测方法，通过融合3D点云配准技术与2D图像相似度匹配技术以提高检测精度防止拆装过程发生意外，提高拆装过程的可靠和可信度。

本发明的技术方案是提供一种快速判别航空发动机核心零部件装置拆装顺序的方法，所述航空发动机核心零部件装置包括：曲轴连杆、气缸、进气喷油模块、点火装置、排气装置和发动机壳体紧固螺栓，所述拆装顺序的方法包括以下步骤：

S1、将生成的关于曲轴连杆、气缸、进气喷油模块、点火装置、排气装置、发动机壳体紧固螺栓的正确顺序的拆装图像与拆装过程中的点云图像进行配准；

S11、利用3D相机采集一套正确拆装顺序的曲轴连杆、气缸、进气喷油模块、点火装置、排气装置、发动机壳体紧固螺栓的3D点云图，按步骤存放后作为相关步骤的基准；

S12、使用拆装过程中所采集的点云图像与正确拆装顺序的3D点云图对相关拆装步骤进行配准，包含粗配准NDT和精配准ICP两步，按3D点云图进行粗配准，去掉有采样损失的点，按点云图像的大小动态设定体素的大小进行粗配准NDT，再将基于粗配准NDT的结果将精配准ICP过程中的目标函数简化为：

其中，Λ为样本点个数，q′_i表示新采集点云图的点，p′_i为原点云图的点，R_ICP为坐标系转换矩阵；

S13、基于能够配准的点云图像的配准得分，设定不同的配准得分阈值，通过对误差的统计得其正态分布，由正态分布的上0.01分位点作为评判基准，大于该分位点的配准分数误差视为配准未通过；

S2、将航空发动机拆装过程中未配准的点云图筛出判别为拆装错误，将能与正确拆装顺序进行配准的步骤进行该拆装步骤2D图像的关键部位相似度比较；

S21、根据已采集的航空发动机拆装步骤的2D图像，进行检测网络CenterNet训练，得到检测模型；

S22、依据S21的检测模型对航空发动机拆装步骤中采集的2D图像进行检测，将检测结果进行周边像素填充处理，选取正确拆装顺序的2D图感兴趣区域和拆装过程中采集的2D图感兴趣区域较小者面积的1/5倍，并将感兴趣区域作为样本送入相似度判定孪生网络SiameseNet网络；

S23、改进孪生网络SiameseNet Network损失，以适应不同大小感兴趣区域的匹配：

其中，E_w表示2D图的相似度，U₁为标准图检测出该区域的面积，U₂为新2D图的检测出的同一位置的面积，数值ε≠0，G_w(x₁)为标准图经过SiameseNet的特征，G_w(x₂)为该步骤拆装的新2D图经过SiameseNet的特征；

S3、综合2D图像相似度比较结果和3D点云图像的比较结果，配准结果小于配准得分阈值的设为拆装正确，大于配准得分阈值的则认为拆装步骤出错，然后进行及时调整，调整后采集3D点云图及2D图，重新执行S1中的点云配准判别步骤和S2中的2D图相似度判别步骤；具体步骤如下：

S31、加入相似度比较权重，平衡点云配准与2D相似度检测识别的判别结果：

Similar＝λ₁ICP_similar+λ₂E_w

其中，Similar为最终的相似度，越低越相似，ICP_similar为S1中得到的ICP精配准相似度，λ₁、λ₂为权重数，经过以上处理，相似度小于平衡点云配准与2D相似度检测识别的判别结果设定的阈值确定为正样本。

优选地，所述S12中，3D图采用点云配准的方法来评价相似度，选择NDT粗配准解决进行初步配准，若随机变量满足正态分布，则对应的概率密度函数p(x)为：

其中，σ²为一个体素内样本点的平方差，x是样本点，u为均值，经过该公式的向量化处理，使得装配过程中的3D样本点位于参考平面上。

优选地，所述S23中，引入2D图像再判别，SiameseNet相似度识别过程中只评判相似度，改进孪生网络SiameseNet损失系数

与相似度相乘的过程中，当拆装过程中的采集的2D图对应的感兴趣区域未被检测到时，相似度间的误差会增加，当检测出的感兴趣区域比例接近1：1时，等价于相似度跟阈值比较。

优选地，所述S22中，利用周边像素填充的方式使相似度比较过程更准确，在两个图像尺寸相同时，减小

值，若U₁>U₂，则上式为

优选地，所述S31中，要根据点云配准的结果和2D图相似度比较的结果对相似度进行均衡，在航空发动机核心零部件零件差异较小时，将λ₁增大而λ₂减小。

与现有技术相比，本发明具有以下有益效果：

(1)本发明在提取数据集时，从3D图像数据着手，并辅以2D图像数据进行后面的算法预测，这样不仅可以防止位移及角度的变化引起的偏移造成对结果的影响，也可以防止物理信息的干扰造成的影响；

(2)将检测任务与相似度比对任务相结合，实现了输入到输出的连贯性，减少了像传统视觉方法提取特征那样的时间上的不确定性，同时大幅度提高了鲁棒性和准确度；

(3)采取基于样本的阈值设置方式，能更佳贴合实际情况，实现更佳的判别效果。

附图说明

图1为本发明快速判别航空发动机核心零部件装置拆装顺序的方法的实现流程图；

图2为本发明相机采集摆放示意图；

图3为本发明改进算法示意图；

图4为本发明HeatMap与V6型汽油航空发动机关键点KeyPoint对应图；以及

图5a本发明为拆装过程中的部分拆装步骤1示意图；

图5b本发明为拆装过程中的部分拆装步骤2示意图；

图5c本发明为拆装过程中的部分拆装步骤3示意图；

图5d本发明为拆装过程中的部分拆装步骤4示意图；

图5e本发明为拆装过程中的部分拆装步骤5示意图。

附图标记：

1、3D相机；2、2D相机；3、上玄磁力吸盘；4、发动机核心零部件；

41、曲轴连杆；42、气缸活塞；43气缸壳体；44、进气喷油模块；45、点火装置；46、排气装置；47、发动机壳体紧固上螺栓；48、发动机壳体紧固下螺栓。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

下面结合附图与具体实施方式对本发明做更为详细的说明，以V6型汽油航空发动机核心零部件相关部件为例：

由图1，本实例是一种基于V6型汽油航空发动机相关部件拆装流程的具体实施流程图，其实现步骤如下：

步骤S1,将正确拆装步骤生成的标准图像与拆装过程中采集的点云图像进行配准；

步骤S11，首先用3D相机1采集一套标准的3D点云图，将标准点云图按步骤存放作为相关步骤的基准。对拆装件按照正确拆装步骤进行图像采集：首先要对拍摄相机对应拆装件的姿态和角度进行合适的选取和标定，同时将发动机核心零部件固定装置与拍摄相机的位置对应好，在固定装置旋转的采集过程中，不应出现合理范围之内的偏移，从而保证V6型汽油航空发动机核心零部件4的相对位置不变性，以便以后从相近的位置对拆装过程中的图像采集。如图2所示，核心零部件主体通过上玄磁力吸盘3连接固定装置进行固定，通过连接的刚体进行旋转找到能够捕获对应拆装步骤的关键点位置，图中3D相机1随上玄磁力吸盘3周期旋转过程中采集3D点云图，在进行步骤S12等配准判别后，可通过2D相机2获取该步骤的2D点云图。

步骤S12，对相关拆装步骤使用该步骤的点云图与拆装过程中的3D点云图进行配准，对于拆装过程中采集的点云图，将其与正确拆装顺序的3D点云图进行配准，采用粗配准NDT与精配准ICP方案，使用PCL点云库进行配准，首先进行粗配准NDT，先去掉无效的采样点，然后根据本发明中使用的V6型汽油航空发动机的大小和采样率，设定体素大小为5，然后计算概率密度函数p(x)为：

其中，σ²为一个体素内样本点的平方差，x是样本点，u为均值。然后进行配准工作，设迭代次数设为100，距离设为0.5，得到转换矩阵，根据这个变换矩阵求得新采样测试图的位置结果：

其中，

为原新采样测试图坐标，r_ij，i，j∈{1，2，3}表示原图的旋转参数，t_j，k∈{x，y，z}表示原新采样测试图的偏移坐标，

表示经过粗配准之后的点云按变换矩阵旋转和平移后的新位置。同理，使用PCL点云库进行精配准，首先对于目标点云中的每个点，匹配参考点云或选定集合中的最近点。然后求得使上述对应点对计算均方根最小的刚体变换，求得平移参数和旋转参数。最后使用获得的旋转矩阵来转换目标点云，不断迭代上面的过程直到达到迭代的终止条件。将模板图表示为Q_mn＝1，2，3...表示第一个点集，P_mn＝1，2，3...表示第二个点集。两个点集的对齐配准转换为使

最小，其中，Λ为样本点个数，q′_i表示新采集点云图的点，p′_i为原点云图的点，R_ICP为坐标系转换矩阵。ICP配准过程中采样方式设为均匀采样，确定点集的点对点对应方式，使用KD树进行优化，以加快配准速度，将体素内方差按照从大到小的方式进行二叉树排序，通过不断对超平面进行分割，得到最近的点云匹配方式，根据多步骤及大量正确的配准数据采样，设定不同的配准通过阈值，通过对误差的统计得正太分布，由正态分布的0.01分位点作为评判基准，设定阈值0.26。将超过这个阈值的认为拆装过程不正确或配准后存在瑕疵——不能完全对应。

步骤S13，根据每个不同的步骤及大量正确的配准数据，设定不同的配准通过阈值，通过对误差的统计得正太分布，由正态分布的上0.01分位点作为评判基准，即大于这个分位点的误差数据中作为配准不通过。本发明V6型汽油航空发动机的上分位点为5.68，即认为最终配准的得分大于这个值时可判别为拆装过程出错。

步骤S2，将不能够配准的点云图筛出判别为拆装错误，并将结果反馈给拆装系统进行进一步拆装，将能够配准的进行2D图像的关键部位相似度比较；

步骤S21，采集包括点云图和2D图在内的大量测试数据，将正确拆装顺序的2D模板数据和其对应的装配过程数据进行标注同时，将这些标注数据进行训练。通过对这些模型的预测得到感兴趣区域，以便用于下一步的特征比较。具体过程如下：其中检测网络采用CenterNet，如图3的左半部分，通过骨干网络进行高斯核提取，然后通过高斯核与实际预测形成相应的HeatMap损失，检测框回归损失，中心点偏移损失，由于CenterNet是FreeAnchor的，所以不需要区分前景和背景，同时也不需要NMS再来进行筛选，速度上会有较大提升。CenterNet的输出分辨率的下采样因子是4，比起其他的目标检测框架的16层下采样是比较少的，所以会包含更多的细节信息，最后得到的检测框也更加准确。由于航空发送机的拆装流程的特殊性，所以对CenterNet网络模型结构细节及训练参数进行设定，在训练过程中，首先输入图像的输入为：I∈R^W×H×3，其中W和H分别为图像的宽、高，那么经过下采样以后，要产出关键点的热点图KeyPoint HeatMap:热点图的值

其中R_S为下采样率，而C对应着检测类别数。KeyPoint的关键点与核心零部件对应步骤如图4所示，三个关键点A1、A2、A3对应从气缸壳体到曲轴连杆41再到气缸活塞装配过程中的检测部位，每进行一步就会产生一个相应的关键点KeyPoint对应图，图4中左边为HeatMap，右边为第6步的拆装步骤，则热点图的值

就表示检测到了本步骤需要的物体，其中

是预测的HeatMap，而

就表示没有检测到本步骤需要检测的物体。在整个训练的过程中，对每个groundtruth的某一类将真实的关键点p∈R²用于计算，关键点的计算方式为：

其中，x1、x2表示左上角和右下角的横坐标，y1、y2表示左上角和右下角的纵坐标。

对于下采样后的坐标，设为：

其中，

是采样后的估计值，R是上文中提到的下采样因子4。用一个高斯核：

来将关键点分布到特征图上，其中，Y_xyc是实际特征图的分布结果，σ_p是一个与目标大小，也就是w和h相关的标准差，

分别表示V6型汽油航空发动机关键点的标注位置的横纵坐标，Coord_x、Coord_y分别表示特征图位置对

的偏移值，最终根据高斯核的中心点，预测物体的位置。

由于V6型汽油航空发动机核心零部件相关部件不同部件差异较大，所以损失函数的设置比较特殊，故将CenterNet中方法的损失参数的设置如下：

其中，L_k是总体的损失函数，α和β是Focal Loss的超参数，N_K是图像的关键点数量，用于将所有的正例，即V6型汽油航空发动机核心零部件相关部件进行标准化，在具体实施时采用的α是2，β是4，同样的这两个参数是CenterNet对于本发明V6型汽油航空发动机核心零部件拆装适用的。和Focal Loss类似，对于容易检测出的样本点，适当减少其训练比重也就是损失，当遇到容易检测出的点，当减少其训练比重也就是loss值，例如前面的曲轴连杆很容易检出，当检测检测出前面的曲轴连杆时，也就是

时，

就充当了矫正作用，因为检测出的曲轴连杆为正例，

就接近1，

是一个比较小的数，这时也就说损失已经没那么重要了，所以减小损失，以让损失在其他难以区分的样本去体现。同理当

时，

亦有降低损失的作用，当

接近0时，

很小，所以在负样本容易区分时，损失函数会降低。而对于(1-Y_xyc)^β，当HeatMap不是0时，愈靠近KeyPoint愈大，所以适度减小损失。因为此时预测距离中心点较远的点，所以这一项使距离中心点越远的点的损失比重占的越大，而越近的点损失比重则越小，这相当于弱化了实际中心点周围的其他负样本的损失比重，相当于处理正负样本的不平衡了。

相比较而言，传统的基于Anchor的检测方法，通常选择与标记框IOU大于0.7的作为positive，相反，IOU小于0.3的则标记为negative，这样设定好box之后，在训练过程中使positive和negative的box比例为1:3来减少negative box的比例。而在CenterNet中，每个中心点对应一个目标的位置，不需要进行overlap的判断。CenterNet是采用Focal Loss的思想，在实际训练中，中心点的周围其他点(negative centerpointer)的损失则是经过衰减后的损失(上文提到的)，而目标的长和宽是经过对应当前中心点的w和h回归得到的。因为本发明具体的V6型汽油航空发动机对图像进行了R＝4的下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用了一个localoffset:

去补偿，所有类c的中心点共享同一个offsetprediction，这个偏置值(offset)用L1 loss来训练：

其中，L_off代表偏移损失函数，N_p是2D图中所有样本点，即检测框的个数，

为对中心点加的局部偏移，

是原始图像经过下采样得到的坐标，对于[500,500]的图像，设R＝4，V6型汽油航空发动机图像下采样后是[125,125]的图像，下采样之后对标签图像用高斯分布来在图像上撒热点(先将box坐标也转化为与大小[125,125]图像匹配的形式，但是因为原始的annotation是浮点数的形式,使用转化后的box计算出来的中心点也是浮点型的,本发明中V6型汽油航空发动机计算出来的中心点是[98.97667,2.3566666]),但是在推断过程中，首先读入图像[1960,1200],然后变形成[500,500],然后下采样4倍成[125,125],最终预测使用的图像大小是[125,125],而每个预测出来的热点中心(heatmap center),本发明V6型汽油航空发动机预测出与实际标记的中心点[98.97667,2.3566666]对应的点是[98,2]，坐标是(x，y),对应的类别是c,等同于这个点上

有物体存在，但是标记出的点是[98,2]，直接映射为[500,500],的形式肯定会有精度损失，为了解决这个就引入了L_off。这个式子中

是预测出来的偏置，而

则是在训练过程中提前计算出来的数值，计算之后与预测出来的计算一并放入损失函数中进行计算。

推理时将得到的2D图像剪裁为500×500送入CenterNet进行前向传播，得到新拆装的检测的区域，如果测试图中存在未检测的区域，则认为，本步骤拆装是错误的。假设V6型汽油航空发动机的某一部件

为目标k，所属类别为c_k，它的中心点p_k为:

其中，

分别表示V6型汽油航空发动机关键部位在2D图像中左上角横坐标、右下角横坐标，

分别表示左上角的纵坐标、右下角的纵坐标。

使用关键点预测

去预测所有的中心点。然后对每个目标k的size进行回归，最终回归到：

其中，s_k是进行了下采样之后的长宽值，是在训练前提前计算出来的。为了减少回归的难度，这里使用

作为预测值，其中R为实数空间，R_S为下采样率，使用L1损失函数，与之前的L_off损失一样：

其中，L_size是检测框大小的损失，S_pk是预测后计算的检测框大小，S_k是标注的检测框大小。整体的损失函数为物体损失、大小损失与偏置损失的和，每个损失都有相应的权重。本发明中所使用的backbone都有三个headlayer，分别产生[1,6,125,125],[1,2,125,125],[1,2,125,125],也就是每个坐标点产生c+4个数据，分别是类别以及、长宽、以及偏置。从头到尾概括来讲是针对一张图像进行下采样，随后对下采样后的图像进行预测，对于每个类在下采样的特征图中预测中心点，然后将输出图中的每个类的热点单独地提取出来，检测当前热点的值是否不小于周围的八个近邻点，然后取100个这样的点，采用的方式是一个3x3的最大池化，类似于Anchor-based检测中NMS的效果。假设

为检测到的点:

其中，(x_i，y_i)表示每个关键点的位置，以整型坐标形式表示，然后使用

表示当前点的置信度，随后使用坐标来产生标定框。最终是根据模型预测出来的

值,也就是当前中心点存在物体的概率值，代码中设置的阈值为0.3，也就是从上面选出的100个结果中调出大于该阈值的中心点作为最终的结果。

步骤S22，将步骤S21检测结果进行周边像素填充处理，正确拆装顺序感兴趣区域和拆装过程中的感兴趣区域增大图像较小的面积的1/5倍，之所以使用周边像素填充处理，是因为，检测出来的检测框，在大小上是有差异的，因为在权利要求3中，使用新的检测框和标准图进行比较，所以这一步精同时分子与分母大小关系不变。训练和预测孪生网络SiameseNet，SiameseNet的结构如的右半部分，其输入现阶段可以看成是检测框经过周边像素填充后的图，将原来的标准部位的图与新采样测试图的检测框一同输入到SiameseNet，经过相同的权重Weight得到运算的结果，然后依据其相似度距离损失公式Loss Siamese进行反向传播训练得到相似度判别模型参数，依据这些参数对每对输入孪生网络的前向传播，以确定比较的阈值，即超过一定的阈值就认为图片提取到的值是相似的，其中孪生网络的feature map提取利用上面的感兴趣区域映射到点的一半的卷积层，并作按照最小区域的1/5周边像素填充处理。先使用样本图和点云配准经转换的2D的测试图进行训练，因为在实际训练过程中正负样本比例会出现严重不均衡的情形，所以本发明实际训练过程中，将每个Batch size的比例都设置为1：6的比例，训练时将一个Batch分为两份，如Batch为28，则一份的样本量为14，其中有两个是相似的正样本，12个是不相似的负样本。将正样本重复训练，而epoch的计算都按照负样本训练一个epoch来计算，一共训练180个epoch，初始学习率设为0.1，每40个epoch衰减10倍，最终训练验证集的Acc精度为0.99，F1为0.98，由于本发明实践过程中V6型汽油发动机的实例部分核心零部件较为相似，所以采用Constrastive Loss来对相似的样本和不想似的样本加以区分:

其中，L_w是加大相似和不相似程度评判的“隐性”距离，K表示一个Batch的样本数，Y表示是否相似，如果标注信息是相似的，则只有

一个损失，D_w是判断相似度的距离的量，即越相似D_w越小，对应的

也越小，m表示边缘值。当标注信息不相似时，1-Y＝1这时max(m-D_W，0)表示距离信息，若相似度接近则会得到一个比较大的值，若相似度距离超过了m则不会有损失。

步骤S23：改进SiameseNetNetwork损失，以适应不同大小感兴趣区域的匹配：

其中，E_w表示2D图的相似度，U₁是指标准图检测出该区域的面积，U₂是指新2D图的检测出的同一位置的面积，利用周边像素填充的方式使相似度比较过程更准确，在两个图像尺寸是一样的时候会减小

值，若U₁>U₂，则上式为

实际上航空发动机不同部件的大小差异存在，所以其大小也可以作为一重要的相似度判别依据，如果没有检测出则为0，所以ε是一个很小的数，防止分母0，G_w(x₁)为标准图经过SiameseNet的特征，G_w(x₂为该步骤拆装新2D图经过SiameseNet的特征。

最后将训练好的模型进行预测，得到最终结果，其中衡量相似度的函数是：

E_w＝||G_w(x₁)-G_w(x₂)||

通过新的输入数据确定孪生网络得到的值，确定其是否大于步骤S31中得到的标准图与一批测试图计算设定好的阈值，如果大于等于则表示拆装的过程是正确的，如果小于设定的阈值，则表明拆装有误。

步骤S3，综合2D图像相似度比较结果和3D点云图像的比较结果，通过的设为拆装正确，否则认为拆装步骤出错。

步骤S31：加入相似度比较权重，平衡点云配准与2D相似度检测识别的判别结果：

Similar＝λ₁ICP_similar+λ₂E_w

其中，Similar是最终的相似度，越低越相似，ICP_similar是S1中得到的ICP精配准相似度，该参数必定小于S13按照正态分布设定的阈值，λ₁、λ₂是权重数，在航空发动机零件大小差异比较小的情况下可以将λ₁增大而λ₂减小。因为当大小差异比较小时，如果出现未拆装或错装、错拆情形，点云的相似度S31公式中第一项会变化较大，而当大小差异较大时则情况是相反的，这时候2D图的相似度判别会更准确些，所以可以适当减小λ₁增大λ₂。

因为本专利应用场景比较具体，所以对网络略加优化以提高从输入3D点云到输出最后结果的时效性，也端到端的实现2D图的检测和分类：根据检测模型CenterNet的特性，根据本实例提出进一步优化，使用较简单的MobileNet做骨干网络，初始学习率设为0.002，训练步数设为4500，进行训练得到模型。之所以选择MobileNet作为基本单元，是因为本发明使用的阈值设置方法都是基于统计的，故可以在模型量化极大提高检测速度和减小参数情形下，保证精确度。如图3整体所示将CenterNet的检测结果进行裁剪作为孪生网络SiameseNet的输入，这样做是因为如果最终提取的检测框是相似的，那么其特征图也是相似的，再经过池化全连接进一步保证判别的准确度，这样在保证准确度的情况下大量的减少了参数——SiameseNet的特征图提取参数，提高了预测的速度，也就提升了整个判别装置的运算速度。

实施过程结束，进行初步评估，包括准确率、混淆矩阵、精确率、召回率、平均正确率。准确率即分对的样本数除以所有的样本数，本V6型汽油航空发动机共有28个步骤，正确率为27/28，但步骤太少，所以不能作为评价标准。混淆矩阵中的横轴是模型预测的类别数量统计，纵轴是数据真实标签的数量统计,精确率0.88，召回率0.92，所以可以得出该方法在确定的指标是可以达到较优的结果。

这样通过将两个神经网络的模型backbone通用加快了前向传播的速度。最后给出了本部件拆装过程中的部分拆装示意图，如图5所示，可以简化的理解为5步装配过程，训练好以上模型之后便可以进行端到端的装配零部件检测识别，如图5a到图5b过程中增加了气缸活塞42的装配，图5b到图5c过程中增加了气缸壳体43的封装，图5c到图5d过程中增加了进气喷油模块44、点火装置45、排气装置46的装配，图5d到图5e过程中增加了发动机壳体紧固上螺栓47和发动机壳体紧固下螺栓48的装配，则系统会通过其与标准拆装过程进行对比执行标准的判别过程，如果气缸的位置缺少则点云配准过程中直接判别为不合格，并提示装配人员进行及时调整，如果拆装位置不够完善，那么在2D图中相似度识别网络会因为相似度距离较大而使最终的差异较大，判别不合格，提示装配人员进行及时调整，然后重新判别装配过程是否正确。

本发明方法与现有的单一的使用视觉特征进行匹配的方法相比具有较高的准确性，如SIFT、HOG特征，同时也提出了一种专门用于拆装步骤的模型结合形式，实现速度与精度的平衡。最终在本文提及的V6型汽油航空发动机中实现了92.2的精确度，平均检测用时0.9秒。

以上所述各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然能对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种快速判别航空发动机核心零部件装置拆装顺序的方法，所述航空发动机核心零部件装置包括：曲轴连杆、气缸、进气喷油模块、点火装置、排气装置和发动机壳体紧固螺栓，其特征在于，所述拆装顺序的方法包括以下步骤：

S1、将生成的关于曲轴连杆、气缸、进气喷油模块、点火装置、排气装置、发动机壳体紧固螺栓的正确顺序的拆装图像与拆装过程中的点云图像进行配准；

S11、利用3D相机采集一套正确拆装顺序的曲轴连杆、气缸、进气喷油模块、点火装置、排气装置、发动机壳体紧固螺栓的3D点云图，按步骤存放后作为相关步骤的基准；

S12、使用拆装过程中所采集的点云图像与正确拆装顺序的3D点云图对相关拆装步骤进行配准，包含粗配准NDT和精配准ICP两步，按3D点云图进行粗配准，去掉有采样损失的点，按点云图像的大小动态设定体素的大小进行粗配准NDT，再将基于粗配准NDT的结果将精配准ICP过程中的目标函数简化为：

其中，Λ为样本点个数，q′_i表示新采集点云图的点，p′_i为原点云图的点，R_ICP为坐标系转换矩阵；

S13、基于能够配准的点云图像的配准得分，设定不同的配准得分阈值，通过对误差的统计得其正态分布，由正态分布的上0.01分位点作为评判基准，大于该分位点的配准分数误差视为配准未通过；

S2、将航空发动机拆装过程中未配准的点云图筛出判别为拆装错误，将能与正确拆装顺序进行配准的步骤进行该拆装步骤2D图像的关键部位相似度比较；

S21、根据已采集的航空发动机拆装步骤的2D图像，进行检测网络CenterNet训练，得到检测模型；

S22、依据S21的检测模型对航空发动机拆装步骤中采集的2D图像进行检测，将检测结果进行周边像素填充处理，选取正确拆装顺序的2D图感兴趣区域和拆装过程中采集的2D图感兴趣区域较小者面积的1/5倍，并将感兴趣区域作为样本送入相似度判定孪生网络SiameseNet网络；

S23、改进孪生网络SiameseNet Network损失，以适应不同大小感兴趣区域的匹配：

其中，E_w表示2D图的相似度，U₁为标准图检测出该区域的面积，U₂为新2D图的检测出的同一位置的面积，数值ε≠0，G_w(x₁)为标准图经过SiameseNet的特征，G_w(x₂)为该步骤拆装的新2D图经过SiameseNet的特征；

S3、综合2D图像相似度比较结果和3D点云图像的比较结果，配准结果小于配准得分阈值的设为拆装正确，大于配准得分阈值的则认为拆装步骤出错，然后进行及时调整，调整后采集3D点云图及2D图，重新执行S1中的点云配准判别步骤和S2中的2D图相似度判别步骤；具体步骤如下：

S31、加入相似度比较权重，平衡点云配准与2D相似度检测识别的判别结果：

Similar＝λ₁ICP_similar+λ₂E_w

其中，Similar为最终的相似度，越低越相似，ICP_similar为S1中得到的ICP精配准相似度，λ₁、λ₂为权重数，经过以上处理，相似度小于平衡点云配准与2D相似度检测识别的判别结果设定的阈值确定为正样本。

2.根据权利要求1所述的快速判别航空发动机核心零部件装置拆装顺序的方法，其特征在于，所述S12中，3D图采用点云配准的方法来评价相似度，选择NDT粗配准解决进行初步配准，若随机变量满足正态分布，则对应的概率密度函数p(x)为：

其中，σ²为一个体素内样本点的平方差，x是样本点，u为均值，经过该公式的向量化处理，使得装配过程中的3D样本点位于参考平面上。

3.根据权利要求1所述的快速判别航空发动机核心零部件装置拆装顺序的方法，其特征在于，所述S23中，引入2D图像再判别，SiameseNet相似度识别过程中只评判相似度，改进孪生网络SiameseNet损失系数

与相似度相乘的过程中，当拆装过程中的采集的2D图对应的感兴趣区域未被检测到时，相似度间的误差会增加，当检测出的感兴趣区域比例接近1：1时，等价于相似度跟阈值比较。

4.根据权利要求3所述的快速判别航空发动机核心零部件装置拆装顺序的方法，其特征在于，所述S22中，利用周边像素填充的方式使相似度比较过程更准确，在两个图像尺寸相同时，减小

值，若U₁＞U₂，则上式为

5.根据权利要求1所述的快速判别航空发动机核心零部件装置拆装顺序的方法，其特征在于，所述S31中，要根据点云配准的结果和2D图相似度比较的结果对相似度进行均衡，在航空发动机核心零部件零件差异较小时，将λ₁增大而λ₂减小。

Images