CN111651954B - 基于深度学习对smt电子元件三维重建的方法 - Google Patents

Abstract

本发明针对SMT表面贴装电子元件三维光学测量后提出了一种基于深度学习的三维数据重建方法，包括如下步骤：步骤一，通过相位移的方法还原被测物表面；步骤二，构建一个神经网络通过多角度拍摄获取被测物的多角度2D图像来还原被检测物的3D模型；步骤三，使用步骤一与步骤二中获取的两种3D模型数据合成最终最完善三维轮廓；步骤四，将传统方法、神经网络推到出的模型数据进行交并比计算，当得分比较低时，使用步骤一数据更新训练步骤二神经网络。

Description

基于深度学习对SMT电子元件三维重建的方法

技术领域

本发明涉及SMT表面贴装的光学检测领域，尤其涉及基于深度学习对SMT电子元件三维重建的方法。

背景技术

SMT即表面贴装技术是在PCB基础上进行加工的系列工艺流程的简称，是电子组装行业里最流行的一种技术和工艺，生活中几乎每一种我们常见的电子设备，比如手机、汽车、计算机、家电、电子通讯等都会用到SMT工艺生产的电路系统，这些系统由PCB、电容、电阻、芯片等电子元器件按设计的电路图设计而成，SMT工艺从诞生之初就一直跟随电子技术的发展不断提升工艺难度，SMT工艺要求来自电子技术产业要求的高可靠，高密度，高产能的特性，这些特性也决定了它对每个元器件的精确性要求十分高，所以SMT进行规模化检测已成为生产重要流程之一。

目前SMT行业大多采用AOI进行检测，AOI的中文全称是自动光学检测，随着SMT产业焊锡无铅化、贴片元件密集微型化的发展趋势，所导致的焊点不良的问题较以往更加突出，为了应对虚焊、翘脚、漏检、误报等检测缺陷，整个行业越来越倾向使用3D AOI进行检测。而如何获得尽可能好的三维重建数据是使用3D AOI获得较好的检测效果的关键。由于被检测电子元件表面存在部分区域过暗、部分区域过亮的情况，从而对相位数据的获取带来影响，通常总会或多或少会有部分数据缺失，这会导致三维重建存在毛刺、坍陷等瑕疵。如果仅采用人为设定滤波的方式使其表面平滑，会导致一定程度失真并将影响到后续算法进一步处理的准确性。

发明内容

本发明针对现有SMT中PCB上电子元件三维重建中因光源、基板颜色与材质、元件本身的表面特性造成的亮度不均匀，从而导致三维重建数据出现毛刺、坍陷等瑕疵的技术问题，提供了一种基于深度学习对SMT电子元件三维重建的方法，一种端到端神经网络通过训练大量被测电子元件的多角度2D图输出其标准3D模型，将基于正弦条纹光光学检测获取的三维原始高度数据与通过深度神经网络得到的3D模型数据结合得到更为真实、细腻的三维轮廓重建。

本发明的基于深度学习对SMT电子元件三维重建的方法，具体包括如下步骤：

步骤一，通过传统方法投射正弦条纹光到被测物，通过相位移方法求出相对相位并还原绝对相位，并给予标定数据将绝对相位转换为高度数据，从而获得被检测物的3D模型；

步骤二，通过多角度拍摄获取被测物的多角度2D图像，将多角度图像输入深度神经网络推导获得被检测物的3D模型；

所述的深度神经网络包括2D-CNN编码网络、3D-LSTM网络和3D-CNN解码网络，其中三维卷积LSTM(3D-LSTM)网络由一组结构化3D-LSTM单元组成，输入一组多角度目标图片x，通过2D-CNN编码网络转换为低维度特征将低维度特征/>输入3D-LSTM网络，一组3D-LSTM单元有选择性的更新表示状态，最后3D-CNN解码LSTM单元的隐藏状态并生成3D体素概率重建。

步骤三，将步骤一与步骤二中获取的两种3D模型结合合成最终三维轮廓重建；

所述的三维轮廓重建的方法具体步骤是：

3.1计算步骤一中3D数据中存在较大异常部分的2D Mask与对应的置信系数；

3.2使用2D Mask筛选出步骤二中获取3D模型数据；

3.3使用2D Mask将筛选数据乘上置信系数填补到步骤一中获取的3D模型数据上完成最终模型重建。

步骤四，对步骤一中获取的3D模型进行置信度统计，对置信度高的模型带入到步骤三中获取的模型数据进行交并比计算，当得分比较低时，将步骤一获取的3D模型带入数据库中用来训练更新步骤二中的模型。

其中交并比的计算公式是：

I为指标函数，p_(i，j，k)为步骤二网络输出，表征预测体素(i，j，k)占有概率，y_(i，j，k)为步骤一输出模型数据，表征真实模型转化体素占有率，t为Threshold的简写，阈值人为调整参数。

本发明有益效果如下：

传统三维重建与最新深度学习三维重建的结合，弥补了传统三维光学检测的原始高度数据通过滤波表面平滑带来的失真，通过融合网络推理得到的三维重建表面失真更少、不太会存在毛刺、塌陷等严重失真现象。

通过CNN与RNN的结合，以及LSTM在3D结构的应用，大幅提高了解码器的重建精度。

非常适合在生产环境中部署实施，体现在：结合了传统的相移3D还原技术，减少了工业应用中新技术应用可能带来的不稳定性。

实际生产环境中被测物和环境一直都会有演变，使用神经网络在工作中不断迭代，可以针对每个客户的实际来料更新训练，可以按照不同类别的元器件大量训练建模，从而对特定电子元件适应性更好，这两种算法的结合可以非常好的解决算法适应性问题。

很好契合和利用工业实际生产环境制程上线规则，为保证产能稳定初期一般都会安排人工复检确保品质，本发明正好可以利用人力复检确保将初期上线模型失真风险降至最低。

附图说明

图1为本发明的整体工作流程示意图

图2为本发明中的多角度2D图推导3D模型神经网络的训练示意图

图3为本发明中的多角度2D图推导3D模型的神经网络结构

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何限制作用。

本发明采用的技术方案的步骤如下：

步骤一，通过传统方法投射正弦条纹光到被测物，通过相位移方法求出相对相位并还原绝对相位，并给予标定数据将绝对相位转换为高度数据，从而获得被检测物的3D模型。

具体的，被测物体的三维数据按如下方式获取，主动投射一组相位移图案到被测物体表面，同步采集这一组相移图投射到物体表面后的图像，通过采集到一组图像计算投射图案在被测物体表面的相对相位分布，还原绝对相位到绝对相位并基于标定数去获取原始三维数据。

步骤二，通过多角度拍摄获取被测物的多角度2D图像，将多角度图像输入深度神经网络推导获得被检测物的3D模型。

步骤三，将步骤一与步骤二中获取的两种3D模型结合合成最终三维轮廓重建。

步骤四，对步骤一中获取的3D模型进行置信度统计，对置信度高的模型带入到步骤三中获取的模型数据进行IoU(交并比)计算，当得分比较低时，将步骤一获取的3D模型带入数据库中用来训练更新步骤二中的模型。

在步骤二中，所述的深度神经网络包括2D-CNN编码网络、3D-LSTM网络和3D-CNN解码网络。其中三维卷积LSTM(3D-LSTM)网络由一组结构化LSTM单元组成。输入一组多角度目标图片，通过2D-CNN编码网络转换为低维度特征/>将低维度特征/>输入3D-LSTM网络，一组LSTM单元有选择性的更新表示状态，最后3D-CNN解码LSTM单元的隐藏状态并生成3D体素概率重建。

构建和训练深度神经网络模型，具体步骤如下；

步骤2.1，2D-CNN编码网络，被检测物不同角度的多张图片作为训练样本输入后，通过2D卷积神经网络先将一组多角度目标图片转为低维度参数/>2D-CNN编码网络采用的网络模型包括标准卷积层、池化层、ReLU、残差连接和全连接层，在标准卷积层之间添加残差连接可以有效地改进和加快极深网络的优化过程，通过结合深度残差网络(RNN)可有效减轻神经网络的退化。如图3所示，除第四对卷积层外，编码网络的深度残差在每2个卷积层后都存在身份映射连接关系。为了匹配卷积后的信道数，我们对残差连接使用1x1卷积，而后编码输出被传递到全连接层，并由该层将输出压缩为1024维特征向量。

步骤2.2，步骤2中提到的3D卷积LSTM(3D-LSTM)网络由一组结构化3D-LSTM单元组成，3D-LSTM单元均匀分布在3D空间网格中，每个单元负责重构最终输出的特定部分，在3D网格內有N×N×N个3D-LSTM单元，其中N是3D-LSTM网格的空间分辨率。假定每个3D-LSTM单元的每个体素(i，j，k)包含独立的隐藏状态 代表分辨率N情况下所有隐藏状态h_t的取值空间，结合LSTM的常规结构每个3D-LSTM单元由f_t、i_t、s_t、h_t4维张量组成N_h个N×N×N的向量，控制3D-LSTM网格的方程为：

h_t＝tanh(s_t)

其中*为卷积计算，σ表征总和符号，i_t、f_t分别指输入门和输出门。s_t和h_t分别表示存储单元和隐藏状态。⊙用来表示元素相乘，下标t表示t时的激活。W、U分别是变换当前输入x_t和先前隐藏状态h_t-1的矩阵，b表示偏差；

3D-LSTM网络收到上一节点的输入的1024维特征向量，3D卷积LSTM单元或是选择性地更新单元状态，或是通过关闭输入门以继续保持当前时刻单元状态；指3D卷积LSTM单元的核心单元是一个递归模块，它允许网络保存看到的图像，在看到新的图像时会更新存储的图像。传统的LSTM无法直接应用在此3D数据结构中；与传统的LSTM结构相比3D-LSTM网络还取消了输出门，可以有效减少参数提升训练效率。这种结构在训练中会迫使3D-LSTM单元对预测建模值与实际模型之间的不匹配，每个单元都学会重建体素空间的一部分，而不是对整个空间，因此可以非常有针对性的对实际场景中灰度较弱部分的3D模型进行预测。

步骤2.3，3D-CNN解码3D-LSTM单元的隐藏状态并生成基于体素的三维重建。接收图像输入序列x₁、x₁…x_T，3D-LSTM网络通过隐藏状态h_T传递给解码网络，解码网络使用3D卷积、Non-linearities、3D unpooling方法不断训练逼近目标输出分辨率。如图3所示，3D-CNN解码网络与2D-CNN编码网络类似，由5个卷积、4个残差连接、1个输出卷积层组成深度残差网络，最后激活层使用voxel-wiseSorftmax将激活值转化为空间(i，j，k)处体素单元的占有概率p_(i，j，k)。

步骤2.4，训练深度网络阶段的网络损失函数使用voxel-wise交叉熵和，设每个体素(i，j，k)的最终输出符合伯努利分布[1-p_(i，j，k)，p_(i，j，k)]，相应的输入为x＝{x_t}_{t∈{1，...，T}}，真实的占有率输出为y_(i，j，k)∈{0，1}，评价函数为

所述步骤三中，使用步骤二中获取的3D模型数据来修正步骤一中获取的3D数据，具体步骤如下：

步骤3.1，计算出步骤一中3D数据中存在较大异常部分2D Mask与对应的置信系数；

步骤3.2，使用2D Mask筛选出步骤二中获取的3D模型数据；

步骤3.3，使用2D Mask将筛选数据乘上置信系数填补到步骤一中获取的3D模型数据上。

所述步骤四中，对步骤一中获取的3D模型进行置信度统计，对置信度高的模型带入到步骤三中获取的模型数据进行IoU(交并比)计算：

I为指标函数，p_(i，j，k)为步骤二网络输出，表征预测体素(i，j，k)占有概率，y_(i，j，k)为步骤一输出模型数据，表征真实模型转化体素占有率，t为Threshold的简写，阈值可人为调整参数。

当IoU得分比较低时，将步骤一获取的3D模型与步骤二中拍摄的多角度2D图片组合存入数据库中，用来训练更新步骤二中的模型，在实际生产环境中逐步提升还原准确率。

对本发明的基于深度学习对SMT电子元件三维重建的方法做进一步的实施例说明。

步骤1，使用工业常见相移法进行被测物体表面图像还原。

步骤2，如图3所示，深度神经网络建模，深度神经网络的训练样本制作具体步骤如下：

步骤2.1，整理标准的诸如SOT、SON、SOJ、SOP、SOIC、QFP、QFN、CHIP等约30大类封装器件的标准3D模型，以及从多个角度拍摄所述封装器件的2D图片；

步骤2.2，将这些封装器件的2D图像人工框选截取并标注，与这些器件的标准3D模型数据建立对应索引关系，使用包括但不限于xml、jason、csv、txt等格式的方式形成标签文件，方便后续训练过程中读取加载训练数据；这里需要注意的是3D模型使用的是透明背景的，2D器件的拍摄图尽量使用各种种类的图片，对2D图片可以做一些旋转、缩放、随机裁剪等的数据扩充处理。

深度网络训练，工业产线上一般使用4个视角作为神经网络的2D输入，但为了保留系统对2D图片在少于4个视角下的性能，在单个小批量范围测试中，每一个训练样本的输入长度(视图数)保持恒定，但是在不同批量之间的训练样本的输入长度呈现随机变化的特点，这就使该网络能够执行单视图和多视图的重建，在训练过程中，为了节约算力和内存，可以在输入序列的末尾计算损失，另一方面，在测试期间，在每一个时间节点上，我们可以通过提取LSTM单元的隐藏状态来访问重建中间体，时刻关注训练效果，以便随时调整训练参数。

网络训练参数，输入图像尺寸统一变换为127×127。对于整个网络中结构中的ReLU使用LeakyReLU，整个网络的泄漏率均设置为0.1，并使用Adam规则来进行梯度下降训练。

步骤3，将步骤一与步骤二中获取的两种3D模型结合完成三维轮廓重建。生成2DMask筛选输出3D模型数据中，通常由于孔洞、阴影、吸光材质等引起的灰度异常会导致相位数据突变，根据这一特性可以很方便筛选出异常重建数据而将建立还原2D Mask。使用神经网络推理出的模型在完整性上会优于算法计算，两者结合可以得出当前技术条件下最优的还原效果。

步骤4，这里包含了两种处理步骤的组合：

深度学习上线初期，工业环境下会安排人工复核检测结果，对神经网络重建不理想的重建结果，使用相位还原数据，外加惩罚因子再训练，可以对神经网络的薄弱部分循环训练，直至训练模型可以针对绝大部分场景获得较好的三维重建。

交并比(IoU)评估在深度学习中广泛应用于网络最终效果评估，这里应用在产线上挑选传统方法下还原出的高品质重建数据通过IoU评估同一时间下神经网络的推到结果，可以保证3D还原系统上线后不断持续自动训练更新自己，不仅能对变化环境下的重建能力不断适应性更新，同时总能自我迭代出一个更完善的推力网络。

Claims (5)

1.基于深度学习对SMT电子元件三维重建的方法，其特征在于，包括：

步骤一，通过传统方法投射正弦条纹光到被测物，通过相位移方法求出相对相位并还原绝对相位，并给予标定数据将绝对相位转换为高度数据，从而获得被检测物的3D模型；

步骤二，通过多角度拍摄获取被测物的多角度2D图像，将多角度图像输入深度神经网络推导获得被检测物的3D模型；

步骤三，将步骤一与步骤二中获取的两种3D模型结合合成最终三维轮廓重建；

步骤四，对步骤一中获取的3D模型进行置信度统计，对置信度高的模型带入到步骤三中获取的模型数据进行交并比计算，当得分比较低时，将步骤一获取的3D模型带入数据库中用来训练更新步骤二中的模型。

2.根据权利要求1所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，在步骤二中，所述的深度神经网络包括2D-CNN编码网络、3D-LSTM网络和3D-CNN解码网络，其中三维卷积LSTM(3D-LSTM)网络由一组结构化3D-LSTM单元组成，输入一组多角度目标图片通过2D-CNN编码网络转换为低维度特征/>将低维度特征/>输入3D-LSTM网络，一组3D-LSTM单元有选择性的更新表示状态，最后3D-CNN解码LSTM单元的隐藏状态并生成3D体素概率重建。

3.根据权利要求1所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，步骤三中所述的三维轮廓重建的方法具体步骤是：

3.1计算步骤一中3D数据中存在较大异常部分的2D Mask与对应的置信系数；

3.2使用2D Mask筛选出步骤二中获取3D模型数据；

3.3使用2D Mask将筛选数据乘上置信系数填补到步骤一中获取的3D模型数据上完成最终模型重建。

4.根据权利要求2所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，步骤四中交并比的计算公式：

I为指标函数，p_(i,j,k)为步骤二网络输出，表征预测体素(i,j,k)占有概率，y_(i,j,k)为步骤一输出模型数据，表征真实模型转化体素占有率，t为Threshold的简写。

5.根据权利要求4所述的基于深度学习对SMT电子元件三维重建的方法，其特征在于，构建和训练深度神经网络模型，具体步骤如下：

步骤2.1，2D-CNN编码网络，被检测物不同角度的多张图片作为训练样本输入后，通过2D卷积神经网络先将一组多角度目标图片转为低维度参数/>2D-CNN编码网络采用的网络模型包括标准卷积层、池化层、ReLU、残差连接和全连接层，且在标准卷积层之间添加了残差连接；

步骤2.2，3D-LSTM单元均匀分布在3D空间网格中，每个单元负责重构最终输出的特定部分，在3D网格內有N×N×N个3D-LSTM单元，其中N是3D-LSTM网格的空间分辨率；假定每个3D-LSTM单元的每个体素(i,j,k)包含独立的隐藏状态其中/>代表分辨率N情况下所有隐藏状态h_t的取值空间，结合LSTM的常规结构每个3D-LSTM单元由f_t、i_t、s_t、h_t4维张量组成N_h个N×N×N的向量，控制3D-LSTM网格的方程为：

h_t＝tanh(s_t)

其中*为卷积计算，σ表征总和符号，i_t、f_t分别指输入门和输出门；s_t和h_t分别表示存储单元和隐藏状态；⊙用来表示元素相乘，下标t表示t时的激活；W、U分别是变换当前输入x_t和先前隐藏状态h_t-1的矩阵，b表示偏差；

3D-LSTM网络收到上一节点的输入的1024维特征向量，3D卷积LSTM单元或是选择性地更新单元状态，或是通过关闭输入门以继续保持当前时刻单元状态；

步骤2.3，3D-CNN解码网络接收图像输入序列x₁、h₁…x_T，3D-LSTM网络通过隐藏状态h_t传递给解码网络，解码网络使用3D卷积、Non-linearities、3Dunpooling方法不断训练逼近目标输出分辨率；

步骤2.4，训练深度网络阶段的网络损失函数使用voxel-wise交叉熵和，设每个体素(i,j,k)的最终输出符合伯努利分布[1-p_(i,j,k)，p_(i,j,k)]，其中p_(i,j,k)表征预测体素(i,j,k)占有概率，相应的输入为真实模型转化体素占有率输出为y_(i,j,k)∈{0，1}，评价函数为