CN116152066B - 一种元件完整形貌的点云检测方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种元件完整形貌的点云检测方法、系统、设备及介质，所述方法包括以下步骤：确认待检测元件，获取待检测元件的全域视场；确认全域视场中的待配准视场；对待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；基于拼接深度图拼接待检测元件的元件全域形貌深度图；本发明能够基于全域扫描以及二维配准的点云拼接操作，实现PCB的完整形貌进行点云检测，最终产出了PCB整个形貌的深度图，全域扫描的方式时效性高，且基于2D图进行二维配准，提高了配准的精确度和计算时间，同时基于非锡膏区域的平面拟合及锡膏区域的高度值填充，在生成精准的深度图同时，又保证了深度图的平整性，兼顾了较高的点云拼接精度和速度。

Description

一种元件完整形貌的点云检测方法、系统、设备及介质

技术领域

本发明涉及视觉检测技术领域，具体的，本发明应用于电路板制造时的锡膏检测中，特别是涉及一种元件完整形貌的点云检测方法、系统、设备及介质。

背景技术

目前，锡膏检测（Solder Paste Inspection，SPI）设备广泛用于高端制造业中印刷电路板（Printed Circuit Board，PCB）上元件焊接前的锡膏3D缺陷检测；由于锡膏尺寸小，因此锡膏检测的测量精度要求较高，传统方法中会通过3D结构光相机恢复出锡膏3D形貌，由于为了获得较高的空间分辨率，提高精度，3D结构光相机的镜头视野通常被设计较小，但是PCB板的尺寸是较大的，而且PCB板上元件密集，若为实现整块PCB板的测量，则需要将PCB板划分成不同的视场（Field Of View，FOV），采用3D结构光相机对每一块FOV进行检测，而且不同FOV之间必然会存在有重合区域，最终需要把不同FOV的3D点云进行对应拼接，才能得到最终PCB板的整体形貌；在这个过程中，分块检测的方法无法直接得到PCB板的完整点云，这种分块检测的点云易存在误差，且易影响点云拼接的精度，而且分块检测所消耗的时长较久，影响了SPI的检测效率；再者，上述过程中所采用点云拼接方法的精度和效率，也会直接影响最终SPI的检测精度与效率；

目前，现有的点云拼接方法为：从两个点云数据集中按照相同的准侧提取关键点，对所有关键点进行特征描述；根据特征描述相似度，寻找两个点云集中关键点的一一对应关系；后续利用对应关键点估算刚体变换，通过配准算法对旋转平移矩阵进行迭代优化，得到最优解，完成点云配准拼接；在现有的方法中，点云拼接的精度和效率主要受到所采用配准算法的影响；目前，常用的配准算法有ICP（Iterative Closest Point）算法和NDT（Normal Distribution Transform）算法；

以下对这两种算法进行进一步的解释：

ICP算法，主要通过点云间对应点对的变换实现配准，其过程中会估计变换后配准点云与源点云的距离误差函数，并根据该函数迭代配准运算至满足要求；ICP方法主要优化的是源点云和配准点云间的距离；

NDT算法，主要优化的是概率密度，其主要根据配准点云变换到源点云中新点的概率密度，对点云的转换矩阵进行不断优化，以至满足转换要求；

这两种算法中，各有优劣：

对于ICP算法，其采用最小二乘估算变换矩阵，原理简单且具有较好的精度，但是由于采用了迭代计算，导致算法的计算速度较慢，而且采用ICP进行配准计算时，其对待配准点云的初始位置有一定要求，若所选初始位置不合理，则会导致算法陷入局部最优，其时效性较差，且具有一定的局限性；

对于NDT算法，其对初始值的要求低于ICP方法，且NDT算法的计算速度比ICP算法快，但是NDT算法的算法精度略低，在数据量较大时依然会耗时较久；

再者，基于3D点云配准的拼接方法中需要源点云具有很高的精度，因此需要保证每个FOV中边界处的点云没有翘曲，这对3D结构光相机的测量精度要求极高；而通常在SPI中相邻的FOV之间只有边界处具有共同视场，如果边界处的点云精度较差，或者镜头畸变没有被很好地校正，那么微小的拼接误差也会导致配准FOV的远端边缘出现较大的翘曲变形，在这种条件下，多个FOV连续拼接时，误差会不断累积，最终导致所形成的PCB板整体形貌教差，平整性较低；

综上所述，现有的分块式FOV检测方法的检测效率较低，易影响点云拼接精度，而且目前基于点云配准的点云拼接方法对系统标定精度、3D成像质量的要求较高，且现有配准算法的时效性和算法精度无法兼顾。

发明内容

本发明的目的在于，针对现有技术中的上述问题，提供一种元件完整形貌的点云检测方法、系统、设备及介质，进而解决现有技术中分块式FOV检测方法的检测效率较低，易影响点云拼接精度，而且目前基于点云配准的点云拼接方法对系统标定精度、3D成像质量的要求较高，且现有配准算法的时效性和算法精度无法兼顾的问题。

为解决上述技术问题，本发明的具体技术方案如下：

一方面，本发明提供一种元件完整形貌的点云检测方法，包括以下步骤：

确认待检测元件，获取所述待检测元件的全域视场；

获取所述待检测元件的与所述全域视场相对应的RGB图像；

设置深度补全网络，基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；

确认所述新全域视场中的待配准视场；

对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；

基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；

所述基于二维配准的点云拼接操作，包括：

二维配准步骤：

确认待配准视场的重叠区域；

根据所述重叠区域计算坐标转换策略；

基平面建立步骤：

根据所述待配准视场获取待配准3D点云集；

根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

坐标转换拼接步骤：

根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图。

作为一种改进的方案，所述待配准视场包括：基准视场和待拼接视场；

所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；

所述根据所述重叠区域计算坐标转换策略，包括：

获取所述基准视场中所述重叠区域的第一2D图像；

获取所述待拼接视场中所述重叠区域的第二2D图像；

根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，得到所述坐标转换策略。

作为一种改进的方案，所述基于形状及特征点匹配的矩阵操作，包括：

对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；

基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；

基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；

基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略。

作为一种改进的方案，所述根据所述待配准视场获取待配准3D点云集，包括：

获取关于所述基准视场的第一3D点云；

获取关于所述待拼接视场的第二3D点云；

令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集。

作为一种改进的方案，所述根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：

确认所述待配准视场中的非锡膏区域；

识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；

基于所述非锡膏3D点云进行平面拟合，得到所述二维拼接基平面。

作为一种改进的方案，所述基于高度值填充和点云融合的二维坐标转换操作，包括：

确认所述基准视场中的第一锡膏区域；

识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；

按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的第一高度值填充至所述二维拼接基平面中的第一二维坐标处，得到初始深度图；

确认所述待拼接视场中的第二锡膏区域；

基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接。

作为一种改进的方案，所述基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，包括：

识别所述待配准3D点云集中与所述第二锡膏区域对应的第二锡膏3D点云，基于所述坐标转换策略将所述第二锡膏3D点云所对应的第二二维坐标转换为第三二维坐标；

确认所述第二锡膏3D点云在所述待配准3D点云集中的第二点云对应关系，按照所述第二点云对应关系，将所述第三二维坐标转换至所述初始深度图中，并将所述第二锡膏3D点云所对应的第二高度值填充至所述初始深度图中对应的第三二维坐标处，得到所述拼接深度图；

所述基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，还包括：

将所述第三二维坐标转换至所述初始深度图以及将所述第二高度值填充至所述初始深度图时，分别判断所述第三二维坐标以及所述第二高度值所对应的第一点对是否为所述匹配点对；

若所述第三二维坐标所对应的第一点对为所述匹配点对，则基于点云融合操作将该第三二维坐标融合至所述初始深度图；

若所述第二高度值所对应的第一点对为所述匹配点对，则基于点云融合操作将该第二高度值融合至所述初始深度图。

另一方面，本发明还提供一种元件完整形貌的点云检测系统，包括：全域处理模块、深度补全处理模块和点云拼接模块；所述点云拼接模块包括：二维配准模块、基平面建立模块和坐标转换拼接模块；

所述全域处理模块，用于确认待检测元件，并获取所述待检测元件的全域视场；

所述深度补全处理模块，用于获取所述待检测元件的与所述全域视场相对应的RGB图像；所述深度补全处理模块设置深度补全网络，所述深度补全处理模块基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；

所述全域处理模块，还用于确认所述新全域视场中的待配准视场；

所述点云拼接模块，用于对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；所述点云拼接模块基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；

所述基于二维配准的点云拼接操作，由所述二维配准模块、所述基平面建立模块和所述坐标转换拼接模块的相互配合实现：

所述二维配准模块，用于确认待配准视场的重叠区域；二维配准模块根据所述重叠区域计算坐标转换策略；

所述基平面建立模块，用于根据所述待配准视场获取待配准3D点云集；基平面建立模块根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

所述坐标转换拼接模块，用于根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图。

另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述元件完整形貌的点云检测方法的步骤。

另一方面，本发明还提供一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：

所述存储器，用于存放计算机程序；

所述处理器，用于通过运行所述存储器上所存放的程序来执行所述元件完整形貌的点云检测方法的步骤。

本发明技术方案的有益效果是：

1、本发明所述的元件完整形貌的点云检测方法，可以实现基于PCB板的全域扫描以及基于二维配准的点云拼接操作，对PCB板的完整形貌进行点云检测，最终产出了PCB板整个形貌的深度图，全域扫描的方式时效性高，且基于PCB板整个形貌的深度图进行SPI，有利于提高SPI的检测精度；其中，在进行基于二维配准的点云拼接操作前，对得到的全域视场进行了深度点云修补，提高了点云数据的精准性，利于提高后续点云拼接时的精准性，在进行基于二维配准的点云拼接操作时，又着重基于2D图进行二维配准，提高了配准的精确度并降低了计算时间，同时基于非锡膏区域的平面拟合以及锡膏区域的高度值填充，在生成精准的深度图同时，又保证了PCB板不会出现翘曲，最终使PCB板整个形貌的深度图都具有较佳的平整性，本发明对系统的标定精度和成像质量要求较低，弥补了现有技术的缺陷，兼顾了较高的点云拼接精度和速度，利于提高SPI的检测精度与效率。

2、本发明所述的元件完整形貌的点云检测系统，可以通过二维配准模块、基平面建立模块和坐标转换拼接模块的相互配合，进而实现基于PCB板的全域扫描以及基于二维配准的点云拼接操作，对PCB板的完整形貌进行点云检测，最终产出了PCB板整个形貌的深度图，全域扫描的方式时效性高，且基于PCB板整个形貌的深度图进行SPI，有利于提高SPI的检测精度；其中，在进行基于二维配准的点云拼接操作前，对得到的全域视场进行了深度点云修补，提高了点云数据的精准性，利于提高后续点云拼接时的精准性，在进行基于二维配准的点云拼接操作时，又着重基于2D图进行二维配准，提高了配准的精确度并降低了计算时间，同时基于非锡膏区域的平面拟合以及锡膏区域的高度值填充，在生成精准的深度图同时，又保证了PCB板不会出现翘曲，最终使PCB板整个形貌的深度图都具有较佳的平整性，本发明对系统的标定精度和成像质量要求较低，弥补了现有技术的缺陷，兼顾了较高的点云拼接精度和速度，利于提高SPI的检测精度与效率。

3、本发明所述的计算机可读存储介质，可以实现引导二维配准模块、基平面建立模块和坐标转换拼接模块进行配合，进而实现本发明所述的元件完整形貌的点云检测方法，且本发明所述的计算机可读存储介质还有效提高所述元件完整形貌的点云检测方法的可操作性。

4、本发明所述的计算机设备，可以实现存储并执行所述计算机可读存储介质，进而实现本发明所述的元件完整形貌的点云检测方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1所述元件完整形貌的点云检测方法的流程示意图；

图2是本发明实施例1所述元件完整形貌的点云检测方法中所述基于二维配准的点云拼接操作的流程示意图；

图3是本发明实施例1所述元件完整形貌的点云检测方法中所述基于二维配准的点云拼接操作的详细流程示意图；

图4是本发明实施例1所述元件完整形貌的点云检测方法中所述基于二维配准的点云拼接操作的逻辑流程示意图；

图5是本发明实施例1所述元件完整形貌的点云检测方法中所述待配准视场及所述重叠区域的示意图；

图6是本发明实施例1所述元件完整形貌的点云检测方法中所述拼接深度图的示意图；

图7是本发明实施例2所述元件完整形貌的点云检测系统的架构示意图；

图8是本发明实施例4所述计算机设备的结构示意图；

附图中的标记说明如下：

1501、处理器；1502、通信接口；1503、存储器；1504、通信总线。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本实施例提供一种元件完整形貌的点云检测方法，如图1~图6所示，包括以下步骤：

S101、确认待检测元件，获取所述待检测元件的全域视场；

作为本发明的一种实施方式，由于现有技术中在进行SPI时会对电路板进行分块检测，这种情况下不会得到电路板最终的完整形貌，且分块检测耗时较久，导致SPI的精度及效率均会受到一定影响，而本方法中，将需要进行SPI的电路板作为待检测元件，并采用驱动轴附带3D结构光相机进行电路板的全域移动拍照，进而遍历电路板的所有区域，进而一次性获得整块电路板中的所有视场点云数据，该所有视场点云数据即为前述的全域视场；此处得到的全域视场还需要进行继续的优化，因为在进行点云数据捕捉时，由于受到光照、遮挡以及物体本身材质等原因的影响，点云数据可能出现缺失或异常值，此时就需要对点云数据的缺失进行填补并修复异常值，进而提升点云数据的精准性，提高本方法最终点云检测的精准性；由于本方法中，三维点云数据后续会采用二维配准的方式进行点云拼接，在实际应用中仅考虑Z轴深度信息即可，其在X轴和Y轴上与RGB图像是可以完全对应，故在本实施方式中，利用RGB图像引导进行三维点云的补全和修正是较佳的；现有技术中，主流的RGB引导的深度补全方案为早期融合方法和后期融合方法，其中早期融合方法，会直接在输入层或第一卷积层直接聚合图像和待补全的深度图，这种方式下，早期融合模型虽然相对简单，但因为多模态数据融合仅在输入层进行，而特征提取完全依赖于黑盒神经网络，故最终会导致性能不佳；其中后期融合方法，会采用双解码器进行特征提取，并在两个子网络的中间层进行特征融合，这种基于双编码器-解码器的方法，通常在图像分支的解码器和深度分支的编码器之间以多尺度进行融合，而双编码器-解码器网络相比于双编码器网络要更为复杂，虽性能上升，但相应的计算效率会直接下降；故综合现有技术中所存在的问题，本方法在实际操作时，考虑到自然场景的深度图可以分解为光滑表面和其间的尖锐不连续性，后者在深度图中形成阶梯边缘，而这种结构是深度图的关键属性，进一步的，RGB图像提供了有关场景结构的信息，包括纹理、线条和边缘，以补充稀疏深度图（即带缺失和异常的深度图）的缺失线索，并鼓励平滑区域内的深度连续性和边界处的不连续性，因此利用RGB信息作为附加输入是直接且合理的，故本方法主要基于深度神经网络来实现利用RGB图像的点云修正；

本方法中，设置利用RGB引导的深度补全网络：

；其中，稀疏深度图（即带缺失和异常的深度图）及其对应的RGB图像都被用于输入，本实施方式中，网络中输入的稀疏深度图即为前述的全域视场所对应的三维点云数据；操作时，通过预先捕捉所述待检测元件的与所述全域视场相对应的RGB图像作为RGB输入；深度补全网络中，/>

即代表带有参数/>

的深度神经网络（即深度补全网络），/>

即表示前述的稀疏深度图，/>

表示像素与/>

对齐的RGB图像，/>

表示预测的密集深度图（即修补完成的深度图——“本实施方式中的新全域视场”）；需要说明的是，在本方法中，基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场，其中的点云深度补全处理，并不意味着单纯地对原始稀疏深度图进行直接补全，而是通过前述的深度神经网络预测一个全新的深度图；其中，网络/>

的参数/>

通过下面公式进行优化：/>

；该公式中，/>

表示Ground Truth深度图的集合，/>

是损失函数，其通常被定义为在训练/>

时通过反向传播来惩罚有效像素上的预测和Ground Truth之间的逐像素差异；在本实施方式中，在设置深度补全网络时，可采用人工筛选出无缺失和异常的PCB板点云数据作为训练集合的Ground Truth，且在已知Ground Truth的情况下，可考虑对深度图/点云进行随机裁剪以模拟点云缺失情况，对深度图/点云进行随机加噪以模拟点云异常情况，通过以上的方式来提高深度补全网络的输出精度；故，在进行上述的异常及修补处理后，得到的新全域视场可以进行后续的点云拼接处理；由于3D结构光相机进行图像捕捉时，全域视场中存在一定的重叠区域，故最终的新全域视场中也必然存在一定的重叠区域，那么本方法中需要对这些重叠的区域采用点云拼接的方式进行消除；

S201、确认所述新全域视场中的待配准视场；此处的待配准视场即为基准视场和待拼接视场，本实施方式中，将新全域视场中存在重叠区域的两个相关联/相邻视场作为待配准视场，其中的一个视场作为基准不进行转换的视场，另一个视场中因存在与基准视场相同的区域，故需要进行点云配准和点云拼接，来扩展至相应的基准视场上，进而实现重叠区域的消除，以及电路板整体形貌深度图的不断拼接；故在本实施方式中，执行下述的S301来实现此操作；

S301、对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；如图5和图6所示，最终，通过对新全域视场中每存在重叠区域的待配准视场进行点云拼接，进而得到没有重叠区域的拼接深度图，如图6中的FOV3；当新全域视场中的每个待拼接视场都进行拼接后，后续即可执行步骤S401；

S401、基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；此步骤中，即将没有重叠区域的拼接深度图按照全域视场中的对应位置进行拼接，即可得到最终电路板的整体形貌深度图，即元件全域形貌深度图；以图5和图6作为举例，当全域视场的整体即为一个待配准视场时，其只拥有一个基准视场和一个待拼接视场，那么在进行步骤S301的处理后，最终得到图6中的FOV3即可作为最终的元件全域形貌深度图；

步骤S301中，所述基于二维配准的点云拼接操作，包括：步骤S3010~步骤S3030，具体流程如下：

S3010、二维配准步骤，具体包括：

S3011、确认待配准视场的重叠区域；根据所述重叠区域计算坐标转换策略；

作为本发明的一种实施方式，所述待配准视场包括：基准视场和待拼接视场；如图5中，基准视场即为FOV1，待拼接视场即为FOV2，所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；在本实施方式中，根据前述驱动轴的运动轨迹以及单个FOV的视场尺寸，即可确定相邻的两个FOV之间的重叠区域及其具体尺寸；例如，若FOV的宽度为60mm，而驱动轴带着3D结构光相机的水平移动距离是50mm，则对应的重叠区域为60mm-50mm=10mm处的部分；

作为本发明的一种实施方式，所述根据所述重叠区域计算坐标转换策略，包括：

获取所述基准视场中所述重叠区域的第一2D图像；获取所述待拼接视场中所述重叠区域的第二2D图像；本实施方式中，由于3D结构光系统上的远心镜头除了拍摄相移图像用来三维重建外，同时还会拍摄对应的2D图像用于3D贴图和2D显示，故从3D结构光相机中所拍摄的待配准视场的2D图像中，来获取前述的第一2D图像和第二2D图像；之后，根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，计算FOV2与FOV1中对应点对间的转换关系，即可得到所述坐标转换策略；后续根据此坐标转换策略，即可将FOV2中的点拓展到FOV1的平面上，如图6所示，FOV3（拼接深度图）就是在FOV1的平面上拓展拼接了FOV2后的结果；

作为本发明的一种实施方式，所述基于形状及特征点匹配的矩阵操作，包括：对所述第一2D图像和所述第二2D图像分别进行2D图像的边缘检测，得到第一边缘和第二边缘；因为第一2D图像和第二2D图像分别是对应两个视场中重叠区域的图像，故第一边缘和第二边缘即为两个视场中的锡膏边缘；采用形状匹配算法对第一边缘和第二边缘进行匹配，故基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；其中，相匹配的第一边缘和第二边缘即判断为FOV1和FOV2中相匹配的两个锡膏区域，两者即属于一种形状的重叠点对区域；按照此逻辑，即可对第一2D图像和第二2D图像中的每对相匹配的锡膏区域进行匹配识别；进行形状识别后，基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；具有重叠关系的匹配点对，例如通过特征点检测算法检测到位于第一2D图像的重叠点对区域中的x1以及位于第二2D图像的重叠点对区域中的x2之间具有相匹配/对应的关系，那么则说明x1和x2具有重叠关系，这两点为两个视场的重叠区域中相互对应的点对，故判断该点对为关键点对，属于前述的匹配点对；按照此逻辑，对第一2D图像和第二2D图像中的每对重叠点对区域都进行特征点检测，最终会得出多个关键的匹配点对x1和x2；最后基于多个所述匹配点对来联合计算所述待拼接视场与所述基准视场间的旋转平移矩阵，该旋转平移矩阵，即为FOV2拼接至FOV1时的转换关系，故令所述旋转平移矩阵作为所述坐标转换策略；在本实施方式中，FOV1中重叠点对区域和FOV2中重叠点对区域的对应关系为1对1的关系，FOV1和FOV2中匹配点对的对应关系也为1对1的关系，旋转平移矩阵为x1和x2之间的转换矩阵，其包括旋转矩阵R和平移矩阵T，旋转矩阵R为2×2大小，自由度为1，平移矩阵T为2×1大小，自由度为2；以x1和x2为举例的旋转平移矩阵为：x1 = R*x2 + T；至此步骤结束，完成了基于2D图像的FOV1和FOV2间的点云配准，相较于传统的3D点云配准，本方法所处理的数据量少、精度高以及计算时间快，整体配准效率极高；

S3020、基平面建立步骤，具体包括：

S3021、根据所述待配准视场获取待配准3D点云集；根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

作为本发明的一种实施方式，所述根据所述待配准视场获取待配准3D点云集，包括：获取关于所述基准视场的第一3D点云；获取关于所述待拼接视场的第二3D点云；第一3D点云和第二3D点云均可通过一开始3D结构光相机所拍摄的电路板的3D图像中获得；故令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集，用于后续的基平面生成以及点云拼接中；

作为本发明的一种实施方式，所述根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：确认所述待配准视场中的非锡膏区域；此处的非锡膏区域即为FOV1和FOV2中每一个锡膏区域周围一定范围的PCB（电路板）基底板区域；故识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；以FOV1和FOV2中每一个锡膏区域周围一定范围的PCB（电路板）基底板区域所对应的非锡膏3D点云进行平面拟合，建立局部的坐标系，由于该局部坐标系的建立时，坐标的Z值均为0，故该局部的坐标系作为点云拼接所用的二维拼接基平面；该二维拼接基平面，为2D float类型的深度图。

S3030、坐标转换拼接步骤，具体包括：

S3031、根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图；

作为本发明的一种实施方式，所述基于高度值填充和点云融合的二维坐标转换操作，包括：上述步骤进行了非锡膏区域的基平面建立，属于2D单精度的深度图，由于本方法应用于锡膏缺陷检测中，对于锡膏的拼接精度要求极高，故首先，进行FOV1中锡膏部分的点云拼接，确认所述基准视场中的第一锡膏区域（FOV1中锡膏点的所在区域）；在所述待配准3D点云集中筛选识别与所述第一锡膏区域对应的第一锡膏3D点云，确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系，此处的第一点云对应关系，即为第一锡膏3D点云在整个待配准3D点云集中的坐标间的相对关系（主要用于坐标插入时的位置判断），由于结构光在3D成像时是逐像素计算的，所以2D图的像素坐标与3D点云中的点是很容易一一对应的，故按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标准确的插入转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的第一高度值（即第一锡膏3D点云的Z值）填充至所述二维拼接基平面中的第一二维坐标处，得到初始的深度图，后续即需要对FOV2中的锡膏点进行深度图的插入；故确认所述待拼接视场中的第二锡膏区域；由于FOV2中的锡膏点涉及一些与FOV1的重叠部分的匹配点对，故需要基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接。

作为本发明的一种实施方式，所述基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，包括：首先识别所述待配准3D点云集中与所述第二锡膏区域对应的第二锡膏3D点云，基于所述坐标转换策略将所述第二锡膏3D点云所对应的第二二维坐标转换为第三二维坐标；该第三二维坐标即为可以插入到前述初始深度图中的点云坐标，例如（i，j）；之后确认所述第二锡膏3D点云在所述待配准3D点云集中的第二点云对应关系，此处的第二点云对应关系，即为第二锡膏3D点云在整个待配准3D点云集中的坐标间的相对关系（主要用于坐标插入时的位置判断），故基于上述步骤的相同原理，按照所述第二点云对应关系，将所述第三二维坐标转换至所述初始深度图中，并将所述第二锡膏3D点云所对应的第二高度值（即第二锡膏3D点云的Z值）填充至所述初始深度图中对应的第三二维坐标处，得到所述拼接深度图，即为图6中的FOV3；考虑到重叠区域的点云重合问题，故在进行所述第三二维坐标转换至所述初始深度图以及将所述第二高度值填充至所述初始深度图时，判断所述第三二维坐标所对应的第一点对以及所述第二高度值所对应的第一点对是否分别属于FOV1和FOV2之间的任一匹配点对；若所述第三二维坐标所对应的第一点对为所述匹配点对，则判断该第三二维坐标所对应的第一点属于FOV1和FOV2之间的锡膏点重叠部分，故基于点云融合操作将该第三二维坐标融合至所述初始深度图；点云融合操作基于均置融合；若所述第二高度值所对应的第一点对为所述匹配点对，则判断该第二高度值所对应的第一点属于FOV1和FOV2之间的锡膏点重叠部分，故同样基于点云融合操作将该第二高度值融合至所述初始深度图；最终，FOV1和FOV2按照上述逻辑拼接完成，得到FOV3，后续按照步骤S3010~步骤S3030的逻辑，对于步骤S201中确认出的电路板上其他的待配准视场进行重叠区域的消除，若待配准视场有多个，最终将每个待配准视场得到的FOV3进行对应拼接，即可得到整个电路板的形貌（需要注意的是，进行完第一次的FOV3拼接后，后续回到步骤S301再次进行基于二维配准的点云拼接操作时，前述得到的FOV3中的某一部分有可能作为下次拼接时的基准视场），由于本方法中进行了平面拟合和坐标转换，所以得到的FOV3中所有无锡膏的区域的高度值均为0，这不仅更加便于锡膏缺陷检测的应用，更加有针对性，同时还避免了点云拼接后3D点云翘曲的问题，具有较佳的适用性。

实施例2

本实施例基于与实施例1中所述的一种元件完整形貌的点云检测方法相同的发明构思，提供一种元件完整形貌的点云检测系统，如图7所示，包括：全域处理模块、深度补全处理模块和点云拼接模块；所述点云拼接模块包括：二维配准模块、基平面建立模块、坐标转换拼接模块和全域图像拼接模块；

作为本发明的一种实施方式，所述全域处理模块，包括；全域视场扫描子模块和配准视场确认子模块；

所述全域视场扫描子模块用于确认待检测元件，并获取所述待检测元件的全域视场；

所述深度补全处理模块，用于获取所述待检测元件的与所述全域视场相对应的RGB图像；所述深度补全处理模块设置深度补全网络，所述深度补全处理模块基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；

所述配准视场确认子模块用于确认所述新全域视场中的待配准视场；

所述点云拼接模块，用于对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；所述点云拼接模块基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；

所述基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图，由所述全域图像拼接模块进行操作实现；

所述基于二维配准的点云拼接操作，由所述二维配准模块、所述基平面建立模块和所述坐标转换拼接模块的相互配合实现：

所述二维配准模块，用于确认待配准视场的重叠区域；二维配准模块根据所述重叠区域计算坐标转换策略；

作为本发明的一种实施方式，所述二维配准模块包括：图像捕捉子模块和转换策略分析子模块；

作为本发明的一种实施方式，所述待配准视场包括：基准视场和待拼接视场；所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；

作为本发明的一种实施方式，所述二维配准模块根据所述重叠区域计算坐标转换策略，包括：所述图像捕捉子模块获取所述基准视场中所述重叠区域的第一2D图像；所述图像捕捉子模块获取所述待拼接视场中所述重叠区域的第二2D图像；所述转换策略分析子模块根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，得到所述坐标转换策略。

作为本发明的一种实施方式，所述转换策略分析子模块包括：边缘检测单元、匹配处理单元、特征点检测单元和矩阵计算单元；

作为本发明的一种实施方式，所述基于形状及特征点匹配的矩阵操作，包括：边缘检测单元对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；匹配处理单元基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；特征点检测单元基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；矩阵计算单元基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略。

所述基平面建立模块，用于根据所述待配准视场获取待配准3D点云集；基平面建立模块根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

作为本发明的一种实施方式，所述基平面建立模块包括：点云获取子模块、第一点云识别子模块和拟合处理子模块；

作为本发明的一种实施方式，所述基平面建立模块根据所述待配准视场获取待配准3D点云集，包括：点云获取子模块获取关于所述基准视场的第一3D点云；点云获取子模块获取关于所述待拼接视场的第二3D点云；点云获取子模块令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集。

作为本发明的一种实施方式，所述基平面建立模块根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：第一点云识别子模块确认所述待配准视场中的非锡膏区域；第一点云识别子模块识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；拟合处理子模块基于所述非锡膏3D点云进行平面拟合，得到所述二维拼接基平面。

所述坐标转换拼接模块，用于根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图；

作为本发明的一种实施方式，所述坐标转换拼接模块包括：第二点云识别子模块、坐标转换处理子模块、高度值填充子模块和点云融合处理子模块；

作为本发明的一种实施方式，所述基于高度值填充和点云融合的二维坐标转换操作，包括：第二点云识别子模块确认所述基准视场中的第一锡膏区域；第二点云识别子模块识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，第二点云识别子模块确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；坐标转换处理子模块按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，高度值填充子模块按照所述第一点云对应关系将所述第一锡膏3D点云所对应的第一高度值填充至所述二维拼接基平面中的第一二维坐标处，得到初始深度图；第二点云识别子模块确认所述待拼接视场中的第二锡膏区域；第二点云识别子模块、坐标转换处理子模块、高度值填充子模块和点云融合处理子模块基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接。

作为本发明的一种实施方式，所述第二点云识别子模块、坐标转换处理子模块、高度值填充子模块和点云融合处理子模块基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，包括：第二点云识别子模块识别所述待配准3D点云集中与所述第二锡膏区域对应的第二锡膏3D点云，坐标转换处理子模块基于所述坐标转换策略将所述第二锡膏3D点云所对应的第二二维坐标转换为第三二维坐标；第二点云识别子模块确认所述第二锡膏3D点云在所述待配准3D点云集中的第二点云对应关系，坐标转换处理子模块按照所述第二点云对应关系，将所述第三二维坐标转换至所述初始深度图中，高度值填充子模块按照所述第二点云对应关系将所述第二锡膏3D点云所对应的第二高度值填充至所述初始深度图中对应的第三二维坐标处；坐标转换处理子模块将所述第三二维坐标转换至所述初始深度图以及高度值填充子模块将所述第二高度值填充至所述初始深度图时，坐标转换处理子模块和高度值填充子模块分别判断所述第三二维坐标以及所述第二高度值所对应的第一点对是否为所述匹配点对；若所述第三二维坐标所对应的第一点对为所述匹配点对，则坐标转换处理子模块结合点云融合处理子模块基于点云融合操作将该第三二维坐标融合至所述初始深度图；若所述第二高度值所对应的第一点对为所述匹配点对，则高度值填充子模块结合点云融合处理子模块基于点云融合操作将该第二高度值融合至所述初始深度图。

实施例3

本实施例提供一种计算机可读存储介质，包括：

所述存储介质用于储存将上述实施例1所述的元件完整形貌的点云检测方法实现所用的计算机软件指令，其包含用于执行上述为所述元件完整形貌的点云检测方法所设置的程序；具体的，该可执行程序可以内置在实施例2所述的元件完整形貌的点云检测系统中，这样，元件完整形貌的点云检测系统就可以通过执行内置的可执行程序实现所述实施例1所述的元件完整形貌的点云检测方法。

此外，本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。

实施例4

本实施例提供一种电子设备，如图8所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例1中所述元件完整形貌的点云检测方法的步骤。

作为本发明的一种实施方式，上述终端提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为本发明的一种实施方式，通信接口用于上述终端与其他设备之间的通信。

作为本发明的一种实施方式，存储器可以包括随机存取存储器(Random AccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

作为本发明的一种实施方式，上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

区别于现有技术，采用本申请一种元件完整形貌的点云检测方法、系统、设备及介质，可以实现基于PCB板的全域扫描以及基于二维配准的点云拼接操作，对PCB板的完整形貌进行点云检测，最终产出了PCB板整个形貌的深度图，全域扫描的方式时效性高，且基于PCB板整个形貌的深度图进行SPI，有利于提高SPI的检测精度；其中，在进行基于二维配准的点云拼接操作前，对得到的全域视场进行了深度点云修补，提高了点云数据的精准性，利于提高后续点云拼接时的精准性，在进行基于二维配准的点云拼接操作时，又着重基于2D图进行二维配准，提高了配准的精确度并降低了计算时间，同时基于非锡膏区域的平面拟合以及锡膏区域的高度值填充，在生成精准的深度图同时，又保证了PCB板不会出现翘曲，最终使PCB板整个形貌的深度图都具有较佳的平整性，保证了PCB板的平整性，本发明对系统的标定精度和成像质量要求较低，弥补了现有技术的缺陷，兼顾了较高的点云拼接精度和速度，利于提高SPI的检测精度与效率。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种元件完整形貌的点云检测方法，其特征在于，包括以下步骤：

确认待检测元件，获取所述待检测元件的全域视场；

获取所述待检测元件的与所述全域视场相对应的RGB图像；

设置深度补全网络，基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；

确认所述新全域视场中的待配准视场；

对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；

基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；

所述基于二维配准的点云拼接操作，包括：

二维配准步骤：

确认待配准视场的重叠区域；

根据所述重叠区域计算坐标转换策略；

基平面建立步骤：

根据所述待配准视场获取待配准3D点云集；

根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

坐标转换拼接步骤：

根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图；

所述待配准视场包括：基准视场和待拼接视场；所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；

所述根据所述重叠区域计算坐标转换策略，包括：获取所述基准视场中所述重叠区域的第一2D图像；获取所述待拼接视场中所述重叠区域的第二2D图像；根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，得到所述坐标转换策略；

所述基于形状及特征点匹配的矩阵操作，包括：对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略；

所述基于高度值填充和点云融合的二维坐标转换操作，包括：确认所述基准视场中的第一锡膏区域；识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的第一高度值填充至所述二维拼接基平面中的第一二维坐标处，得到初始深度图；确认所述待拼接视场中的第二锡膏区域；基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接。

2.根据权利要求1所述的一种元件完整形貌的点云检测方法，其特征在于：

所述根据所述待配准视场获取待配准3D点云集，包括：

获取关于所述基准视场的第一3D点云；

获取关于所述待拼接视场的第二3D点云；

令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集。

3.根据权利要求1所述的一种元件完整形貌的点云检测方法，其特征在于：

所述根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：

确认所述待配准视场中的非锡膏区域；

识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；

基于所述非锡膏3D点云进行平面拟合，得到所述二维拼接基平面。

4.根据权利要求1所述的一种元件完整形貌的点云检测方法，其特征在于：

所述基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，包括：

识别所述待配准3D点云集中与所述第二锡膏区域对应的第二锡膏3D点云，基于所述坐标转换策略将所述第二锡膏3D点云所对应的第二二维坐标转换为第三二维坐标；

确认所述第二锡膏3D点云在所述待配准3D点云集中的第二点云对应关系，按照所述第二点云对应关系，将所述第三二维坐标转换至所述初始深度图中，并将所述第二锡膏3D点云所对应的第二高度值填充至所述初始深度图中对应的第三二维坐标处，得到所述拼接深度图；

所述基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接，还包括：

将所述第三二维坐标转换至所述初始深度图以及将所述第二高度值填充至所述初始深度图时，分别判断所述第三二维坐标以及所述第二高度值所对应的第一点对是否为所述匹配点对；

若所述第三二维坐标所对应的第一点对为所述匹配点对，则基于点云融合操作将该第三二维坐标融合至所述初始深度图；

若所述第二高度值所对应的第一点对为所述匹配点对，则基于点云融合操作将该第二高度值融合至所述初始深度图。

5.一种元件完整形貌的点云检测系统，其特征在于，包括：全域处理模块、深度补全处理模块和点云拼接模块；所述点云拼接模块包括：二维配准模块、基平面建立模块和坐标转换拼接模块；

所述全域处理模块，用于确认待检测元件，并获取所述待检测元件的全域视场；

所述深度补全处理模块，用于获取所述待检测元件的与所述全域视场相对应的RGB图像；所述深度补全处理模块设置深度补全网络，所述深度补全处理模块基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；

所述全域处理模块，还用于确认所述新全域视场中的待配准视场；

所述点云拼接模块，用于对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；所述点云拼接模块基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；

所述基于二维配准的点云拼接操作，由所述二维配准模块、所述基平面建立模块和所述坐标转换拼接模块的相互配合实现：

所述二维配准模块，用于确认待配准视场的重叠区域；二维配准模块根据所述重叠区域计算坐标转换策略；所述待配准视场包括：基准视场和待拼接视场；所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；所述二维配准模块获取所述基准视场中所述重叠区域的第一2D图像；所述二维配准模块获取所述待拼接视场中所述重叠区域的第二2D图像；所述二维配准模块根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，得到所述坐标转换策略；所述二维配准模块对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；所述二维配准模块基于所述第一边缘和所述第二边缘的形状匹配性，所述二维配准模块确认所述基准视场与所述待拼接视场间的重叠点对区域；所述二维配准模块基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；所述二维配准模块基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略；

所述基平面建立模块，用于根据所述待配准视场获取待配准3D点云集；基平面建立模块根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；

所述坐标转换拼接模块，用于根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图；所述坐标转换拼接模块确认所述基准视场中的第一锡膏区域；所述坐标转换拼接模块识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，所述坐标转换拼接模块确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；所述坐标转换拼接模块按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的第一高度值填充至所述二维拼接基平面中的第一二维坐标处，得到初始深度图；所述坐标转换拼接模块确认所述待拼接视场中的第二锡膏区域；所述坐标转换拼接模块基于所述坐标转换策略和所述第二锡膏区域进行所述初始深度图的重叠点对拼接。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1~4中任一项所述元件完整形貌的点云检测方法的步骤。

7.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：

所述存储器，用于存放计算机程序；

所述处理器，用于通过运行所述存储器上所存放的程序来执行权利要求1~4中任一项所述元件完整形貌的点云检测方法的步骤。

Images