CN117808752A - 缺陷检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种缺陷检测方法、装置、电子设备和存储介质。所述缺陷检测方法包括：确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域；利用所述主体区域中的各个局部区域对应的局部点云数据确定代表每个局部的代表数据点；利用所述代表数据点拟合出所述主体部对应的主体区域平面；通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。通过这种方式能够从整体上检测所述待测目标在共面度上存在缺陷，不仅减少了人力成本而且提高了检测效率。

Description

缺陷检测方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理的领域，更具体地涉及一种缺陷检测方法、缺陷检测装置、电子设备和存储介质。

背景技术

随着智能化的快速发展，各行各业对产品质量的要求逐步提高，因此对产品缺陷检测的需求日益增加。例如，伴随集成电路技术的发展，为避免传统封装方式可能会产生的串扰现象，如今大多数的高脚数芯片采用方形扁平无引脚(QFN)封装技术。QFN封装芯片呈正方形或矩形，芯片底部中央位置有一个大面积裸露焊盘用来导热，围绕大焊盘的封装外围设置有实现电气连结的导电焊盘。但是这类封装的芯片在生产过程中，由于加工工艺等问题，外围设置的导电焊盘可能会不在一个平面上，也就是说共面度上存在缺陷。因此芯片被生产制造出来后，需要在出厂前进行缺陷的检测，以剔除质量有瑕疵的器件。

目前大多数的工厂对于产品的缺陷检测还通过人工目视的方式实现。这种检测方式效率低，受主观因素影响大。随着用户对产品品质要求的不断提高以及行业竞争的加剧，传统的这种以人工抽检为主的质量检测手段已经严重制约了企业竞争力的提高，用自动化质量检测设备代替人工是必然趋势。但是如何利用现有的图像处理方法对产品进行检测，特别是对产品的共面检测的方式还未有定论。目前有部分厂商会利用相机拍摄芯片的四个侧面，然后从四个方向上分别判断单侧焊盘的共面度。但是这种方式仅能够检测单侧焊盘，无法从整体上判断所有的焊盘或者引脚的共面情况。

发明内容

为了至少部分地解决现有技术中存在的问题，本发明提供一种缺陷检测方法、缺陷检测装置、电子设备和存储介质。

根据本发明的第一个方面，提供了一种缺陷检测方法，包括：确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域；利用所述主体区域中的各个局部区域对应的局部点云数据，确定代表每个局部的代表数据点；利用所述代表数据点拟合出所述主体部对应的主体区域平面；通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

可选地，所述确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域，包括：

获取所述待测目标对应的点云数据和目标图像；

根据所述待测目标对应的点云数据，生成所述待测目标的深度图像；

确定所述主体部和所述待测对象在所述目标图像的位置；

利用所述目标图像与所述深度图像的位置对应关系以及所述主体部和所述待测对象在所述目标图像的位置，确定在所述深度图像中的所述主体区域与对象区域。

可选地，所述确定所述主体部和所述待测对象在所述目标图像的位置，包括：

利用所述待测目标对应的模板图像以及模板图像中预先设定的感兴趣区域的位置，确定所述主体部和所述待测对象在所述目标图像中的位置。

可选地，所述利用所述主体区域中的各个局部区域对应的局部点云数据，确定代表每个局部的代表数据点，包括：

将所述主体区域分割为多个局部区域；

基于每个局部区域在所述深度图像中的位置，从所述点云数据中确定局部点云数据。

从所述局部点云数据中，将与每个局部区域的中心位置对应的数据点确定为代表数据点。

可选地，所述代表数据点的X轴坐标与Y轴坐标是对应的局部区域的中心点坐标，所述代表数据点的Z轴坐标是所述局部区域内的所有像素在深度图像的深度值的均值。

可选地，根据所述待测目标对应的点云数据，生成所述待测目标的深度图像，包括：

利用三维相机获取所述待测目标对应的点云数据；

将所述点云数据在二维平面上的长度和宽度分别确定为所述深度图像的长度和宽度，并且基于所述点云数据中的各个数据点在二维平面上的位置信息确定所述深度图像中的各个像素，其中，每个像素的像素值由其对应的数据点在第三维度上的数值确定。

可选地，所述将所述主体区域分割为多个局部区域包括：将所述主体区域按照行/列平均分割为所述多个局部区域。

可选地，所述通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷，包括：

基于所述对象区域在所述深度图像中的位置，从所述点云数据中确定所述对象区域对应的对象数据点；

利用所述对象数据点计算所述对象区域到达所述主体区域平面的高度；

若所述高度不满足预设条件，则所述待测目标在共面度方面存在缺陷。

可选地，所述待测目标包括QFN封装的芯片，所述主体部指示位于所述芯片中间的焊盘，所述待测对象指示所述芯片周边的引脚。

根据本发明的第二个方面，提供一种缺陷检测装置，包括：

区域确定单元，用于确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域；

数据点确定单元，用于利用所述主体区域中的各个局部区域对应的局部点云数据确定代表每个局部的代表数据点；

拟合单元，用于利用所述代表数据点拟合出所述主体部对应的主体区域平面；

缺陷检测单元，用于通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

根据本发明的第三个方面，提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行前述缺陷检测方法。

根据本发明的第四个方面，提供一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如前述的缺陷检测方法。

根据本发明的示例性实施例的缺陷检测方法可利用点云数据，计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。通过这种方式能够从整体上检测所述待测目标在共面度上存在缺陷，而且还能定位到存在共面度缺陷的待测目标上，不仅减少了人力成本而且提高了检测效率。此外，所述发明还可将获取的目标图像与点云数据结合起来，利用目标图像确定所要检测的待测对象的位置，并从深度图像上确定该位置对应的数据点，从而避免直接进行点云处理，减少了大量的计算，所以计算效率很高，节省计算资源，能够适用于高通量要求的场景。此外，本发明可将高度值作为共面度的判断依据，从而能够量化共面度并可以根据具体情况设置阈值判断，从而能够适应不同的产品。

在发明内容中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本申请的优点和特征。

附图说明

本申请的下列附图在此作为本申请的一部分用于理解本申请。附图中示出了本申请的实施方式及其描述，用来解释本申请的原理。在附图中，

图1示出根据本发明一实施例的QFN封装芯片的示意图；

图2示出根据本发明一实施例的缺陷检测方法的示意性流程图；

图3示出根据本发明一实施例的目标图像的示意图；

图4示出根据本发明一实施例的主体区的分割示意图；

图5示出根据本发明一实施例的针对待测对象在目标图像中的区域的示意图；

图6示出了根据本发明一个实施例的缺陷检测装置600的示意性框图；以及

图7示出根据本发明一个实施例的电子设备的示意性框图。

具体实施方式

在下文的描述中，提供了大量的细节以便能够彻底地理解本申请。然而，本领域技术人员可以了解，如下描述仅示例性地示出了本申请的优选实施例，本申请可以无需一个或多个这样的细节而得以实施。此外，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行详细描述。

本发明的实施例的缺陷检测方法中所针对的缺陷是指待测对象共面性，共面性也被称之为平整度、共面度，是指各个端面与基准面的偏移量。本发明中提及的缺陷检测方法就是计算待测对象内的各个部分是否是共面的。在实施中，所述共面度可以是用于衡量整个平面的，此外，还可用于衡量待测对象中的部分区域是否是共面的。如图1所示的QFN芯片，所述QFN芯片可包括主体部110以及待测对象101和102，应注意，在所述QFN芯片中可包括多个待测对象，以上仅示意性地示出了两个，且这两个待测对象101和102可以在同一侧也可以不在同一侧。本发明的示例性实施例可用于检测所述QFN芯片的周围引脚是否是共面的，还可以用于某一侧引脚是否是共面的。

为了至少部分地解决上述问题，本发明实施例提供一种缺陷检测方法。图2示出了根据本发明一个实施例的缺陷检测方法200的示意性流程图。如图2所示，该方法200可以包括以下步骤S210、步骤S220、步骤S230和步骤S240。

在步骤S210，确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域。

根据本发明的示例性实施例，所述待测目标可以是任意合适的对象，本发明不对其进行限制。本发明的缺陷检测方法可以适用于各种需要对目标进行检测的场景。示例性地，待测目标可以是芯片，主体部可以是芯片主体。以QFP芯片为例，这种封装的芯片通常包括大致为矩形的主体部，以及外围的引脚。在这种情况下，所述待测目标指示QFP芯片，所述主体部指示中间的焊盘，所述待测对象指示围绕着焊盘的引脚。

作为本发明的实施例，本发明可先获取所述待测目标的深度图像。简言之，本发明可利用与所述待测目标对应的点云数据的三维坐标确定所述待测对象的深度图像。在实施中，所述待测目标的点云数据可以是一个或多个三维相机拍摄待检测芯片表面生成的。具体来说，本发明的实施例可利用三维相机从垂直于第一面区的方向拍摄待测对象，以得到与待测对象对应的点云数据。第一面区即芯片主体部上方的平面，这样三维相机垂直于第一面区，这样得到的点云数据在深度Z方向上不存在夹角。

随后，根据所述点云数据中的各个数据点的三维坐标，确定关于所述待测对象的深度图像。在实施中，将所述点云数据在二维平面上的长度和宽度分别确定为所述深度图像的长度和宽度，并且基于所述点云数据中的各个数据点在二维平面上的位置信息确定所述深度图像中的各个像素，其中，每个像素的像素值由其对应的数据点在第三维度上的数值确定。

具体来说，根据点云数据中各个数据点的三维坐标、点云数据分别在第一维度和第二维度上的第一长度和第二长度以及点云数据分别在三个维度方向上的分辨率，生成关于目标对象的深度图像。其中，三个维度包括第一维度、第二维度和第三维度；深度图像的图像长度和图像宽度分别等于第一长度和第二长度；深度图像中每个第一像素的第一位置、第二位置分别等于该第一像素对应的点云数据的数据点的第一维度方向和第二维度方向上的坐标分量，第一位置和第二位置分别是该第一像素在图像长度方向和图像宽度方向上的位置分量；深度图像中每个第一像素的像素值与该第一像素对应的点云数据的点在第三维度方向上的坐标分量正相关。

在一些示例中，深度图像的图像长度和图像宽度也可以分别与第一长度和第二长度存在线性关系，深度图像中每个第一像素的第一位置、第二位置分别与该第一像素对应的点云数据的点的第一维度方向和第二维度方向上的坐标分量存在线性关系。

在如图1所示的QFP芯片中，与该QFP芯片对应的点云数据中的数据点均落在芯片的表面。点云数据中每一数据点的坐标包括该数据点在X、Y、Z三个维度方向的坐标信息。第一维度、第二维度、第三维度分别对应X、Y、Z三个维度方向。通过各个数据点的三维坐标，可以计算整个点云的宽度和长度信息(例如各个点在X、Y方向的覆盖区域的长度)，还可以得到点云的X/Y/Z三个方向上的分辨率。根据这些信息，可以生成QFP芯片的深度图像。以三维相机俯视拍摄QFP芯片表面为例，芯片表面所在平面可以对应X方向和Y方向形成的平面，该平面上的凸出或凹陷可以认为是芯片的Z方向，即Z可以代表深度信息。

深度图像为二维图像，深度图像的宽度可以等于点云的长度，深度图像320的高度可以等于点云的宽度。对于点云数据中的每个数据点，可以根据其在X、Y方向的坐标，找到其对应在深度图像中的每个像素。并可以根据数据点的z坐标确定每个像素的像素值。例如，点云数据中数据点的z坐标值等于对应的像素的像素值。可以理解，还可以存在未对应点云中点的像素，可以确定将这些像素的像素值为预设像素值，例如0。由于灰度值范围(0，255)，而点云中点的z坐标值可能在这个区间范围之外，因此可以对各个点的z坐标值通过以下公式进行归一化处理：

其中，value为灰度值，Z为每一像素位置对应的深度值，Zmin和Zmax分别为点云数据中深度值的最大值和最小值。

简言之，根据本发明的实施例可提取点云数据中各个数据点的Z坐标数据作为深度图像中每个像素的像素值，该深度图像的宽度可以等于点云数据的宽度，该深度图像的高度可以等于点云的长度，依次按行赋值以生成了深度图像，由此实现了将三维图像向二维图像的转化。可以理解，相比于点云信息，深度图像相对于点云数据而言数据量更小，占用内存也更小，从而计算速度更快。

同时，如图3所示，所述方法可获取针对所述待测目标的目标图像，所述目标图像可以是任何合适地用于表征所述待测目标的二维图像。根据本发明的示例性实施例，所述目标图像中的每个像素均对应于所述待测目标上的每个位置。示例性地，目标图像可以是RGB图像、灰度图像或者亮度图像。目标图像可以是静态图像，也可以是动态视频中的任一视频帧。目标图像可以是任意合适尺寸、合适分辨率的图像。所述目标图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善目标图像的视觉效果，提高其清晰度，或是突出图像中的某些特征的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。

接下来，根据本发明的实施例可在所述待测图像中确定所述主体部和待测对象的位置。以QFP芯片为例，所述发明可从所述待测图像中确定焊盘对象的第一区域以及引脚对应的第二区域。显而易见地，所述待测图像中包括多个第二区域。可选地，所述方法可利用阈值分割的方式从所述待测图像中提取出所述待测对象所在的区域。所述阈值分割的方式是指通过设置针对每个像素的像素值的阈值的方式，其中，所述像素值是基于所述目标图像的类型而设定的数值，在所述待测图像是灰度图像的情况下，所述像素的像素值指示所述像素的灰度值。在此情况下，根据本发明的实施例可通过设置灰度阈值从所述待测图像中提取出所述待测对象所在的区域。在所述待测图像是亮度图像的情况下，所述像素的像素指指示所述像素的亮度值。在此情况下，根据本发明的实施例可通过设置亮度阈值从所述待测图像中提取出所述待测对象所在的区域。

根据本发明的实施例，所述方法可获取针对所述待测目标的模板图像。所述模板图像的图像类型与待测图像的类型是相同的，指示在没有偏差的情况下获取的针对待测目标的模板图像。在所述模板图像中可预先设置好感兴趣区域的位置，例如，在模板图像中可预先将中间位置设置为感兴趣区域。然后，本发明可利用感兴趣区域在所述模板图像中的位置，确定在所述待测图像中的主体部的位置。

受到各种条件的限制，所述待测图像中的主体部的实际位置很可能存在偏移。在这种情况下，可利用所述模板图像对所述待测图像进行校正。例如，可在获取到所述待测图像的中心点后，利用所述待测图像与所述模板图像的中心点之间的偏移以及所述感兴趣区域在所述模板图像中的位置，确定所述待测图像中的主体部的位置。

在已经确定了所述主体部和待测对象在所述待测图像中的位置后，可直接确定所述主体部和待测对象在所述深度图像中的位置。具体来说，所述深度图像中的每个像素点对应于所述待测对象上的每个位置，同时所述目标图像中的每个像素点亦对应于所述待测对象的每个位置，因此，所述深度图像与所述目标图像中的每个像素点也存在对应关系。换言之，针对目标图像中的第一像素，可根据第一像素在目标图像中的位置(坐标值)以及所述深度图像与所述目标图像之间的对应关系，确定第一像素在深度图像中的位置。由此可知，在已经确定了主体部和待测对象在所述待测图像中的位置后，可利用深度图像与目标图像的对应关系，确定所述主体部在所述深度图像中位置。

在步骤S220，利用所述主体区域中的各个局部区域对应的局部点云数据确定代表每个局部的代表数据点。

根据本发明的实施例，所述方法可按照预设分割方式，将所述主体区域划分为多个局部区域，所述预设分割方式包括按行和/或列平均分割形成的多个局部区域。作为示例，所述预设分割方式可指示对所述平面区域执行均分的方式。如图4所示，所述方法可将平面区域平均分为25个区域。然后针对每个局部区域(局部区域)分别确定对应的代表数据点。

在实施例中，为了降低运算量，可在目标图像上执行以上分割处理。即，对目标图像中与主体部对应的区域执行以上分割处理，并基于分割后的各个子区域的位置，确定每个局部区域在所述深度图像中的位置，进而确定与每个局部区域对应的局部点云数据。随后，将位于每个局部区域的中心位置的数据点确定为对应的代表数据点，其中，所述代表数据点的X轴坐标与Y轴坐标是对应的局部区域的中心点坐标，所述代表数据点的Z轴坐标是所述局部区域内的所有像素在深度图像的深度值的均值。

在步骤S230，利用所述代表数据点拟合出所述主体部对应的主体区域平面。以图4为例，在已经获取到数据点(x11，y11，z11),(x12，y12，z12)，...(x1j，y1j，z1j)后，利用各个代表数据点后，利用最小二乘拟合的方法进行拟合，可以获得主体区域平面，所述主体区域平面的方程可以表示为：Ax+By+Cy+Z＝0，其中平面法向量为：(A,B,C)。

根据上述技术方案，基于代表数据点的坐标，对主体部所在的平面进行拟合，可以获得主体区域平面。这样可以简便且快速地获取主体区域平面，效率较高。

在步骤S240，通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

在实施中，所述待测对象对应的对象数据点同样是根据待测对象在目标图像中的位置以及目标图像与深度图像在像素上的对应关系来获取的。应注意，所述待测对象对应大量的数据点，因此，可针对每个对象数据点均计算其到所述主体区域平面的高度值，即，针对某一对象数据点(xn，yn，zn)，按照如下公式计算高度值，最后利用这些高度值确定最终的高度。例如，可对这些高度值求取平均值并将平均值作为最终的高度。

此外，为了降低运算量且更精准地计算高度信息，本发明可先利用目标图像对各个待测对象对应的区域执行处理，随后利用处理后的区域的位置确定对象数据点。为了便于描述，以下将参照图5进行描述。

图5示出了单个待测对象在目标图像中的区域，为了便于描述以下将其称作第一子区域。针对每个第一子区域，所述发明可先向内腐蚀2个像素，随后，可针对腐蚀后的第一子区域(区域510)执行开运算，然后进行中值滤波，中值滤波后的区域510可被称作测量区域。最后，利用该测量区域在目标区域中的位置，确定所述待测对象对应的对象数据点并执行上述操作。

在本发明的实施例中，所述共面度可指示所有的待测对象是否共面的情况。在获取到每个待测对象针对主体部的高度值后，可对这些高度值计算平均值，得到平均高度值，然后确定每个高度值针对平均高度值的偏差，若偏差小于预设值，则表明该待测目标不存在共面度的缺陷，若高于预设值，则表明该待测目标存在共面度的缺陷。基于此，所述发明不仅能够从整体上检测所述待测目标中的各个待测对象是否存在共面度缺陷，还可以精准确定存在共面度缺陷的待测目标。

综上可知，根据本发明的示例性实施例的缺陷检测方法可利用点云数据，计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。通过这种方式能够从整体上检测所述待测目标在共面度上存在缺陷，而且还能定位到存在共面度缺陷的待测目标上，不仅减少了人力成本而且提高了检测效率。此外，所述发明还可将获取的目标图像与点云数据结合起来，利用目标图像确定所要检测的待测对象的位置，并从深度图像上确定该位置对应的数据点，从而避免直接进行点云处理，减少了大量的计算，所以计算效率很高，节省计算资源，能够适用于高通量要求的场景。此外，本发明可将高度值作为共面度的判断依据，从而能够量化共面度并可以根据具体情况设置阈值判断，从而能够适应不同的产品。

据本发明的又一方面，还提供一种缺陷检测装置。图6示出了根据本发明一个实施例的缺陷检测装置600的示意性框图。如图6所示，该缺陷检测装置600可以包括区域确定单元610、数据点确定单元620、拟合单元630和缺陷检测单元640。

区域确定单元610，用于确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域。

数据点确定单元620，用于利用所述主体区域中的各个局部区域对应的局部点云数据确定代表每个局部的代表数据点。

拟合单元630，用于利用所述代表数据点拟合出所述主体部对应的主体区域平面。

缺陷检测单元640，用于通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

本领域普通技术人员通过阅读上文关于缺陷检测方法的相关描述，可以理解上述缺陷检测装置的实现方式以及技术效果，为了简洁，在此不再赘述。

据本发明的又一方面，还提供一种电子设备。图7示出了根据本发明实施例的电子设备的示意性框图。如图7所示，该电子设备700包括处理器710和存储器720，存储器720中存储有计算机程序，计算机程序指令被处理器710运行时用于执行上述的图像处理方法。

根据本申请的另一方面，还提供一种存储介质。在存储介质上存储了程序指令，程序指令在运行时用于执行上述目标对象的检测方法100。所述存储介质例如可以包括可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上述有关目标对象的检测方法的相关描述，可以理解上述超声检测系统、电子设备和存储介质的具体实现方案和有益效果，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的分割，仅仅为一种逻辑功能分割，实际实现时可以有另外的分割方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的超声检测系统中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种缺陷检测方法，其特征在于，包括：

确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域；

利用所述主体区域中的各个局部区域对应的局部点云数据，确定代表每个局部的代表数据点；

利用所述代表数据点拟合出所述主体部对应的主体区域平面；

通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

2.如权利要求1所述的方法，其特征在于，所述确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域，包括：

获取所述待测目标对应的点云数据和目标图像；

根据所述待测目标对应的点云数据，生成所述待测目标的深度图像；

确定所述主体部和所述待测对象在所述目标图像的位置；

利用所述目标图像与所述深度图像的位置对应关系以及所述主体部和所述待测对象在所述目标图像的位置，确定在所述深度图像中的所述主体区域与对象区域。

3.如权利要求2所述的方法，其特征在于，所述确定所述主体部和所述待测对象在所述目标图像的位置，包括：

利用所述待测目标对应的模板图像以及模板图像中预先设定的感兴趣区域的位置，确定所述主体部和所述待测对象在所述目标图像中的位置。

4.如权利要求3所述的方法，其特征在于，所述利用所述主体区域中的各个局部区域对应的局部点云数据，确定代表每个局部的代表数据点，包括：

将所述主体区域分割为多个局部区域；

基于每个局部区域在所述深度图像中的位置，从所述点云数据中确定局部点云数据。

从所述局部点云数据中，将与每个局部区域的中心位置对应的数据点确定为代表数据点。

5.如权利要求4所述的方法，其特征在于，所述代表数据点的X轴坐标与Y轴坐标是对应的局部区域的中心点坐标，所述代表数据点的Z轴坐标是所述局部区域内的所有像素在深度图像的深度值的均值。

6.如权利要求5所述的方法，其特征在于，根据所述待测目标对应的点云数据，生成所述待测目标的深度图像，包括：

利用三维相机获取所述待测目标对应的点云数据；

将所述点云数据在二维平面上的长度和宽度分别确定为所述深度图像的长度和宽度，并且基于所述点云数据中的各个数据点在二维平面上的位置信息确定所述深度图像中的各个像素，其中，每个像素的像素值由其对应的数据点在第三维度上的数值确定。

7.如权利要求4所述的方法，所述将所述主体区域分割为多个局部区域包括：将所述主体区域按照行/列平均分割为所述多个局部区域。

8.如权利要求7所述的方法，其特征在于，所述通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷，包括：

基于所述对象区域在所述深度图像中的位置，从所述点云数据中确定所述对象区域对应的对象数据点；

利用所述对象数据点计算所述对象区域到达所述主体区域平面的高度；

若所述高度不满足预设条件，则所述待测目标在共面度方面存在缺陷。

9.如权利要求1所述的方法，其特征在于，所述待测目标包括QFN封装的芯片，所述主体部指示位于所述芯片中间的焊盘，所述待测对象指示所述芯片周边的引脚。

10.一种缺陷检测装置，其特征在于，包括：

区域确定单元，用于确定待测目标的主体部和待测对象在深度图像中的主体区域与对象区域；

数据点确定单元，用于利用所述主体区域中的各个局部区域对应的局部点云数据确定代表每个局部的代表数据点；

拟合单元，用于利用所述代表数据点拟合出所述主体部对应的主体区域平面；

缺陷检测单元，用于通过计算所述待测对象对应的对象数据点与所述主体区域平面之间的高度信息来确定所述待测目标在共面度方面是否存在缺陷。

11.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至9任一项所述的缺陷检测方法。

12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至9任一项所述的缺陷检测方法。