CN115546139A - 一种基于机器视觉的缺陷检测方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备。本申请实施例中，通过基于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点实现了场景深度图的增强，比如依赖于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点的残差信息，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测。

Description

一种基于机器视觉的缺陷检测方法、装置及电子设备

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种基于机器视觉的缺陷检测方法、装置及电子设备。

背景技术

目前，基于机器视觉的缺陷检测方法常使用2D检测。所谓2D检测，其通常为通过2D相机获取待检测对象对应的图像中的亮度数据，基于亮度数据进行缺陷检测。这里，待检测对象比如为焊接场景下的焊接工件等等，本实施例并不具体限定。

但是，当待检测对象对应的图像中的缺陷区域的光泽和纹理接近正常区域时，例如，深度较小(毫米级)的划痕，2D检测方法就很难精确检测出待检测对象对应的图像中的缺陷区域。

发明内容

有鉴于此，本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备，以通过场景深度图的增强方式来实现缺陷检测。

根据本申请实施例的第一方面，提供一种基于机器视觉的缺陷检测方法，包括如下步骤：

将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云；

针对所述第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与所述配对点之间的残差信息；所述残差信息用于指示所述目标点与所述配对点之间的差异；所述第二点云是指将所述待检测对象的标准模型深度图上的像素点映射至所述指定坐标系下得到的；

依据所述第一点云中各目标点与所述第二点云中对应的各配对点之间的残差信息，确定残差图；

依据所述残差图检测所述待检测对象上的缺陷信息。

根据本申请实施例的第二方面，提供一种基于机器视觉的缺陷检测装置，包括：

映射模块，用于将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云；

残差信息确定模块，用于针对所述第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与所述配对点之间的残差信息；所述残差信息用于指示所述目标点与所述配对点之间的差异；所述第二点云是指将所述待检测对象的标准模型深度图上的像素点映射至所述指定坐标系下得到的；

残差图确定模块，用于依据所述第一点云中各目标点与所述第二点云中对应的各配对点之间的残差信息，确定残差图；

缺陷检测模块，用于依据所述残差图检测所述待检测对象上的缺陷信息。

根据本申请实施例的第三方面，提供一种电子设备，电子设备包括机器可读存储介质、处理器；所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于读取所述机器可执行指令，以实现如第一方面所述的基于机器视觉的缺陷检测方法的步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例中，基于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点实现了场景深度图的增强，比如依赖于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点的残差信息，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测；

进一步地，本申请实施例中，基于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点实现了场景深度图的增强，提高了待检测对象表面缺陷区域和正常区域的区分度，避免通过2D检测方法很难精确检测出待检测对象对应的图像中的缺陷区域的问题。

附图说明

图1是本申请实施例提供的方法流程图。

图2是本申请实施例提供的残差信息确定流程图。

图3是本申请实施例提供的一缺陷检测流程图。

图4为本申请实施例提供的另一缺陷检测流程图。

图5是本申请实施例提供的装置框图。

图6是本申请实施例提供的装置硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

下面对本申请实施例提供的方法进行描述：

参见图1，图1为本申请实施例提供的方法流程图。该方法应用于电子设备，作为一个实施例，这里的电子设备比如为终端、服务器等，本申请实施例并不具体限定。

如图1所示，该流程可包括以下步骤：

S110：将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云。

示例性地，上述待检测对象为待检测工件，例如，在焊接场景下，上述待检测对象为焊接工件。作为一个实施例，这里的待检测对象的表面可能存在缺陷，比如存在光泽与纹理接近正常区域的缺陷区域等，本实施例并不限定。这里，光泽与纹理接近正常区域的缺陷区域举例为：深度为毫米级的划痕，则表示缺陷区域的光泽与纹理接近正常区域，本实施例并不具体限定。

示例性地，待检测对象在当前场景下的场景深度图可以由本电子设备直接采集得到。此时，作为一个实施例，这里的电子设备为深度相机等用于采集深度图的设备，比如RGB-D相机、线激光轮廓扫描仪等，本实施例并不具体限定。

示例性地，待检测对象在当前场景下的场景深度图也可由本电子设备通过有线网络或者无线网络的方式从采集到该场景深度图的其他设备比如深度相机中得到。此时，作为一个实施例，这里的电子设备可为与深度相机等用于采集深度图的设备进行交互的设备，比如上述的终端、服务器等，本实施例并不具体限定。

示例性地，上述场景深度图对应的坐标系为图像坐标系，在此情况下，上述指定坐标系可以为不同于图像坐标系的其他坐标系，比如世界坐标系等，本申请实施例对此不作限定。

在本实施例中，上述第一点云为场景深度图的各像素点映射到在指定坐标系下得到的各点的数据集。

示例性地，在本实施例中，本步骤S110中的将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，可以采用自定义的映射算法进行映射。至于如何采用自定义的映射算法进行映射，参见下面实施例的具体描写，这里暂不赘述。

示例性地，在本实施例中，本步骤S110中将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，也可以采用常规的相机标定原理进行转换，这里暂不赘述。

S120：针对第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与配对点之间的残差信息；残差信息用于指示目标点与配对点之间的差异；第二点云是指将待检测对象的标准模型深度图上的像素点映射至指定坐标系下得到的。

示例性地，上述目标点可以为第一点云中的所有点，也可以为第一点云中的部分点，本申请实施例并不具体限定。

其中，当上述目标点为第一点云中的部分点时，其可以从第一点云中随机选取，也可以是按照预设选取规则从第一点云中选取的。上述预设选取规则例如可以为选取第一点云中指定比例比如90％的点，等等，本实施例并不具体限定。

示例性地，在本实施例中，待检测对象的标准模型深度图为待检测工件的无缺陷的深度图。待检测对象的标准模型深度图的采集方法与上述待检测对象的场景深度图的采集方法一致，第二点云的确定方法与上述第一点云的确定方法一致，在此均不再赘述。

示例性地，在本实施例中，第二点云中的配对点为第二点云中特征信息与目标点的特征信息最相近的点，例如，特征相似度大于或等于预设相似度阈值(例如，0.9)。上述特征信息可以包括亮度特征、纹理特征，等等，可以通过现有神经网络进行特征提起得到。本申请实施例上述特征信息以及预设相似度阈值不作具体限定。

示例性地，上述残差信息用于指示目标点与配对点的差异，在本实施例中，可以用经过点云配准后的目标点与配对点之间的距离表示。至于如何基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与配对点之间的残差信息可参考下文图2举例描述的流程，这里暂不赘述。

S130：依据第一点云中各目标点与第二点云中对应的各配对点之间的残差信息，确定残差图。

示例性地，上述残差图用于指示场景深度图与标准模型深度图的差异。在本实施例中，在得到第一点云中每个目标点与第二点云中对应的各配对点之间的残差信息后，针对每个目标点，将该目标点的残差信息作为该目标点在场景深度图上的对应像素点的深度信息，在确定场景深度图上的各个像素点的深度信息后，就得到上述残差图。

S140：依据残差图检测待检测对象上的缺陷信息。

示例性地，上述缺陷信息为缺陷的位置信息。在本实施例中，本步骤S140中依据残差图检测待检测对象上的缺陷信息可以为利用神经网络模型进行缺陷检测，至于如何采用神经网络模型进行缺陷检测，下文图3举例进行了描述，在此不再赘述。

示例性地，在本实施例中，本步骤S140中的依据残差图检测待检测对象上的缺陷信息也可以为利用传统图像处理方法进行缺陷检测，至于如何采用传统图像处理方法进行缺陷检测，下文图4举例进行了描述，在此不再赘述。

至此，完成图1所示流程。

通过图1流程可以看出，本申请实施例中，基于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点实现了场景深度图的增强，比如依赖于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点的残差信息，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测；

进一步地，本申请实施例中，基于场景深度图对应的第一点云中的目标点以及标准模型深度图对应的第二点云中的配对点实现了场景深度图的增强，提高了待检测对象表面缺陷区域和正常区域的区分度，避免通过2D检测方法很难精确检测出待检测对象对应的图像中的缺陷区域的问题。

下面对如何根据自定义的映射方法将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云进行描述：

在本申请实施例中，上述映射过程包括：

首先，获取用于将场景深度图上的像素点映射到指定坐标系下的尺度变化值；针对场景深度图上的一个像素点，基于该像素点的深度值和尺度变化值的乘积确定该像素点在指定坐标系下的第一坐标值，基于该像素点的第一图像坐标值与尺度变化值的乘积确定该像素点在指定坐标系下的第二坐标值，基于该像素点的第二图像坐标值与尺度变化值的乘积确定该像素点在指定坐标系下的第三坐标值。其中，第一图像坐标值和第二图像坐标值组成该像素点在图像坐标系下的坐标；第一坐标值、第二坐标值和第三坐标值组成在指定坐标系下与该像素点对应的点的坐标。

示例性地，上述尺度变化值可以是预设好的，例如，0.5，本申请实施例对该尺度变化值不作具体限定，可以根据实际情况确定。上述尺度变化值可以是提前设置好存储在电子设备中，使用时直接调用；也可以响应于输入操作实时获取。本申请实施例对上述尺度变化值的获取方法不作具体限定。

示例性地，对于图像坐标系下的场景深度图的某一个像素点的坐标(x，y)，该像素点的深度值为z，将该像素点转换到指定坐标系下的坐标值为(X，Y，Z)，具体映射过程例如可以为：对于图像坐标系下的深度图上像素点的横坐标x，将横坐标x与尺度变化值的乘积作为指定坐标系下的点的横坐标X，对于图像坐标系下的场景深度图上像素点的纵坐标y，将纵坐标y与尺度变化值的乘积作为指定坐标系下的点的纵坐标Y，对于图像坐标系下的场景深度图上的点的深度值z，将深度值z与尺度变化值的乘积作为指定坐标系下的点的竖坐标Z。

将场景深度图上的每一个像素点的坐标都转换到世界坐标系下，形成第一点云。

作为本申请另一个实施例，当转换为第一点云图后，若第一点云的点较为离散，还可以基于偏置值对这些点进行归一化，该偏置值为一个常数。也即，将坐标(X，Y，Z)的每一个坐标值分别加一个常数，每个坐标值需要加的常数可以相同，也可以不同，本申请实施例对此并不作具体限定，可以根据实际情况确定。

至此，完成根据自定义的映射方法将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云的描述。

下面对图2所示流程进行描述：

参见图2，图2为本申请实施例提供的残差信息确定流程图。如图2所示，该流程可包括以下步骤：

S210：针对第一点云中每一目标点，利用位姿变换信息对该目标点进行位姿变换得到变换点，计算该变换点与配对点之间的距离；位姿变换信息为第一点云中各目标点和第二点云中与各目标点对应的各配对点进行配准处理得到的。

示例性地，在本实施例中，上述位姿变换信息包括：旋转矩阵和平移矩阵。上述配准处理可以为迭代最近邻点(Iterative Closest Point，ICP)点云配准处理，也可以为其他配准方法，本申请实施例对此不作具体限定。至于如何利用IPC点云配准处理得到位姿变换信息在下面实施例进行描述，这里暂不赘述。

示例性地，在本实施例中，上述变换点为目标点经过位姿变换后的点。利用位姿变换信息对该目标点进行位姿变换得到变换点具体可以为：将该目标点的坐标与位姿变换信息中的旋转矩阵和平移矩阵进行指定运算，得到变换点的坐标。在本实施例中，上述指定运算为将该目标点的坐标与旋转矩阵做乘积后再与平移矩阵相加，得到变换点的坐标。

示例性地，在本实施例中，本步骤S220中的计算该变换点与配对点之间的距离可以为基于常规的两点间距离计算公式计算对配对点的坐标和变换点的坐标进行计算，在此不再赘述。

S220：依据距离，确定该目标点与配对点之间的残差信息。

示例性地，在本实施例中，本步骤中依据距离，确定该目标点与配对点之间的残差信息，可以直接将该距离作为目标点与配对点之间的残差信息。本申请实施例对此不作具体限定。

至此，完成图2所示流程。

通过图2所示流程实现了如何基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与配对点之间的残差信息。

下面对ICP点云配准处理过程进行具体描述：

对于第一点云中各目标点组成的目标点云集P，点云集P包括多个目标点pi，pi∈P，第二点云中存在与目标点云集P对应的配对点云集Q，该配对点云集Q中包括多个配对点qi，qi∈Q，其中，pi与qi一一对应。配准处理就是找出使得||qi-pi||＝min的旋转矩阵R和平移矩阵t。

具体步骤为：

(1)计算旋转矩阵R和平移矩阵t，使得预设误差函数小于预设值，上述预设误差函数可以为：

其中，E(R，t)表示预设误差函数；n表示目标点的数量。上述预设值可以是提前定义好的，例如，0.1，本申请实施例对上述预设值和预设误差函数均不作具体限定。上述R和t的计算方法为现有计算方法，在此不再赘述。

(2)对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，得到新的目标点p’_i＝{p’_i＝Rpi+t，pi∈P}。

(3)计算p’_i与对应的配对点qi的平均距离

其中，d表示平均距离。

(4)如果d小于预设阈值或者迭代次数大于预设迭代次数，则停止迭代计算，否则返回第(1)步，直到满足收敛条件，得到平移矩阵t和旋转矩阵R。上述预设阈值可以为0.2，预设迭代次数可以为100次。本申请实施例对上述预设阈值和预设迭代次数均不作具体限定，可以根据实际情况确定。

下面通过图3和图4分别描述上述步骤S140中如何依据残差图检测待检测对象上的缺陷信息：

参见图3，图3为本申请实施例提供的依据神经网络进行缺陷检测的流程图。如图3所示，该流程可包括如下步骤：

S310：对残差图进行灰度处理，得到灰度图。

示例性地，在本实施例中，对残差图进行灰度处理可以采用线性映射法进行灰度处理。本申请实施例对灰度处理方法不作具体限定，可以根据实际情况确定。

上述采用线性映射法对残差图进行灰度处理具体可以为：首先确定该残差图中的最大像素值和最小像素值，将最小像素值对应的像素点的像素值设置为0，将最大像素值对应的像素点的像素值设置为255，将最大像素值和255、最小像素值和0分别代入线性方程m＝k·n+b中，确定k和b，其中，n表示残差图中像素点的像素值，m表示灰度图中像素点的像素值，k，b均为常数。对于残差图中介于最小像素值和最大像素值之间的像素点的像素值，可以采用上述线性映射公式m＝k·n+b来进行映射，对残差图上的每一个像素点进行映射，即可得到灰度图。

S320：将灰度图输入到已训练好的缺陷检测模型中，得到待检测对象上的缺陷信息。

示例性地，在本实施例中，将灰度图输入到已训练好的缺陷检测模型中，已由该缺陷检测模型对灰度图进行缺陷区域定位，得到缺陷定位结果，该缺陷定位结果即为待检测对象上的缺陷信息。

作为本申请一个实施例，上述缺陷检测模型通过如下步骤训练得到：

获取标注好的灰度训练图像；将标注好的灰度训练图像输入到神经网络模型中进行训练，直到该损失值小于预设损失阈值(例如，0.1)或者训练次数达到预设训练次数(例如，200次)，得到该缺陷检测模型。上述标注好的灰度训练图像可以为已有标注好的数据集，也可以为人工标注好的各灰度图，还可以为利用传统图像处理方法对各灰度图定位后的图像，本申请实施例对该标注好的灰度训练图不作具体限定。

至此，完成图3所示流程。

通过图3所示流程实现了如何通过神经网络进行缺陷检测。

参见图4，图4为本申请实施例提供的依据传统图像处理方法进行缺陷检测的流程图。如图4所示，该流程可包括如下步骤：

S410：对残差图进行灰度处理，得到灰度图。

示例性地，灰度图的确定过程与上述图3中步骤S310的确定过程一样，具体参见上述步骤S310的相关描述，在此不再赘述。

S420：对灰度图进行二值化处理，得到二值化图。

示例性地，对灰度图进行二值化处理，得到二值化图具体可以为：利用预设灰度阈值对上述灰度图进行二值化，把大于预设灰度阈值的像素点的灰度值设为第一灰度值，把小于预设灰度阈值的像素点的灰度值设为第二灰度值，从而实现二值化，第一灰度值大于第二灰度值。

上述预设灰度阈值可以为0.1，也可以为10。上述第一灰度值可以为255，第二灰度值可以为0。本申请实施例对上述预设灰度阈值、第一灰度值以及第二灰度值均不作具体限定，可以根据实际需求确定。

S430：基于二值化图检测待检测对象上的缺陷信息。

示例性地，在本实施例中，本步骤S430中基于二值化图检测待检测对象上的缺陷信息具体可以为：对二值化图进行连通域提取处理，根据提取结果确定待检测对象上的缺陷信息。

示例性地，在本实施例中，连通域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。对二值化图进行连通域提取处理实际上就是标记连通域的过程，具体标记方法可以采用基于行程标记方法。

下面对基于行程标记法进行连通域提取进行描述：

对于该二值化图像，本申请实施例以第一灰度值为255、第二灰度值为0为例进行描述。具体地，逐行扫描该二值化图像，把每一行中连续的白色像素组成一个序列称为一个团，并未该团赋一个团标号，记下该团的起点start、终点end以及所在的行号。对于除了第一行外的所有行的团，如果其与前一行中的所有团都没有重合区域，则给其一个新的团标号；如果其仅与上一行中的一个团有重合区域，则将上一行中与该团重合的团的团标号赋给该团；如果其与上一行的2个以上的团均有重叠区域，则给当前团赋一个相连团中的最小团标号，并记录上一行中与当前团有重叠区域的团的团标号，将记录内容称为等价对，该等价对用于指示等价对中记载的内容属于一类。将等价对转换为等价序列，每一个序列需要给一相同的标号。遍历开始团的标记，查找等价序列，给予它们新的标记，就完成了连通域的提取。利用预设筛选条件对提取到的连通域进行过滤，例如，将连通域宽高比<1的无用连通域过滤掉，将过滤后的连通域作为待检测对象的缺陷检测结果。

至此，完成图4所示流程。

通过图4所示流程实现了如何利用传统图像处理方法进行缺陷检测。

需要说明的是，本申请实施例还可以同时使用上述两种缺陷检测方法进行缺陷检测，然后取两种检测方法的交集或者并集作为缺陷检测结果。

以上对本申请实施例提供的方法进行了描述，下面对本申请实施例提供的装置进行描述：

参见图5，图5为本申请实施例提供的装置结构图。该装置可包括：

映射模块，用于将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云；

残差信息确定模块，用于针对第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与配对点之间的残差信息；所述残差信息用于指示所述目标点与所述配对点之间的差异；第二点云是指将待检测对象的标准模型深度图上的像素点映射至指定坐标系下得到的；

残差图确定模块，用于依据第一点云中各目标点与第二点云中对应的各配对点之间的残差信息，确定残差图；

缺陷检测模块，用于依据残差图检测待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，该残差信息确定模块具体用于：

针对第一点云中每一目标点，利用位姿变换信息对该目标点进行位姿变换得到变换点，计算该变换点与配对点之间的距离；位姿变换信息为第一点云中各目标点和第二点云中与各目标点对应的各配对点进行配准处理得到的；

利用位姿变换信息对该目标点进行位姿变换得到变换点，计算该变换点与配对点之间的距离；

依据距离，确定该目标点与配对点之间的残差信息。

作为本申请实施例一个可选实施方式，上述缺陷检测模块具体用于：

对残差图进行灰度处理，得到灰度图；

将灰度图输入到已训练好的缺陷检测模型中，得到待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，上述缺陷检测模块还用于：

对残差图进行灰度处理，得到灰度图；

对灰度图进行二值化处理，得到二值化图；

基于二值化图检测待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，上述基于二值化图检测待检测对象上的缺陷信息，包括：

对二值化图像进行连通域提取处理，根据提取结果确定待检测对象上的缺陷信息。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

至此，完成图5所示装置的结构描述。

对应地，本申请实施例还提供了图5所示装置的硬件结构图，具体如图6所示，该电子设备可以为上述实施方法的设备。如图6所示，该硬件结构包括：处理器和存储器。

其中，存储器，用于存储机器可执行指令；

处理器，用于读取并执行存储器存储的机器可执行指令，以实现如上所示的所对应的基于机器视觉的缺陷检测的方法实施例。

作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

至此，完成图6所示电子设备的描述。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种基于机器视觉的缺陷检测方法，其特征在于，所述方法包括：

将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云；

针对所述第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与所述配对点之间的残差信息；所述残差信息用于指示所述目标点与所述配对点之间的差异；所述第二点云是指将所述待检测对象的标准模型深度图上的像素点映射至所述指定坐标系下得到的；

依据所述第一点云中各目标点与所述第二点云中对应的各配对点之间的残差信息，确定残差图；

依据所述残差图检测所述待检测对象上的缺陷信息。

2.根据权利要求1所述的方法，其特征在于，所述基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与所述配对点之间的残差信息包括：

针对所述第一点云中每一目标点，利用位姿变换信息对该目标点进行位姿变换得到变换点，计算该变换点与所述配对点之间的距离；所述位姿变换信息为第一点云中各目标点和第二点云中与各目标点对应的各配对点进行配准处理得到的；

依据所述距离，确定该目标点与所述配对点之间的残差信息。

3.根据权利要求1所述的方法，其特征在于，所述依据所述残差图检测所述待检测对象上的缺陷信息，包括：

对所述残差图进行灰度处理，得到灰度图；

将所述灰度图输入到已训练好的缺陷检测模型中，得到所述待检测对象上的缺陷信息。

4.根据权利要求1所述的方法，其特征在于，所述依据所述残差图检测所述待检测对象上的缺陷信息，包括：

对所述残差图进行灰度处理，得到灰度图；

对所述灰度图进行二值化处理，得到二值化图；

基于所述二值化图检测所述待检测对象上的缺陷信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述二值化图检测所述待检测对象上的缺陷信息，包括：

对所述二值化图像进行连通域提取处理，根据提取结果确定所述待检测对象上的缺陷信息。

6.一种基于机器视觉的缺陷检测装置，其特征在于，所述装置包括：

映射模块，用于将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，得到第一点云；

残差信息确定模块，用于针对所述第一点云中每一目标点，基于该目标点与已获得的第二点云中对应的配对点，确定该目标点与所述配对点之间的残差信息；所述残差信息用于指示所述目标点与所述配对点之间的差异；所述第二点云是指将所述待检测对象的标准模型深度图上的像素点映射至所述指定坐标系下得到的；

残差图确定模块，用于依据所述第一点云中各目标点与所述第二点云中对应的各配对点之间的残差信息，确定残差图；

缺陷检测模块，用于依据所述残差图检测所述待检测对象上的缺陷信息。

7.根据权利要求6所述的装置，其特征在于，所述残差信息确定模块具体用于：

针对所述第一点云中每一目标点，利用位姿变换信息对该目标点进行位姿变换得到变换点，计算该变换点与所述配对点之间的距离；所述位姿变换信息为第一点云中各目标点和第二点云中与各目标点对应的各配对点进行配准处理得到的；

依据所述距离，确定该目标点与所述配对点之间的残差信息。

8.根据权利要求6所述的装置，其特征在于，所述缺陷检测模块具体用于：

对所述残差图进行灰度处理，得到灰度图；

将所述灰度图输入到已训练好的缺陷检测模型中，得到所述待检测对象上的缺陷信息。

9.根据权利要求6所述的装置，其特征在于，所述缺陷检测模块具体用于：

对所述残差图进行灰度处理，得到灰度图；

对所述灰度图进行二值化处理，得到二值化图；

基于所述二值化图检测所述待检测对象上的缺陷信息。

10.一种电子设备，其特征在于，电子设备包括机器可读存储介质、处理器；

所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；

所述处理器用于读取所述机器可执行指令，以实现如权利要求1-5任一项所述的基于机器视觉的缺陷检测方法的步骤。

Images