CN115546145A - 一种基于机器视觉的缺陷检测方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备。在本实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，比如依赖于场景深度图中目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测，并提高了待检测对象表面缺陷区域和正常区域的区分度，进而提高了缺陷检出率。

Description

一种基于机器视觉的缺陷检测方法、装置及电子设备

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种基于机器视觉的缺陷检测方法、装置及电子设备。

背景技术

目前，基于机器视觉的缺陷检测方法常使用2D检测。所谓2D检测，其通常为通过2D相机获取待检测对象对应的图像中的亮度数据，基于亮度数据进行缺陷检测。这里，待检测对象比如为焊接场景下的焊接工件等等，本实施例并不具体限定。

但是，当待检测对象对应的图像中的缺陷区域的光泽和纹理接近正常区域时，例如，深度较小(毫米级)的划痕，2D检测方法就很难精确检测出待检测对象对应的图像中的缺陷区域。

发明内容

有鉴于此，本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备，以通过场景深度图的增强方式来实现缺陷检测。

根据本申请实施例的第一方面，提供一种机器视觉的缺陷检测方法，所述方法包括：

获得待检测对象在当前场景下的场景深度图；

针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；

确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。

根据本申请实施例的第二方面，提供一种机器视觉的缺陷检测装置，所述装置包括：

场景深度图获得模块，用于获得待检测对象在当前场景下的场景深度图；

邻域确定模块，用于针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；

夹角确定模块，用于确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；

缺陷检测模块，用于基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。

根据本申请实施例的第三方面，提供一种电子设备，电子设备包括机器可读存储介质、处理器；所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于读取所述机器可执行指令，以实现如第一方面所述的基于机器视觉的缺陷检测方法的步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，比如依赖于场景深度图中目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测；

进一步地，本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，提高了待检测对象表面缺陷区域和正常区域的区分度，避免通过2D检测方法很难精确检测出待检测对象对应的图像中的缺陷区域的问题。

附图说明

图1是本申请实施例提供的方法流程图。

图2a是本申请实施例提供的邻域确定流程图。

图2b是本申请实施例提供的目标像素点对应的邻域的法向量方向与上述指定标准方向之间的夹角的示意图。

图3是本申请实施例提供的一缺陷检测流程图。

图4为本申请实施例提供的另一缺陷检测流程图。

图5是本申请实施例提供的装置框图。

图6是本申请实施例提供的装置硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

下面对本申请实施例提供的方法进行描述：

参见图1，图1为本申请实施例提供的方法流程图。该方法应用于电子设备，作为一个实施例，这里的电子设备比如为终端、服务器等，本申请实施例并不具体限定。

如图1所示，该流程可包括以下步骤：

S110：获得待检测对象在当前场景下的场景深度图。

示例性地，上述待检测对象为待检测工件，例如，在焊接场景下，上述待检测对象可以为焊接工件。作为一个实施例，这里的待检测对象的表面可能存在缺陷，比如存在光泽与纹理接近正常区域的缺陷区域等，本实施例并不限定。这里，光泽与纹理接近正常区域的缺陷区域举例为：深度为毫米级的划痕，则表示缺陷区域的光泽与纹理接近正常区域，本实施例并不具体限定。

示例性地，待检测对象在当前场景下的场景深度图可以由本电子设备直接采集得到。此时，作为一个实施例，这里的电子设备为深度相机等用于采集深度图的设备，比如RGB-D相机、线激光轮廓扫描仪等，本实施例并不具体限定。

示例性地，待检测对象在当前场景下的场景深度图也可由本电子设备通过有线网络或者无线网络的方式从采集到该场景深度图的其他设备比如深度相机中得到。此时，作为一个实施例，这里的电子设备可为与深度相机等用于采集深度图的设备进行交互的设备，比如上述的终端、服务器等，本实施例并不具体限定。

S120：针对场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域。

示例性地，在本实施例中，上述目标像素点可以为场景深度图中的所有像素点，也可以为场景深度图中的部分像素点，本实施例并不具体限定。

其中，当上述目标像素点为场景深度图中的部分像素点时，其可以从场景深度图中随机选取像素点，也可以是按照预设选取规则从场景深度图中选取的。上述预设选取规则例如可以为选取场景深度图中指定比例比如90％的像素点，等等，本实施例并不具体限定。

示例性地，在本实施例中，依据该目标像素点的位置信息、以及场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域，有很多方式，比如，在场景深度图中确定出该目标像素点对应的指定尺寸的邻域，或者图2a举例示出的其他确定邻域的方式，等，本实施例并不具体限定。

作为一个实施例，这里，在场景深度图中确定出该目标像素点对应的邻域，该邻域的大小为指定尺寸，该指定尺寸可根据实际需求设置，或者依赖于目标像素点之间的距离设置，比如，针对场景深度图中每一目标像素点，将场景深度图中至该目标像素点的距离为预设长度的其它各个目标像素点围成一个区域，即为上述的邻域。这里，预设长度可根据实际需求设置，本实施例并不具体限定。

示例性地，这里，目标像素点对应的邻域至少包含该目标像素点、以及场景深度图中至少一个其它目标像素点。

示例性地，上述场景深度图中各目标像素点的位置信息可由场景深度图对应的图像坐标系下的坐标点表示，本实施例并不具体限定。

S130：确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角。

在上述确定出各目标像素点对应的邻域之后，应用于本步骤S130，则可确定各目标像素点对应的邻域的法向量方向。

示例性地，这里确定各目标像素点对应的邻域的法向量方向有很多实现方式，比如可以基于常规的主成分分析方法(Principal Component Analysis，PCA)确定，或者其它方法确定，等等，本申请实施例不作具体限定。

示例性地，上述指定标准方向可以为提前定义好的方向，比如，上述在场景深度图中确定出目标像素点对应的指定尺寸的邻域后，若场景深度图能够校正到水平面，可将竖直方向作为上述指定标准方向，等。上述指定标准方向也可以为针对上述待检测对象设定的无缺陷的标准图对应的法向量方向，本申请实施例不作具体限定。图2b以x-y平面坐标系为例示出目标像素点对应的邻域的法向量方向与上述指定标准方向之间的夹角，图中a和b均为目标像素点对应的邻域的法向量方向与上述指定标准方向之间的夹角。

S140：基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。

示例性地，上述缺陷信息为缺陷的位置信息。在本实施例中，本步骤S140中依据残差图检测待检测对象上的缺陷信息可以为利用神经网络模型进行缺陷检测，至于如何采用神经网络模型进行缺陷检测，下文图3举例进行了描述，在此不再赘述。

示例性地，在本实施例中，本步骤S140中的依据残差图检测待检测对象上的缺陷信息也可以为利用传统图像处理方法进行缺陷检测，至于如何采用传统图像处理方法进行缺陷检测，下文图4举例进行了描述，在此不再赘述。

至此，完成图1所示流程。

本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，比如依赖于场景深度图中目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测；

进一步地，本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，提高了待检测对象表面缺陷区域和正常区域的区分度，避免通过2D检测方法很难精确检测出待检测对象对应的图像中的缺陷区域的问题。

下面对图2a所示流程进行描述：

参见图2a，图2a为本申请实施例提供的邻域确定流程图。如图2所示，该流程可包括以下步骤：

S210：将场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点；指定坐标系不同于场景深度图对应的坐标系。

示例性地，上述场景深度图对应的坐标系为图像坐标系，在此情况下，上述指定坐标系可以为不同于图像坐标系的其他坐标系，比如世界坐标系等，本申请实施例对此不作限定。

示例性地，在本实施例中，将场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点可以采用自定义的映射算法进行映射。至于如何采用自定义的映射算法进行映射，参见下面实施例的具体描写，在此暂不赘述。

示例性地，在本实施例中，本步骤S110中将待检测对象在当前场景下的场景深度图上的像素点映射至指定坐标系下，也可以采用相机标定原理进行转换。这里，相机标定原理为目前常规的技术，在此不再赘述。

S220：针对指定坐标系下每一目标像素点对应的映射点，在指定坐标系下确定出该映射点对应的指定尺寸的邻域；邻域包含该映射点以及至少一个其它映射点。

示例性地，在指定坐标系下确定出该映射点对应的邻域，该邻域的大小为指定尺寸，该指定尺寸可根据实际需求设置，或者依赖于映射点之间的距离设置，比如，针对指定坐标系下每一目标像素点对应的映射点，将指定坐标系下至该映射点的距离为预设长度的其它各个映射点围成一个区域，即为上述的邻域。这里，预设长度可根据实际需求设置，本实施例并不具体限定。

示例性地，这里，映射点对应的邻域至少包含该映射点、以及至少一个其它映射点。

至此，完成图2a所示流程。

通过图2a所示流程实现了如何在依据目标像素点的位置信息、以及场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域。

下面对如何根据自定义的映射方法将将场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点进行描述：

在本申请实施例中，上述映射过程包括：

首先，获取用于将场景深度图上的目标像素点映射到指定坐标系下的尺度变化值；针对场景深度图上的一个目标像素点，基于该目标像素点的深度值和尺度变化值的乘积确定该目标像素点在指定坐标系下的第一坐标值，基于该目标像素点的第一图像坐标值与尺度变化值的乘积确定该目标像素点在指定坐标系下的第二坐标值，基于该目标像素点的第二图像坐标值与尺度变化值的乘积确定该目标像素点在指定坐标系下的第三坐标值。其中，第一图像坐标值和第二图像坐标值组成该目标像素点在场景深度图对应的图像坐标系下的坐标；第一坐标值、第二坐标值和第三坐标值组成在指定坐标系下与该目标像素点对应的映射点的坐标。

示例性地，上述尺度变化值可以是预设好的，例如，0.5，本申请实施例对该尺度变化值不作具体限定，可以根据实际情况确定。上述尺度变化值可以是提前设置好存储在电子设备中，使用时直接调用；也可以响应于输入操作实时获取。本申请实施例对上述尺度变化值的获取方法不作具体限定。

示例性地，对于图像坐标系下的场景深度图的某一个目标像素点的坐标(x，y)，该目标像素点的深度值为z，将该目标像素点转换到指定坐标系下的映射点的坐标值为(X，Y，Z)，具体映射过程例如可以为：对于图像坐标系下的深度图上目标像素点的横坐标x，将横坐标x与尺度变化值的乘积作为指定坐标系下的映射点的横坐标X，对于图像坐标系下的场景深度图上目标像素点的纵坐标y，将纵坐标y与尺度变化值的乘积作为指定坐标系下的映射点的纵坐标Y，对于图像坐标系下的场景深度图上的目标像素点的深度值z，将深度值z与尺度变化值的乘积作为指定坐标系下的映射点的竖坐标Z。

作为本申请另一个实施例，当得到各目标像素点对应的映射点后，若各映射点较为离散，还可以基于偏置值对这些映射点进行归一化，该偏置值为一个常数。也即，将坐标(X，Y，Z)的每一个坐标值分别加一个常数，每个坐标值需要加的常数可以相同，也可以不同，本申请实施例对此并不作具体限定，可以根据实际情况确定。

至此，完成根据自定义的映射方法将场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点的描述。

下面通过图3和图4分别描述上述步骤S140中如何依据残差图检测待检测对象上的缺陷信息：

参见图3，图3为本申请实施例提供的依据神经网络进行缺陷检测的流程图。如图3所示，该流程可包括如下步骤：

S310：基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图。

示例性地，上述残差图用于指示场景深度图各目标像素点对应的邻域的法向量与指定标准方向之间的差异。在本实施例中，在得到各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角后，针对每个目标像素点，将该目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角作为该目标点在场景深度图上的该目标像素点的深度信息，在确定场景深度图上的各个目标像素点的深度信息后，就得到上述残差图。

S320：对残差图进行灰度处理，得到灰度图。

示例性地，在本实施例中，对残差图进行灰度处理可以采用线性映射法，也可以采用其他方法，等等，本申请实施例并不作具体限定。

上述采用线性映射法对残差图进行灰度处理具体可以为：首先确定该残差图中的最大像素值和最小像素值，将最小像素值对应的像素点的像素值设置为0，将最大像素值对应的像素点的像素值设置为255，将最大像素值和255、最小像素值和0分别代入线性方程m＝k·n+b中，确定k和b，其中，n表示残差图中像素点的像素值，m表示灰度图中像素点的像素值，k，b均为常数。对于残差图中介于最小像素值和最大像素值之间的像素点的像素值，可以采用上述线性映射公式m＝k·n+b来进行映射，对残差图上的每一个像素点进行映射，即可得到灰度图。

S320：将灰度图输入到已训练好的缺陷检测模型中，得到待检测对象上的缺陷信息。

示例性地，在本实施例中，将灰度图输入到已训练好的缺陷检测模型中，已由该缺陷检测模型对灰度图进行缺陷区域定位，得到缺陷定位结果，该缺陷定位结果即为待检测对象上的缺陷信息。

作为本申请一个实施例，上述缺陷检测模型通过如下步骤训练得到：

获取标注好的灰度训练图像；将标注好的灰度训练图像输入到神经网络模型中进行训练，直到该损失值小于预设损失阈值(例如，0.1)或者训练次数达到预设训练次数(例如，200次)，得到该缺陷检测模型。上述标注好的灰度训练图像可以为已有标注好的数据集，也可以为人工标注好的各灰度图，还可以为利用传统图像处理方法对各灰度图定位后的图像，本申请实施例对该标注好的灰度训练图不作具体限定。

至此，完成图3所示流程。

通过图3所示流程实现了如何通过神经网络进行缺陷检测。

参见图4，图4为本申请实施例提供的依据传统图像处理方法进行缺陷检测的流程图。如图4所示，该流程可包括如下步骤：

S410：基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图。

示例性地，残差图的确定过程与上述图3中步骤S310的确定过程一样，具体参见上述步骤S310的相关描述，在此不再赘述。

S420：对残差图进行灰度处理，得到灰度图。

示例性地，灰度图的确定过程与上述图3中步骤S320的确定过程一样，具体参见上述步骤S320的相关描述，在此不再赘述。

S420：对灰度图进行二值化处理，得到二值化图。

示例性地，对灰度图进行二值化处理，得到二值化图具体可以为：利用预设灰度阈值对上述灰度图进行二值化，把大于预设灰度阈值的像素点的灰度值设为第一灰度值，把小于预设灰度阈值的像素点的灰度值设为第二灰度值，从而实现二值化，第一灰度值大于第二灰度值。

上述预设灰度阈值可以为0.1，也可以为10。上述第一灰度值可以为255，第二灰度值可以为0。本申请实施例对上述预设灰度阈值、第一灰度值以及第二灰度值均不作具体限定，可以根据实际需求确定。

S430：基于二值化图检测待检测对象上的缺陷信息。

示例性地，在本实施例中，本步骤S430中基于二值化图检测待检测对象上的缺陷信息具体可以为：对二值化图进行连通域提取处理，根据提取结果确定待检测对象上的缺陷信息。

示例性地，在本实施例中，连通域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。对二值化图进行连通域提取处理实际上就是标记连通域的过程，具体标记方法可以采用基于行程标记方法。

下面对基于行程标记法进行连通域提取进行描述：

对于该二值化图像，本申请实施例以第一灰度值为255、第二灰度值为0为例进行描述。具体地，逐行扫描该二值化图像，把每一行中连续的白色像素组成一个序列称为一个团，并未该团赋一个团标号，记下该团的起点start、终点end以及所在的行号。对于除了第一行外的所有行的团，如果其与前一行中的所有团都没有重合区域，则给其一个新的团标号；如果其仅与上一行中的一个团有重合区域，则将上一行中与该团重合的团的团标号赋给该团；如果其与上一行的2个以上的团均有重叠区域，则给当前团赋一个相连团中的最小团标号，并记录上一行中与当前团有重叠区域的团的团标号，将记录内容称为等价对，该等价对用于指示等价对中记载的内容属于一类。将等价对转换为等价序列，每一个序列需要给一相同的标号。遍历开始团的标记，查找等价序列，给予它们新的标记，就完成了连通域的提取。利用预设筛选条件对提取到的连通域进行过滤，例如，将连通域宽高比<1的无用连通域过滤掉，将过滤后的连通域作为待检测对象的缺陷检测结果。

至此，完成图4所示流程。

通过图4所示流程实现了如何利用传统图像处理方法进行缺陷检测。

需要说明的是，本申请实施例还可以同时使用上述两种缺陷检测方法进行缺陷检测，然后取两种检测方法的交集或者并集作为缺陷检测结果。

以上对本申请实施例提供的方法进行了描述，下面对本申请实施例提供的装置进行描述：

参见图5，图5为本申请实施例提供的装置结构图。该装置可包括：

场景深度图获得模块，用于获得待检测对象在当前场景下的场景深度图；

邻域确定模块，用于针对场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；

夹角确定模块，用于确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；

缺陷检测模块，用于基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，上述邻域确定模块具体用于：

在场景深度图中确定出该目标像素点对应的指定尺寸的邻域；邻域包含该目标像素点以及场景深度图中至少一个其它目标像素点；

或者，

将场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点；指定坐标系不同于场景深度图对应的坐标系；针对指定坐标系下每一目标像素点对应的映射点，在指定坐标系下确定出该映射点对应的指定尺寸的邻域；邻域包含该映射点以及至少一个其它映射点。

作为本申请实施例一个可选实施方式，上述缺陷检测模块具体用于：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；

对残差图进行灰度处理，得到灰度图；

将灰度图输入到已训练好的缺陷检测模型中，得到待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，上述缺陷检测模块还用于：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；对残差图进行灰度处理，得到灰度图；

对灰度图进行二值化处理，得到二值化图；基于二值化图检测待检测对象上的缺陷信息。

作为本申请实施例一个可选实施方式，上述基于二值化图检测待检测对象上的缺陷信息，包括：

对二值化图像进行连通域提取处理，根据提取结果确定待检测对象上的缺陷信息。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

至此，完成图5所示装置的结构描述。

对应地，本申请实施例还提供了图5所示装置的硬件结构图，具体如图6所示，该电子设备可以为上述实施方法的设备。如图6所示，该硬件结构包括：处理器和存储器。

其中，存储器，用于存储机器可执行指令；

处理器，用于读取并执行存储器存储的机器可执行指令，以实现如上所示的所对应的基于机器视觉的缺陷检测的方法实施例。

作为一个实施例，存储器可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，存储器可以是RAM(Radom Access Memory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

至此，完成图6所示电子设备的描述。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种基于机器视觉的缺陷检测方法，其特征在于，所述方法包括：

获得待检测对象在当前场景下的场景深度图；

针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；

确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。

2.根据权利要求1所述的方法，其特征在于，所述依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域，包括：

在所述场景深度图中确定出该目标像素点对应的指定尺寸的邻域；所述邻域包含该目标像素点以及所述场景深度图中至少一个其它目标像素点；

或者，

将所述场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点；所述指定坐标系不同于所述场景深度图对应的坐标系；针对指定坐标系下每一目标像素点对应的映射点，在所述指定坐标系下确定出该映射点对应的指定尺寸的邻域；所述邻域包含该映射点以及至少一个其它映射点。

3.根据权利要求1所述的方法，其特征在于，所述基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息，包括：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；

对所述残差图进行灰度处理，得到灰度图；

将所述灰度图输入到已训练好的缺陷检测模型中，得到所述待检测对象上的缺陷信息。

4.根据权利要求1所述的方法，其特征在于，所述基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息，包括：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；对所述残差图进行灰度处理，得到灰度图；

对所述灰度图进行二值化处理，得到二值化图；基于所述二值化图检测所述待检测对象上的缺陷信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述二值化图检测所述待检测对象上的缺陷信息，包括：

对所述二值化图像进行连通域提取处理，根据提取结果确定所述待检测对象上的缺陷信息。

6.一种基于机器视觉的缺陷检测装置，其特征在于，所述装置包括：

场景深度图获得模块，用于获得待检测对象在当前场景下的场景深度图；

邻域确定模块，用于针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；

夹角确定模块，用于确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；

缺陷检测模块，用于基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。

7.根据权利要求6所述的装置，其特征在于，所述邻域确定模块具体用于：

在所述场景深度图中确定出该目标像素点对应的指定尺寸的邻域，所述邻域包含该目标像素点以及所述场景深度图中至少一个其它目标像素点；或者，

将所述场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点；所述指定坐标系不同于所述场景深度图对应的坐标系；针对指定坐标系下每一目标像素点对应的映射点，在所述指定坐标系下确定出该映射点对应的指定尺寸的邻域；所述邻域包含该映射点以及至少一个其它映射点。

8.根据权利要求6所述的装置，其特征在于，所述缺陷检测模块具体用于：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；

对所述残差图进行灰度处理，得到灰度图；

将所述灰度图输入到已训练好的缺陷检测模型中，得到所述待检测对象上的缺陷信息。

9.根据权利要求6所述的装置，其特征在于，所述缺陷检测模块具体用于：

基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；对所述残差图进行灰度处理，得到灰度图；

对所述灰度图进行二值化处理，得到二值化图；基于所述二值化图检测所述待检测对象上的缺陷信息。

10.一种电子设备，其特征在于，电子设备包括机器可读存储介质、处理器；

所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；

所述处理器用于读取所述机器可执行指令，以实现如权利要求1-5任一项所述的基于机器视觉的缺陷检测方法的步骤。

Images