CN108846837B - 物体表面缺陷检测方法和装置 - Google Patents

Abstract

本公开提供了一种物体表面缺陷检测方法，包括：获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息；基于所述图像深度信息，分析所述物体表面是否存在缺陷。本公开还提供了一种物体表面缺陷检测装置、一种实现上述物体表面缺陷检测方法的计算机设备。

Description

物体表面缺陷检测方法和装置

技术领域

本公开涉及一种物体表面缺陷检测方法和装置。

背景技术

随着制造业的不断发展，每天都要生产大量的工业产品。用户和生产企业对产品质量的要求越来越高，除要求满足使用性能外，还要有良好的外观，即良好的表面质量。但是，在制造产品的过程中，表面缺陷的产生往往是不可避免的。不同产品的表面缺陷有着不同的定义和类型，一般而言表面缺陷是产品表面局部物理或化学性质不均匀的区域，如金属表面的划痕、斑点、孔洞，纸张表面的色差、压痕，玻璃等非金属表面的夹杂、破损、污点，等等。表面缺陷不仅影响产品的美观和舒适度，而且一般也会对其使用性能带来不良影响，所以生产企业对产品的表面缺陷检测非常重视，以便及时发现，从而有效控制产品质量，还可以根据检测结果分析生产工艺中存在的某些问题，从而杜绝或减少缺陷品的产生。

人工检测是产品表面缺陷的传统检测方法，该方法具有抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大等弊端。

发明内容

本公开的一个方面提供了一种物体表面缺陷检测方法，包括：获取物体表面的图像的指定信息，所获取的指定信息包括图像深度信息。基于所获取的图像深度信息，分析物体表面是否存在缺陷。

可选地，上述获取物体表面的图像的指定信息包括：根据至少两个从不同角度获得的物体表面的图像，获得图像深度信息。

可选地，所获取的指定信息还包括图像强度信息。上述方法还包括提取所获取的图像强度信息中的高频成分。上述基于所获取的图像深度信息，分析物体表面是否存在缺陷包括：基于所获取的图像深度信息和所获取的图像强度信息中的高频成分，分析物体表面是否存在缺陷。

可选地，上述提取所获取的图像强度信息中的高频成分包括：对所获取的图像强度信息进行平滑处理，对平滑处理后的图像强度信息进行高通滤波处理，得到图像强度信息中的高频成分。

可选地，上述基于所获取的图像深度信息和所获取的图像强度信息中的高频成分，分析所述物体表面是否存在缺陷包括：对于图像强度信息中的高频成分对应的至少一个像素点，根据图像深度信息获取所述像素点对应的深度值，当所述像素点对应的深度值不符合预设条件时，确定所述像素点对应的物体表面存在缺陷。

可选地，上述方法还包括获取物体表面的模板信息。上述基于所获取的图像深度信息，分析物体表面是否存在缺陷包括：基于图像深度信息和物体表面的模板信息，分析物体表面是否存在缺陷。

可选地，上述基于图像深度信息和物体表面的模板信息，分析物体表面是否存在缺陷包括：基于图像深度信息获取深度值不符合预设条件的至少一个像素点；在所述像素点的深度值和模板信息对应位置的结构信息不匹配时，确定像素点对应的物体表面存在缺陷。

可选地，所获取的指定信息还包括图像强度信息。上述方法还包括：提取图像强度信息中的高频成分，获取物体表面的模板信息。上述基于所获取的图像深度信息，分析物体表面是否存在缺陷包括：基于图像深度信息、图像强度信息中的高频成分和物体表面的模板信息，分析物体表面是否存在缺陷。

本公开的另一个方面提供了一种物体表面缺陷检测装置，包括：第一获取模块和分析模块。第一获取模块用于获取物体表面的图像的指定信息，其中所获取的指定信息包括图像深度信息。分析模块用于基于所获取的图像深度信息，分析物体表面是否存在缺陷。

可选地，第一获取模块用于根据至少两个从不同角度获得的物体表面的图像，获得图像深度信息。

可选地，所获取的指定信息还包括图像强度信息。上述装置还包括第二获取模块，第二获取模块用于提取图像强度信息中的高频成分。分析模块，用于基于图像深度信息和图像强度信息中的高频成分，分析物体表面是否存在缺陷。

可选地，第二获取模块用于对图像强度信息进行平滑处理，对平滑处理后的图像强度信息进行高通滤波处理，得到图像强度信息中的高频成分。

可选地，分析模块用于对于图像强度信息中的高频成分对应的至少一个像素点，根据图像深度信息获取所述像素点对应的深度值，当所述像素点对应的深度值不符合预设条件时，确定所述像素点对应的物体表面存在缺陷。

可选地，上述装置还包括第二获取模块，第二获取模块用于获取物体表面的模板信息。分析模块用于基于图像深度信息和物体表面的模板信息，分析物体表面是否存在缺陷。

可选地，分析模块用于基于图像深度信息获取深度值不符合预设条件的至少一个像素点，在所述像素点的深度值和模板信息对应位置的结构信息不匹配时，确定像素点对应的物体表面存在缺陷。

可选地，指定信息还包括图像强度信息。上述装置还包括第二获取模块，第二获取模块用于提取图像强度信息中的高频成分，以及获取物体表面的模板信息。分析模块用于基于图像深度信息、图像强度信息中的高频成分和物体表面的模板信息，分析物体表面是否存在缺陷。

本公开的另一方面提供了一种计算机设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。

本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开的实施例的物体表面缺陷检测方法和装置的应用场；

图2示意性示出了根据本公开的实施例的物体表面缺陷检测方法的流程图；

图3A示意性示出了根据本公开的实施例的获取图像深度信息的原理图；

图3B示意性示出了根据本公开的实施例的视差与深度的关系图；

图4示意性示出了根据本公开的实施例的平滑处理前后的图像的对比图；

图5示意性示出了根据本公开的实施例的高通滤波处理前后的图像的对比图；

图6示意性示出了根据本公开的另一实施例的物体表面缺陷检测方法的流程图；

图7示意性示出了根据本公开的实施例的物体表面缺陷检测装置的框图；

图8示意性示出了根据本公开的另一实施例的物体表面缺陷检测装置的框图；以及

图9示意性示出了根据本公开的实施例的适于实现上文描述的方法的计算机设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

本公开的实施例提供了一种物体表面缺陷检测方法以及装置。该方法包括信息获取过程和缺陷分析过程。在信息获取过程中，获取物体表面的图像的指定信息，具体地，指定信息包括：图像深度信息。在缺陷分析过程，基于在信息获取过程中所获取的图像深度信息可以分析物体表面是否存在缺陷。

图1示意性示出了根据本公开的实施例的物体表面缺陷检测方法和装置的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该应用场景可以包括待检测的物体101和用于检测物体表面缺陷的电子设备102，电子设备102获取物体101表面的信息并进行分析处理，以对物体101表面的缺陷进行检测，图1中示出了电子设备102对物体101的表面进行检测的结果，可以看到物体101表面上存在的划痕与瑕疵。

待检测的物体101可以是各种形状、尺寸、材料的实体物体，如各种零件、器材、印刷品、设备等等，在此不做限制。

电子设备102可以是具有信息获取功能和分析处理功能的计算设备或计算设备集群，或者，电子设备102也可以由具有信息获取功能的一个或多个电子设备和具有分析处理功能的一个或多个电子设备组合而成，或者，电子设备102可以与其他计算设备或计算设备集群连接，电子设备102在获取到物体101表面的信息后发送至所述其他计算设备或计算设备集群进行分析处理，接收所述其他计算设备或计算设备集群返回的分析处理结果，或者，电子设备102可以与其他一个或多个获取设备连接，电子设备102接收所述其他一个或多个获取设备获取的物体101表面的信息并进行分析处理，得到分析处理结果。

应该理解，图1中的电子设备102的形式和数目仅仅是示意性的，在此不做限制。根据实现需要，可以具有任意数目和形式的电子设备102。

图2示意性示出了根据本公开的实施例的物体表面缺陷检测方法的流程图。

如图2所示，该方法包括操作S201～S202。

在操作S201，获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息。

本操作中，物体表面的图像的图像深度信息能够反映物体表面上各点的深度信息，即能够反映物体表面的三维结构。

在操作S202，基于图像深度信息，分析物体表面是否存在缺陷。

本操作基于图像深度信息所反映出来的物体表面的三维结构来分析得到物体表面是否存在缺陷、以及如果存在缺陷时缺陷分布于物体表面的什么位置的结论。

可见，由于通常情况下物体表面的缺陷会反映在物体表面的三维结构的变化上，如划痕、气孔、凹陷、突起、尖刺等缺陷会使得物体表面上相应的点的深度变大或变小，图2所示的方法基于物体表面上可能出现的缺陷所具有的这一规律，通过物体表面的图像的深度信息反映物体表面的三维结构，再利用物体表面的图像的深度信息来对物体表面的缺陷进行检测，能够合理、有效地检测出物体表面所存在的缺陷。

在本公开的一个实施例中，由于物体表面的图像仅部分地记录了物体表面在二维平面上的颜色/灰度投影，并不直接反映物体表面的三维结构，为了获取能够反映物体表面的三维结构的图像深度信息，需要从物体表面的图像中恢复出深度信息。可选地，本公开可以采用多视图立体法(multi-view stereo)、光度立体视觉法(photometric stereo)、色度成形法(shape from shading)、散焦推断法(depth from defocus)以及基于机器学习的方法等等多种基于图像的深度计算方法，来获得物体表面的图像的图像深度信息。

具体地，图2所示方法可以通过多视图的深度计算来获得物体表面的图像对应的图像深度信息，多视图几何原理和人们通过自己的两只眼睛立体地观察世界是类似的，因为两只眼睛看物体时的视线角度不一样，导致物体在视网膜上所成的两幅像会有所差别。不同远近程度的物体，所形成的的视差是不一样的，以物体到人眼所在平面的距离为深度，视差与物体的深度成反比，由此可以推断出物体的深度信息。同理地，根据多视图几何原理，对于待检测的物体的表面，如果从不同角度获取该物体表面的图像，从这些图像就可以恢复出物体的表面的三维信息，这个过程通常可分为两个步骤：首先对各张图像抽取特征点并进行匹配，然后根据得到的稀疏二维匹配点求解出各张图像的摄像头内外参数(包括焦距、旋转矩阵和位移等)以及特征点的三维位置；再根据恢复的摄像头参数进一步进行稠密的逐像素的匹配，从而为图像恢复出深度信息。第一个步骤称为摄像头跟踪或运动推断结构(structure from motion)，第二个步骤称为(stereo matching)。

据此，操作S201获取物体表面的图像的指定信息包括：根据至少两个从不同角度获得的物体表面的图像，获得图像深度信息。

图3A示意性示出了根据本公开的实施例的获取图像深度信息的原理图，以对根据从不同角度拍摄两个物体表面的图像获取图像深度信息的过程进行说明。

如图3A所示，P是物体表面上的任一点，O1和O2分别是第一摄像头和第二摄像头的光心，点P在两个摄像头感光器上的成像点分别为P1和P2(第一摄像头和第二摄像头的成像平面经过旋转后放在了摄像头前面)，P1在第一摄像头感光器上的成像位置为x1，P2在第二摄像头感光器上的成像位置为x2，第一摄像头和第二摄像头的焦距为f，第一摄像头和第二摄像头之间的中心距为T，则P对应的深度信息Z为：

其中，焦距f和摄像头中心距T可通过标定得到，x1-x2表示点P在第一摄像头所拍摄的图像中的成像P1和点P在第二摄像头所拍摄的图像中的成像P2的视差，即通过获得同一个点在不同图像中的视差可获得该点对应的深度信息。

进一步地，图3B示意性示出了根据本公开的实施例的视差与深度的关系图。

在图3B中，分别从不同角度拍摄标示为圆形的物体，分别从不同角度拍摄标示为三角形的物体，分别从不同角度拍摄标示为矩形的物体，分别从不同角度拍摄标示为五角星形的物体，不同物体的深度不同，可以看出，从不同角度拍摄同一物体的两张图像，该物体的深度越大，该物体在两张图像上的视差越小。对于从不同角度获得的两个物体表面的图像，需要从两张图像中对应的像素点匹配出来，以得到相应的视差，进而得到相应像素点对应的深度值。

在本公开的另一个实施例中，操作S201获取的指定信息还包括图像强度信息。图2所示的方法还包括：提取所述图像强度信息中的高频成分。上述操作S202基于所述图像深度信息，分析物体表面是否存在缺陷包括：基于所述图像深度信息和所述图像强度信息中的高频成分，分析所述物体表面是否存在缺陷。

其中，图像强度信息通常表征为图像中各像素点对应的灰度值、RGB值、和/或其他信号强度值，在此不做限制。图像可以看作是一个定义在二维平面上的信号，该信号的幅值对应于各像素点的强度值，以灰度值为例，图像的频率反映了图像的像素灰度在空间中变化的情况，对于灰度值分布平坦的图像，其低频成分较强，高频成分较弱，而对于灰度值具有快速空间变化的图像，其高频成分相对较强，低频成分相对较弱。物体表面的图像的图像强度信息中的高频成分反映了图像中强度变化较为剧烈的部分，如物体表面上的划痕、凸起、凹陷、边缘、反光等缺陷的成像点更为容易地反映在物体表面的图像的高频成分中。本实施例结合物体表面对应的图像强度信息中的高频成分和图像深度信息，能够更为精确地检测出物体表面上存在的缺陷，避免误检。

作为优选的实施例，上述提取所述图像强度信息中的高频成分的过程可以包括：先对所述图像强度信息进行平滑处理，再对平滑处理后的图像强度信息进行高通滤波处理，得到所述图像强度信息中的高频成分。

对图像强度信息进行平滑处理的目的是为了去除图像中的噪音点，可以采用包括但不限于均值滤波、高斯滤波、双边滤波、腐蚀膨胀等方式进行平滑处理。

图4示意性示出了根据本公开的实施例的平滑处理前后的图像的对比图。

在图4中，左侧为平滑处理前的图像，右侧为平滑处理后的图像，可以看到，平滑处理前的图像中存在较多噪音点，根据图像强度信息进行平滑处理，平滑处理后的图像中去除了大部分噪音点，。

接着，再对平滑处理后的图像强度信息进行高通滤波处理，可以采用包括但不限于同态滤波、拉普拉斯滤波、CANNY算法等方式进行高通滤波。

图5示意性示出了根据本公开的实施例的高通滤波处理前后的图像的对比图。

在图5中，左侧为高通滤波处理前的图像，右侧为高通滤波处理后的图像，可以看到，右侧图像中的白色部分为原始图像的图像强度信息中的高频成分，即白色部分对应于图像强度信息中的高频成分。

例如，物体表面的图像中的某一像素区域为R，该像素区域包括9个像素点，各像素点对应的灰度值分别为R1、R2、R3、R4、R5、R6、R7、R8、R9，则可以通过以下矩阵表示该像素区域对应的图像强度信息：

在对物体表面的图像进行平滑处理或高通滤波处理时，可以采用卷积运算的方式进行，设置卷积核G，该卷积核G是一个权矩阵，用于控制对待处理的图像中的各像素的权重计算：

当进行平滑处理时，以均值滤波器、高斯滤波器等作为卷积核，将图像中各像素区域与卷积核进行卷积，得到各像素的处理后的结果。当进行高通滤波处理时，以同态滤波器、拉普拉斯滤波器等作为卷积核，将图像中各像素区域与卷积核进行卷积，得到各像素的处理后的结果。以像素区域R与卷积核G的卷积为例，像素区域R的中心像素点对应的结果等于：

R1G1+R2G2+R3G3+R4G4+R5G5+R6G6+R7G7+R8G8+R9G9

同理地，物体表面的图像中的任一像素点经处理后对应的结果均可以通过上述方法获得，在进行平滑处理时，从各像素点对应的结果可以获知哪些像素点对应于噪音点，在进行高通滤波处理时，从各像素点对应的结果可以获知哪些像素点对应于高频成分。上文中图5所示的例子即是使用了拉普拉斯滤波器

作为卷积核进行高通滤波处理而得到右侧所示的结果的。在其他例子中，也可以通过将图像从空间域转换到频率域，在频率域进行平滑处理或高通滤波处理后再变换回空间域得到处理后的图像，可以根据需要选择处理方法，在此不做限制。

具体地，上述基于所述图像深度信息和所述图像强度信息中的高频成分，分析所述物体表面是否存在缺陷包括：对于所述图像强度信息中的高频成分对应的至少一个像素点，根据所述图像深度信息获取所述像素点对应的深度值，当所述像素点对应的深度值不符合预设条件时，确定所述像素点对应的物体表面存在缺陷。依据本实施例，基于图像深度信息和图像强度信息中的高频成分来检测物体表面的缺陷，对于光照和拍摄角度引起的反光等现象具有很好的鲁棒性，能够更好地检测出复杂环境中难以区分的其他缺陷。

在本公开的又一个实施例中，图2所示的方法还包括：获取所述物体表面的模板信息。上述操作S202基于所述图像深度信息，分析所述物体表面是否存在缺陷包括：基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面是否存在缺陷。

其中，物体表面的模板信息反映了物体表面的规范标准的结构信息，例如可以是物体表面的三维设计图纸等。在基于图像深度信息判断物体表面的缺陷的同时，还可以结合物体表面的模板信息来进一步筛除掉误检的部分，使得物体表面缺陷检测方案更为精确、有效。

具体地，上述基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面是否存在缺陷包括：基于所述图像深度信息获取深度值不符合预设条件的至少一个像素点，在所述像素点的深度值和所述模板信息对应位置的结构信息不匹配时，确定所述像素点对应的物体表面存在缺陷。

更进一步地，可以结合物体表面的图像的图像深度信息、图像强度信息中的高频成分、以及物体表面的模板信息，对物体表面的缺陷进行检测。

图6示意性示出了根据本公开的另一实施例的物体表面缺陷检测方法的流程图。

如图6所示，该方法包括操作S601～S607。

在操作S601，开始。

在操作S602，获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息和图像强度信息。

在本操作中，图像强度信息包括物体表面的图像中各像素点对应的强度值。图像深度信息是通过至少两个从不同角度获得的物体表面的图像得到的，不需要使用工业级的相机，不需要固定拍摄的角度，上文中已有详细说明，图像深度信息包括物体表面的图像中各像素点对应的深度值。

在操作S603，提取图像强度信息中的高频成分。

提取图像强度信息中的高频成分的过程上文中已有详细说明。

在操作S604，获取物体表面的模板信息。

本操作中获取能够作为物体表面的结构的规范标准的模板信息。

在操作S605，基于所述图像深度信息、所述图像强度信息中的高频成分和所述物体表面的模板信息，分析所述物体表面是否存在缺陷，是则执行操作S606，否则执行操作S607。

本操作中，对于图像强度信息中的高频成分对应的每个像素点，根据图像深度信息获取该像素点对应的深度值，当该像素点对应的深度值不符合预设条件时，确定该像素点为异常点。对于所确定的每个异常点，根据物体表面的模板信息判断该异常点是否对应于特定结构，是则确定该异常点对应于物体表面的缺陷，否则确定该异常点不对应于物体表面的缺陷，或者，对于所确定的每个异常点，判断该异常点的深度值与该异常点所对应的物体表面的模板信息是否匹配，是则确定该异常点对应于物体表面的缺陷，否则确定该异常点不对应于物体表面的缺陷。或者，对于图像强度信息中的高频成分对应的每个像素点，判断该像素点的深度值与该像素点所对应的物体表面的模板信息是否匹配，是则确定该像素点对应于物体表面的缺陷，否则确定该像素点点不对应于物体表面的缺陷。其中，特定结构包括螺丝钉等容易产生反光的结构。

在操作S606，在物体表面的图像上标注缺陷，通知监管人员。

在操作S607，结束。

可见，通过图6所示的方法，通过图像深度信息、图像强度信息中的高频成分和物体表面的模板信息这三种信息的结合，能够排除检测过程中物体表面的图像中的噪音干扰，准确地将物体表面的各种情况的缺陷筛选出来，能够更好区分开螺丝钉等高反光的非缺陷，以及复杂环境中很难区分的其他缺陷。

图7示意性示出了根据本公开的实施例的物体表面缺陷检测装置的框图。

如图7所示，物体表面缺陷检测装置700包括第一获取模块710和分析模块720。该物体表面缺陷检测装置700可以执行上面参考图2～图6描述的方法，以实现对物体表面的缺陷的检测。

具体地，第一获取模块710用于获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息。

分析模块720用于基于所述图像深度信息，分析所述物体表面是否存在缺陷。

可见，由于通常情况下物体表面的缺陷会反映在物体表面的三维结构的变化上，如划痕、气孔、凹陷、突起、尖刺等缺陷会使得物体表面上相应的点的深度变大或变小，图7所示的装置基于物体表面上可能出现的缺陷所具有的这一规律，通过物体表面的图像的深度信息反映物体表面的三维结构，再利用物体表面的图像的深度信息来对物体表面的缺陷进行检测，能够合理、有效地检测出物体表面所存在的缺陷。

在本公开的一个实施例中，第一获取模块710可以根据至少两个从不同角度获得的物体表面的图像，获得图像深度信息。

图8示意性示出了根据本公开的另一实施例的物体表面缺陷检测装置的框图。

如图8所示，物体表面缺陷检测装置800包括第一获取模块710、分析模块720和第二获取模块730。其中第一获取模块710和分析模块720在上文中已经说明，重复的部分在此不再赘述。

在本公开的一个实施例中，第一获取模块710所获取的指定信息除了图像深度信息之外还包括图像强度信息，第二获取模块730可以提取所述图像强度信息中的高频成分，分析模块720可以基于所述图像深度信息和所述图像强度信息中的高频成分，分析物体表面是否存在缺陷。

具体地，第二获取模块730可以通过以下方式提取图像强度信息中的高频成分。例如，第二获取模块730可以先对所述图像强度信息进行平滑处理，再对平滑处理后的图像强度信息进行高通滤波处理，得到所述图像强度信息中的高频成分。

第一获取模块710获取到物体表面的图像的图像深度信息和图像强度信息，第二获取模块730提取图像强度信息中的高频成分之后，作为本公开一个可选的实施例，分析模块720可以对于图像强度信息中的高频成分对应的至少一个像素点，根据所述图像深度信息获取所述像素点对应的深度值，当所述像素点对应的深度值不符合预设条件时，确定所述像素点对应的物体表面存在缺陷。

在本公开的一个实施例中，第二获取模块730可以获取所述物体表面的模板信息。分析模块720可以基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面是否存在缺陷。

具体地，分析模块720可以通过如下方式分析物体表面是否存在缺陷。例如，分析模块720可以基于所述图像深度信息获取深度值不符合预设条件的至少一个像素点。在所述像素点的深度值和所述模板信息对应位置的结构信息不匹配时，分析模块720可以确定所述像素点对应的物体表面存在缺陷。

在本公开的一个实施例中，第一获取模块710所获取的指定信息还包括图像强度信息。第二获取模块730可以提取所述图像强度信息中的高频成分，还可以获取所述物体表面的模板信息。分析模块720可以基于所述图像深度信息、所述图像强度信息中的高频成分和所述物体表面的模板信息，分析所述物体表面是否存在缺陷。

需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一获取模块710、分析模块720以及第二获取模块730中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块710、分析模块720以及第二获取模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块710、分析模块720以及第二获取模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开的实施例的适于实现上文描述的方法的计算机设备的框图。图9示出的计算机设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备900包括处理器810和计算机可读存储介质820。该计算机设备900可以执行根据本公开实施例的方法。

具体地，处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质820，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

计算机可读存储介质820可以包括计算机程序821，该计算机程序821可以包括代码/计算机可执行指令，其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。

计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序821中的代码可以包括一个或多个程序模块，例如包括821A、模块821B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器810执行时，使得处理器810可以执行根据本公开实施例的方法或其任何变形。

根据本发明的实施例，第一获取模块710、分析模块720以及第二获取模块730中的至少一个可以实现为参考图9描述的计算机程序模块，其在被处理器810执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种物体表面缺陷检测方法，包括：

获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息和图像强度信息；

提取所述图像强度信息中的高频成分；以及

对于与所述高频成分对应的每个像素点，基于所述图像深度信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷；

其中，所述分析所述物体表面上与所述像素点对应的位置是否存在缺陷包括：

对于与所述高频成分对应的每个像素点，根据所述图像深度信息获取所述像素点的深度值，当所述像素点的深度值不符合预设条件时，确定所述物体表面上与所述像素点对应的位置存在缺陷。

2.根据权利要求1所述的方法，其中，所述获取物体表面的图像的指定信息包括：

根据至少两个从不同角度获得的物体表面的图像，获得图像深度信息。

3.根据权利要求1所述的方法，其中，所述提取所述图像强度信息中的高频成分包括：

对所述图像强度信息进行平滑处理；

对平滑处理后的图像强度信息进行高通滤波处理，得到所述图像强度信息中的高频成分。

4.根据权利要求1所述的方法，还包括：获取所述物体表面的模板信息；

所述基于所述图像深度信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷包括：基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷。

5.根据权利要求4所述的方法，其中，所述基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷包括：

基于所述图像深度信息，获取所述像素点的深度值；

在所述像素点的深度值不符合预设条件的情况下，确定所述像素点为异常点；

基于所述模板信息，获取与所述异常点对应的位置的结构信息；

在所述像素点的深度值和所述结构信息不匹配时，确定所述物体表面上与所述像素点对应的位置存在缺陷。

6.根据权利要求4所述的方法，其中，

所述基于所述图像深度信息和所述物体表面的模板信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷包括：

基于所述图像深度信息，获取所述像素点的深度值；

在所述像素点的深度值不符合预定条件的情况下，确定所述像素点为异常点；

根据所述模板信息，确定所述异常点是否对应于特定结构，是则确定所述物体表面上与所述像素点对应的位置存在缺陷。

7.一种物体表面缺陷检测装置，包括：

第一获取模块，用于获取物体表面的图像的指定信息，所述指定信息包括：图像深度信息和图像强度信息；

分析模块，用于提取所述图像强度信息中的高频成分；以及，对于与所述高频成分对应的每个像素点，基于所述图像深度信息，分析所述物体表面上与所述像素点对应的位置是否存在缺陷；其中，所述分析所述物体表面上与所述像素点对应的位置是否存在缺陷包括：对于与所述高频成分对应的每个像素点，根据所述图像深度信息获取所述像素点的深度值，当所述像素点的深度值不符合预设条件时，确定所述物体表面上与所述像素点对应的位置存在缺陷。

8.一种计算机设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的物体表面缺陷检测方法。

Images