CN112950618B - 一种外观缺陷检测方法与系统 - Google Patents

Abstract

一种外观缺陷检测方法与系统，其中的方法包括：对待检测物体的待检测图像进行不同尺寸的缩放得到小缩放尺寸图像和大缩放尺寸图像，再分别进行多个不同方向的方向滤波和方向加权融合，得到关于小尺寸缺陷的背景估计图像和关于大尺寸缺陷的背景估计图像，将待检测图像分别与这两个背景估计图像进行差分，得到小尺寸缺陷强调图和大尺寸缺陷强调图，计算小尺寸缺陷强调图和大尺寸缺陷强调图的加权和得到整体缺陷强调图，对整体缺陷强调图进行阈值分割，得到待检测物体的缺陷区域，从而实现兼容检测小尺寸缺陷和大尺寸缺陷；对小缩放尺寸图像和大缩放尺寸图像都进行了多个不同方向的方向滤波，从而能够适应待检测物体的角度变化。

Description

一种外观缺陷检测方法与系统

技术领域

本发明涉及机器视觉技术领域，具体涉及一种外观缺陷检测方法与系统。

背景技术

随着科技进步，基于机器视觉的外观缺陷检测在工业自动化生产过程中越来越普及。而曲面造型具备良好的手感与观感，在现代工业设计中也应用的越来越普遍，但其加工制造难度也要难于普通平面造型，一般采用五轴CNC(Computer number control，计算机数字控制)机床或标准模具进行加工制造。同时加工过程中产生的外观缺陷也难以检测，目前主要采用人工目检，但存在检测效率低，劳动强度大，检测精度受检测人员主观因素影响等缺点。

当前机器视觉集成商主要采用2D视觉进行曲面缺陷检测，通常采用不同角度光源进行打光，通过CCD(Charge Coupled Device，电荷耦合器件)采集不同光照下灰度图像进行分析处理，但此方法适应性较差，很难适应产品换型以及来料偏差等严重影响光照角度的场景，且2D视觉只适用于检测表面脏污、划伤等存在明显灰度差的缺陷，无法检测压伤、鼓包以及气泡、褶皱等无明显灰度差但存在高度差的缺陷。部分厂商也在尝试3D视觉进行曲面缺陷检测，3D视觉主要通过线激光3D相机和结构光3D相机进行拍摄，通过三维成像技术获取工件表面三维信息，进而分析表面高度图像来检测缺陷。但受限于缺陷检测算法，基于机器视觉的外观缺陷检测的效果并不理想，主要问题在于两点：1)无法兼容大范围缺陷与微小缺陷的同时检测，存在漏检风险；2)无法适应产品角度变化，误检率高。

发明内容

本申请提供一种外观缺陷检测方法与系统，旨在解决现有外观缺陷检测方法无法兼容大范围缺陷与微小缺陷的同时检测，以及无法适应产品角度变化的问题。

根据第一方面，一种实施例中提供一种外观缺陷检测方法，包括：

获取待检测物体的高度图像Ih和灰度图像Ig；

分别以所述待检测物体的高度图像Ih和灰度图像Ig为待检测图像，执行缺陷强调步骤，得到高度图像的整体缺陷强调图Ihd和灰度图像的整体缺陷强调图Igd；

对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图；

根据预设的缺陷灰度阈值对所述混合缺陷强调图进行阈值分割，从而得到所述待检测物体的缺陷区域；

其中，所述缺陷强调步骤包括：

根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像；

使用多个不同方向的方向滤波核分别对所述小缩放尺寸图像和所述大缩放尺寸图像进行方向滤波，得到所述小缩放尺寸图像的方向滤波图像序列，和所述大缩放尺寸图像的方向滤波图像序列；

对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像；其中原始尺寸是指未经过缩放的所述待检测图像的大小；

将所述待检测图像与所述关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将所述待检测图像与所述关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图；

计算所述小尺寸缺陷强调图和所述大尺寸缺陷强调图的加权和，得到整体缺陷强调图。

根据第二方面，一种实施例中提供一种外观缺陷检测方法，包括：

获取待检测物体的待检测图像；

根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像；

使用多个不同方向的方向滤波核分别对所述小缩放尺寸图像和所述大缩放尺寸图像进行方向滤波，得到所述小缩放尺寸图像的方向滤波图像序列，和所述大缩放尺寸图像的方向滤波图像序列；

对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像；其中原始尺寸是指未经过缩放的所述待检测图像的大小；

将所述待检测图像与所述关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将所述待检测图像与所述关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图；

计算所述小尺寸缺陷强调图和所述大尺寸缺陷强调图的加权和，得到整体缺陷强调图；

根据预设的缺陷灰度阈值对所述整体缺陷强调图进行阈值分割，从而得到所述待检测物体的缺陷区域。

一种实施例中，所述根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像，包括：

由所述小缺陷尺寸Ss计算得到小尺寸缩放系数

按所述小尺寸缩放系数Zs对所述待检测图像进行缩放得到所述小缩放尺寸图像；

由所述大缺陷尺寸Sm计算得到大尺寸缩放系数

按所述大尺寸缩放系数Zm对所述待检测图像进行缩放得到所述大缩放尺寸图像；

其中

表示向下取整。

一种实施例中，所述多个不同方向的方向滤波核包括0度水平滤波核f₁，45度对角滤波核f₂，90度垂直滤波核f₃与135度对角滤波核f₄，对应的，所述小缩放尺寸图像的方向滤波图像序列包括图像I_sf1、图像I_sf2、图像I_sf3和图像I_sf4，所述大缩放尺寸图像的方向滤波图像序列包括图像I_mf1、图像I_mf2、图像I_mf3和图像I_mf4。

一种实施例中，所述对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，包括：

计算得到所述小缩放尺寸图像的梯度幅值图像Its和梯度垂直方向图像Iθs，其中梯度垂直方向图像Iθs中每一点的像素值为与所述小缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

计算得到所述大缩放尺寸图像的梯度幅值图像Itm和梯度垂直方向图像Iθm，其中梯度垂直方向图像Iθm中每一点的像素值为与所述大缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中，i和j分别为行坐标和列坐标，t为预设的梯度阈值，Ps_i,j代表对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，Pm_i,j代表对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cs和cm代表像素融合系数，且

ks和km代表方向滤波图像序列中的图像序号，且

其中

表示向上取整。

一种实施例中，所述多个不同方向的方向滤波核的大小相同，计算所述小缩放尺寸图像的梯度幅值图像Its和梯度垂直方向图像Iθs所使用的梯度卷积核，和计算所述大缩放尺寸图像的梯度幅值图像Itm和梯度垂直方向图像Iθm所使用的梯度卷积核的大小均为所述多个不同方向的方向滤波核的大小的一半。

一种实施例中，所述对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图，包括：

按如下公式对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图Id：

Id＝kh*Ihd+kg*Igd+b；

其中，kh与kg为缺陷强调系数，b为偏移值。

一种实施例中，所述待检测物体的待检测图像为所述待检测物体的高度图像或灰度图像。

根据第三方面，一种实施例中提供一种外观缺陷检测系统，包括：

3D相机，用于采集待检测物体的激光反射图像；

3D控制器，用于将所述待检测物体的激光反射图像转换为表面三维数据，从而得到所述待检测物体的高度图像和灰度图像；

工控机，所述工控机包括处理器和显示器，所述处理器与所述3D控制器连接，用于执行上述第一方面所述的外观缺陷检测方法，以得到所述待检测物体的缺陷区域；所述显示器与所述处理器连接，用于显示所述待检测物体的缺陷区域。

根据第四方面，一种实施例中提供一种外观缺陷检测系统，包括：

3D相机，用于采集待检测物体的激光反射图像；

3D控制器，用于将所述待检测物体的激光反射图像转换为表面三维数据，从而得到所述待检测物体的高度图像或灰度图像；

工控机，所述工控机包括处理器和显示器，所述处理器与所述3D控制器连接，用于以所述待检测物体的高度图像或灰度图像为待检测图像，执行上述第二方面所述的外观缺陷检测方法，以得到所述待检测物体的缺陷区域；所述显示器与所述处理器连接，用于显示所述待检测物体的缺陷区域。

根据第五方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现第一方面或第二方面所述的外观缺陷检测方法。

依据上述实施例的外观缺陷检测方法、系统和计算机可读存储介质，由于根据预设的小缺陷尺寸Ss对待检测物体的待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对待检测物体的待检测图像进行缩放得到大缩放尺寸图像，对小缩放尺寸图像和大缩放尺寸图像都进行缺陷强调，分别得到小尺寸缺陷强调图和大尺寸缺陷强调图，再计算小尺寸缺陷强调图和大尺寸缺陷强调图的加权和，得到整体缺陷强调图，根据预设的缺陷灰度阈值对整体缺陷强调图进行阈值分割，得到待检测物体的缺陷区域，从而实现了兼容检测小尺寸缺陷和大尺寸缺陷，减少漏检的情况；另外，在对小缩放尺寸图像和大缩放尺寸图像进行缺陷强调时，都进行了多个不同方向的方向滤波，从而能够适应待检测物体的角度变化，使得检测结果更为精确全面。

附图说明

图1为一种实施例的外观缺陷检测系统的结构示意图；

图2为一种实施例的外观缺陷检测方法的流程图；

图3为待检测物体的高度图像和灰度图像的示意图；

图4为待检测物体的高度图像的像素值的示意图；

图5为一种实施例的方向滤波核的示意图；

图6为一种实施例的梯度幅值图像和梯度垂直方向图像的示意图；

图7为一种实施例的缺陷强调图的示意图；

图8为另一种实施例的外观缺陷检测方法的流程图；

图9为一种实施例的缺陷强调步骤的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

请参考图1，本申请一种实施例中的外观缺陷检测系统包括3D相机1、3D控制器2和工控机3，下面分别说明。

3D相机1用于对待检测物体进行激光扫描，采集待检测物体的激光反射图像。待检测物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，这里不做具体限定。

3D控制器2与3D相机1连接，用于将待检测物体的激光反射图像转换为表面三维数据，从表面三维数据中得到待检测物体的高度图像和/或灰度图像。

工控机3包括处理器31和显示器32。处理器31和3D控制器2连接，用于获取待检测物体的高度图像和/或灰度图像，对待检测物体的高度图像和/或灰度图像执行本申请提供的外观缺陷检测方法，从而得到待检测物体的缺陷区域。显示器32与处理器31连接，用于显示待检测物体的缺陷区域，以供用户查看。

下面对本申请的外观缺陷检测方法进行详细说明。

本申请的外观缺陷检测方法的构思是：对待检测物体的待检测图像进行不同尺寸的缩放，然后分别进行多个不同方向的方向滤波得到方向滤波图像序列，以适应待检测物体的角度变化，对方向滤波图像序列进行方向加权融合并还原为原始尺寸，得到关于不同尺寸缺陷的背景估计图像，将待检测图像分别与这些背景估计图像进行差分得到不同尺寸缺陷的缺陷强调图，对这些缺陷强调图计算加权和得到整体缺陷强调图，最后根据预设的缺陷灰度阈值对整体缺陷强调图进行阈值分割，得到待检测物体的缺陷区域，这样一来就能够兼容检测不同尺寸的缺陷。

请参考图2，本申请一种实施例中的外观缺陷检测方法包括步骤110～170，下面具体说明。

步骤110：获取待检测物体的待检测图像。待检测物体的待检测图像可以是待检测物体的高度图像或灰度图像。图3给出了待检测物体的高度图像和灰度图像的示意图。其中高度图像需确保图像行/列方向分别均匀等距采样。高度图像中每个像素值由单精度浮点数填充，代表当前像素点在相机参考坐标系下的高度值(参考坐标系为相机在出厂时厂家标定坐标系)，因成像原因导致的无效像素可以由Nan填充，如图4所示。

步骤120：根据预设的小缺陷尺寸Ss对待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对待检测图像进行缩放得到大缩放尺寸图像。用户可以对所要检测的缺陷的尺寸进行预估，较大的缺陷的尺寸即为大缺陷尺寸Sm，较小的缺陷的尺寸即为小缺陷尺寸Ss，缺陷尺寸的单位可以为像素。

一些实施例中，可以由缺陷的尺寸计算得到缩放系数，按该缩放系数对待检测图像进行缩放。具体的，可以由小缺陷尺寸Ss计算得到小尺寸缩放系数

按小尺寸缩放系数Zs对待检测图像进行缩放得到小缩放尺寸图像；由大缺陷尺寸Sm计算得到大尺寸缩放系数

按大尺寸缩放系数Zm对待检测图像进行缩放得到大缩放尺寸图像。其中

表示向下取整。按缩放系数Zs和Zm对待检测图像进行缩放后，待检测图像都将缩小，且欲检测的缺陷的尺寸越大，缩小的程度也越大，从而使小尺寸缺陷不明显而大尺寸缺陷得以保留，有利于对大尺寸缺陷的检测。

步骤130：使用多个不同方向的方向滤波核分别对小缩放尺寸图像和大缩放尺寸图像进行方向滤波，得到小缩放尺寸图像的方向滤波图像序列，和大缩放尺寸图像的方向滤波图像序列。

待检测物体本身也存在明显的边缘，在现有技术中这些边缘常会与缺陷一起被检出而被误判为是缺陷。为了消除待检测物体本身的边缘对检测的干扰，本方法采取的对策是，尽可能保留图像中待检测物体的边缘特征，待后续与待检测图像进行差分即可消除这些边缘的干扰。在待检测物体的边缘特征处，图像的变化往往较为剧烈，梯度幅值较大。而方向滤波可以体现出图像在某一方向上的变化情况，假如滤波方向垂直于梯度方向(梯度方向即变化最剧烈的方向)，则能够保留梯度幅值较大的区域，从而保留待检测物体的边缘特征；假如滤波方向平行于梯度方向，则无法准确保留梯度幅值较大的区域，从而无法准确保留待检测物体的边缘特征。然而待检测物体往往存在角度变化，例如在流水线上传送的产品，其摆放的姿态常常不相同，单一方向的方向滤波无法适应待检测物体的角度变化。因此本步骤中使用多个不同方向的方向滤波核来对小缩放尺寸图像和大缩放尺寸图像进行方向滤波，以更全面地保留待检测物体的边缘特征。

请参考图5，一些实施例中，使用4个不同方向的方向滤波核来对小缩放尺寸图像和大缩放尺寸图像进行方向滤波，分别是0度水平滤波核f₁，45度对角滤波核f₂，90度垂直滤波核f₃与135度对角滤波核f₄，且这些方向滤波核的大小相同。使用这些方向滤波核分别与小缩放尺寸图像和大缩放尺寸图像进行卷积，得到小缩放尺寸图像的方向滤波图像序列包括图像I_sf1、图像I_sf2、图像I_sf3和图像I_sf4，大缩放尺寸图像的方向滤波图像序列包括图像I_mf1、图像I_mf2、图像I_mf3和图像I_mf4。方向滤波核的大小和方向滤波进行的次数可依实际需求而定，这里不做限定。

步骤140：对小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像。其中原始尺寸是指未经过缩放的待检测图像的大小。方向滤波图像序列中的各个图像保留的只是某个方向上的变化信息，本步骤中对它们进行方向加权融合，以整合出图像的边缘特征。

在一些实施例中，方向加权融合可以借助梯度幅值图像和梯度垂直方向图像来实现，图6给出了梯度幅值图像和梯度垂直方向图像的示意图。具体的，对于小缩放尺寸图像，首先计算得到其梯度幅值图像Its和梯度垂直方向图像Iθs，其中梯度垂直方向图像Iθs中每一点的像素值为与小缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°。可以使用梯度卷积核与小缩放尺寸图像进行卷积来得到梯度幅值和梯度方向，进而得到梯度幅值图像和梯度垂直方向图像，所使用的梯度卷积核可以是Sobel算子、Prewitt算子或Robot算子，梯度卷积核的大小可以是步骤130中方向滤波核的大小的一半。然后按如下公式对小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中，i和j分别为行坐标和列坐标，t为预设的梯度阈值，Ps_i,j代表对小缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cs代表像素融合系数，且

ks代表方向滤波图像序列中的图像序号，且

表示向上取整。

这里当梯度幅值小于等于梯度阈值时，则认为其为边缘点的可能性比较小，对缺陷检测的影响比较小，无需方向加权融合，直接取水平方向与垂直方向的方向滤波值的均值即可；当梯度幅值大于梯度阈值时，则认为其为边缘点的可能性比较大，会对缺陷检测造成比较大的影响，需要尽量保留下来待后续进行差分以消除影响，因此取与梯度垂直方向相邻的两个方向滤波值进行线性插值。

同样的，对于大缩放尺寸图像，首先计算得到其梯度幅值图像Itm和梯度垂直方向图像Iθm，其中梯度垂直方向图像Iθm中每一点的像素值为与大缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°。可以使用梯度卷积核与大缩放尺寸图像进行卷积来得到梯度幅值和梯度方向，进而得到梯度幅值图像和梯度垂直方向图像，所使用的梯度卷积核可以是Sobel算子、Prewitt算子或Robot算子，梯度卷积核的大小可以是步骤130中方向滤波核的大小的一半。然后按如下公式对小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中Pm_i,j代表对大缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cm代表像素融合系数，且

km代表方向滤波图像序列中的图像序号，且

将进行方向加权融合后的小缩放尺寸图像按缩放系数1/Z_s缩放，将进行方向加权融合后的大缩放尺寸图像按缩放系数1/Z_m缩放，即可还原为原始尺寸。

步骤150：将待检测图像与关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将待检测图像与关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图。具体的计算公式如下：

Id_s＝I-Ib_s

Id_m＝I-Ib_m

其中，I为待检测图像，Ib_s为关于小尺寸缺陷的背景估计图像，Id_s为小尺寸缺陷强调图，Ib_m为关于大尺寸缺陷的背景估计图像，Id_m为大尺寸缺陷强调图。

图7为缺陷强调图的示意图，其中的图7a为待检测物体的待检测图像，可以看到曲面上存在明显碰伤缺陷，两侧平面区域内也存在大范围的划伤缺陷。图7b为未采用方向加权融合处理的缺陷强调图，可明显看出，缺陷能够被较好凸显出来，但待检测物体自身的一些边缘也会被凸显出来，导致无法区分真实缺陷与待检测物体自身的边缘。图7c为采用了方向加权融合处理的缺陷强调图，可以看到，真实缺陷被保留，而待检测物体自身的边缘被消除，从而能够稳定且准确地检出待检测物体上的缺陷。图7d为小尺寸缺陷强调图，图7e为大尺寸缺陷强度图，对比可看出，小尺寸缺陷强调图主要检测出了较微小的缺陷，大尺寸缺陷强调图主要检测出了较宏观的缺陷。

步骤160：计算小尺寸缺陷强调图和大尺寸缺陷强调图的加权和，得到整体缺陷强调图。在一些实施例中，小尺寸缺陷强调图和大尺寸缺陷强调图的权重可以都为1，计算公式如下：

Id＝Id_s+Id_m

其中Id为整体缺陷强调图。当整体缺陷强调图Id中的像素值不在0～255的范围内时，需要将像素值截断到0～255的范围内。

步骤170：根据预设的缺陷灰度阈值对整体缺陷强调图进行阈值分割，从而得到待检测物体的缺陷区域。

本实施例提供的外观缺陷检测方法，根据预设的小缺陷尺寸Ss对待检测物体的待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对待检测物体的待检测图像进行缩放得到大缩放尺寸图像，对小缩放尺寸图像和大缩放尺寸图像都进行缺陷强调，分别得到小尺寸缺陷强调图和大尺寸缺陷强调图，再计算小尺寸缺陷强调图和大尺寸缺陷强调图的加权和，得到整体缺陷强调图，根据预设的缺陷灰度阈值对整体缺陷强调图进行阈值分割，得到待检测物体的缺陷区域，从而实现了兼容检测小尺寸缺陷和大尺寸缺陷，减少漏检的情况。另外，在对小缩放尺寸图像和大缩放尺寸图像进行缺陷强调时，都进行了多个不同方向的方向滤波，从而能够适应待检测物体的角度变化，使得检测结果更为精确全面。同时，对多个不同方向的方向滤波得到的方向滤波图像序列进行方向加权融合处理，得到了保留待检测物体自身的边缘的背景估计图像，后续待检测图像与背景估计图像进行差分，从而消除了待检测物体自身的边缘对缺陷检测的干扰。

物体的外观缺陷通常可以分为高度缺陷和灰度缺陷，高度缺陷是指存在高度差的缺陷，灰度缺陷是指存在灰度差的缺陷。现有的外观缺陷检测方法大多仅采用单一类型图像源进行缺陷检测，例如仅采用3D相机获取的高度图像检测高度缺陷，或者仅采用CCD相机获取的灰度图像检测灰度缺陷，难以同时对高度缺陷和灰度缺陷进行检测，使得检测结果不理想。目前市面上绝大部分3D相机能够保留灰度信息，即同时输出物体表面的高度图像与灰度图像，这一特性也使得同时检测高度缺陷和灰度缺陷成为可能。本申请另一种实施例中的外观缺陷检测方法融合了待检测物体的高度图像与灰度图像进行缺陷检测，能够同时检出高度缺陷和灰度缺陷，使得检测结果更全面，检测鲁棒性更强。请参考图8，本实施例中的外观缺陷检测方法包括步骤210～240，下面具体说明。

步骤210：获取待检测物体的高度图像Ih和灰度图像Ig。待检测物体的高度图像Ih和灰度图像Ig可以通过3D相机同时获取。

步骤220：分别以待检测物体的高度图像Ih和灰度图像Ig为待检测图像，执行缺陷强调步骤，得到高度图像的整体缺陷强调图Ihd和灰度图像的整体缺陷强调图Igd。请参考图9，缺陷强调步骤包括步骤221～225，下面具体说明。

步骤221：根据预设的小缺陷尺寸Ss对待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对待检测图像进行缩放得到大缩放尺寸图像。用户可以对所要检测的缺陷的尺寸进行预估，较大的缺陷的尺寸即为大缺陷尺寸Sm，较小的缺陷的尺寸即为小缺陷尺寸Ss，缺陷尺寸的单位可以为像素。

一些实施例中，可以由缺陷的尺寸计算得到缩放系数，按该缩放系数对待检测图像进行缩放。具体的，可以由小缺陷尺寸Ss计算得到小尺寸缩放系数

按小尺寸缩放系数Zs对待检测图像进行缩放得到小缩放尺寸图像；由大缺陷尺寸Sm计算得到大尺寸缩放系数

按大尺寸缩放系数Zm对待检测图像进行缩放得到大缩放尺寸图像。

步骤222：使用多个不同方向的方向滤波核分别对小缩放尺寸图像和大缩放尺寸图像进行方向滤波，得到小缩放尺寸图像的方向滤波图像序列，和大缩放尺寸图像的方向滤波图像序列。

请参考图5，一些实施例中，使用4个不同方向的方向滤波核来对小缩放尺寸图像和大缩放尺寸图像进行方向滤波，分别是0度水平滤波核f₁，45度对角滤波核f₂，90度垂直滤波核f₃与135度对角滤波核f₄，且这些方向滤波核的大小相同。使用这些方向滤波核分别与小缩放尺寸图像和大缩放尺寸图像进行卷积，得到小缩放尺寸图像的方向滤波图像序列包括图像I_sf1、图像I_sf2、图像I_sf3和图像I_sf4，大缩放尺寸图像的方向滤波图像序列包括图像I_mf1、图像I_mf2、图像I_mf3和图像I_mf4。方向滤波核的大小和方向滤波进行的次数可依实际需求而定，这里不做限定。

步骤223：对小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像。其中原始尺寸是指未经过缩放的待检测图像的大小。

在一些实施例中，方向加权融合可以借助梯度幅值图像和梯度垂直方向图像来实现，图6给出了梯度幅值图像和梯度垂直方向图像的示意图。具体的，对于小缩放尺寸图像，首先计算得到其梯度幅值图像Its和梯度垂直方向图像Iθs，其中梯度垂直方向图像Iθs中每一点的像素值为与小缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°。可以使用梯度卷积核与小缩放尺寸图像进行卷积来得到梯度幅值和梯度方向，进而得到梯度幅值图像和梯度垂直方向图像，所使用的梯度卷积核可以是Sobel算子、Prewitt算子或Robot算子，梯度卷积核的大小可以是步骤130中方向滤波核的大小的一半。然后按如下公式对小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中，i和j分别为行坐标和列坐标，t为预设的梯度阈值，Ps_i,j代表对小缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cs代表像素融合系数，且

ks代表方向滤波图像序列中的图像序号，且

表示向上取整。

同样的，对于大缩放尺寸图像，首先计算得到其梯度幅值图像Itm和梯度垂直方向图像Iθm，其中梯度垂直方向图像Iθm中每一点的像素值为与大缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°。可以使用梯度卷积核与大缩放尺寸图像进行卷积来得到梯度幅值和梯度方向，进而得到梯度幅值图像和梯度垂直方向图像，所使用的梯度卷积核可以是Sobel算子、Prewitt算子或Robot算子，梯度卷积核的大小可以是步骤130中方向滤波核的大小的一半。然后按如下公式对小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中Pm_i,j代表对大缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cm代表像素融合系数，且

km代表方向滤波图像序列中的图像序号，且

将进行方向加权融合后的小缩放尺寸图像按缩放系数1/Z_s缩放，将进行方向加权融合后的大缩放尺寸图像按缩放系数1/Z_m缩放，即可还原为原始尺寸。

步骤224：将待检测图像与关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将待检测图像与关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图。具体的计算公式如下：

Id_s＝I-Ib_s

Id_m＝I-Ib_m

其中，I为待检测图像，Ib_s为关于小尺寸缺陷的背景估计图像，Id_s为小尺寸缺陷强调图，Ib_m为关于大尺寸缺陷的背景估计图像，Id_m为大尺寸缺陷强调图。

步骤225：计算小尺寸缺陷强调图和大尺寸缺陷强调图的加权和，得到整体缺陷强调图。在一些实施例中，小尺寸缺陷强调图和大尺寸缺陷强调图的权重可以都为1，计算公式如下：

Idw＝Id_s+Id_m

其中Idw为整体缺陷强调图。

以待检测物体的高度图像Ih为待检测图像执行上述步骤221～225得到的整体缺陷强调图为高度图像的整体缺陷强调图Ihd，以待检测物体的灰度图像Ig为待检测图像执行上述步骤221～225得到的整体缺陷强调图为灰度图像的整体缺陷强调图Igd。

步骤230：对高度图像的整体缺陷强调图Ihd和灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图Id。一种实施例中，可以按如下公式计算混合缺陷强调图Id：

Id＝kh*Ihd+kg*Igd+b

其中，kh与kg为缺陷强调系数，b为偏移值，可取为128。当混合缺陷强调图Id中的像素值不在0～255的范围内时，需要将像素值截断到0～255的范围内。

步骤240：根据预设的缺陷灰度阈值对混合缺陷强调图Id进行阈值分割，从而得到待检测物体的缺陷区域。

本实施例提供的外观缺陷检测方法，分别对待检测物体的高度图像和灰度图像进行缺陷强调，得到高度图像的整体缺陷强调图和灰度图像的整体缺陷强调图，然后对高度图像的整体缺陷强调图和灰度图像的整体缺陷强调图进行线性加权融合，得到混合缺陷强调图，从而能够同时检出高度缺陷和灰度缺陷，使得检测结果更全面，检测鲁棒性更强。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD至ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。

前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。

具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应仅由权利要求确定。

Claims (10)

1.一种外观缺陷检测方法，其特征在于，包括：

获取待检测物体的高度图像Ih和灰度图像Ig；

分别以所述待检测物体的高度图像Ih和灰度图像Ig为待检测图像，执行缺陷强调步骤，得到高度图像的整体缺陷强调图Ihd和灰度图像的整体缺陷强调图Igd；

对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图；

根据预设的缺陷灰度阈值对所述混合缺陷强调图进行阈值分割，从而得到所述待检测物体的缺陷区域；

其中，所述缺陷强调步骤包括：

根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像；

使用多个不同方向的方向滤波核分别对所述小缩放尺寸图像和所述大缩放尺寸图像进行方向滤波，得到所述小缩放尺寸图像的方向滤波图像序列，和所述大缩放尺寸图像的方向滤波图像序列；其中所述多个不同方向的方向滤波核包括0度水平滤波核f₁，45度对角滤波核f₂，90度垂直滤波核f₃与135度对角滤波核f₄，对应的，所述小缩放尺寸图像的方向滤波图像序列包括图像I_sf1、图像I_sf2、图像I_sf3和图像I_sf4，所述大缩放尺寸图像的方向滤波图像序列包括图像I_mf1、图像I_mf2、图像I_mf3和图像I_mf4；

对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像；其中原始尺寸是指未经过缩放的所述待检测图像的大小；

将所述待检测图像与所述关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将所述待检测图像与所述关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图；

计算所述小尺寸缺陷强调图和所述大尺寸缺陷强调图的加权和，得到整体缺陷强调图；

其中所述对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，包括：

计算得到所述小缩放尺寸图像的梯度幅值图像Its和梯度垂直方向图像Iθs，其中梯度垂直方向图像Iθs中每一点的像素值为与所述小缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

计算得到所述大缩放尺寸图像的梯度幅值图像Itm和梯度垂直方向图像Iθm，其中梯度垂直方向图像Iθm中每一点的像素值为与所述大缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中，i和j分别为行坐标和列坐标，t为预设的梯度阈值，Ps_i,j代表对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，Pm_i,j代表对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cs和cm代表像素融合系数，且

ks和km代表方向滤波图像序列中的图像序号，且

其中

表示向上取整。

2.如权利要求1所述的方法，其特征在于，所述根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像，包括：

由所述小缺陷尺寸Ss计算得到小尺寸缩放系数

按所述小尺寸缩放系数Zs对所述待检测图像进行缩放得到所述小缩放尺寸图像；

由所述大缺陷尺寸Sm计算得到大尺寸缩放系数

按所述大尺寸缩放系数Zm对所述待检测图像进行缩放得到所述大缩放尺寸图像；

其中

表示向下取整。

3.如权利要求1所述的方法，其特征在于，所述多个不同方向的方向滤波核的大小相同，计算所述小缩放尺寸图像的梯度幅值图像Its和梯度垂直方向图像Iθs所使用的梯度卷积核，和计算所述大缩放尺寸图像的梯度幅值图像Itm和梯度垂直方向图像Iθm所使用的梯度卷积核的大小均为所述多个不同方向的方向滤波核的大小的一半。

4.如权利要求1所述的方法，其特征在于，所述对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图，包括：

按如下公式对所述高度图像的整体缺陷强调图Ihd和所述灰度图像的整体缺陷强调图Igd进行线性加权融合，得到混合缺陷强调图Id：

Id＝kh*Ihd+kg*Igd+b；

其中，kh与kg为缺陷强调系数，b为偏移值。

5.一种外观缺陷检测方法，其特征在于，包括：

获取待检测物体的待检测图像；

根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像；

使用多个不同方向的方向滤波核分别对所述小缩放尺寸图像和所述大缩放尺寸图像进行方向滤波，得到所述小缩放尺寸图像的方向滤波图像序列，和所述大缩放尺寸图像的方向滤波图像序列；其中所述多个不同方向的方向滤波核包括0度水平滤波核f₁，45度对角滤波核f₂，90度垂直滤波核f₃与135度对角滤波核f₄，对应的，所述小缩放尺寸图像的方向滤波图像序列包括图像I_sf1、图像I_sf2、图像I_sf3和图像I_sf4，所述大缩放尺寸图像的方向滤波图像序列包括图像I_mf1、图像I_mf2、图像I_mf3和图像I_mf4；

对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于小尺寸缺陷的背景估计图像；对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，并还原为原始尺寸，得到关于大尺寸缺陷的背景估计图像；其中原始尺寸是指未经过缩放的所述待检测图像的大小；

将所述待检测图像与所述关于小尺寸缺陷的背景估计图像进行差分，得到小尺寸缺陷强调图；将所述待检测图像与所述关于大尺寸缺陷的背景估计图像进行差分，得到大尺寸缺陷强调图；

计算所述小尺寸缺陷强调图和所述大尺寸缺陷强调图的加权和，得到整体缺陷强调图；

根据预设的缺陷灰度阈值对所述整体缺陷强调图进行阈值分割，从而得到所述待检测物体的缺陷区域；

其中所述对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合，对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合，包括：

计算得到所述小缩放尺寸图像的梯度幅值图像Its和梯度垂直方向图像Iθs，其中梯度垂直方向图像Iθs中每一点的像素值为与所述小缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合：

计算得到所述大缩放尺寸图像的梯度幅值图像Itm和梯度垂直方向图像Iθm，其中梯度垂直方向图像Iθm中每一点的像素值为与所述大缩放尺寸图像中对应点处的梯度方向垂直的角度值，且取值范围为0°～180°；

按如下公式对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合：

其中，i和j分别为行坐标和列坐标，t为预设的梯度阈值，Ps_i,j代表对所述小缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，Pm_i,j代表对所述大缩放尺寸图像的方向滤波图像序列进行方向加权融合后的图像中的点，cs和cm代表像素融合系数，且

ks和km代表方向滤波图像序列中的图像序号，且

其中

表示向上取整。

6.如权利要求5所述的方法，其特征在于，所述根据预设的小缺陷尺寸Ss对所述待检测图像进行缩放得到小缩放尺寸图像，根据预设的大缺陷尺寸Sm对所述待检测图像进行缩放得到大缩放尺寸图像，包括：

由所述小缺陷尺寸Ss计算得到小尺寸缩放系数

按所述小尺寸缩放系数Zs对所述待检测图像进行缩放得到所述小缩放尺寸图像；

由所述大缺陷尺寸Sm计算得到大尺寸缩放系数

按所述大尺寸缩放系数Zm对所述待检测图像进行缩放得到所述大缩放尺寸图像；

其中

表示向下取整。

7.如权利要求5所述的方法，其特征在于，所述待检测物体的待检测图像为所述待检测物体的高度图像或灰度图像。

8.一种外观缺陷检测系统，其特征在于，包括：

3D相机，用于采集待检测物体的激光反射图像；

3D控制器，用于将所述待检测物体的激光反射图像转换为表面三维数据，从而得到所述待检测物体的高度图像和灰度图像；

工控机，所述工控机包括处理器和显示器，所述处理器与所述3D控制器连接，用于执行如权利要求1至4中任一项所述的外观缺陷检测方法，以得到所述待检测物体的缺陷区域；所述显示器与所述处理器连接，用于显示所述待检测物体的缺陷区域。

9.一种外观缺陷检测系统，其特征在于，包括：

3D相机，用于采集待检测物体的激光反射图像；

3D控制器，用于将所述待检测物体的激光反射图像转换为表面三维数据，从而得到所述待检测物体的高度图像或灰度图像；

工控机，所述工控机包括处理器和显示器，所述处理器与所述3D控制器连接，用于以所述待检测物体的高度图像或灰度图像为待检测图像，执行如权利要求5至7中任一项所述的外观缺陷检测方法，以得到所述待检测物体的缺陷区域；所述显示器与所述处理器连接，用于显示所述待检测物体的缺陷区域。

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至7中任一项所述的方法。

Images