CN113189005B - 便携式表面缺陷一体化检测装置及表面缺陷自动检测方法 - Google Patents

Abstract

本申请实施例公开了一种便携式表面缺陷一体化检测装置及表面缺陷自动检测方法，属于表面缺陷检测技术领域，该装置包括:机械支撑固定单元、控制单元、图像采集单元、照明单元、输出单元，该方法包括：缺损检测网络模型和裂纹检测网络模型，缺损检测网络模型用于对图像进行缺损特征提取、分类和缺陷标记，并输出带有缺损标记的图像；裂纹检测网络模型用于对图像进行裂纹特征提取、分类和缺陷标记，并输出带有裂纹标记的图像，该方法可以提高具有复杂背景和低灰度对比的表面缺陷的检出效果，实现对表面缺损缺陷和表面裂纹缺陷的快速准确检测。

Description

便携式表面缺陷一体化检测装置及表面缺陷自动检测方法

技术领域

本申请涉及表面缺陷检测技术领域，尤其涉及一种便携式表面缺陷一体化检测装置及表面缺陷自动检测方法。

背景技术

工业产品在生产过程中，由于生产环境及生产工艺的限制，表面会产生不同程度的质量问题，表面缺陷是最为常见的一种质量问题，例如类陶瓷体产品生产中出现的表面破损、裂纹、划伤等缺陷，均是造成产品不合格的主要因素。如果不能对表面存在缺陷的产品进行及时检查并剔除，在后续使用的过程中就会存在很大的安全隐患，甚至导致危险性高和破坏性大的事故，造成巨大的经济效益损失。正因为如此，在出厂之前需要对每一个产品进行高精度的快速检测，在保证产能的基础上确保所有生产的产品都能够满足其技术指标。

目前，市场中可用于表面缺陷检测的机器视觉产品主要有二维图像传感器和三维轮廓传感器两种类型，且大部分视觉传感设备都被国外垄断，基于2D相机的解决方案是在固定模式光源照明下进行灰度或彩色成像，然后进行图像处理和分析，进行产品表面的缺损信息进行检测，但是，当产品表面背景复杂，对比度低时，2D检测方案对表面破损检出率低，方案基本失效，3D解决方案较2D解决方案的优势是其可以采集产品表面的深度和轮廓信息，有利于进行破损区域的提取，但是当使用它检测微小物体的表面，即尺寸不大于10mm*10mm的细小裂纹时，由于其在x，y方向分辨率较低，且大部分裂纹没有深度信息，裂纹数据会淹没在周围点云中，该方案无法解决微小裂纹的检测，只能依靠2D解决方案协助解决，这样就会造成视觉解决方案中设备成本过高，同时会造成机械传输机构的复杂度和空间尺寸同时增加，最终导致检测方案的成本成倍增加，然而，市场上却无一款可以同时检测两种缺陷的一体化检测设备供用户选择，因此，亟需一款针对微小元件且能适应多种检测任务的一体化检测装置和方法，实现对表面缺陷的快速准确检测。

发明内容

本申请实施例的目的在于提出一种便携式表面缺陷一体化检测装置及表面缺陷自动检测方法，以解决上述现有技术中存在的技术问题。

为了解决上述技术问题，本申请实施例提供的便携式表面缺陷一体化检测装置，采用了如下所述的技术方案：

一种便携式表面缺陷一体化检测装置，包括：

机械支撑固定单元、控制单元、图像采集单元、照明单元、输出单元，所述机械支撑固定单元包括外壳、固定机构和滤光镜片，所述固定机构用于固定所述图像采集单元，所述控制单元包括控制端口，计算机通过控制端口，控制图像采集单元进行图像采集和控制照明单元进行照明，所述图像采集单元包括相机和第一镜头，所述照明单元包括DLP数字光源和第二镜头，所述第二镜头为照明镜头，所述输出单元包括数据端口，计算机通过数据端口获取采集的图像数据，其特征在于：

所述外壳靠近待检测表面的一侧设有开口，所述滤光镜片贴合在所述外壳的内侧，恰好能够全覆盖所述开口；

所述第一镜头能够通过所述滤光镜片和外壳开口，拍摄所述待检测表面上的图像；

所述DLP数字光源和第二镜头的镜片呈垂直排布，且在所述照明单元为照明状态时，所述DLP数字光源发出的照明光束能依次垂直穿过第二镜头的镜片、滤光镜片、外壳开口，并垂直照射在所述待检测表面上。

进一步的，所述第一镜头可以为带Scheimpflug倾斜调节机制的拍摄镜头。

进一步的，所述固定机构可以为U型固定机构。

进一步的，所述固定机构与所述外壳可以通过螺杆与螺母进行紧固，并能通过螺母的旋转调整所述图像采集单元与所述照明单元之间的夹角。

进一步的，所述DLP数字光源的内存中还可以加载各种模态的结构光编码图案，并根据加载的结构光图案和设置的投影序列投射各种模态的结构光源。

此外，所述便携式表面缺陷一体化检测装置还能够通过所述数据端口与计算机、服务器或者处理器内的图像处理单元相连接，向所述计算机、服务器或者处理器内的图像处理单元发送所述图像采集单元采集的待检测表面上的图像。

为了解决上述技术问题，本申请实施例还提供一种表面缺陷自动检测方法，采用了如下所述的技术方案：

一种表面缺陷自动检测方法，包括：

步骤101，初始化所述便携式表面缺陷一体化检测装置的参数，其中，所述参数至少包括：配置参数、连接参数；

步骤102，在所述便携式表面缺陷一体化检测装置的参数初始化完成后，向所述控制单元发送照明开启指令；

步骤103，所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明，其中，所述对待检测物体的表面进行照明包括：按照预设照明顺序，对所述待检测物体的表面分别使用预设的不同结构光图案进行照明；

步骤104，在预设照明持续时间内，触发所述图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元；

步骤105，获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行步骤103至步骤105；

步骤106，若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像；

步骤107，将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像；

步骤108，基于所述缺陷特征值和所述带有缺陷位置标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息；

步骤109，输出经过检测后的原始图像和所述原始图像对应的所述缺陷检测信息。

进一步的，所述缺陷检测网络模型包括：

缺损检测网络模型和裂纹检测网络模型，其中，所述缺损检测网络模型用于对所述第四图像进行缺损特征提取、分类和缺陷标记，并输出带有缺损标记的图像；所述裂纹检测网络模型用于对所述第三图像进行裂纹特征提取、分类和缺陷标记，并输出带有裂纹标记的图像；

所述带有缺陷标记的图像包括：带有缺损标记的图像和带有裂纹标记的图像。

进一步的，所述缺损检测网络模型和裂纹检测网络模型主要结构都是由ResNet101网络模块、Semseg网络模块和Squeeze网络模块组成，区别点在于，所述缺损检测网络模型将所述第四图像作为传入参数，所述裂纹检测网络模型将所述第三图像作为传入参数。

进一步的，所述第一结构光图像、第二结构光图像和第三结构光图像的获取方式具体如下：

使用预设第一结构光图案作为照明图案，对所述待检测物体表面进行第一结构光图像获取；

使用预设第二结构光图案作为照明图案，对所述待检测物体表面进行第二结构光图像获取；

使用预设第三结构光图案作为照明图案，对所述待检测物体表面进行第三结构光图像获取；

其中，所述第一结构光图案和所述第二结构光图案为间距均匀且可调节的非编码光栅条纹图案，所述第一结构光图案的光栅条纹与水平轴的夹角为45度，所述第二结构光图案的光栅条纹与水平轴的夹角为135度；所述第一结构光图案和第二结构光图案的光栅条纹与水平轴的夹角可以旋转调整；所述第一结构光图案和第二结构光图案的光栅条纹呈近似90度；所述第三结构光图案为平行光源图案。

进一步的，所述基于预设验证条件，判断采集是否成功，具体方式为：

判断采集图像的数量是否至少为3张，若至少为3张，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，

其中，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，具体方式为：

基于步骤104中的所述预设照明持续时间和时间戳，识别出每一张所述采集图像在照明时使用的结构光图案，将不同的结构光图案分别作为不同的图像类型，判断所述采集图像对应的图像类型，若所述采集图像对应的图像类型，包括了所有照明时使用的结构光图案，则所述采集图像对应的图像类型全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像。

为了解决上述技术问题，本申请实施例还提供了一种表面缺陷自动检测系统，采用了如下所述的技术方案：

一种表面缺陷自动检测系统，包括：

初始化与照明触发模块，用于初始化所述便携式表面缺陷一体化检测装置的参数；在所述便携式表面缺陷一体化检测装置的参数初始化完成后，向所述控制单元发送照明开启指令；

图像采集模块，用于所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明；在预设照明持续时间内，触发所述图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元；

采集结果判断模块，用于获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行图像采集；若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像；

缺陷特征获取模块，用于将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像；

缺陷信息确定模块，用于基于所述缺陷特征值和所述带有缺陷位置标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息；

缺陷信息输出模块，用于输出经过检测后的原始图像和所述原始图像对应的所述缺陷检测信息。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例中提出的一种表面缺陷自动检测方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种非易失性计算机可读存储介质，采用了如下所述的技术方案：

一种非易失性计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中提出的一种表面缺陷自动检测方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例公开了一种便携式表面缺陷一体化检测装置，包括：

优点一：所述外壳靠近待检测表面的一侧设有开口，所述滤光镜片贴合在所述外壳的内侧，恰好能够全覆盖所述开口，能有效防止灰尘进入外壳内部，从而保护设备单元，同时也可以过滤掉非照明单元产生的干扰光线。

优点二：所述固定机构与所述外壳可以通过螺杆与螺母进行紧固，并能通过螺母的旋转调整所述图像采集单元与所述照明单元之间的夹角，能够使得图像采集的角度更加灵活，同时也能有效减少照明单元的光照折射干扰。

优点三：所述DLP数字光源的内存中还可以加载各种模态的结构光编码图案，并根据加载的结构光图案和设置的投影序列投射各种模态的结构光源，使用不同的结果光源能够适应更多不同的检测任务，满足了检测任务的多样性。

优点四：所述第一镜头可以为带Scheimpflug倾斜调节机制的拍摄镜头，通过Scheimpflug定律能够实现倾斜状态下对待测表面图像的高清采集和自动倾斜校正，避免了设备单元的空间干涉。

本申请实施例还公开了一种表面缺陷自动检测方法、系统、设备及存储介质，通过控制所述便携式表面缺陷一体化检测装置对待检测表面进行图像采集，图像预处理，将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息，能够同时进行缺损检测和裂纹检测，获取带有缺损标记的图像和裂纹标记的图像，提出通过多模态结构光在表面的变化反演出表面的微小信息，采用深度学习算法和传统算法相结合的缺陷检测方法，将投射在元件表面的结构光条因元件表面形貌特征的不同而发生变化作为一种特征信息被深度学习算法捕获，实现了对表面缺陷的快速准确检测，该方法可以提高具有复杂背景和低灰度对比的表面缺陷的检出效果，实现对表面缺损缺陷和表面裂纹缺陷的快速准确检测。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中所述便携式表面缺陷一体化检测装置的一个实施例的结构连接示意图；

图2为本申请实施例中所述三种不同结构光图案对应的结构光图像的一个图像示意图；

图3为本申请实施例中所述表面缺陷自动检测方法中缺陷检测图像处理算法的结构示意图；

图4为本申请实施例中所述便携式表面缺陷一体化检测装置和所述表面缺陷自动检测方法的整体工作流程示意图。

图5为本申请实施例中所述表面缺陷自动检测方法的一个实施例的流程图；

图6为本申请实施例中所述表面缺陷自动检测系统的一个实施例的结构示意图；

图7为本申请实施例中所述采集结果判断模块的结构示意图；

图1中：1.外壳、2.数据端口、3.控制端口、4.相机、5.DLP数字光源、6.固定机构、7.第二镜头、8.第一镜头、9.滤光镜片、10.待测产品、11.支撑架。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，图中示出了本申请的便携式表面缺陷一体化检测装置的一个实施例的结构连接示意图，包括机械支撑固定单元、控制单元、图像采集单元、照明单元、输出单元。图中外壳1、固定机构6和滤光镜片9组成机械支撑固定单元，也是该装置的外壳组成部分，其工作时与待测产品10和其支撑架11的表面呈一定距离，约80-110cm；该装置的外壳1，起保护和固定内部设备单元的作用；固定机构6可以适当调整图像采集单元和照明单元的夹角，并能够在合适的角度通过螺钉固定锁紧图像采集单元，优选的，所述固定机构可以为U型固定机构；滤光镜片9，安装在外壳上可以防止灰尘进入外壳内部，从而保护设备单元，同时可以过滤掉非照明单元产生的干扰光线，照明单元由DLP数字光源5和第二镜头7构成，其轴线和待检表面垂直，用于开启时为图像采集单元提供光源，同时照明单元可通过向内存中加载各种模态的结构光编码图案，并根据加载的结构光图案和设置的投影序列投射各种模态的结构光源，以适应不同的检测任务，不同结构光图案间的切换速度最高可达4KHZ。图像采集单元位于照明单元的一侧，与其呈一定的夹角，由相机4和第一镜头8组成，该第一镜头8带Scheimpflug倾斜调节机制，通过Scheimpflug定律能够实现倾斜状态下对待测表面图像的高清采集和自动倾斜校正，避免了设备单元的空间干涉，外壳1靠近待检测表面的一侧设有开口，滤光镜片9贴合在所述外壳的内侧，恰好能够全覆盖此开口；第一镜头8能够通过滤光镜片9和外壳开口，拍摄待检测表面上的图像；DLP数字光源5和第二镜头7的镜片呈垂直排布，且在照明单元为照明状态时，DLP数字光源5发出的照明光束能依次垂直穿过第二镜头7的镜片、滤光镜片9、外壳开口，并垂直照射在待检测表面上，数据端口2，可以通过数据线与服务器或计算单元等输出单元相互连接，实现测试数据和结果的输出；控制端口3，连接控制单元，实现图像采集单元的采集和照明单元的照明，所述便携式表面缺陷一体化检测装置还能够通过所述数据端口2与计算机、服务器或者处理器内的图像处理单元相连接，向所述计算机、服务器或者处理器内的图像处理单元发送所述图像采集单元采集的待检测表面上的图像。

继续参考图2，图2中示出了本申请的三种不同结构光图案对应的结构光图像的一个图像示意图，图中示出了第一结构光图案和第二结构光图案均为间距均匀的光栅条纹图案，第一结构光图案的光栅条纹中心线与水平轴的夹角约45度，第二结构光图案的光栅条纹中心线与水平轴的夹角约135度，两个光栅叠加后近似垂直，光栅条纹的宽度均在30~80微米之间，相邻光栅条纹中心线的间距也在40~100微米之间，图中第三结构光图案为平行光源图案，投射至待测表面是为纯色的平行面光源。当检测装置收到启动触发指令时，会依次采集第一结构光条纹图像作为第一结构光图像，第二结构光条纹图像作为第二结构光图像第三结构光图案对应的平行光图像作为第三结构光图像，采集的第一结构光图像、第二结构光图像和第三结构光图像将作为原始图像送至缺陷检测模型进行缺陷检测。

继续参考图3，图3为本申请实施例中所述表面缺陷自动检测方法中缺陷检测图像处理算法的结构示意图，首先，图像预处理模块对输入算法的三张原始图像进行增强、滤波、尺寸变换等图像预处理，去除原始图像中噪声的干扰，并将原始图像变换成相应的尺寸的图像作为深度学习网络模型的输入图像，同时对第一结构光图像和第二结构光图像进行叠加融合，作为破损检测模型的输入参数，其次，缺陷检测网络分为缺损检测网络和裂纹检测网络，两个网络的结构相同而参数有所差异，主要结构由ResNet101网络模块、Semseg网络模块和Squeeze网络模块组成，ResNet101网络模块为缺陷检测网络的主干网络，可以实现对缺陷特征的深层次提取和分类，提高模型的检测鲁棒性；Semseg网络模块为语义分割和场景解析网络，在本网络中可以实现对ResNet101网络所感知的特征信息进行像素级的区域分割，提高检测精度，同时支持多线程和多进程训练，增加了网络训练的效率；轻量化网络Squeeze Net网络模块可以大幅减少整个网络模型的参数，实现网络模型的轻量化，然后，预处理后的图像经过破损和裂纹检测网络处理后，会输出带有缺陷标记的图像，需利用传统的图像处理技术对缺陷进行简单的阈值分割、筛选，得到真正的缺陷区域后进行缺损大小、缺损位置、裂纹长度等参数的计算。最后，输出模块主要输出在原始图像上已标记缺陷检测结果的图像和检测的缺陷参数信息，该方法采用深度学习技术为主传统图像处理技术为辅的方式，结合了深度学习技术在特征分类、分割上的优势和传统算法对缺陷参数计算和后处理方面的高效性，充分提升算法精度和鲁棒性。

继续参考图4，图4为本申请实施例中所述便携式表面缺陷一体化检测装置和所述表面缺陷自动检测方法的整体工作流程示意图，图中示出了：首先，将待测试的产品表面放置装置的工作视场中，计算机与检测装置建立连接，初始化装置的工作参数；然后，通知控制单元向检测装置发送触发信号触发检测装置照明，接收到触发信号的照明单元按照预先设置的逻辑顺序进行3张结构光图案的依次切换投影，每张结构光照明的时间是50ms，时间是可以通过计算通讯进行预设的，也可以为100ms,或者其他时间间隔，在投影第一张图案至待测表面后，照明单元会向图像采集单元发送采集触发信号，触发图像采集单元进行第一张结构光照明的光斑图像，第二张和第三张结构光图案按照逻辑顺序切换投射进行照明并触发图像采集单元进行采集，第三张图像投影完毕后照明单元自动关闭，计算机实时等待由图像采集单元采集的光斑图像，并进行接收数量的统计和判断，当接收的图像满足预设张数后，计算机完成原始光斑图像的接收；最后，计算机上位机软件调用图像处理算法模块单元，对原始的光斑图像进行处理和计算，得到缺陷数据和带有破损和裂纹标记的图像，并对处理的结果信息进行实时的统计、分析、输出和可视化显示，其中输出的判断信息可以作为不合格品剔除的依据。

继续参考图5，图中示出了本申请的一种表面缺陷自动检测方法的一个实施例的流程图，所述表面缺陷自动检测方法包括以下步骤：

步骤101，初始化所述便携式表面缺陷一体化检测装置的参数，其中，所述参数至少包括：配置参数、连接参数。

步骤102，在所述便携式表面缺陷一体化检测装置的参数初始化完成后，向所述控制单元发送照明开启指令。

步骤103，所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明，其中，所述对待检测物体的表面进行照明包括：按照预设照明顺序，对所述待检测物体的表面分别使用预设的不同结构光图案进行照明。

步骤104，在预设照明持续时间内，触发所述图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元。

在本申请实施例中，所述第一结构光图像、第二结构光图像和第三结构光图像的获取方式具体如下：使用预设第一结构光图案作为照明图案，对所述待检测物体表面进行第一结构光图像获取；使用预设第二结构光图案作为照明图案，对所述待检测物体表面进行第二结构光图像获取；使用预设第三结构光图案作为照明图案，对所述待检测物体表面进行第三结构光图像获取；其中，所述第一结构光图案和所述第二结构光图案为间距均匀且可调节的非编码光栅条纹图案，所述第一结构光图案的光栅条纹与水平轴的夹角为45度，所述第二结构光图案的光栅条纹与水平轴的夹角为135度；所述第一结构光图案和第二结构光图案的光栅条纹与水平轴的夹角可以旋转调整；所述第一结构光图案和第二结构光图案的光栅条纹呈近似90度；所述第三结构光图案为平行光源图案。

步骤105，获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行步骤103至步骤105。

在本申请实施例中，所述基于预设验证条件，判断采集是否成功，具体方式为：判断采集图像的数量是否至少为3张，若至少为3张，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，其中，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，具体方式为：基于步骤104中的所述预设照明持续时间和时间戳，识别出每一张所述采集图像在照明时使用的结构光图案，将不同的结构光图案分别作为不同的图像类型，判断所述采集图像对应的图像类型，若所述采集图像对应的图像类型，包括了所有照明时使用的结构光图案，则所述采集图像对应的图像类型全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像。

步骤106，若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像。

在本申请实施例中，所述进行图像预处理，包括：将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像进行增强处理、滤波处理和尺寸变换处理。

步骤107，将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像。

在本申请实施例中，所述缺陷检测网络模型包括：缺损检测网络模型和裂纹检测网络模型，其中，所述缺损检测网络模型用于对所述第四图像进行缺损特征提取、分类和缺陷标记，并输出带有缺损标记的图像；所述裂纹检测网络模型用于对所述第三图像进行裂纹特征提取、分类和缺陷标记，并输出带有裂纹标记的图像。

在本申请实施例中，所述带有缺陷标记的图像包括：带有缺损标记的图像和带有裂纹标记的图像。

在结构光三维重建中，最常见的方法就是相移法，相移是通过投影一系列相移光栅图像编码，从而得到物体表面一点在投影仪图片上的相对位置或者绝对位置，显然，三步相移法的原理是使用同一种结构光图案照射同一待检测物体表面三次，每一次照射时光栅条纹与水平方向夹角相同，起始光栅条纹在被检测物体表面的位置不同，获取三张条纹光栅图像，通过编码计算所述三张条纹光栅图像上光栅条纹间的相对偏移量，确定待检测物体表面的位置信息；而本方法所述第一结构光图案和所述第二结构光图案为间距均匀且可调节的非编码光栅条纹图案，所述第一结构光图案的光栅条纹与水平轴的夹角为45度，所述第二结构光图案的光栅条纹与水平轴的夹角为135度；所述第一结构光图案和第二结构光图案的光栅条纹与水平轴的夹角可以旋转调整；所述第一结构光图案和第二结构光图案的光栅条纹呈近似90度；所述第三结构光图案为平行光源图案。

该步骤无需对结构光进行复杂的解码计算就可以完成缺陷区域的准确标记，且替代了传统的三步相移法进行待检测物体表面位置确定。

步骤108，基于所述缺陷特征值和所述带有缺陷位置标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息。

步骤109，输出经过检测后的原始图像和所述原始图像对应的所述缺陷检测信息。

本申请实施例所述的表面缺陷自动检测方法，通过控制所述便携式表面缺陷一体化检测装置对待检测表面进行图像采集，图像预处理，将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息，能够同时进行缺损检测和裂纹检测，获取带有缺损标记的图像和裂纹标记的图像，实现对表面缺损缺陷和表面裂纹缺陷的快速准确检测，提出通过多模态结构光在表面的变化反演出表面的微小信息，采用深度学习算法和传统算法相结合的缺陷检测方法，将投射在元件表面的结构光条因元件表面形貌特征的不同而发生变化作为一种特征信息被深度学习算法捕获，实现了对表面缺陷的快速准确检测，该方法可以提高具有复杂背景和低灰度对比的表面缺陷的检出效果，实现对表面缺损缺陷和表面裂纹缺陷的快速准确检测。

进一步参考图6，作为对上述图5所示方法的实现，本申请提供了一种表面缺陷自动检测系统的一个实施例，该系统实施例与图5所示的方法实施例相对应，该系统具体可以应用于各种电子设备中。

如图6所示，本实施例所述的表面缺陷自动检测系统6包括：初始化与照明触发模块201、图像采集模块202、采集结果判断模块203、缺陷特征获取模块204、缺陷信息确定模块205和缺陷信息输出模块206。其中：

初始化与照明触发模块201，用于初始化所述便携式表面缺陷一体化检测装置的参数；在所述便携式表面缺陷一体化检测装置的参数初始化完成后，向所述控制单元发送照明开启指令。

图像采集模块202，用于所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明；在预设照明持续时间内，触发所述图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元。

采集结果判断模块203，用于获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行图像采集；若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像。

缺陷特征获取模块204，用于将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像。

缺陷信息确定模块205，用于基于所述缺陷特征值和所述带有缺陷位置标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息。

缺陷信息输出模块206，用于输出经过检测后的原始图像和所述原始图像对应的所述缺陷检测信息。

在本申请的一些实施例中，如图7，图7为本申请实施例中采集结果判断模块的结构示意图，所述采集结果判断模块203包括采集验证单元203a、循环采集单元203b、图像预处理单元203c。

在本申请的一些实施例中，所述采集验证单元203a用于获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，所述基于预设验证条件，判断采集是否成功，具体方式为：判断采集图像的数量是否至少为3张，若至少为3张，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，其中，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，具体方式为：基于步骤104中的所述预设照明持续时间和时间戳，识别出每一张所述采集图像在照明时使用的结构光图案，将不同的结构光图案分别作为不同的图像类型，判断所述采集图像对应的图像类型，若所述采集图像对应的图像类型，包括了所有照明时使用的结构光图案，则所述采集图像对应的图像类型全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像。

在本申请的一些实施例中，所述循环采集单元203b用于若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行图像采集，所述重复执行图像采集，具体为：所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明；在预设照明持续时间内，触发所述图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元。

在本申请的一些实施例中，所述图像预处理单元203c用于若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像。

本申请实施例所述的表面缺陷自动检测系统，通过初始化与照明触发模块、图像采集模块、采集结果判断模块、缺陷特征获取模块、缺陷信息确定模块和缺陷信息输出模块，与所述便携式表面缺陷一体化检测装置共同协作，采用深度学习算法和传统算法相结合的缺陷检测方法，将投射在元件表面的结构光条因元件表面形貌特征的不同而发生变化作为一种特征信息被深度学习算法捕获，实现了对表面缺陷的快速准确检测，该方法可以提高具有复杂背景和低灰度对比的表面缺陷的检出效果，实现对表面缺损缺陷和表面裂纹缺陷的快速准确检测。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质，或随机存储记忆体（Random Access Memory，RAM）或可进行程序读取和控制的单片机等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (8)

1.一种表面缺陷自动检测方法，包括：

步骤101，初始化便携式表面缺陷一体化检测装置的参数，其中，所述参数至少包括：配置参数、连接参数；

步骤102，在所述便携式表面缺陷一体化检测装置的参数初始化完成后，向控制单元发送照明开启指令；

步骤103，所述控制单元在接收到所述照明开启指令后，触发所述便携式表面缺陷一体化检测装置中的照明单元对待检测物体的表面进行照明，其中，所述对待检测物体的表面进行照明包括：按照预设照明顺序，对所述待检测物体的表面分别使用预设的不同结构光图案进行照明；

步骤104，在预设照明持续时间内，触发图像采集单元，依次获取所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，并添加时间戳，采集结束后，触发预设关闭指令，关闭所述照明单元和所述图像采集单元；

步骤105，获取所述图像采集单元采集的所述第一结构光图像、第二结构光图像和第三结构光图像，基于预设验证条件，判断采集是否成功，若失败，则清空采集结果，重新向所述控制单元发送照明开启指令，重复执行步骤103至步骤105；

步骤106，若采集成功，将所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像作为原始图像，进行图像预处理，将经过图像预处理后的第一结构光图像作为第一图像，经过图像预处理后的第二结构光图像作为第二图像，经过图像预处理后的第三结构光图像作为第三图像；

步骤107，将所述第一图像和所述第二图像进行图像叠加融合，获取第四图像，将所述第四图像和第三图像传入预设缺陷检测网络模型，进行缺陷特征提取、分类和缺陷标记，获取缺陷特征值和带有缺陷标记的图像；

步骤108，基于所述缺陷特征值和所述带有缺陷位置标记的图像，确定缺陷区域信息，并计算至少包括缺损大小、缺损位置、裂纹长度的缺陷检测信息；

步骤109，输出经过检测后的原始图像和所述原始图像对应的所述缺陷检测信息；

所述缺陷检测网络模型包括：

缺损检测网络模型和裂纹检测网络模型，其中，所述缺损检测网络模型用于对所述第四图像进行缺损特征提取、分类和缺陷标记，并输出带有缺损标记的图像；所述裂纹检测网络模型用于对所述第三图像进行裂纹特征提取、分类和缺陷标记，并输出带有裂纹标记的图像；

所述带有缺陷标记的图像包括：带有缺损标记的图像和带有裂纹标记的图像；

其中，缺损检测网络模型和裂纹检测网络模型的结构相同而参数有所差异，主要结构由ResNet101网络模块、Semseg网络模块和Squeeze网络模块组成，ResNet101网络模块为缺陷检测网络的主干网络，Semseg网络模块为语义分割和场景解析网络，Squeeze Net网络模块用于减少整个网络模型的参数；

其中，所述第一结构光图像、第二结构光图像和第三结构光图像的获取方式具体如下：

使用预设第一结构光图案作为照明图案，对所述待检测物体表面进行第一结构光图像获取；

使用预设第二结构光图案作为照明图案，对所述待检测物体表面进行第二结构光图像获取；

使用预设第三结构光图案作为照明图案，对所述待检测物体表面进行第三结构光图像获取；所述第一结构光图案和所述第二结构光图案为间距均匀且可调节的非编码光栅条纹图案，所述第一结构光图案的光栅条纹与水平轴的夹角为45度，所述第二结构光图案的光栅条纹与水平轴的夹角为135度；所述第一结构光图案和第二结构光图案的光栅条纹与水平轴的夹角可以旋转调整；所述第一结构光图案和第二结构光图案的光栅条纹呈近似90度；所述第三结构光图案为平行光源图案。

2.根据权利要求1所述的表面缺陷自动检测方法，其特征在于，所述基于预设验证条件，判断采集是否成功，具体方式为：

判断采集图像的数量是否至少为3张，若至少为3张，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，

其中，判断所述采集图像对应的图像类型是否全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像，具体方式为：

基于步骤104中的所述预设照明持续时间和时间戳，识别出每一张所述采集图像在照明时使用的结构光图案，将不同的结构光图案分别作为不同的图像类型，判断所述采集图像对应的图像类型，若所述采集图像对应的图像类型，包括了所有照明时使用的结构光图案，则所述采集图像对应的图像类型全部包括了所述待检测物体表面对应的第一结构光图像、第二结构光图像和第三结构光图像。

3.根据权利要求1所述的表面缺陷自动检测方法采用的便携式表面缺陷一体化检测装置，该便携式表面缺陷一体化检测装置包括：机械支撑固定单元、控制单元、图像采集单元、照明单元、输出单元，所述机械支撑固定单元包括外壳、固定机构和滤光镜片，所述固定机构用于固定所述图像采集单元，所述控制单元包括控制端口，计算机通过控制端口，控制图像采集单元进行图像采集和控制照明单元进行照明，所述图像采集单元包括相机和第一镜头，所述照明单元包括DLP数字光源和第二镜头，所述第二镜头为照明镜头，所述输出单元包括数据端口，计算机通过数据端口获取采集的图像数据，其特征在于：所述外壳靠近待检测表面的一侧设有开口，所述滤光镜片贴合在所述外壳的内侧，恰好能够全覆盖所述开口；所述第一镜头能够通过所述滤光镜片和外壳开口，拍摄所述待检测表面上的图像；所述DLP数字光源和第二镜头的镜片呈垂直排布，且在所述照明单元为照明状态时，所述DLP数字光源发出的照明光束能依次垂直穿过第二镜头的镜片、滤光镜片、外壳开口，并垂直照射在所述待检测表面上。

4.根据权利要求3所述的便携式表面缺陷一体化检测装置，其特征在于，所述第一镜头为带Scheimpflug倾斜调节机制的拍摄镜头。

5.根据权利要求4所述的便携式表面缺陷一体化检测装置，其特征在于，所述固定机构为U型固定机构。

6.根据权利要求5所述的便携式表面缺陷一体化检测装置，其特征在于，所述固定机构与所述外壳可以通过螺杆与螺母进行紧固，并能通过螺母的旋转调整所述图像采集单元与所述照明单元之间的夹角。

7.根据权利要求6所述的便携式表面缺陷一体化检测装置，其特征在于，所述DLP数字光源的内存中还可以加载各种模态的结构光编码图案，并根据加载的结构光图案和设置的投影序列投射各种模态的结构光源。

8.根据权利要求7所述的便携式表面缺陷一体化检测装置，其特征在于，所述便携式表面缺陷一体化检测装置还能够通过所述数据端口与计算机、服务器或者处理器内的图像处理单元相连接，向所述计算机、服务器或者处理器内的图像处理单元发送所述图像采集单元采集的待检测表面上的图像。

Images