CN118115372A - 一种工件缺陷检测系统及方法 - Google Patents

Abstract

本发明提供了一种工件缺陷检测系统及方法，属于机械臂手眼联动技术领域。本方案包括图像采集模块，用于获取不同视角待测工件的多幅数字图像；图像处理模块，用于使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像；视觉引导模块，用于根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；缺陷检测模块，用于检测待检测工件的缺陷；机械臂，用于根据所述引导信息带动缺陷检测模块运动到待检测目标的位置。本方案解决了现有机器视觉检测法中需借助棋盘格和张正友标定法确定内参，或通过运动估计或者机械测量的方式获得外参，从而导致标定结果容易受外界环境的干扰而不准确的问题。

Description

一种工件缺陷检测系统及方法

技术领域

本发明属于机械臂手眼联动技术领域，具体涉及一种工件缺陷检测系统及方法。

背景技术

现有技术中的磁检测方法包括人工目视法检测法、机械装置接触检测法和机器视觉检测法等。

人工目视法检测法的成本高，而且在对微小缺陷进行判别时，难以达到所需要的精度和速度，同时存在劳动强度大、检测标准一致性差等缺点。

机械装置接触检测法的灵活性差、速度慢；常规机械臂检测缺陷系统多采用传统视觉进行目标检测，易受环境、光照、生产工艺和噪声等多重因素影响，检测系统的信噪比一般较低，微弱信号难以检出或不能与噪声有效区分，难以满足工业生产中实时检测的需求。

机器视觉检测法的常规视觉检测机器存在产品操作复杂，不能够准确识别缺陷位置并分析判断该缺陷类别，由于检测对象多样、表面缺陷种类繁多、形态多样、复杂背景，对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确，致使对缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目标分割困难；同时，很难找到“标准”图像作为参照，这给缺陷的检测和分类带来困难，造成识别率尚有待提高，机器视觉表面缺陷检测，特别是在线检测，其特点是数据量庞大、冗余信息多、特征空间维度高，同时考虑到真正的机器视觉面对的对象和问题的多样性，从海量数据中提取有限缺陷信息的算法能力不足，实时性不高。

相机作为光信息采集传感器，广泛应用于机器人信号输入、获取机器人所在环境信息，使得机器人可以操作指定对象。一般而言，从相机获取图像到机器人根据指令完成动作，手眼定标是连接相机和机器人的桥梁。机器人手眼标定一般分为“Eye-to-Hand”和“Eye-in-Hand”两类，前者相机与机械臂终端(手)的相对位置固定，后者将相机固定在机臂上随手运动；手眼标定方式采用eye-to-hand相机与机械臂终端(手)的相对位置固定，会产生一定范围的视觉盲区；视觉成像系统上采用单目视觉工业相机由于无法直接恢复深度信息，通常需要借助视野中的其他参照物来估计深度，因此限制了机器人的使用场景。

目前，实现机器人手眼标定的技术路线一般是：1)轨迹规划方面多采用单目视觉工业相机通过做内参标定，获取目标物在相机坐标系的坐标(位置)；2)测量相机与机械臂的外参数，将相机坐标系下的目标坐标转为机械臂坐标系下的目标；3)通过两两正交平面所得的3条正交的直线，可对相机定标；即获得图像中像素位置与空间三维点的对应关系K。该轨迹规划方法会导致相机内外参数标定的精确直接影响测量的结果，通常借助棋盘格和张正友标定法确定内参，通过运动估计或者机械测量的方式获得外参。在标定方法确定的情况下，标定结果的好坏主要取决工具(棋盘格、尺、量角器之类)，从而导致标定结果容易受外界环境的干扰而不准确。

发明内容

为了解决现有机器视觉检测法中需借助棋盘格和张正友标定法确定内参，或通过运动估计或者机械测量的方式获得外参，从而导致标定结果容易受外界环境的干扰而不准确的问题，本发明提供了一种工件缺陷检测系统及方法。

为了实现上述目的，本发明提供如下技术方案：

一种工件缺陷检测系统，包括：

图像采集模块，用于获取不同视角待测工件的多幅数字图像；

图像处理模块，用于使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像；

视觉引导模块，用于根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得的原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；

缺陷检测模块，用于检测待检测工件的缺陷；

机械臂，用于根据所述引导信息带动缺陷检测模块运动到待检测目标的位置。

进一步地，所述图像采集模块水平安装于机械臂末端，所述缺陷检测模块安装在图像采集模块的末端。

进一步地，还包括图像采集驱动模块，用于驱动图像采集模块采集图像，并向相应模块传输图像。

进一步地，还包括机械臂驱动模块，用于接收运动指令信息，并将运动指令信息转换为机械臂运动的控制信号发送给机械臂。

进一步地，还包括显示终端，用于与用户直接交互的软件界面，所述显示终端包括：

缺陷成像视窗，用于将缺陷检测模块检测扫描出的缺陷信息呈现给操作者，让操作者进行工件质量的判断与评估；

监视窗，用于显示相机拍摄的画面和三维点云数据的目标检测路径的视频图像。

进一步地，还包括机械臂运动指令板，用于存放控制机械臂运动的各条运动指令信息，机械臂根据所述引导信息，可从机械臂运动指令板中选取合适的运动指令信息，实现对机械臂的控制。

进一步地，所述缺陷检测模块包括测磁传感器和磁信号处理模块，所述磁信号处理模块用于对测磁传感器采集的待测工件的表面磁感应强度信号进行处理，实现材料表面及内部缺陷的定性及定量评估。

进一步地，所述缺陷检测模块还包括传感器驱动模块，用于将接收到的传感器的控制信号传送给测磁传感器，从而实现对待测工件缺陷的扫描检测。

进一步地，所述图像采集模块是双目三维工业相机。

一种工件缺陷检测方法，包括如下步骤：

获取不同视角待测工件的多幅数字图像；

使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像；

根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；

根据所述引导信息带动缺陷检测模块运动到待检测目标的位置完成最终缺陷检测。

本发明提供的一种手眼联动工件缺陷检测系统及方法具有以下有益效果：

本方案包括用于图像采集模块，通过该模块可以获取待测工件的不同视角图像，方面后续对待测工件的检测处理；图像处理模块，用于使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像，可以实现精准、快速测量生成空间点云数据；视觉引导模块，用于根据待测工件的三维图像自动规划出目标检测路径，实现引导机械臂对待检测工件的目标进行相应的检测；该引导模块无需借助棋盘格和张正友标定法确定内参或通过运动估计或者机械测量的方式获得外参，而是根据所述三维图像获得的原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；机械臂，用于根据所述引导信息带动缺陷检测模块运动到待检测目标的位置。本方案可以使机械臂更快更准确的到达检测目标区域，提高了检测结果的准确性和工作效率。

附图说明

为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统实施例的系统结构示意图；

图2为本发明系统实施例的模块交互示意图；

图3为本发明系统实施例的信息交互流程图；

图中：1、机械臂；2、双目三维工业相机；3、测磁传感器；4、置物板面；5、电气控制柜。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

系统实施例

本发明提供了一种工件缺陷检测系统，如图1所示，包含硬件部分和软件部分；硬件部分包含双目三维工业相机2(图像采集模块)、多轴协作机械臂1、测磁传感器3、电气控制柜5、显示终端。

双目三维工业相机2水平安装于机械臂1末端，并在双目三维工业相机2末端装配自主研发式测磁传感器3，两者共同被机械臂1操控运作，焦平面与机器人所在平面垂直，用于通过图像数据感知置物板面4上的操作对象位置，并且将图像传递给显示终端显示；本发明方案采用eye-in-hand的方式将相机固定在机械臂上随其运动。快速拖拽操作，支持在工作范围内实现±360°角度运动。可以应对不同场景的工作环境并且可以减小死角的影响。

显示终端：作为与用户直接交互的软件界面，主要包含监视窗和机械臂运动指令板，检测缺陷成像视窗三部分。

监视窗，用于显示相机拍摄的画面和三维(3Dimens ions，简称三维)点云数据轨迹规划后的视频图像。

机械臂运动指令板，包含控制机械臂1运动的各条指令。

缺陷成像视窗，将测磁传感器3检测扫描出的缺陷信息呈现给操作者，进行工件质量的判断与评估。

多轴协作机械臂1：可根据显示终端上机械臂运动指令板发出的运行指令带动双目三维工业相机2以及测磁传感器3执行相应的动作。

双目三维工业相机2：上位机软件将通过相机驱动模块对三维工业相机2下发操作指令扫描待测工件；本发明无需借助棋盘格和张正友标定法确定内参或通过运动估计或者机械测量的方式获得外参，而是采用双目三维工业相机2搭配深度学习算法，将检测目标的特征图像提取出来。目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有检测目标的类别，并在该检测目标周围绘制边界框，标示出每个检测目标的位置。

测磁传感器3：上位机软件将通过传感器驱动模块对测磁传感器3下发操作指令检测待测工件轨迹规划区域可能存在的缺陷；采用磁检测技术检测表面或具有一定深度的缺陷，即待检工件在自然地磁场环境下或一定的磁场激励下，凭借材料缺陷处电导率、磁导率等电磁特性参数的变化，通过测量材料表面的磁感应强度对材料表面或内部缺陷进行定性检测及定量评估。

软件部分包含相机驱动模块(图像采集驱动模块)、视觉引导模块、机械臂驱动模块、测磁传感器驱动模块、图像处理模块，磁信号处理模块，软件运行在上位机上，为显示终端的显示与操作提供计算与处理。

相机驱动模块：即图像采集程序，用于驱动双目三维工业相机2采集图像，并且向显示终端传输图像。

视觉引导模块：用于为机械臂1运动提供参考信息，根据引导信息，可从机械臂运动指令板中选取合适的指令，指令经过机械臂驱动模块转换为对机械臂1的控制信号，从而执行相应检测、扫描的动作，完成对操作对象的处理。首先根据所述三维图像获得的原始三维点云数据，使用深度学习算法提取出所述三维点云数据中的被检区域的特征信息作为检测目标，检测目标中包括缺陷目标，并在检测目标周围绘制边界框，标示出每个检测目标的位置，根据检测目标的位置对三维点云数据规划检测路径，从而获得机械臂到达检测目标的引导信息。

机械臂驱动模块：用于接收运动指令信息，转换为机械臂1运动的信号。

测磁传感器驱动模块：指令经过传感器驱动模块发送控制信号至测磁传感器3，从而实现对待测工件缺陷的扫描检测。

图像处理模块：上位机通过两个摄像机同时获取不同视角被测物的两幅数字图像图像，再通过计算机算法将两个图像融合为一幅立体图像。恢复出物体的三维几何信息重建物体三维轮廓及位置；双目立体视觉系统抗环境光干扰能力强，点云成像质量稳定。双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。可以实现精准、快速测量生成空间点云数据。

磁信号处理模块：对采集的表面磁感应强度信号处理，实现材料表面及内部一定深度的缺陷的定性及定量评估。

如图2所示，具体地工作原理如下：

步骤1，上位机通过机械臂驱动模块控制多轴协作机械臂运动，使双目三维工业相机2视角充分覆盖待检测物体。

步骤2，双目三维工业相机2接收到驱动指令后通过三维点云视觉成像系统便可从不同角度获得被测物的数字图像，重建物体三维轮廓及位置。

步骤3，视觉引导模块将检测目标的运动轨迹规划完成后，通过引导信息引导机械臂2运动到目标位置，上位机软件通过测磁传感器驱动模块控制测磁传感器3扫描此处被检区域。

步骤4，测磁传感器3将扫描结果传输至显示终端。

工件缺陷检测系统的信号交互，如图3所示，具体包含如下步骤：

步骤1，上位机接收到开始执行检测指令后，将启动识别信号指令。

步骤2，多轴协作机械臂开始执行运动程序，带动双目三维工业相机以及测磁传感器运动。

步骤3，双目三维工业相机接收到相机驱动模块程序后开始扫描待测工件进行特征识别。

步骤4，将识别结果传输至上位机进行计算分析，进行检测目标的轨迹规划等一系列深度学习算法处理后，获得机械臂1到达检测目标的引导信息。

步骤5，上位机通过引导信息引导机械臂1运动到目标位置。

步骤6，机械臂上的测磁传感器3检测缺陷程序开始执行。

步骤7，将检测结果输出至显示终端，进行下一轮循环。

方法实施例

本发明提供了一种工件缺陷检测方法，具体包含如下步骤：

获取不同视角待测工件的多幅数字图像。

使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像。

根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息。

根据所述引导信息带动缺陷检测模块运动到待检测目标的位置完成最终缺陷检测。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及改进，其均涵盖在本发明创造专利的保护范围当中。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种工件缺陷检测系统，其特征在于，包括：

图像采集模块，用于获取不同视角待测工件的多幅数字图像；

图像处理模块，用于使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像；

视觉引导模块，用于根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；

缺陷检测模块，用于检测待检测工件的缺陷；

机械臂，用于根据所述引导信息带动缺陷检测模块运动到待检测目标的位置。

2.根据权利要求1所述的工件缺陷检测系统，其特征在于，所述图像采集模块水平安装于机械臂末端，所述缺陷检测模块安装在图像采集模块的末端。

3.根据权利要求1所述的工件缺陷检测系统，其特征在于，还包括图像采集驱动模块，用于驱动图像采集模块采集图像，并向相应模块传输图像。

4.根据权利要求1所述的工件缺陷检测系统，其特征在于，还包括机械臂驱动模块，用于接收运动指令信息，并将运动指令信息转换为机械臂运动的控制信号发送给机械臂。

5.根据权利要求1所述的工件缺陷检测系统，其特征在于，还包括显示终端，用于与用户直接交互的软件界面，所述显示终端包括：

缺陷成像视窗，用于将缺陷检测模块检测扫描出的缺陷信息呈现给操作者，让操作者进行工件质量的判断与评估；

监视窗，用于显示相机拍摄的画面和三维点云数据的目标检测路径的视频图像。

6.根据权利要求1或4所述的工件缺陷检测系统，其特征在于，还包括机械臂运动指令板，用于存放控制机械臂运动的各条运动指令信息，机械臂根据所述引导信息，可从机械臂运动指令板中选取合适的运动指令信息，实现对机械臂的控制。

7.根据权利要求1所述的工件缺陷检测系统，其特征在于，所述缺陷检测模块包括测磁传感器和磁信号处理模块，所述磁信号处理模块用于对测磁传感器采集的待测工件的表面磁感应强度信号进行处理，实现材料表面及内部缺陷的定性及定量评估。

8.根据权利要求7所述的工件缺陷检测系统，其特征在于，所述缺陷检测模块还包括传感器驱动模块，用于将接收到的传感器的控制信号传送给测磁传感器，从而实现对待测工件缺陷的扫描检测。

9.根据权利要求1-8任一项所述的工件缺陷检测系统，其特征在于，所述图像采集模块是双目三维工业相机。

10.一种工件缺陷检测方法，其特征在于，包括如下步骤：

获取不同视角待测工件的多幅数字图像；

使用图像融合算法将多幅图像融合为一幅立体图像，从而恢复出待测工件的三维图像；

根据待测工件的三维图像自动规划出目标检测路径，具体为：根据所述三维图像获得原始三维点云数据，并提取出所述三维点云数据中被检区域的特征信息作为检测目标，并在所述检测目标周围绘制边界框，标示出每个检测目标的位置，根据所述检测目标的位置对原始三维点云数据规划目标检测路径，从而获得机械臂到达检测目标的引导信息；

根据所述引导信息带动缺陷检测模块运动到待检测目标的位置完成最终缺陷检测。