CN117849373A - 一种零部件全视角智能自动化缺陷检测系统 - Google Patents

Abstract

本发明公开了一种零部件全视角智能自动化缺陷检测系统，包括硬件端和软件端，硬件端控制零部件进料、夹持零部件和获取零部件图像，并将零部件图像发送到软件端；软件端控制夹持零部件的机构运动、识别硬件端发送的零部件图像并分类，决策零部件OK/NG；实现零部件的自动进料、指定位置全角度拍摄图像、缺陷检测、并根据结果进行分类的自动化检测流程。无需人工拾取零部件并判别缺陷，降低人力成本，保证结果的一致性，避免人工重复劳作而疲劳导致的识别错误情况发生，效率远高于传统的人工检测。

Description

一种零部件全视角智能自动化缺陷检测系统

技术领域

本发明属于零部件检测技术领域，具体涉及一种零部件全视角智能自动化缺陷检测系统。

背景技术

在现有的汽车零部件制造过程中，缺陷检测通常依赖于人工视觉检查或传统的机械设备。

然而，传统的人工视觉检查方法效率低下，需要大量的人力投入和时间成本。操作员容易疲劳或受到经验影响，导致漏检或误检的情况发生，这会降低生产效率并增加人工错误的风险；传统的机械设备在缺陷检测中存在一定的局限性，它们通常只能从有限的几个角度或特定的视角进行检测，无法全方位地检测零部件的所有角度和表面，这可能导致一些缺陷被忽视或未能及时检测到。此外，这些传统方法也无法实现实时反馈和自动调整，它们无法提供及时的检测结果和反馈信息，无法与整个制造过程实现无缝集成和协同，这使得制造企业无法在生产过程中及时发现和纠正缺陷，影响了产品质量和制造效率。

发明内容

本发明的目的在于提供一种零部件全视角智能自动化缺陷检测系统，以至少解决一种上述技术问题。

为实现上述发明目的，本发明采取的技术方案如下：

一种零部件全视角智能自动化缺陷检测系统，包括：

硬件端和软件端；

所述硬件端控制零部件进料、夹持零部件和获取零部件图像，并将所述零部件图像发送到所述软件端；

所述软件端控制所述夹持零部件的机构运动、识别所述硬件端发送的所述零部件图像并分类，决策零部件OK/NG。

通过如此设置，实现零部件的自动进料、指定位置全角度拍摄图像、缺陷检测、并根据结果进行分类的自动化检测流程。无需人工拾取零部件并判别缺陷，降低人力成本，保证结果的一致性，避免人工重复劳作而疲劳导致的识别错误情况发生，效率远高于传统的人工检测。

优选的，所述硬件端包括视觉系统模块、进料模块、运动夹持模块和工控机；

其中，所述视觉系统模块用于获取零部件的图像；

所述进料模块用于陈放零部件，并保证零部件的初始位置；

所述运动夹持模块用于从所述进料模块夹取零部件，并将零部件转移到指定位置；

所述软件端嵌入于所述工控机，所述工控机用于对所述软件端输出的数据进行处理。

优选的，所述软件端包括图像采集模块、检测决策模块和运动控制模块；

其中，所述图像采集模块用于统筹规划所述硬件端对零部件的拍摄进程，并读取所述硬件端获取的所述零部件图像；

所述检测决策模块用于检测所述零部件图像并决策OK/NG；

所述运动控制模块用于控制所述硬件端实现指定动作。

优选的，所述视觉系统模块包括灯箱和工业相机；

所述工业相机设有若干个，分别活动设于所述灯箱的侧壁，所述工业相机设有镜头，所述镜头贯穿于所述灯箱。

优选的，所述进料模块包括电动旋转台、高度调节垫块和转盘；

所述转盘用于陈放待检测的零部件，所述高度调节垫块用于调整所述转盘与所述运动夹持模块之间的相对距离，所述电动旋转台用于直接或间接驱动所述转盘转动；

所述高度调节垫块的一端与所述转盘转动连接，另一端与所述电动旋转台传动连接。

优选的，所述运动夹持模块包括机械手，所述机械手包括夹爪和调节器，所述调节器传动连接于所述夹爪，用于调整所述夹爪的夹持空间。

优选的，所述工控机的软件架构中部署有基于yolov8的DarkNet网络模型，所述模型包括：

目标检测模型，用于从图像中筐取出需要检测的目标；

异常分类模型，用于判断零部件检测项目是否存在缺陷；

缺陷实例分割模型以及缺陷分类模型，分别用于分割零部件中的缺陷以及确认缺陷类别，并将检测结果进行记录。

更优选的，所述图像采集模块的工作流程包括：

对所述硬件端进行初始化和参数配置；

根据所述运动控制模块发送的指令触发图像采集；

将图像数据数字化并进行传输；

标注序列号和拍摄角度。

优选的，所述检测决策模块的工作流程包括：

接收所述图像采集模块发送的图像；

从所述图像中提取需要检测的目标；

判断所述目标是否存在缺陷；

若判断为是，则分割所述缺陷以及确认缺陷类别，然后将检测结果进行记录；

若判断为否，则将检测结果进行记录。

优选的，所述检测决策模块的工作流程完成后，所述运动控制模块控制所述硬件端将完成检测的零部件移动至OK筐和/或NG筐。

有益效果：

本发明的一种零部件全视角智能自动化缺陷检测系统，通过硬件端和软件端的结合，实现零部件的自动进料、指定位置全角度拍摄图像、缺陷检测、并根据结果进行分类的自动化检测流程。无需人工拾取零部件并判别缺陷，降低人力成本，保证结果的一致性，避免人工重复劳作而疲劳导致的识别错误情况发生，在3s内即可完成一个零部件全角度的测量，效率远高于传统的人工检测；另一方面，采集零部件大量的图像并基于成熟的网络框架训练深度学习模型，将复杂的缺陷检测任务进行分解，对分解的子任务分别使用对应的深度学习模型，减少误检率和漏检率，提高检测效率；软件架构集成数据接口，并对零部件进行序列化，便于后续溯源和缺陷类型、缺陷数量等统计分析任务。

附图说明

图1为本发明实施例的缺陷检测系统组成图；

图2为本发明实施例的缺陷检测系统的工作流程图；

图3为本发明实施例的缺陷检测系统硬件端的立体结构图；

图4为本发明实施例的缺陷检测系统硬件端的进料模块的立体结构图；

图5为本发明实施例的缺陷检测系统硬件端的机械手的立体结构图；

图6为本发明实施例的缺陷检测系统硬件端的视觉系统模块的立体结构图；

图7为图6中视觉系统模块的剖视图；

图8为本发明实施例的缺陷检测系统软件端的架构流程图。

附图标记

1-柜体；2-工作台；3-控制按键；4-进料模块；41-电动旋转台；42-高度调节垫块；43-转盘；44-定位海绵；5-运动夹持模块；51-支撑座；52-夹爪；53-调节器；6-视觉系统模块；61-灯箱；62-第一工业相机；621-镜头；63-第二工业相机；631-固定部；632-安装部；633-转动部；64-第三工业相机；71-第一筐；72-第二筐。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

下面以具体实施例详细介绍本发明的技术方案。

本发明公开了一种零部件全视角智能自动化缺陷检测系统，请参阅图1，该缺陷检测系统包括软件端和硬件端，其中，硬件端包括视觉系统模块6、进料模块4、运动夹持模块5和工控机，视觉系统模块6用于获取零部件的图像，进料模块4用于陈放零部件，并保证零部件的初始位置，运动夹持模块5用于从进料模块4夹取零部件，并将零部件转移到指定位置，工控机用于与软件端进行数据传输；软件端包括图像采集模块、检测决策模块和运动控制模块，图像采集模块用于统筹规划硬件端对零部件的拍摄进程，并读取硬件端获取的零部件图像，检测决策模块用于检测零部件图像并决策OK/NG(OK代表合格，NG代表有缺陷、不合格)，运动控制模块用于控制硬件端实现指定动作。本缺陷检测系统通过软件端和硬件端的联动配合，实现零部件的自动进料、指定位置全角度拍摄图像、缺陷检测、并根据结果进行分类的自动化检测流程，无需人工拾取零部件并判别缺陷，减少人力成本，保证结果的一致性，避免人工重复劳作而疲劳导致的识别错误情况发生，在3s内即可完成一个零部件全角度的测量，效率远高于传统的人工检测。

具体地，请参阅图3，图3为本发明实施例硬件端的立体结构图，硬件端还包括柜体1，视觉系统模块6、进料模块4、运动夹持模块5和工控机集成于柜体1，柜体1内设置有工作台2，工作台2上设有控制按键3，控制按键3用于输入相应的指令，进料模块4转动连接于工作台2，进料模块4上均匀放置待检测的零部件，运动夹持模块5从进料模块4上抓取零部件，并将其移动至视觉系统模块6，视觉系统模块6获取零部件的图像，工作台2上还放置有两个筐体，分别为第一筐71和第二筐72，定义第一筐71和第二筐72二者中的一者为OK筐，另一者为NG筐，视觉系统模块6获取的零部件图像传递至软件端，软件端识别该零部件图像并分类，决策该零部件OK或者NG，若该零部件判断为OK，则放入OK筐，若该零部件判断为NG，则放入NG筐。

进一步地，请一并参阅图4至图7，图4为本发明实施例的进料模块4，该进料模块4包括电动旋转台41、高度调节垫块42和转盘43，转盘43用于陈放待检测的零部件，高度调节垫块42用于调整转盘43与运动夹持模块5之间的相对距离，电动旋转台41用于直接或间接驱动转盘43转动，本实施例中，高度调节垫块42的一端与转盘43转动连接，另一端与电动旋转台41传动连接，电动旋转台41连接于工作台2，电动旋转台41驱动高度调节垫块42和转盘43同步转动，将转盘43上陈放的待检测零部件转动至指定位置，便于运动夹持模块5夹持移动；作为另一种可选的实施方式，可将高度调节垫块42和电动旋转台41的位置进行调换，即，高度调节垫块42的一端固定连接于工作台2，另一端固定连接于电动旋转台41，电动旋转台41远离高度调节垫块42的一端与转盘43传动连接，高度调节垫块42能够相对工作台2，调节竖直方向的高度，电动旋转台41的高度随高度调节垫块42的高度改变，电动旋转台41驱动转盘43转动，这样的变换方式也落于本发明的保护范围内；优选的，定义转盘43上陈放的零部件数量为n个，转盘43每次转动的角度为360°/n，以便于运动夹持模块5进行零部件夹取；更优的，本实施例中的进料模块4还包括定位海绵44，定位海绵44设于转盘43上，用于放置零部件，定位零部件的初始位置和姿态；运动夹持模块5包括机械手，图5为本发明实施例中机械手的立体结构图，机械手包括支撑座51、夹爪52和调节器53，支撑座51与工作台2转动连接，为保证机械手的自由度，优选六轴机械手或九轴机械手，但通常自由度越高的机械手，价格也越高，增加生产成本，作为一种较优的方式，由于上述的进料模块4的转盘43能够相对工作台2转动，将待检测的零部件转动到指定角度，便于机械手夹取，减少对机械手的自由度需求，因此，可以采用自由度相对较小的机械手进行替代，能够起到同样的技术效果，极大地降低生产成本；夹爪52用于夹取零部件，调节器53活动连接于夹爪52，能够调节夹爪52两端的夹持区间的间隙大小，以适用于夹持不同尺寸的零部件；图6和图7为本发明实施例中的视觉系统模块6的示意图，视觉系统模块6包括灯箱61和工业相机，灯箱61用于给零部件打光，使得工业相机能够捕捉零部件的更多细节，保证零部件的缺陷具有足够的像素点，提高零部件的缺陷检测识别率；工业相机设有若干个，分别活动设于灯箱61的侧壁，工业相机设有镜头，镜头贯穿于灯箱61，具体地，本实施例中工业相机的数量设为三个，如图7中所示，一个工业相机设置于灯箱61的顶壁，定义其为第一工业相机62，一对工业相机对应设置于灯箱61的一对侧壁，分别位于图7中灯箱61的左右两侧，定义图7中左侧的工业相机为第二工业相机63，右侧的工业相机为第三工业相机64，上述“第一”、“第二”和“第三”只是用于区分，并非是结构存在差异，各工业相机的结构是一致的，只是放置位置不同，以第二工业相机63为例，对具体结构进行说明，第二工业相机63包括固定部631、安装部632和转动部633，其中，固定部631位于第二工业相机63的机身，与安装部632固定连接，转动部633的一端固定连接于灯箱61，另一端与安装部632转动连接，即安装部632能够相对转动部633进行转动，第二工业相机63与安装部632同步转动，以调整第二工业相机63的角度，便于对零部件进行拍摄图像；工业相机还包括镜头621，镜头621位于灯箱61内，请参阅图7中第一工业相机62的镜头621位置，第二工业相机63和第三工业相机64的镜头621也位于灯箱61内，三个工业相机的共同拍摄区域定义为A区域，零部件位于A区域时，拍摄角度较为全面，机械手夹持零部件，在灯箱61内进行转动，保证零部件一直位于A区域，能够得到全角度图像，即视觉系统模块6能够保证零部件图像的高质量获取，并结合运动夹持模块5实现零部件的全角度图像获取。

优选的，当运动夹持模块5运动将零部件移动到A区域内时，通过运动控制模块的动作执行指令触发工业相机采集图像，实现完整流程的自动化。

更进一步地，请参阅图8，图8为本发明实施例中缺陷检测系统软件端的架构流程图，图像采集模块用于从视觉系统模块6中统筹规划多个工业相机的拍摄进程，读取多个工业相机的图像流，首先，对硬件端的各工业相机进行初始化和相机参数配置，然后根据运动控制模块发送的指令触发图像采集，再将图像数据数字化并进行传输，标注序列号和拍摄角度，进行预处理，最后存储于工控机，用于后续检测识别操作；检测决策模块用于根据拍摄的零部件全角度图像，分别检测每个角度的缺陷内容，进行标记并决策OK/NG。本实施例中，在工控机的软件架构中部署了基于yolov8的DarkNet网络的一系列模型，具体地，模型包括：基于对零部件需要检测的目标进行训练得到目标检测模型，用于从图像中筐取出需要检测的目标；基于零部件正常和异常图片训练二分类异常分类模型，用于判断零部件检测项目是否存在缺陷；基于零部件缺陷图片训练缺陷实例分割模型以及缺陷分类模型，分别用于分割零部件中的缺陷以及确认缺陷类别，并将检测结果进行记录；在判断零部件检测项目是否存在缺陷的过程中，若判断为是，则分割缺陷以及确认缺陷类别，然后将检测结果进行记录；若判断为否，则将检测结果进行记录。

上述各个模型内置于检测决策模块，在检测决策模块的工作流程完成后，运动控制模块控制硬件端将完成检测的零部件移动至OK筐和/或NG筐。

结合上述的硬件端和软件端各模块的结构和功能，可以得出如图2所示的本缺陷检测系统整体的工作流程，包括：S1、进料；S2、夹持；S3、输送工件；S4、上下翻转；S5、水平旋转；S6、算法决策。其中，在进料过程中，将n个零部件放置于进料模块4的进料海绵上，然后机械手夹持其中一个零部件，将其输送到灯箱61内，动作执行完毕，发送指令触发各个工业相机采集图像，通过视觉系统模块6采集零部件三个面的图像；然后夹爪52上下翻转零部件，动作执行完毕，发送指令触发工业相机采集图像，获取第四个面的图像；夹爪52再水平转动，动作执行完毕，发送指令触发工业相机采集图像，获取第五和第六个面的图像。通过上述操作，获取零部件全方位六视图的图像。图像采集模块获取零部件的图像序列号&角度标注，并进行图像预处理，通过检测决策模块部署的算法对图像进行缺陷检测，运动控制模块控制硬件端将完成检测的零部件移动至OK筐和/或NG筐，至此，单个零部件完成缺陷检测；然后进行下一个零部件的检测，需要说明的是，进料模块4的转盘43以前一个零部件检测完成为信号执行旋转指令，进行360°/n的转动，以便于运动夹持模块5夹取，然后重复上述工作流程，在此不进行额外赘述。

可以理解的是，对于本发明实施例的硬件端，根据具体检测的零部件的形状和尺寸，对定位海绵44和夹爪52进行结构调整，即可复用；对于软件端，软件架构不需要调整，模型训练数据集来源集成接口，只需根据现采零部件的图像进行检测、分类、分割模型的训练，根据类别数量对模型全连接层进行调整，即可迁移识别对象，实现软件端的复用。

综上所述，本发明提供的一种零部件全视角智能自动化缺陷检测系统，通过硬件端和软件端的结合，实现零部件的自动进料、指定位置全角度拍摄图像、缺陷检测、并根据结果进行分类的自动化检测流程。无需人工拾取零部件并判别缺陷，降低人力成本，保证结果的一致性，避免人工重复劳作而疲劳导致的识别错误情况发生，在3s内即可完成一个零部件全角度的测量，效率远高于传统的人工检测；另一方面，采集零部件大量的图像并基于成熟的网络框架训练深度学习模型，将复杂的缺陷检测任务进行分解，对分解的子任务分别使用对应的深度学习模型，减少误检率和漏检率，提高检测效率；软件架构集成数据接口，并对零部件进行序列化，便于后续溯源和缺陷类型、缺陷数量等统计分析任务。

以上对本发明所提供的一种零部件全视角智能自动化缺陷检测系统的实施例进行了详细阐述。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的原理的前提下，还可以本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种零部件全视角智能自动化缺陷检测系统，其特征在于，包括：

硬件端和软件端；

所述硬件端控制零部件进料、夹持零部件和获取零部件图像，并将所述零部件图像发送到所述软件端；

所述软件端控制所述夹持零部件的机构运动、识别所述硬件端发送的所述零部件图像并分类，决策零部件OK/NG。

2.根据权利要求1所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述硬件端包括视觉系统模块(6)、进料模块(4)、运动夹持模块(5)和工控机；

其中，所述视觉系统模块(6)用于获取零部件的图像；

所述进料模块(4)用于陈放零部件，并保证零部件的初始位置；

所述运动夹持模块(5)用于从所述进料模块(4)夹取零部件，并将零部件转移到指定位置；

所述软件端嵌入于所述工控机，所述工控机用于对所述软件端输出的数据进行处理。

3.根据权利要求1所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述软件端包括图像采集模块、检测决策模块和运动控制模块；

其中，所述图像采集模块用于统筹规划所述硬件端对零部件的拍摄进程，并读取所述硬件端获取的所述零部件图像；

所述检测决策模块用于检测所述零部件图像并决策OK/NG；

所述运动控制模块用于控制所述硬件端实现指定动作。

4.根据权利要求2所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述视觉系统模块(6)包括灯箱(61)和工业相机；

所述工业相机设有若干个，分别活动设于所述灯箱(61)的侧壁，所述工业相机设有镜头(621)，所述镜头(621)贯穿于所述灯箱(61)。

5.根据权利要求2所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述进料模块(4)包括电动旋转台(41)、高度调节垫块(42)和转盘(43)；

所述转盘(43)用于陈放待检测的零部件，所述高度调节垫块(42)用于调整所述转盘(43)与所述运动夹持模块(5)之间的相对距离，所述电动旋转台(41)用于直接或间接驱动所述转盘(43)转动；

所述高度调节垫块(42)的一端与所述转盘(43)转动连接，另一端与所述电动旋转台(41)传动连接。

6.根据权利要求2所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述运动夹持模块(5)包括机械手，所述机械手包括夹爪(52)和调节器(53)，所述调节器(53)传动连接于所述夹爪(52)，用于调整所述夹爪(52)的夹持空间。

7.根据权利要求2所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述工控机的软件架构中部署有基于yolov8的DarkNet网络模型，所述模型包括：

目标检测模型，用于从图像中筐取出需要检测的目标；

异常分类模型，用于判断零部件检测项目是否存在缺陷；

缺陷实例分割模型以及缺陷分类模型，分别用于分割零部件中的缺陷以及确认缺陷类别，并将检测结果进行记录。

8.根据权利要求3所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述图像采集模块的工作流程包括：

对所述硬件端进行初始化和参数配置；

根据所述运动控制模块发送的指令触发图像采集；

将图像数据数字化并进行传输；

对所述零部件标注序列号和拍摄角度。

9.根据权利要求8所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述检测决策模块的工作流程包括：

接收所述图像采集模块发送的图像；

从所述图像中提取需要检测的目标；

判断所述目标是否存在缺陷；

若判断为是，则分割所述缺陷以及确认缺陷类别，然后将检测结果进行记录；

若判断为否，则将检测结果进行记录。

10.根据权利要求9所述的一种零部件全视角智能自动化缺陷检测系统，其特征在于，所述检测决策模块的工作流程完成后，所述运动控制模块控制所述硬件端将完成检测的零部件移动至OK筐和/或NG筐。