CN112808621A - 一种半封闭腔体内零件姿态标准化检测系统及其方法 - Google Patents

Abstract

本发明公开了一种半封闭腔体内零件姿态标准化检测系统及其方法，包括物料传送模块(1)、图像采集模块(2)、图像分析模块(3)和物料筛选模块(4)，所述物料传送模块(1)将半封闭腔体物料传入所述图像采集模块(2)的图像采集区域；所述图像采集模块(2)在所述半封闭腔体物料到达指定位置时对所述半封闭腔体物料中的零件进行图像采集；所述图像分析模块(3)分析所述图像采集模块(2)接收的图像并判断是否合格；所述物料筛选模块(4)对所述物料传送模块(1)中合格或不合格的所述半封闭腔体物料进行分别收集。

Description

一种半封闭腔体内零件姿态标准化检测系统及其方法

技术领域

本发明涉及工业检测中深度学习的应用，特别涉及一种基于深度学习的零件姿态标准化检测系统。

背景技术

在实际生产过程中，设备经常由不同构造的零件组装而成，而很多情况下零件会组装在半封闭腔体的结构内，存在需要检测此零件是否存在缺陷，却无法从结构外直接观察到零件状态的情况。如：圆珠笔的生产组装。

圆珠笔，是一种墨水通过笔头上滚动的圆珠带出，转写到纸上的书写工具。圆珠笔在外观结构上分为多类，如：插盖式圆珠笔，是一种圆珠笔的外观结构，在外观上分为笔杆与笔帽两部分，此类型圆珠笔在使用时将笔帽与笔杆分开，不使用时将笔帽插回笔杆；按动式圆珠笔，在外观上为一体式，一般由圆珠笔尾端的按动控制笔头露出或收回；旋转式圆珠笔，外观为一体式，在使用时按一定方向旋转笔杆，使笔头露出，未使用时反方向旋转笔杆，使笔头得到保护。因此，圆珠笔具有结构简单、方便携带、不易污染等优点。任何有书写需求的学生、教师、商务人士或其他工作人士都可以选用圆珠笔作为书写工具。

圆珠笔内部由多种零件组合而成，圆珠笔的组件一般包括：笔芯、尾塞、笔管、弹簧、笔帽管、笔夹、硅珠等。

圆珠笔在生产制造中需要逐步将各部分组件组装，由于各零件的尺寸小、形状各异、组装位置多在有深度的半封闭腔体内，在生产过程中会出现竖装、漏装、多装、破损等多种不符合标准的零件姿态。而各零件正确安装才能保证圆珠笔书写质量，因此在各零件安装完成后，需对各零件的姿态进行检测，筛选出不良品。

目前，在圆珠笔的生产过程中，一般采用人工检测或利用机器视觉模板匹配算法的方式对零件进行筛选。人工检测由工人在强光下批量查看零件姿态，由于人工筛选的方式受个人的主观判断及观察角度影响，且工作量大，造成人工检测的方式效率与准确率低，判断标准模糊等问题。而机器视觉模板匹配算法要求每种型号每种颜色的零件都要设置一个模板，实际应用时由人工根据需要求换模板进行检测。并且实际应用中由于光线强度不同、灰尘干扰、或零件姿态与模板稍有不同，则会将良品误判为不良品，机器视觉模板匹配的方式存在操作繁琐、通用性低、受环境因素影响大等缺点。

因此，为了提高半封闭腔体物料内零件检测效率和准确率，需要开发一种新型半封闭腔体内零件姿态标准化检测系统。

发明内容

本发明目的是为了提高半封闭腔体物料内零件检测效率和准确率，需要开发一种新型半封闭腔体内零件姿态标准化检测系统

为解决上述技术问题，本发明采用下述技术方案：

一种半封闭腔体内零件姿态标准化检测系统，包括物料传送模块、图像采集模块、图像分析模块、物料筛选模块和工控机，所述物料传送模块将半封闭腔体物料传入所述图像采集模块的图像采集区域；所述图像采集模块在所述半封闭腔体物料到达指定位置时对所述半封闭腔体物料中的零件进行图像采集；所述图像分析模块分析所述图像采集模块接收的图像并判断是否合格；所述物料筛选模块对所述物料传送模块中合格或不合格的所述半封闭腔体物料进行分别收集；工控机，用于接收所述图像采集模块采集的图像，为所述图像分析模块提供分析计算能力，并将分析结果传送至所述物料筛选模块。

进一步地，所述图像分析模块包括：图像处理单元，用于对所述图像采集模块采集的所述半封闭腔体物料内零件图像进行预处理，并通过缩放和裁剪获得深度学习模型训练单元所需的图像大小图；图像标注单元，用于将图像处理单元传送的图像根据半封闭腔体物料内零件姿态检测标准进行分类，获得数据集；模型训练单元，用于将所述图像标注单元获得的数据集通过深度学习进行模型训练，得到可用于判断半封闭腔体物料内零件姿态所属分类的深度学习模型；模型预测单元，用于将所述模型训练单元获得的深度学习模型用于所述半封闭腔体物料内零件图像，根据输出结果判断半封闭腔体物料内零件姿态是否合格。

进一步地，所述模型训练单元采用深度学习卷积神行网络ResNeXt50预训练模型进行训练。

进一步地，所述图像处理单元包括：格式统一单元，用于对所述待检测半封闭腔体物料内零件图像进行格式更改，得到统一格式的图像；图像分割单元，用于识别所述格式统一单元输出的图像中是否有多个待检测物体并定位分离，输出多个图像；尺寸切割单元，用于将所述图像分割单元所输出图像转换为所述模型训练单元所需要的输入尺寸。

进一步地，所述物料传送模块包括：传送带，用于输送所述半封闭腔体物料至所述检测系统；转盘单元，用于在所述检测系统内传送所述半封闭腔体物料，所述转盘单元上设置有多个底座；第一夹取单元，用于将所述半封闭腔体物料从所述传送带放入所述底座中，所述半封闭腔体物料开口面向上；第一按压单元设置于所述第一夹取单元下游，用于将所述半封闭腔体物料辅助归位；第二按压单元设置于所述第一按压单元下游，用于将所述待检测半封闭腔体物料内零件辅助归位。

进一步地，所述图像采集模块设置于所述转盘单元上方，所述图像采集模块包括：传感器，用于感应所述半封闭腔体物料达到指定位置并发送触发信号；工业相机，用于接收所述传感器的触发信号，并采集所述半封闭腔体物料内零件的图像；镜头，用于搭配所述工业相机组成图像采集的视觉系统；光源，设置于所述工业相机与所述镜头的下方，用于为所述半封闭腔体物料内零件表面提供合适的光源，为图像采集提供明暗分明的环境。

进一步地，所述物料筛选模块包括：第二夹取单元设置于所述图像采集模块下游，根据所述图像分析模块的分析结果将不合格的所述半封闭腔体物料转移至不良品收集器；第三夹取单元设置于所述第二夹取单元下游，根据所述图像分析模块的分析结果将合格的所述半封闭腔体物料转移至良品收集器。

进一步地，还包括显示器，所述显示器和所述工控机连接，用于向用户输出系统运行和检测状态等信息。

一种半封闭腔体内零件姿态标准化检测方法，所述方法使用了权利要求1-8所述的任一一种半封闭腔体内零件姿态标准化检测系统。

本发明公开的基于深度学习的半封闭腔体内零件姿态标准化检测系统及其方法，通过引入深度学习卷积神经网络构建闭环检测模式，可以在半封闭腔体物料进入下一步组装之前及时将半封闭腔体物料内零件不合格的物料剔除，将合格产品送入后续安装流程。相对于人工检测的方式，具有效率高、准确率高、操作简便的优点，并且根据实际需求，可调整被检测物体个数，同时检测多个半封闭腔体物料内零件。相对于机器视觉模板匹配的检测方式，检测模型具有无需切换模板、通用性高、受环境因素影响低等优点。

附图说明

本发明的以上技术内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的技术方案的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1是本发明一实施例半封闭腔体内零件姿态标准化检测系统的结构框图；

图2是本发明一实施例图像分析模块的结构框图；

图3是本发明一实施例半封闭腔体内零件姿态标准化检测系统的流程图；

图4是本发明一实施例图像采集模块采集的所述半封闭腔体物料内零件图像；

图5-A到图5-D是本发明一实施例半封闭腔体物料内零件姿态检测标准的分类样例图像；

图6是本发明一实施例半封闭腔体内零件姿态标准化检测系统的结构立体图；

图7是本发明一实施例半封闭腔体内零件姿态标准化检测系统的俯视图。

其中，附图标记说明如下：

1 物料传送模块

11 传送带

12 第一夹取单元

13 转盘单元

14 第一按压单元

15 第二按压单元

16 电机单元

2 图像采集模块

21 传感器

22 工业相机

23 镜头

24 光源

3 图像分析模块

4 物料筛选模块

41 第二夹取单元

42 第三夹取单元

43 显示器

44 工控机

具体实施方式

以下在具体实施方式中叙述本发明的详细特征以及优点，其内容足以使本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了能够高效、准确、并智能地筛选出半封闭腔体物料内零件不合格产品，解决传统检测方案中由于人工主观判断影响判断标准、效率低、准确率低；解决传统机器视觉检测中受环境变化影响大量误判问题；解决模板匹配需根据物料与零件的颜色和形状变化对应构建大量模板，通用性低，操作繁琐的问题，本示例性实施例中提供一种的基于深度学习的半封闭腔体内零件姿态标准化检测系统，利用深度学习卷积神经网络结合数字图像处理技术准确高效的对被检测半封闭腔体物料内零件进行分类，并剔除不良品，不仅可以使此检测步骤完全脱离人工干预，能兼容多款半封闭腔体物料(不同颜色、透明、非透明、不同内部零件)，实现自动化与智能化检测，还可以提高半封闭腔体物料内零件检测的精确率和效率，抗环境干扰能力强。

参考图1，本示例实施方式中的基于深度学习的半封闭腔体内零件姿态标准化检测系统可以包括物料传送模块1、图像采集模块2、图像分析模块3、物料筛选模块4，除此之外还包括但不限于现有技术中的电源模块、显示模块(例如显示器43)、通讯模块等，本示例实施方式中对此不做特殊限定。

检测系统还包括工控机44，用于接收图像采集模块2采集的图像，为图像分析模块3提供分析计算能力，并将分析结果传送至物料筛选模块4。

物料传送模块1用于将待检测半封闭腔体物料传入图像采集模块2的图像采集区域。参考图6、图7，本示例实施方式中的物料传送模块包括：传送带11，用于输送半封闭腔体物料；第一夹取单元12，用于将半封闭腔体物料从传送带放入底座；转盘单元13，用于传送半封闭腔体物料至各部位；第一按压单元14，用于将半封闭腔体物料辅助按压到位至底座中；第二按压单元15，用于将半封闭腔体物料内零件辅助归位；电机单元16，用于为整个系统提供动力。各单元由PLC控制步长，按需求向图像采集模块输送待检测半封闭腔体物料。

图像采集模块2用于在所述半封闭腔体物料到达指定位置时对所述半封闭腔体物料中的零件进行图像采集。

参考图6、图7，本示例实施方式中的图像采集模块包括传感器21，用于半封闭腔体物料到位后给工业相机22触发信号；工业相机22，优选CCD工业相机，用于高速、稳定的接收和传输数字图像；镜头23，镜头通常具有不同的倍率选择，用于搭配工业相机22，保证采集区域的视野范围和图像清晰度，优选为双侧远心镜头；光源24，用于给被检测物体表面提供光照，以便相机采集图像，优选为同轴光源，主要为有深度的半封闭腔体物料内零件表面提供光源，其他的光源类型还有条形光源、环形光源等，需根据被检测物体需要搭配选择。本示例实施方式中，如图4所示，通过所述图像采集模块2可以采集到半封闭腔体物料内零件的俯视图。需要说明的是，通过不同的图像采集模块搭配与调整，一次图像采集可拍摄多个被检测物体，本示例实施方案中对此不做特殊限定。

图像分析模块可以用于接收图像采集模块传送的数字图像，并经过算法判定检测半封闭腔体物料内零件姿态分类，并判断是否合格。

参考图2、图3所示，本示例实施方式中，所述图像分析模块3可以包括图像处理单元、图像标注单元、模型训练单元以及模型预测单元等。

其中图像处理单元可以用于对接收到的数字图像进行统一处理，以符合模型训练单元的要求。图像处理单元包括：

格式统一单元，用于修改由图像采集模块2接收的数字图像格式，达到统一目的。本示例实施方式中，使用python编程语言对图像进行格式修改，从BMP格式转换为jpg格式；图像分割单元，用于将同一图像中采集的多个检测物体定位后分离，形成多个图像，每张图像中只存在一个被检测物体，本示例实施方案中，使用python编程语言利用各图片坐标，将图片根据被检测物体位置定位分割；尺寸切割单元，用于将图像分割后的图像转换为深度学习模型所需要的输入尺寸，通常为长宽比例1:1的正方形，本示例实施方式中，使用python编程语言将图像尺寸切割为224×224像素大小。

图像标注单元，用于将采集并处理后的图像按照检测标准或自身特征进行分类。

本示例实施方式中，结合半封闭腔体物料内零件的姿态以及检测标准，综合实际检测中出现的情况，将半封闭腔体物料内零件姿态分为四类，良品、歪斜、无零件、无物料，如图5-A,5-B,5-C,5-D所示。为了更好地训练深度学习模型，本单元生成的数据集各分类样本数量应均衡。此步骤中应严格按照被检测物体的标准进行分类，如：确定歪斜10°以内为良品，其余为歪斜。

模型训练单元，指深度学习模型训练单元，本示例实施方式中，使用卷积神经网络ResNeXt50作为预训练模型，使用python编程语言，以PaddlePaddle为深度学习开发平台实现，其具体步骤和网络结构为：

1、将数据集分为一定比例的训练集和验证集，本示例实施方式中训练集与验证集的比例为8:2。应该注意的是，分离应按照各标注分类分别按照所选比例分离，从而保证训练集与验证集各分类的数据分布均匀。

2、生成训练集的图像与标签一一对应的列表1。

3、生成预测集的图像与标签一一对应的列表2。

4、将训练集图像通过随机角度翻转、图像增强、图像随机裁剪等方式重构。

其中图像增强使用：Gamma校正，对感兴趣的图像区域进行展宽，对不感兴趣的背景区域进行压缩；直方图均衡化(公式1)，通过积分概率密度函数转化为概率密度为1(理想情况)的图像；同态滤波器。

待处理图像为灰度图像，r表示待处理图像的灰度，取值范围为[0,L-1]，则r＝0表示黑色，r＝L-1表示白色，直方图均衡化的过程对应于一个变换T：

s＝T(r),0≤r≤L-1i 公式1

由于图像的灰度图像f(x,y)可以看做为入射光分量和反射光分量两部分组成：

f(x,y)＝i(x,y)r(x,y) 公式2

本示例实施方式中，由于入射光比较的均匀，随着空间位置变化比较小，占据低频分量段。反射光由于物体性质和结构特点不同从而反射强弱很不相同的光，随着空间位置的变化比较的剧烈。占据着高频分量。因此上述操作可以达到图像增强的效果。

5、图像输入卷积神经网络进行大量卷积运算，其具体步骤如表1所示：

表1 ResNeXt50网络结构

6、将验证集输入训练好的模型，不进行反向传播，输出预测的分类结果。

7、将分类结果与第三步的列表2进行对比，得到模型的准确率。

8、根据需求选择继续训练模型或者停止训练。

本示例实施方式中，深度学习模型主要为通过卷积神经网络学习数据集各分类特征，并计算各特征所占权重，经权衡后最终学习并生成一个基于数据集样本特征的深度学习模型。应该注意的是，深度学习模型种类较多，各有所长，实际使用中应不限于本示例实施方式中的选择，需要根据需要进行多个模型的效果对比，以实现最优效果。

模型预测单元，指使用模型训练单元训练的模型，对被检测物体进行预测。本示例实施方式中，如图4所示，可以选择根据模型预测单元的准确率实现在线动态更新模型。若实际应用中无法提供庞大的计算能力，也可以选择将模型训练单元放置于其他有能力的计算设备中训练，完成训练后将模型迁移至本系统，作为本系统的模型训练单元，此种方式无法提供在线动态更新能力。

参考图3、图6、图7，本示例实施方式中，物料筛选模块包括第二夹取单元，设置于所述图像采集模块下游，根据所述图像分析模块的分析结果将不合格的所述半封闭腔体物料转移至不良品收集器；第三夹取单元，设置于所述第二夹取单元下游，根据所述图像分析模块的分析结果将合格的所述半封闭腔体物料转移至良品收集器。

上述基于深度学习的半封闭腔体内零件姿态标准化检测系统中的设计可以以python为开发语言，以paddlepaddle、pytorch、TensorFlow、keras等作为深度学习开源平台，结合PYQT5界面编写工具编写程序以实现标准化检测系统所要求的功能。整个软件界面可以包括图像显示区域、基础菜单区域、检测结果显示区域、检测起止控制区域等部分。该标准化检测系统不仅能够实现图像采集的实时显示功能、实现自动判别半封闭腔体内零件姿态是否合格的功能，同时，还能够实现在菜单区域设置些基础参数等功能。

本示例实施方式之一，将该系统用于插盖式圆珠笔的笔帽内硅珠姿态检测。插盖式圆珠笔的笔杆主要起承托笔芯的作用，当笔帽与笔杆插在一起时，笔帽主要起密封笔头、防止笔芯漏墨和墨水挥发的作用。笔帽的组件一般包括：笔帽管、笔夹、硅珠等。硅珠主要在笔帽内起到密封笔头的作用，因此在笔帽安装完成后，需对笔帽内硅珠的姿态进行检测，筛选出不良品。本示例实施方式中，使用该系统的良品精确率达100％(表示预测为正的样本中正确的数量)，精确率达99.97％(表示正样本中被预测正确的数量)。应当注意的是，深度学习的预测精度与样本集数量呈正相关，一般来讲，需要重复多次图像分析模块操作以达到更优效果。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

这里基于的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书的范围内。

Claims (9)

1.一种半封闭腔体内零件姿态标准化检测系统，其特征在于，包括物料传送模块(1)、图像采集模块(2)、图像分析模块(3)、物料筛选模块(4)和工控机(44)，

所述物料传送模块(1)将半封闭腔体物料传入所述图像采集模块(2)的图像采集区域；

所述图像采集模块(2)在所述半封闭腔体物料到达指定位置时对所述半封闭腔体物料中的零件进行图像采集；

所述图像分析模块(3)分析所述图像采集模块(2)接收的图像并判断是否合格；

所述物料筛选模块(4)对所述物料传送模块(1)中合格或不合格的所述半封闭腔体物料进行分别收集；

所述工控机(44)，用于接收所述图像采集模块(2)采集的图像，为所述图像分析模块(3)提供分析计算能力，并将分析结果传送至所述物料筛选模块(4)。

2.根据权利要求1所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述图像分析模块(3)包括：

图像处理单元，用于对所述图像采集模块采集的所述半封闭腔体物料内零件图像进行预处理，并通过缩放和裁剪获得深度学习模型训练单元所需的图像大小图；

图像标注单元，用于将图像处理单元传送的图像根据半封闭腔体物料内零件姿态检测标准进行分类，获得数据集；

模型训练单元，用于将所述图像标注单元获得的数据集通过深度学习进行模型训练，得到可用于判断半封闭腔体物料内零件姿态所属分类的深度学习模型；

模型预测单元，用于将所述模型训练单元获得的深度学习模型用于所述半封闭腔体物料内零件图像，根据输出结果判断半封闭腔体物料内零件姿态是否合格。

3.根据权利要求2所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述模型训练单元采用深度学习卷积神行网络ResNeXt50预训练模型进行训练。

4.根据权利要求2所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述图像处理单元包括：

格式统一单元，用于对所述待检测半封闭腔体物料内零件图像进行格式更改，得到统一格式的图像；

图像分割单元，用于识别所述格式统一单元输出的图像中是否有多个待检测物体并定位分离，输出多个图像；

尺寸切割单元，用于将所述图像分割单元所输出图像转换为所述模型训练单元所需要的输入尺寸。

5.根据权利要求1所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述物料传送模块(1)包括：

传送带(11)，用于输送所述半封闭腔体物料至所述检测系统；

转盘单元(13)，用于在所述检测系统内传送所述半封闭腔体物料，所述转盘单元(13)上设置有多个底座；

第一夹取单元(12)，用于将所述半封闭腔体物料从所述传送带(1)放入所述底座中，所述半封闭腔体物料开口面向上；

第一按压单元(14)设置于所述第一夹取单元(12)下游，用于将所述半封闭腔体物料辅助归位；

第二按压单元(15)设置于所述第一按压单元(14)下游，用于将所述待检测半封闭腔体物料内零件辅助归位。

6.根据权利要求5所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述图像采集模块(2)设置于所述转盘单元(13)上方，所述图像采集模块(2)包括：

传感器(21)，用于感应所述半封闭腔体物料达到指定位置并发送触发信号；

工业相机(22)，用于接收所述传感器(21)的触发信号，并采集所述半封闭腔体物料内零件的图像；

镜头(23)，用于搭配所述工业相机(22)组成图像采集的视觉系统；

光源(24)，设置于所述工业相机(22)与所述镜头(23)的下方，用于为所述半封闭腔体物料内零件表面提供合适的光源，为图像采集提供明暗分明的环境。

7.根据权利要求6所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，所述物料筛选模块(4)包括：

第二夹取单元(41)设置于所述图像采集模块(2)下游，根据所述图像分析模块(3)的分析结果将不合格的所述半封闭腔体物料转移至不良品收集器；

第三夹取单元(42)设置于所述第二夹取单元(41)下游，根据所述图像分析模块(3)的分析结果将合格的所述半封闭腔体物料转移至良品收集器。

8.根据权利要求1所述的半封闭腔体内零件姿态标准化检测系统，其特征在于，还包括显示器(43)，所述显示器(43)和所述工控机连接(44)，用于向用户输出系统运行和检测状态等信息。

9.一种半封闭腔体内零件姿态标准化检测方法，其特征在于，所述方法使用了权利要求1-8所述的任一一种半封闭腔体内零件姿态标准化检测系统。

Images