CN114235845A - 用于注塑件产品缺陷检测的机构、系统及方法 - Google Patents

Abstract

本发明涉及用于注塑件产品缺陷检测的机构、系统及方法，注塑件料带在夹持下往工业相机方向输送，工业相机实时采集注塑件图像并传送至微处理器，微处理器对图像进行分析检测缺陷得到图像及数据，数据传输回计算机的同时也把数据备份至云端，并进行缺陷标注可视化。此外，微处理器通过云端把图像传输至训练机，于训练机处对图像进行标注，投入神经网络进行更新训练，得到新的注塑件缺陷检测模型，最后返还模型至微处理器。通过深度学习算法训练的神经网络模型进行缺陷识别，能够对人为提取得到样本特征库中没有的特征进行提取，避免因特征库中不存在对应特征或特征识别不准确而导致无法识别特征的情况出现，保证缺陷识别的检测速度及其准确性。

Description

用于注塑件产品缺陷检测的机构、系统及方法

技术领域

本发明涉及注塑件缺陷检测技术领域，特别是涉及一种用于注塑件产品缺陷检测的机构、系统及方法。

背景技术

在制造业领域，质量检测是产品生产制造过程中不可缺少的一环，高效、高准确度的质量检测技术是所有制造企业的不懈追求，提高质量检测的效率、准确度就是检测技术领域的重点。在传统视觉方法诞生前，质量检测依靠的是人力，这意味着检测具有不稳定性，当产品缺陷细小、产品产量又十分庞大时，依靠肉眼的检测难免会出现漏检、错检的情况。传统视觉方法的出现使质量检测的效率、准确率得到极大的提高，但当提取到的特征与特征库中的特征不匹配时，同样会出现漏检、错检，导致质量合格的产品中夹杂着次品，使最终产品成为废品。

在深度学习算法领域，准确性、模型大小、推理时间等因素是衡量算法优劣的标志，应该就检测的目标综合考虑选择一种合适的算法。某些算法的准确性高，但其模型大小、推理时间等会影响到检测的成本及效率，不适合用于检测大批生产的产品。为控制成本及保证效率，需根据采用的硬件来选择合适的算法以实现目标。

在微处理器领域，树莓派不仅拥有像stm32类的单片机功能，还能运行系统，做低功耗低成本的服务器，也能利用其I/O引脚直接控制底层硬件，完成一些PC的任务，实现云数据传输。

发明内容

本发明提供一种用于注塑件产品缺陷检测的机构、系统及方法，基于深度学习算法的移动端实时检测注塑件产品缺陷，解决注塑件缺陷检测效率低、准确率低，工业相机及光源的装夹，以及注塑件夹持送检的问题。

为解决以上问题，本发明提供一种用于注塑件产品缺陷检测的机构，其具有：

机架，该机架具有向上凸起的支撑柱；

工业相机模组，该工业相机模组安装在支撑柱上，用于采集注塑件的图像并把采集到的图像数据传送至微处理器；

光源模组，该光源模组安装在机架上，用于打光来配合工业相机模组采集注塑件的图像；

注塑件料带夹具，该注塑件料带夹具安装在支撑柱上，用于压紧注塑件料带，保证注塑件料带与工业相机模组的相对位置；注塑件料带夹具包括有前后设置的夹持组，每一夹持组包括上下平行设置转轴及转轴上轴向间隔布置的滚轮，同一转轴上的滚轮相对距离可调，同一组不同轴之间的滚轮相对距离可调，前后设置的夹持组之间相对距离可调，由此实现可对不同厚度、不同宽度的注塑件料件进行检测；同一夹持组的上侧滚轮在弹簧作用下下压，既能调节上侧滚轮的转轴位置又能压紧料带。

为解决以上问题，本发明提供一种用于注塑件产品缺陷检测的系统，该系统采用上述权的机构并基于深度学习算法的移动端实时检测注塑件产品缺陷，该系统包括有工业相机模组、微处理器、云端数据交互模块；工业相机模组实时采集注塑件的图像并把采集到的图像数据传送至微处理器，微处理器具有缺陷识别及数据处理模块，通过缺陷识别及数据处理模块对采集到的图像数据进行缺陷特征识别并把识别结果可视化，云端数据交互模块通过云端实现用户与训练机之间的数据交互，不断对注塑件缺陷检测模型进行更新。

为解决以上问题，本发明提供一种用于注塑件产品缺陷检测的方法，该方法采用上述的系统并基于深度学习算法的移动端实时检测注塑件产品缺陷，具体步骤如下：

S1：连接微处理器及显示器，调整工业相机模组的焦距、光源模组的光照强度、注塑件料带夹具上的滚轮相对位置；

S2：注塑件料带在注塑件料带夹具上以一定速度平移，工业相机模组实时采集注塑件料带上的注塑件的图像，同时图像数据传入微处理器中；

S3：微处理器接收工业相机模组采集的图像数据，实时把图像数据上传至云端数据交互模块，同时根据深度学习算法对图像数据进行缺陷检测并生成检测数据，使缺陷标注出现在实时采集的图像窗口中；

S4：训练机从云端获取微处理器上传的图像数据，对获取的图像数据进行人工缺陷标注，利用标注对基于深度学习算法的注塑件缺陷检测神经网络模型进行训练，实时把模型数据上传至云端供微处理器更新缺陷检测模型；

S5：根据微处理器的缺陷标注，实时监测注塑件缺陷状态，根据显示结果确定注塑件产品质量，及时根据结果剔除缺陷产品。

上述方案中，所述的微处理器是树莓派，于微处理器中配置好深度学习算法、神经网络模型等程序的运行环境，完成工业相机模组采集图像的实时分析、上传图像至云端及识别实时图像中的缺陷并标注于图像窗口中的工作。

上述方案中，步骤S1是为注塑件缺陷检测工作做调试，避免二次调节焦距及光源强度，保证采集到清晰的图像以得到准确的识别结果。

上述方案中，步骤S3所述的缺陷检测具体包含以下步骤：

S3.1：微处理器获取采集到的图像，对图像进行分割、翻转等处理，于算法输入端把其转化为深度学习算法需要的数据格式，以YOLOv5算法为例：由CNN提取图像特征，经过网络对特征进行多尺度融合，在算法输出端预测图像特征，生成边框并判断缺陷特征；为避免占用内存，在该时刻的图像完成特征识别后，原图像被下一时刻图像覆盖，进行新的识别工作；

S3.2：微处理器在识别图像特征时，以一定频率采集图像数据，记录图像特征值信息并上传至云端，供训练机从云端获取图像信息。

上述方案中，所述的微处理器分割图像，实质上对图像进行区域化处理，受算法模型限制，无法同时检测所有目标时，需要对目标进行分组检测，对每个分组进行特征识别并汇总数据，以得到工业相机模组视野中所有特征的识别结果。

上述方案中，步骤S4所述的对缺陷检测模型进行更新中，训练时输出端预测图像特征的结果受算法采用的IOU (Intersection over Union)计算方式影响，其采用GIOU_Loss做Bounding box的损失函数，该函数是IOU_Loss函数的改进，增加了相交尺度的衡量方法，具体损失函数表达式为：

式中，

表示图像预测框与真实框最小外接矩形的面积，U表示预测框与真实框并集的面积，两者之差与

之比表示最小外接矩形内不属于预测框与真实框的面积在外接矩形中的比重；IOU表示预测框与真实框交集的面积与并集的面积之比；通过减小损失函数判断模型特征的正确预测概率，损失函数越小，则特征预测正确概率越高。

本发明的创新点在于：在机构上，根据注塑件所在料带的形状特点，设计出一组可自动压紧、适应装夹不同宽度料带的夹具，解决料带的装夹送检问题。在系统上，使用树莓派作为缺陷识别及其数据处理模块、云端数据交互模块的媒介，降低系统使用成本。模型训练更新和实际缺陷检测分开进行，由发明方通过云端获取图像数据在训练机中训练模型，通过定时更新模型，保证添加新特征的功能。在识别图像特征前，对采集的图像进行分割处理，避开模型限制，使同时检测六组或以上的注塑件变得可行，同时提高了特征识别的准确性。

附图说明

附图1为本发明的机构示意图；

附图2为本发明的数据传输过程方框原理图；

附图3为本发明检测方法的流程示意图。

具体实施方式

以下将结合附图对本发明的构思、具体结构及数据流动过程作进一步说明，以便于了解本发明的使用方法、功能和效果。

参阅图1所示，是本发明较佳实施例的机构仿真模型示意图，按结构划分为机架1、工业相机模组2、光源模组3及注塑件料带夹具4。该机架具有向上凸起的支撑柱11，提供安装支撑。该工业相机模组2安装在支撑柱11上，用于采集注塑件的图像并把采集到的图像数据传送至微处理器。图中所示，工业相机模组2通过安装夹21锁定在支撑柱11，以及通过调整安装夹21锁定的位置高度来确定工业相机模组2位置，并在调整焦距后安装防尘罩。该光源模组3安装在机架上，用于打光来配合工业相机模组2采集注塑件的图像；图中所示的工业相机模组2和光源模组3上下相对，光源模组3由下往上打光；光源模组3的光源由固定块定位，被防尘罩及光源玻璃覆盖。该注塑件料带夹具4安装在支撑柱11上，用于压紧注塑件料带，保证注塑件料带与工业相机模组的相对位置。本实施例中，注塑件料带夹具包括有前后设置的夹持组，每一夹持组包括上下平行设置转轴及转轴上轴向间隔布置的滚轮41，同一转轴上的滚轮相对距离可调，同一组不同轴之间的滚轮相对距离可调，前后设置的夹持组之间相对距离可调，由此实现可对不同厚度、不同宽度的注塑件料件进行检测。同一夹持组的上侧滚轮在弹簧作用下下压，既能调节上侧滚轮的转轴位置又能压紧料带。本发明可通过改变工业相机模组和注塑件料带夹具在支撑柱上的位置来调整工业相机、注塑件料带、光源之间的相对位置；在确定模组位置后，通过调节工业相机焦距，保证采集到的图像达到特征识别的要求。

参阅图2所示，本发明用于注塑件产品缺陷检测的系统方框原理图，该系统采用上述的机构并基于深度学习算法的移动端实时检测注塑件产品缺陷，该系统包括有工业相机模组2、微处理器5、云端数据交互模块6；工业相机模组实时采集注塑件的图像并把采集到的图像数据传送至微处理器，微处理器具有缺陷识别及数据处理模块51，通过缺陷识别及数据处理模块对采集到的图像数据进行缺陷特征识别并把识别结果可视化，通过显示器7显示；云端数据交互模块6通过云端61实现用户与训练机62之间的数据交互，不断对注塑件缺陷检测模型进行更新。

参阅图3所示，是本发明提供的用于注塑件产品缺陷检测的方法，该方法采用上述的系统并基于深度学习算法的移动端实时检测注塑件产品缺陷，包含以下步骤：

S1：连接微处理器及显示器，调整工业相机模组的相机焦距、光源模组的光照强度、注塑件料带夹具上的滚轮相对位置，然后安装相应的防尘罩；

S2：注塑件料带在注塑件料带夹具上以一定速度平移，工业相机模组实时采集料带上注塑件的图像，同时图像数据传入微处理器中；

S3：微处理器接收工业相机模组采集的图像数据，实时把数据上传至云端，同时根据深度学习算法对图像数据进行缺陷检测并生成检测数据，使缺陷标注出现在实时采集的图像窗口中；

S4：训练机从云端获取微处理器上传的图像数据，对获取的图像数据进行人工缺陷标注，利用标注对基于深度学习算法的注塑件缺陷检测神经网络模型进行训练，实时把模型数据上传至云端供微处理器更新缺陷检测模型；

S5：根据微处理器的缺陷标注，实时监测注塑件缺陷状态，根据显示结果确定注塑件产品质量，及时根据结果剔除缺陷产品。

其中使用的微处理器是树莓派，于树莓派中配置好深度学习算法、神经网络模型等程序的运行环境，完成工业相机采集图像的实时分析、上传图像至云端、识别实时图像中的缺陷并标注于图像窗口中等工作。步骤S1是为注塑件缺陷检测工作做调试，避免二次调节焦距及光源强度，保证采集到清晰的图像以得到准确的识别结果。在实际安装过程中工业相机由两个安装在螺栓螺杆末端的圆形橡胶分配从相机的左右两端夹紧，光源由两块铝件定位，用螺钉加以固定，光源玻璃安装在由两块铝件配合行程的凹槽中。注塑件料带的夹持及输送方法的具体特征在于：同一转轴上的滚轮相对距离可调，同一夹持组的不同轴之间的相对距离可调，前后设置的夹持组之间相对距离可调；实现可对不同厚度、不同宽度的注塑件料件进行检测。

在步骤S3中，缺陷检测具体包含以下步骤：

S3.1：微处理器获取采集到的图像，对图像进行分割、翻转等处理，于算法输入端把其转化为深度学习算法需要的数据格式，以YOLOv5算法为例：由CNN提取图像特征，经过网络对特征进行多尺度融合，在算法输出端预测图像特征，生成边框并判断缺陷特征。为避免占用内存，在该时刻的图像完成特征识别后，原图像被下一时刻图像覆盖，进行新的识别工作。

S3.2：微处理器在识别图像特征时，以一定频率采集图像数据，记录图像特征值信息并上传至云端，供训练机从云端获取图像信息。

上述方案中，所述的微处理器分割图像，实质上对图像进行区域化处理，其特征在于，假设在实际检测过程中，要求相机视野中有七个检测目标，受算法模型限制，无法同时检测七个目标，需要对目标进行分组检测，对每个分组进行特征识别并汇总数据，以得到相机视野中所有特征的识别结果。其具体分割例子为：把七个注塑件分为两组，每组含四个注塑件，两组中有一个重复的注塑件。

上述方案中，所述的对缺陷检测模型进行更新，训练时输出端预测图像特征的结果受算法采用的IOU (Intersection over Union)计算方式影响，深度学习算法采用GIOU_Loss做Bounding box的损失函数，该函数是IOU_Loss函数的改进，增加了相交尺度的衡量方法，具体损失函数表达式为：

式中，

表示图像预测框与真实框最小外接矩形的面积，U表示预测框与真实框并集的面积，两者之差与

之比表示最小外接矩形内不属于预测框与真实框的面积在外接矩形中的比重；IOU表示预测框与真实框交集的面积与并集的面积之比。通过损失函数的变化判断模型特征的正确预测概率，损失函数越小，则特征预测正确概率越高。

本发明用于对注塑在料带上的注塑件进行缺陷检测，采集大量的图像数据。通过微处理器运行算法，对图像进行分割、特征提取等处理后加以分析，检测注塑件是否存在缺陷，直观地反映缺陷出现位置，便于监测人员及时剔除废品。图像数据的传输在方案所述的注塑件缺陷检测与用于神经网络模型可以是非同步进行的。图像数据的收集、处理、预测特征、上传云端工作是实时的，训练神经网络模型可在云端上传足够的图像数据后再进行更新训练。由于采用的微处理器是树莓派，运行能力有限，故每次检测完成后留在处理器中的数据会被新的图像数据覆盖，减少其内存占用，提高处理器运行速度。

本发明能够做到在检测环境没有剧烈变化、注塑件料带无过度起伏的条件下，保证以一定的准度及效率对注塑件进行缺陷特征识别。同时通过更新模型，添加新的缺陷特征，避免提取到的特征与特征库中的特征不匹配而导致无法识别缺陷的情况出现，提高发明的灵活性。

最后，以上实施例仅用以说明本发明的技术特点、结构特征而非限制，本发明使用的方法、系统及机构已结合文字、附图等形式进行详细论述，技术人员可根据以上论述在不脱离技术特点、结构特征的前提下对本发明的方法、系统及机构进行修改或同等替换，所做的一切改变不能脱离本发明的权利要求范围。

Claims (8)

1.用于注塑件产品缺陷检测的机构，其特征在于，具有：

机架，该机架具有向上凸起的支撑柱；

工业相机模组，该工业相机模组安装在支撑柱上，用于采集注塑件的图像并把采集到的图像数据传送至微处理器；

光源模组，该光源模组安装在机架上，用于打光来配合工业相机模组采集注塑件的图像；

注塑件料带夹具，该注塑件料带夹具安装在支撑柱上，用于压紧注塑件料带，保证注塑件料带与工业相机模组的相对位置；注塑件料带夹具包括有前后设置的夹持组，每一夹持组包括上下平行设置转轴及转轴上轴向间隔布置的滚轮，同一转轴上的滚轮相对距离可调，同一组不同轴之间的滚轮相对距离可调，前后设置的夹持组之间相对距离可调；同一夹持组的上侧的滚轮在弹簧作用下下压，既能调节上侧滚轮的转轴位置又能压紧料带。

2.用于注塑件产品缺陷检测的系统，其特征在于：该系统采用上述权利要求1的机构并基于深度学习算法的移动端实时检测注塑件产品缺陷，该系统包括有工业相机模组、微处理器、云端数据交互模块；工业相机模组实时采集注塑件的图像并把采集到的图像数据传送至微处理器，微处理器具有缺陷识别及数据处理模块，通过缺陷识别及数据处理模块对采集到的图像数据进行缺陷特征识别并把识别结果可视化，云端数据交互模块通过云端实现用户与训练机之间的数据交互，不断对注塑件缺陷检测模型进行更新。

3.用于注塑件产品缺陷检测的方法，其特征在于：该方法采用上述权利要求2的系统并基于深度学习算法的移动端实时检测注塑件产品缺陷，具体步骤如下：

S1：连接微处理器及显示器，调整工业相机模组的焦距、光源模组的光照强度、注塑件料带夹具上的滚轮相对位置；

S2：注塑件料带在注塑件料带夹具上以一定速度平移，工业相机模组实时采集注塑件料带上的注塑件的图像，同时图像数据传入微处理器中；

S3：微处理器接收工业相机模组采集的图像数据，实时把图像数据上传至云端数据交互模块，同时根据深度学习算法对图像数据进行缺陷检测并生成检测数据，使缺陷标注出现在实时采集的图像窗口中；

S4：训练机从云端获取微处理器上传的图像数据，对获取的图像数据进行人工缺陷标注，利用标注对基于深度学习算法的注塑件缺陷检测神经网络模型进行训练，实时把模型数据上传至云端供微处理器更新缺陷检测模型；

S5：根据微处理器的缺陷标注，实时监测注塑件缺陷状态，根据显示结果确定注塑件产品质量，及时根据结果剔除缺陷产品。

4.根据权利要求3所述的用于注塑件产品缺陷检测的方法，其特征在于：所述的微处理器是树莓派，于微处理器中配置好深度学习算法、神经网络模型等程序的运行环境，完成工业相机模组采集图像的实时分析、上传图像至云端及识别实时图像中的缺陷并标注于图像窗口中的工作。

5.根据权利要求3所述的用于注塑件产品缺陷检测的方法，其特征在于：步骤S1是为注塑件缺陷检测工作做调试，避免二次调节焦距及光源强度，保证采集到清晰的图像以得到准确的识别结果。

6.根据权利要求3所述的用于注塑件产品缺陷检测的方法，其特征在于：步骤S3所述的缺陷检测具体包含以下步骤：

S3.1：微处理器获取采集到的图像，对图像进行分割、翻转等处理，于算法输入端把其转化为深度学习算法需要的数据格式，以YOLOv5算法为例：由CNN提取图像特征，经过网络对特征进行多尺度融合，在算法输出端预测图像特征，生成边框并判断缺陷特征；为避免占用内存，在该时刻的图像完成特征识别后，原图像被下一时刻图像覆盖，进行新的识别工作；

S3.2：微处理器在识别图像特征时，以一定频率采集图像数据，记录图像特征值信息并上传至云端，供训练机从云端获取图像信息。

7.根据权利要求6所述的用于注塑件产品缺陷检测的方法，其特征在于：所述的微处理器分割图像，实质上对图像进行区域化处理，受算法模型限制，无法同时检测所有目标时，需要对目标进行分组检测，对每个分组进行特征识别并汇总数据，以得到工业相机模组视野中所有特征的识别结果。

8.根据权利要求3所述的用于注塑件产品缺陷检测的方法，其特征在于：步骤S4所述的对缺陷检测模型进行更新中，训练时输出端预测图像特征的结果受算法采用的IOU(Intersection over Union)计算方式影响，其采用GIOU_Loss做Bounding box的损失函数，该函数是IOU_Loss函数的改进，增加了相交尺度的衡量方法，具体损失函数表达式为：

式中，

表示图像预测框与真实框最小外接矩形的面积，U表示预测框与真实框并集的面积，两者之差与

之比表示最小外接矩形内不属于预测框与真实框的面积在外接矩形中的比重；IOU表示预测框与真实框交集的面积与并集的面积之比；通过减小损失函数判断模型特征的正确预测概率，损失函数越小，则特征预测正确概率越高。

Images