CN105619741B - 一种基于Tegra K1的模具智能检测方法 - Google Patents

Abstract

一种基于Tegra K1的模具智能检测方法，包括如下步骤：A、在注塑成型后对模腔进行异常检测，过程如下：A1:确认注塑机安全门是否关闭，等待注塑机开模到位信号；A2:使用红外相机对产品成型后的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；A3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许顶针的I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域；B、在动模落料后对模腔进行异常检测。本发明提供了一种提升运算效率、提高准确性的基于Tegra K1的模具智能检测方法。

Description

一种基于Tegra K1的模具智能检测方法

技术领域

本发明属于注塑机模具保护领域，涉及一种模具智能检测方法。

背景技术

塑料注射成型机作为塑料制品的加工设备已有半个多世纪的历史，近年来随着塑料制品应用领域的不断扩大，世界上对注塑机械的需求呈现了持续大幅攀升的趋势。特别是我国，进入20世纪90年代以来，注塑机的销售额以10％左右的年均增长率快速增长，总产量已居世界第一位。

在注塑加工生产中，注塑模具作为注塑制品加工最重要的成型设备，其质量优劣直接关系到制品质量优劣。而且由于模具在注塑加工企业生产成本中占据较大的比例，其使用寿命直接左右注塑制品成本。目前在注塑成型车间中，为了降低修模成本，提升模具的使用率，大部分的厂家采用人工倒班的作业方式，由作业人员通过目视、探头、手摸的方式进行模具夹模的预防作业，效率极其低下劳动强度高，需要投入大量的人力物力，而且容易在人员作业疲劳是发生目视漏看而照成模具损坏，甚至因为探头而产生不安全的人身事故。因此，提高注塑模具质量，并通过机器视觉技术维护和保养好，延长其使用周期，是注塑制品加工企业降本增效的重要课题。

近年来，随着图像处理技术飞速发展，特别计算机处理速度的显著提高，大规模存储器的出现，模具的自动识别报警系统被大量引入注塑行业中，通过CCD视频图像的动态采集，借助计算机数字图像处理技术，对生产过程中模具存在的残留、滑块错位、脱模不良等异常情况进行实时监控以实现对模具的自动保护。这种基于图像的实时监控系统极大提高了注塑模具的安全性，降低了修模成本，提升了工作效率，降低了工作人员的劳动强度。因此，基于机器视觉的模具保护器成为目前众多注塑机必备的配套设备。

目前引入的模具保护器功能都比较单一，内部的图像处理算法相对比较简单，这就必然导致需要复杂的设置和人机交互来保证其结果的正确性。例如，运行前的样本学习，多模板的选择，检测区域及一些参数的人工选择问题等。这些都极大地依赖于现场的环境和操作人员的经验。当环境发生改变，往往需要根据实际情况重新学习和选择模板样本，甚至调整一些参数，如黑白灵敏度、报警阈值、相机增益等。但当操作人员经验不足时，就会造成漏检或者误报警的情况，严重的会造成模具的损坏。

当前市场上有售的模具保护器一般都是国内厂商生产的，其主要的特点是控制器都采用了工控机，整套系统的售价也都要在3W人民币以上。这相对于一般中小企业来说，成本还是比较高的。因此如何在性能达标的情况下降低模具保护器的成本，使其被广泛接受，也是至关重要的问题。

注塑机机械手视频监视系统关键的技术问题主要有两个：

1).光照及阴影影响

如何消除灯光变化，阴影影响，日夜间的光照变化等对检查结果的影响，是提高系统稳定性的关键。

现有的方法通过加一个恒定的红外光源，摄像机也采用红外相机。这种方法虽然一定程度上解决了光照变化的问题，但是其整体系统的成本也会相应的上升，同时还要保证注塑机不受自然光的影响。

2).工业现场的震动造成的图像之间的偏移

注塑机在开模合模等动作时势必产生机械震动，容易造成摄像头在捕捉现场图片时和模板图之间产生偏移而使检测结果不准确。

现有技术对同一场景设置多个模板，在检测结果异常时人工确认是否为震动偏移产生的影响，然后对这种情况下的场景添加到模板序列中，检测时通过对比多幅模板图来达到消除震动影响的目的。问题：对比多个模板会增加算法的运算时间，影响系统的效率。

发明内容

为了克服已有模具检测方式的运算效率较低、准确性较差的不足,本发明提供了一种提升运算效率、提高准确性的基于Tegra K1的模具智能检测方法。

本发明解决其技术问题所采用的技术方案是：

一种基于Tegra K1的模具智能检测方法，所述检测方法包括如下步骤：

A、在注塑成型后对模腔进行异常检测，过程如下：

A1:确认注塑机安全门是否关闭，等待注塑机开模到位信号；

A2:使用红外相机对产品成型后的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

A3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许顶针的I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域；

B、在动模落料后对模腔进行异常检测，过程如下：

B1:确认注塑机安全门是否关闭，等待注塑机顶针完成信号；

B2:使用红外相机对产品落料的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

B3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许合模I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域。

进一步，所述步骤A3和B3中，判断是否存在异常情况的过程如下：

首先，对背景图像进行采集，然后对背景图像进行处理，包括滤波和均衡化，然后将处理好的背景图像保存为Buffer1；

第二步，对当前图像进行采集也进行滤波和均衡化，保存为Buffer2；

第三步，将背景图像与当前图像进行差分，接着由差分结果判断磨具表面是否正常，即是否有异物存在；如果正常则经过背景维护算法之后返回第二步继续执行；否则进入第四步；

第四步，低通滤波；

第五步，采用基于Otsu的二值化算法对得到的差分图像进行二值化；然后由二值化得到的图像判断磨具表面是否正常，若正常则经背景维护算法之后返回第二步继续执行；若不正常则进入第六步；

第六步，对得到的二值化图像进行腐蚀和膨胀操作来排除一些干扰点；

最后，对经上述步骤处理的图像进行空穴检测，以此为据判断磨具表面能是否正常，若正常则经过背景维护算法之后返回第二步继续执行，若不正常则将异常区域根据LBP特征异常检测算法再次进行检验若正常则经过背景维护算法之后返回第二步继续执行，若不正常则认定磨具表面存在异物。

所述步骤A3中，异常情况是指存在缺陷产品及是否存在定模粘膜。

所述步骤B3中，异常情况是指落料未完成。

本发明中，采用的方法都通过算法来消除两种情况的影响，针对第一个问题结合直方图均衡化方法有效的消除了线性变化的光照影响。针对第二个问题通过检测区域的图像配准来补偿图像间的偏移。

本发明的有益效果主要表现在：由于采用了嵌入式处理器作为控制核心，使单个模具保护器具有更好的便携型和易扩展性；英伟达的核心芯片，保证了系统处理图像数据的实时性；由于采用基于机器视觉的异常检测算法，本发明能实时智能检测出缺陷产品和脱模不良等情况，保证产品质量，保护模具安全；综上，本发明能提高注塑行业的产品质量，保护模具安全，降低工作强度，保证员工身体健康，有效提升注塑行业自动化水平。

附图说明

图1是本发明的系统原理框图。

图2是异物检测流程图。

图3是软件总体流程框图。

图4是加入模具保护器后注塑机的工作流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于Tegra K1的模具智能检测方法，所述检测方法包括如下步骤：

A、在注塑成型后对模腔进行异常检测，过程如下：

A1:确认注塑机安全门是否关闭，等待注塑机开模到位信号；

A2:使用红外相机对产品成型后的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

A3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许顶针的I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域；

B、在动模落料后对模腔进行异常检测，过程如下：

B1:确认注塑机安全门是否关闭，等待注塑机顶针完成信号；

B2:使用红外相机对产品落料的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

B3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许合模I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域。

进一步，所述步骤A3和B3中，判断是否存在异常情况的过程如下：

首先，对背景图像进行采集，然后对背景图像进行处理，包括滤波和均衡化，然后将处理好的背景图像保存为Buffer1；

第二步，对当前图像进行采集也进行滤波和均衡化，保存为Buffer2；

第三步，将背景图像与当前图像进行差分，接着由差分结果判断磨具表面是否正常，即是否有异物存在；如果正常则经过背景维护算法之后返回第二步继续执行；否则进入第四步；

第四步，低通滤波；

第五步，采用基于Otsu的二值化算法对得到的差分图像进行二值化；然后由二值化得到的图像判断磨具表面是否正常，若正常则经背景维护算法之后返回第二步继续执行；若不正常则进入第六步；

第六步，对得到的二值化图像进行腐蚀和膨胀操作来排除一些干扰点；

最后，对经上述步骤处理的图像进行空穴检测，以此为据判断磨具表面能是否正常，若正常则经过背景维护算法之后返回第二步继续执行，若不正常则将异常区域根据LBP特征异常检测算法再次进行检验若正常则经过背景维护算法之后返回第二步继续执行，若不正常则认定磨具表面存在异物。

所述步骤A3中，异常情况是指存在缺陷产品及是否存在定模粘膜。

所述步骤B3中，异常情况是指落料未完成。

本实施例中，Tegra K1是目前数据显示最强悍的移动处理器之一，这款处理器采用了英伟达的开普勒架构GPU，配备了192个CUDA核心，在图形显示方面的性能非常强大，除了192个CUDA核心之外，Tegra K1还拥有4大1小一共5个运算核心，全面支持DirectX 11和OpenGL 4.4，其图形运算性能超强。

注塑机用视频监控系统是由DSP为核心的控制面板进行扩展的，另有1个CCDC工业相机，1个普通液晶屏，1个矩阵键盘及1个信号转接板。

本系统的主体架构如图1。

以英伟达(NVIDIA)公司的微处理器(Tegra K1)为硬件核心，搭建模具监视系统平台，实现人机交互、完成图像配准、异物检测等实时检测算法的研究。其主要内容包括以下几个方面：

1)嵌入式模具监视系统的平台搭建。结合系统性能需求，同时考虑硬件成本，采用TEGRA K1 192NVIDIA CUDA开发板为核心控制平台，选择合适的相机与光源，并配备电容式触摸屏，设计与注塑机交互的信号中继板，搭建基于Tegra K1的模具监视系统硬件平台。

2)图像配准算法的研究。在频繁机械碰撞的工业现场环境中，不同时刻采集的图像之间会存在几何偏差，即使是微小的错位，也会使得图像中同一像素对应于场景中的不同点，造成检测失败；同时，当模具开模不到位时，也会造成当前图像和背景图像间的偏移而引起误检。因此，结合模具监视系统的实时性要求，设计一种快速图像配准算法，消除当前帧与背景图像之间的几何偏差。

3)异常检测算法的设计。系统需通过异常检测算法得到现场的检测结果。在传统异常检测算法的基础上，考虑环境光照对检测结果的影响，设计一种基于光照不变特征的异常检测算法。

4)软件系统实现。研究Tegra K1的中断、串口、内存管理及上电自举等实现原理，编写相关驱动程序。根据硬件平台接口和处理器自带资源，借鉴GUI库设计的层次结构，根据OSD显示的原理与实现机制，编写Tegra K1的显示驱动程序，并设计操作简单、界面友好的人机交互界面；完成Tegra K1各基本模块的驱动编写并实现算法的移植。

异物检测算法设计设计需要考虑以下三点：

1).对光照、反射、阴影等现场环境变化。此问题从两个方面来解决，在软件方面使用直方图均衡化方法，从而使直方图均匀化，消除尖峰，从而消除光照的影响。硬件方面，在注塑机上安装一个恒定的光源，有效的改善光照条件对系统的影响。

2).由于震动等原因，造成前景图和背景图之间发生偏移。此问题的解决方法为：首先采用图像的配准算法，对前景图和背景图做一个初步的配准；接着对前景图进行差分，之后做一个低通滤波从而平滑图像的边缘信息，在二值化后再对图像进行腐蚀和膨胀，因为由于偏差而产生的边缘信息，宽度往往仅有几个像素点，腐蚀和膨胀能够有效的消除此类干扰

3).异物存在的判据。为了能够提高异物判断的准确性，本系统的设计方案：首先，对图像进行差分，若差分后的前景图与后景图的灰度值在一定阈值以内，则认为不存在异物。其次，在对图像二值化后进行空穴检测，以消除一些较小的空穴干扰，如果图像最后不存在空穴，则认为没有异物，若存在空穴面积大于一个预设值，则空穴存在的位置即是异物存在的位置。但是，该方法中始终没有考虑光照变化的影响。所以本发明设计基于LBP特征的异常检测算法。3×3LBP算子对纹理细节描述性最强，因此采用该大小的算子，即P＝8，R＝1。在经过初捡得到疑似异常区域后，需要根据LBP算子判定哪些点是真的异常信息，而哪些像素是因光照影响而产生的误判。虽然LBP码有256维，但是由于生成该码时8邻域内像素的权重不同，因此很难根据该值来判定当前像素与背景像素之间的相似度。为保证8邻域内，各个像素在计算相似度时的平等性，根据LBP的8bit描述子来判定像素之间的相识度，记背景图像某一点的8bit描述子为Bpattern(i)(i＝0…7)，而对应观测图像该点的描述子为Fpattern(i)，则两者之间的相似度表示为：

其中，⊙为同或，即式1表示两个8位描述子中相同位的个数除以总位数。若相似度S小于一个设定阈值T_pattern时，该点像素即被认定为前景，否则为背景。

通过LBP特征分割出二值图像结果后，再结合普通检测结果，取两者之间共同的异常区域，得到了排除光照干扰部分的异常区域。得到准确的前景点后，进行形态学操作得到更准确的异常区域，并通过区域生长法对异常区域进行标记和面积测量，最后通过形态学边缘提取得到异常区域轮廓并报警具体流程如图2。

系统总体的程序流程图如图3所示，其具体步骤如下。

首先，对背景图像进行采集，然后对背景图像进行处理，包括滤波和均衡化，然后将处理好的背景图像保存为Buffer1；第二步，对当前图像进行采集也进行滤波和均衡化，保存为Buffer2；第三步将背景图像与当前图像进行差分，接着由差分结果判断磨具表面是否正常(即是否有异物存在)如果正常(即无异物)则经过背景维护算法之后返回第二步继续执行；否则进入第四步，即低通滤波。第五步是采用基于Otsu的二值化算法对得到的差分图像进行二值化；然后由二值化得到的图像判断磨具表面是否正常，若正常则经背景维护算法之后返回第二步继续执行；若不正常则进入第六步，即对得到的二值化图像进行腐蚀和膨胀操作来排除一些干扰点；最后对经上述步骤处理的图像进行空穴检测，以此为据判断磨具表面能是否正常，若正常则经过背景维护算法之后返回第二步继续执行，若不正常则将异常区域根据LBP特征异常检测算法再次进行检验若正常则经过背景维护算法之后返回第二步继续执行，若不正常则认定磨具表面存在异物，注塑机停止运行。

软件系统设计的主要任务就是对比系统已经拍得的两张照片，按照一定的算法进行判断，在判断后来管理系统的整体运行。

软件设计采用Keil C51v954a软件开发工具，应用C++语言进行程序的编写，通过仿真器来完成程序的烧写。因此，程序的设计必须具有可加性，为今后进一步完善提供便利，子程序的设计必须结构化，以便于调试及升级换代。

本程序的软件系统程序设计，包括以下两部分:

1).GUI界面程序

2).图像处理程序

各个执行子程序是在主程序的控制下，按预定的方式，在各种触发条件具备实时响应并完成功能。系统的各种功能子程序化有利于使软件系统逻辑严谨，脉络清晰，不但便于调试，而且便于以后升级换代，增加新的功能，这是程序设计中必须遵循的基本原则。

GUI界面在整个系统中具有重要的作用，GUI界面直接与客户进行交流，将系统状态以最直观的方式告诉用户，使用户能清晰的识别当前注塑机的状态，来做出下一步操作。

图像处理模块的主要功能就是使系统按照图像处理原理，按照给定的流程，完成采集滤波，直方图均衡化，匹配，偏移补偿，差分，二值化，腐蚀膨胀，空穴检测等任务最终实现图像的处理辨认出异物，用矩形框框出异物所在位置。

模具保护器的实施方法如图4所示，其具体步骤如下：

步骤1：注塑成型后，主控制板等待开模到位信号，注塑机在动模打开至最大位置处时将该信号经I/O信号转接板发送至主控制板，此时主控制板等待一个设置好的延迟时间(以保证能拍摄出清晰的图像)后，控制红外摄像头捕捉此时的模腔图像。需要强调的是，之所以采用红外光源和红外摄像头，是因为普通摄像头拍摄的图像容易受光照变化的影响而造成系统误检，而红外摄像头只接受特定波段的图像，配合红外光源，能有效减轻这一影响。

步骤2：由于工业现场的震动及动模归位不准等原因，容易造成图像间的位置偏差，而造成系统误检。为解决此问题，可以采用选取多幅基准图的方案，但这在对实时性有较高要求的本系统中显然不适用。本系统采用偏差补偿的方案，即将拍摄到图像基准图像比较，计算出两者之间的几何偏差，然后补偿于前者，以降低系统的误检率。

步骤3：将偏差补偿后的图像与背景模型比较，若图像数据落于背景模型内，说明当前场景正常，使能允许顶针信号，更新背景模型，转至步骤4；否则说明当前场景内存在产品缺陷或者定模粘膜等异常情况，此时系统在液晶屏上圈出检测出的异常区域，将注塑机状态置为异常，并禁止使能允许顶针信号，注塑机停止运行，等待工作人员进行异常处理。

步骤4：如步骤1，主控板等待顶针完成信号，当接受到该信号后，等待一段时间，然后控制红外摄像头拍摄脱料后的模腔图像。

步骤5：如步骤2，进行当前图像的偏差补偿。

步骤6：如步骤3，将偏差补偿后的图像与脱料后模具的背景模型背景比较，若图像数据背景落于背景模型内，说明当前场景正常，使能允许合模信号，跳至步骤1，注塑机一个循环结束；否则，说明动模存在粘膜或者物料残留等异常情况，由液晶屏圈出异常区域，将注塑机状态置为异常，并禁止使能允许合模信号，注塑机停止运行，等待工作人员进行异常处理。

单台模具保护器由于采用了嵌入式芯片作为核心处理器，相比于传统采用工控机的方案，提高了便携性和易扩展性，同时又降低了硬件成本。同时从上述步骤中不难发现，本发明中模具保护器针对注塑机的工艺流程，在注塑成型和脱料完成后，进行了两次异常检测，前者可以检测产品的成型质量和定模有无粘膜的情况，后者检测落料后动模上的物料残留情况。通过这两步的检测，既提高了产品质量，又保证了模具安全。

Claims (3)

1.一种基于Tegra K1的模具智能检测方法，其特征在于：所述检测方法包括如下步骤：

A、在注塑成型后对模腔进行异常检测，过程如下：

A1:确认注塑机安全门是否关闭，等待注塑机开模到位信号；

A2:使用红外相机对产品成型后的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

A3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许顶针的I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域；

B、在动模落料后对模腔进行异常检测，过程如下：

B1:确认注塑机安全门是否关闭，等待注塑机顶针完成信号；

B2:使用红外相机对产品落料的模腔拍摄图像，与基准图像对比判断是否存在图像偏移，若存在则进行位置补偿；

B3:将拍摄到的图像与当前场景下的背景模型进行比较，判断是否存在异常情况；若正常，则使能允许合模I/O信号，并更新背景模型；若异常，则禁止使能该I/O信号，且在液晶屏上圈出异常区域；

所述步骤A3和B3中，判断是否存在异常情况的过程如下：

首先，对背景图像进行采集，然后对背景图像进行处理，包括滤波和均衡化，然后将处理好的背景图像保存为Buffer1；

第二步，对当前图像进行采集也进行滤波和均衡化，保存为Buffer2；

第三步，将背景图像与当前图像进行差分，接着由差分结果判断模具表面是否正常，即是否有异物存在；如果正常则经过背景维护算法之后返回第二步继续执行；否则进入第四步；

第四步，低通滤波；

第五步，采用基于Otsu的二值化算法对得到的差分图像进行二值化；然后由二值化得到的图像判断模具表面是否正常，若正常则经背景维护算法之后返回第二步继续执行；若不正常则进入第六步；

第六步，对得到的二值化图像进行腐蚀和膨胀操作来排除一些干扰点；

最后，对经上述步骤处理的图像进行空穴检测，以此为据判断模具表面能是否正常，若正常则经过背景维护算法之后返回第二步继续执行，若不正常则将异常区域根据LBP特征异常检测算法再次进行检验若正常则经过背景维护算法之后返回第二步继续执行，若不正常则认定模具表面存在异物。

2.如权利要求1所述的基于Tegra K1的模具智能检测方法，其特征在于：所述步骤A3中，异常情况是指存在缺陷产品及存在定模粘膜。

3.如权利要求1所述的基于Tegra K1的模具智能检测方法，其特征在于：所述步骤B3中，异常情况是指落料未完成。