CN113996556B - 一种融合云端的产品分拣系统及方法 - Google Patents

Abstract

本发明公开一种融合云端的产品分拣系统，用于对产品进行检测、分拣，包括图像获取单元、识别单元、分拣装置、中央控制单元；图像获取单元用于获取流水线上工件产品图像，并将产品图像传输到识别单元；识别单元用于根据计算机视觉算法并利用检测参数对产品图像进行缺陷检测，并将检测结果传输到分拣装置；分拣装置根据检测结果将工件产品进行分类放置；中央控制单元与各个单元连接，用于根据算法处理数据信息并输出控制指令；还公开了一种分拣方法。解决了现有人工检测过程中存在的误判、检测效率低的问题，降低了人力成本，通过对分拣系统设备的运行进行实时监控，提高了产线的自动化程度。

Description

一种融合云端的产品分拣系统及方法

技术领域

本发明涉及产品分拣技术领域，特别涉及一种融合云端的产品分拣系统及方法。

背景技术

目前自动化生产线平台中，将产品输送到分拣平台后，需要将合格产品与不合格产品分开。分拣作业是大多数流水生产线上的一个重要环节。待分拣对象被不断地送入分拣作业区。待分拣对象是指未被确定是何种产品，将要被执行识别和分拣的产品。待分拣对象随着传送带进入分拣作业区。

现有产线分拣区的产品检测技术则依旧使用人工检测的方法比较多。很显然人工检测的速度和自动化生产线的生产速度相比时处于绝对的劣势，大多数时候只能对产品进行抽样检查，并不能有效地做到对产品质量的保障，很多中小型工厂，依旧是使用纯人工的方式对产品进行检测，让一线的工人使用测试仪器来检测产品的质量是否合格。

在对合格产品的分拣过程中，通常依赖检测者的经验，耗时费力，且无法形成客观严谨的评判，其检测结果存在较大的差异。并且传统的人工检测较难满足大批量生产时的质检效率要求，在大批量检测与分拣时所需的人工成本较高。人工检测会因为长时间的肉眼观察而产生视觉疲劳，更易产生误判，从而影响检测结果，且人存在情绪化等不确定因素。

另外，在设备运行监测与预警方面，传统的做法是通过人工在现场对反馈数据进行实时监测，这样不仅不直观，还易因大脑的疲劳而导致缺判、漏判的现象发生。

综上所述，现有产品线的分拣流程中，在产品检测、设备运行预警与监控时，工作效率低，自动化程度低，且容易出现误判。

发明内容

现有产品线的分拣流程中，在产品检测、设备运行预警与监控时，工作效率低，自动化程度低，且容易出现误判。

针对上述问题，提出一种融合云端的产品分拣系统及方法，通过利用机器视觉算法，对产线上的工件产品进行识别，将缺陷产品与合格产品分类放置，解决了现有人工检测过程中存在的误判、检测效率低的问题，降低了人力成本，通过对分拣系统设备的运行进行实时监控，用户可以通过移动终端连接云平台，随时随地监控设备的运行状态，提高了产线的自动化程度。

一种融合云端的产品分拣系统，用于对产品进行检测、分拣，包括：

图像获取单元；

识别单元；

分拣装置；

中央控制单元；

所述图像获取单元用于获取流水线上工件产品图像，并将所述产品图像传输到所述识别单元；

所述识别单元用于根据计算机视觉算法并利用检测参数对所述产品图像进行缺陷检测，并将检测结果传输到所述分拣装置；

所述分拣装置根据所述检测结果将所述工件产品进行分类放置；

所述中央控制单元与各个单元连接，用于根据算法处理数据信息并输出控制指令；

其中，所述检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种。

结合本发明所述的融合云端的产品分拣系统，第一种可能实施方式中，所述分拣系统还包括：

监控单元；

运行监测单元；

云平台；

所述监控单元用于对系统设备运行进行实时监控并将监控视频数据发送到所述云平台；

所述运行监测单元用于监测系统设备运行信息，并将运行设备信息发送到所述云平台；

所述云平台用于根据所述运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控。

结合本发明第一种可能实施方式，第二种可能的实施方式中，所述云平台包括：

存储单元；

虚拟仿真单元；

对比分析单元；

数字分析单元；

通信单元；

所述存储单元用于存储从系统发送的工件产品检测结果数据、系统设备运行数据及运行监控视频数据；

所述虚拟仿真单元用于对系统设备运行数据进行虚拟仿真；

所述对比分析单元用于将所述运行监控视频与其对应运行数据的虚拟仿真影像进行对比分析，根据分析结果向用户发送预警信息；

所述数字分析单元用于对系统设备运行数据进行分析，抽取设备运行参数，并将所述设备运行参数发送到系统端或者用户终端进行显示；

所述通信单元用于系统设备与云平台、云平台与用户终端之间的网络通信，以进行数据传输。

结合本发明第二种可能实施方式，第三种可能的实施方式中，所述云平台还包括：

管理单元；

所述管理单元用于对所述存储单元的存储资源进行管理，部署分布式文件管理系统，以设定的保护策略将接收的用户数据进行分片化存储，并对存储的用户数据进行管理。

结合本发明第三种可能实施方式，第四种可能的实施方式中，所述图像获取单元包括：

同轴光源单元；

所述同轴光源单元用于通过反射向工件产品照射同轴光源，以克服工件产品表面的反光干扰。

第二方面，一种融合云端的产品分拣方法，利用第一方面的分拣系统对工件产品进行分拣，包括：

步骤100、向流水线上工件产品照射同轴光源，获取工件产品图像；

步骤200、根据计算机视觉算法并利用检测参数对所述产品图像进行缺陷检测；

步骤300、根据所述检测结果将所述工件产品进行分类放置；

其中，所述检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种。

结合第二方面所述的分拣方法，第一种可能的实施方式中，所述方法还包括：

步骤400、对检测结果数据、系统设备运行数据及运行监控视频数据进行云存储；

步骤500、根据运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控。

结合第二方面第一种可能的实施方式，第二种可能的实施方式中，所述步骤200包括：

步骤210、将所述工件产品图像映射到设定的检测层面；

步骤220、根据检测模板确定检测区域；

步骤230、对检测区域内的产品图像及检测模板进行二值化处理，获取二值化差值；

步骤240、将所述二值化差值与二值化阈值进行比较，获取异常点数；

步骤250、将所述异常点数与异常阈值进行比较，并根据比较结果确定所述工件产品是否存在缺陷。

结合第二方面第二种可能的实施方式，第三种可能的实施方式中，所述步骤230包括：

步骤231、对对检测区域内的产品图像进行平滑滤波，以过滤噪声；

步骤232、将产品图像进行灰度处理，获取工件产品灰度图；

步骤233、对所述工件产品灰度图进行二值化处理。

结合第二方面第三种可能的实施方式，第四种可能的实施方式中，所述步骤200还包括：

步骤260、利用canny边缘检测算子对工件产品边缘进行检测，获取工件产品轮廓边缘；

步骤270、调用多边形逼近算子及平滑滤波算子分别对所述边缘轮廓形状进行矫正、滤波，获取所述轮廓边缘的顶点数目及其角度范围；

步骤280、根据所述顶点数目及其角度范围，结合相机的像素尺寸，获取工件产品的尺寸。

实施本发明所述的一种融合云端的产品分拣系统及方法，通过利用机器视觉算法，对产线上的工件产品进行识别，将缺陷产品与合格产品分类放置，解决了现有人工检测过程中存在的误判、检测效率低的问题，降低了人力成本，通过对分拣系统设备的运行进行实时监控，用户可以通过移动终端连接云平台，随时随地监控设备的运行状态，提高了产线的自动化程度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中一种融合云端的产品分拣系统实施例示意图；

图2是本发明中一种融合云端的产品分拣系统中云平台实施例示意图；

图3是本发明中一种融合云端的产品分拣方法第一实施例示意图；

图4是本发明中一种融合云端的产品分拣方法第二实施例示意图；

图5是本发明中一种融合云端的产品分拣方法第三实施例示意图；

图6是本发明中一种融合云端的产品分拣方法第四实施例示意图；

图7是本发明中一种融合云端的产品分拣方法第五实施例示意图；

附图中各数字所指代的部位名称为：110——中央控制单元、120——图像获取单元、130——监控单元、140——运行监测单元、150——识别单元、160——分拣装置、170——云平台、171——存储单元、172——虚拟仿真单元172、173——管理单元、174——对比分析单元、175——通信单元、176——数字分析单元、180——终端。

具体实施方式

下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

说明书中对“一个实施例”或“一实施例”的参考意味着在本发明的至少一个实施例中可包括结合所述实施例描述的特定特征、结构或特性。在说明书的各种地方中出现短语“在一个实施例中”未必全部指代同一实施例。由包含硬件(例如，电路、专用逻辑等)、软件或两者的组合的处理逻辑来执行在以下图式中所描绘的过程。虽然下文中根据一些顺序操作来描述所述过程，但应了解，所描述的一些操作可按不同次序来执行。此外，一些操作可并行地而非顺序地来执行。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

现有产品线的分拣流程中，在产品检测、设备运行预警与监控时，工作效率低，自动化程度低，且容易出现误判。

针对上述问题，提出一种融合云端的产品分拣系统及方法。

一种融合云端的产品分拣系统，如图1，图1是本发明中一种融合云端的产品分拣系统实施例示意图，用于对产线工件产品进行检测、分拣，包括：图像获取单元120、识别单元150、分拣装置160及中央控制单元110；图像获取单元120用于获取流水线上工件产品图像，并将产品图像传输到识别单元150；识别单元150用于根据计算机视觉算法并利用检测参数对产品图像进行缺陷检测，并将检测结果传输到分拣装置；分拣装置160根据检测结果将工件产品进行分类放置；中央控制单元110与各个单元连接，用于根据算法处理数据信息并输出控制指令；其中，检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种。

通过利用机器视觉算法，对产线上的工件产品进行识别，将缺陷产品与合格产品分类放置，解决了现有人工检测过程中存在的误判、检测效率低的问题，降低了人力成本。

检测层面可以包括RGB单色层面、HSV单色层面、拉普拉斯变换层面、傅里叶变换层面、梯度层面，检测模块是指良品或者合格产品的真实图像，通过计算连通域个数、最大连通域点数中的异常点数，将异常点数与阈值比较，判定是否出现缺陷。

在一个优选实施方式中，分拣系统还包括监控单元130、运行监测单元140及云平台170；监控单元130用于对系统设备运行进行实时监控并将监控视频数据发送到云平台170；运行监测单元140用于监测系统设备运行信息，并将运行设备信息发送到云平台170；云平台170用于根据运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控。

在一个优选实施方式中，如图2，图2是本发明中一种融合云端的产品分拣系统中云平台实施例示意图，云平台170包括存储单元171、虚拟仿真单元172、对比分析单元174、数字分析单元176及通信单元175；存储单元171用于存储从系统发送的工件产品检测结果数据、系统设备运行数据及运行监控视频数据；虚拟仿真单元172用于对系统设备运行数据进行虚拟仿真；对比分析单元174用于将运行监控视频与其对应运行数据的虚拟仿真影像进行对比分析，根据分析结果向用户发送预警信息；数字分析单元176用于对系统设备运行数据进行分析，抽取设备运行参数，并将设备运行参数发送到系统端或者用户终端进行显示；通信单元175用于系统设备与云平台170、云平台170与用户终端之间的网络通信，以进行数据传输。

将虚实结合的视频传入云平台170存储单元171，用户可以通过网页读取视频。将网页配置为：打开网页即展示数字孪生视频，对比分析单元174仍然会对虚拟仿真和系统设备实际运行情况进行对比，若存在虚拟仿真和系统设备实际运行情况不一致的情况，云平台170会发出警报，请求人为介入处理。这样不仅能实现远程监控系统设备运行这一功能，还能实现少内存、少带宽的占用。

存储单元171是云存储的基础。云存储依靠存储单元171将不同的存储设备互联起来，形成一个面向服务的分布式存储系统。在物理存储设备之上是一个统一的存储管理单元173，能实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。

对每一产品的图像进行识别，得到识别结果，对一段时间内产品进行总体分析，可以制作成可视化极佳的饼状图，通过访问云服务器上所配置的数据库，将识别出来的工件图像和识别结果饼状图传输至数据库，工件图像按照工件顺序依次排列，不做覆盖处理，以便后续成品率计算和查验校核。识别结果饼状图可以展示于网页，管理人员可以通过终端180或者PC查询云端实时查看分拣系统运行情况。

通过对分拣系统设备的运行进行实时监控，用户可以通过终端180连接云平台170，随时随地监控设备的运行状态，提高了产线的自动化程度。

在一个优选实施方式中，云平台170还包括管理单元173；管理单元173用于对存储单元171的存储资源进行管理，部署分布式文件管理系统，以设定的保护策略将接收的用户数据进行分片化存储，并对存储的用户数据进行管理。

管理单元173主要功能是在存储层提供的存储资源上部署分布式文件系统，或者建立、组织存储资源对象，并将用户数据进行分片处理，按照设定的保护策略将分片后的数据以多副本或者冗余纠删码的方式分散存储到具体的存储资源上去。同时，在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的业务调度与数据重建恢复等任务，以便始终提供高性能、高可用的访问服务。不过，在具体实现时，该层的功能也可以上移，位于访问接口层和应用服务层之间，甚至直接嵌入到应用服务层中，和业务应用紧密结合，形成业务专用云存储。

在有的实施方式中，云平台170还包括许可单元，在连接互联网的任何一台机器上，只要用户经过授权，都可以进入的云存储平台系统，进行云存储上的允许的授权操作，享受云存储带来的各种服务。

在一个优选实施方式中，图像获取单元120包括同轴光源单元；同轴光源单元用于通过反射向工件产品照射同轴光源，以克服工件产品表面的反光干扰。

根据同轴光源的特点，不平整的物面上的光会被斜着反射到其他地方，在图像中呈现暗色，只有平整的物体表面，才能较好的将光反射到镜头中。因此，利用同轴光源发射同轴光能够凸显物体表面不平整，克服表面反光造成的干扰。可以用于检测物体平整光滑表面的碰伤、划伤、裂纹和异物。优选用于反射度极高的物体，如金属、玻璃、胶片、晶片等表面的划伤检测、芯片和硅晶片的破损检测、包装条码识别等。

一种融合云端的产品分拣方法，如图3，图3是本发明中一种融合云端的产品分拣方法第一实施例示意图，利用第一方面的分拣系统对工件产品进行分拣，包括：

步骤100、向流水线上工件产品照射同轴光源，获取工件产品图像；步骤200、根据计算机视觉算法并利用检测参数对产品图像进行缺陷检测；步骤300、根据检测结果将工件产品进行分类放置；其中，检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种。

一个优选实施方式中，如图4，图4是本发明中一种融合云端的产品分拣方法第二实施例示意图，方法还包括：

步骤400、对检测结果数据、系统设备运行数据及运行监控视频数据进行云存储；步骤500、根据运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控。

在一个优选实施方式中，如图5，图5是本发明中一种融合云端的产品分拣方法第三实施例示意图，步骤200包括：

步骤210、将工件产品图像映射到设定的检测层面；步骤220、根据检测模板确定检测区域；步骤230、对检测区域内的产品图像及检测模板进行二值化处理，获取二值化差值；步骤240、将二值化差值与二值化阈值进行比较，获取异常点数；步骤250、将异常点数与异常阈值进行比较，并根据比较结果确定工件产品是否存在缺陷。

在一个优选实施方式中，如图6，图6是本发明中一种融合云端的产品分拣方法第四实施例示意图，步骤230包括：步骤231、对对检测区域内的产品图像进行平滑滤波，以过滤噪声；步骤232、将产品图像进行灰度处理，获取工件产品灰度图；步骤233、对工件产品灰度图进行二值化处理。

在一个优选实施方式中，如图7，图7是本发明中一种融合云端的产品分拣方法第五实施例示意图，步骤200还包括：

步骤260、利用canny边缘检测算子对工件产品边缘进行检测，获取工件产品轮廓边缘；步骤270、调用多边形逼近算子及平滑滤波算子分别对边缘轮廓形状进行矫正、滤波，获取轮廓边缘的顶点数目及其角度范围；步骤280、根据顶点数目及其角度范围，结合相机的像素尺寸，获取工件产品的尺寸。

实施本发明的一种融合云端的产品分拣系统及方法，通过利用机器视觉算法，对产线上的工件产品进行识别，将缺陷产品与合格产品分类放置，解决了现有人工检测过程中存在的误判、检测效率低的问题，降低了人力成本，通过对分拣系统设备的运行进行实时监控，用户可以通过终端180连接云平台170，随时随地监控设备的运行状态，提高了产线的自动化程度。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合云端的产品分拣系统，用于对产品进行检测、分拣，其特征在于，包括：

图像获取单元；

识别单元；

分拣装置；

中央控制单元；

所述图像获取单元用于获取流水线上工件产品图像，并将所述产品图像传输到所述识别单元；

所述识别单元用于根据计算机视觉算法并利用检测参数对所述产品图像进行缺陷检测，并将检测结果传输到所述分拣装置；

所述分拣装置根据所述检测结果将所述工件产品进行分类放置；

所述中央控制单元与各个单元连接，用于根据算法处理数据信息并输出控制指令；

其中，所述检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种；

所述分拣系统还包括：

监控单元；

运行监测单元；

云平台；

所述监控单元用于对系统设备运行进行实时监控并将监控视频数据发送到所述云平台；

所述运行监测单元用于监测系统设备运行信息，并将设备运行信息发送到所述云平台；

所述云平台用于根据所述运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控；

所述云平台包括：

存储单元；

虚拟仿真单元；

对比分析单元；

管理单元；

所述存储单元用于存储从系统发送的工件产品检测结果数据、系统设备运行数据及运行监控视频数据；

所述虚拟仿真单元用于对系统设备运行数据进行虚拟仿真；

所述对比分析单元用于将运行监控视频与其对应运行数据的虚拟仿真影像进行对比分析，若存在虚拟仿真和系统设备实际运行情况不一致的情况，云平台向用户发送预警信息；

所述管理单元用于对所述存储单元的存储资源进行管理，部署分布式文件管理系统，以设定的保护策略将接收的用户数据进行分片化存储，并对存储的用户数据进行管理。

2.根据权利要求1所述的融合云端的产品分拣系统，其特征在于，所述云平台还包括：

数字分析单元；

通信单元；

所述数字分析单元用于对系统设备运行数据进行分析，抽取设备运行参数，并将所述设备运行参数发送到系统端或者用户终端进行显示；

所述通信单元用于系统设备与云平台、云平台与用户终端之间的网络通信，以进行数据传输。

3.根据权利要求2所述的融合云端的产品分拣系统，其特征在于，所述图像获取单元包括：

同轴光源单元；

所述同轴光源单元用于通过反射向工件产品照射同轴光源，以克服工件产品表面的反光干扰。

4.一种融合云端的产品分拣方法，其特征在于，利用权利要求1-3任一所述的分拣系统对工件产品进行分拣，包括：

步骤100、向流水线上工件产品照射同轴光源，获取工件产品图像；

步骤200、根据计算机视觉算法并利用检测参数对所述产品图像进行缺陷检测；

步骤300、根据检测结果将所述工件产品进行分类放置；

其中，所述检测参数包括检测层面、检测模板、检测区域、二值化阈值、异常点数统计中的一种或者多种。

5.根据权利要求4所述的融合云端的产品分拣方法，其特征在于，所述方法还包括：

步骤400、对检测结果数据、系统设备运行数据及运行监控视频数据进行云存储；

步骤500、根据运行信息及监控视频，并根据用户请求向用户发送系统设备实时运行信息，以进行远程监控。

6.根据权利要求4所述的融合云端的产品分拣方法，其特征在于，所述步骤200包括：

步骤210、将所述工件产品图像映射到设定的检测层面；

步骤220、根据检测模板确定检测区域；

步骤230、对检测区域内的产品图像及检测模板进行二值化处理，获取二值化差值；

步骤240、将所述二值化差值与二值化阈值进行比较，获取异常点数；

步骤250、将所述异常点数与异常阈值进行比较，并根据比较结果确定所述工件产品是否存在缺陷。

7.根据权利要求6所述的融合云端的产品分拣方法，其特征在于，所述步骤230包括：

步骤231、对检测区域内的产品图像进行平滑滤波，以过滤噪声；

步骤232、将产品图像进行灰度处理，获取工件产品灰度图；

步骤233、对所述工件产品灰度图进行二值化处理。

8.根据权利要求4所述的融合云端的产品分拣方法，其特征在于，所述步骤200还包括：

步骤260、利用canny边缘检测算子对工件产品边缘进行检测，获取工件产品轮廓边缘；

步骤270、调用多边形逼近算子及平滑滤波算子分别对所述边缘轮廓形状进行矫正、滤波，获取所述轮廓边缘的顶点数目及其角度范围；

步骤280、根据所述顶点数目及其角度范围，结合相机的像素尺寸，获取工件产品的尺寸。

Images