CN112150439B - 注塑件的自动分拣设备及分拣方法 - Google Patents

Abstract

本申请提供一种注塑件的自动分拣设备及分拣方法，所述方法包括:采集注塑件的双目图像；根据预设抓取位置，识别双目图像中的抓取点坐标，映射得到抓取点坐标在三维空间中的空间位置；按照空间位置抓取注塑件，并移动至缺陷检测位；在缺陷检测位，采集注塑件的外观图像；根据外观图像，对注塑件进行缺陷识别，并按照识别结果对注塑件进行分类放置。上述实施例提供的技术方案，可以实现注塑件缺陷的自动识别，并按照缺陷类别实现注塑件的自动分拣，可以提高注塑件的分拣效率，降低人工分拣的成本，提高分拣准确性。

Description

注塑件的自动分拣设备及分拣方法

技术领域

本申请涉及图像处理技术领域，特别涉及一种注塑件的自动分拣设备及分拣方法。

背景技术

我国拥有全世界最大的注塑件加工产业，产品出货量庞大、种类繁多。随着自动化水平的提升，注塑件的加工制造现已基本实现流水线式生产。注塑件的配料、烘料，上料、注塑、冷却、后处理等步骤已经可以在无人工干预的情况下自动生产。但是在注塑件的质检、分拣、码料、包装等环节则普遍依赖于人工操作。

现有的自动化分拣设备可以在一定程度上节约人工，其方案可简述为：由技术人员针对当前批次的注塑件对分拣设备进行定制化设计。根据上道工序的注塑件出料姿态与注塑件本身的外形特征，在传送带中设计一系列挡板、限位器、光电开关、拨片等附件。当注塑件进入到分拣位置时，挡板与限位器将各类零件统一限位到某一姿态。进而继续利用零件外形特征，控制不同种类的注塑件在传送带中触发不同的光电开关，摄动对应的拨片进行分拣。分拣过后，各类注塑件进入不同的下料道，经由治具带动进入缓存区域，等待送往质检与包装环节。

质检与包装环节则依旧依赖于人工操作。由于注塑件出货量较大，无法实现全部检测。质检人员将抽检的一批零件送往检测室，由专业人员进行人眼检测。检测的主要内容为外观瑕疵检测，包含注塑件的毛刺、划痕、断裂、裂纹、黑点、起泡、变色等外观缺陷。检测员将注塑件放于高亮光源之下，变换各种观测角度与光照角度，对各类瑕疵进行检测。对于正常无瑕疵的批次，后续搬运至包装车间进行包装。

上述现有方案的缺点在于：1、自动化分拣设备无法实现在线质检，质检依赖于人工。人工检测效率较低，检测可靠性难以保证。如进行全检，则需要较多的检测人员，极大地提升了检测环节的人员成本。2、自动化分拣设备设置较为繁琐，在注塑件制造中时常面临零件种类多，批次多，每种产量较小的情况。这种情况下，需要工人反复调整分拣装置。进而，面对过去未设置过分拣制式的新模具产品，往往需要针对其外形特点调整所有分拣环节。使用自动化设备反而会降低生产效率。

发明内容

本申请实施例提供了一种注塑件的自动分拣设备，用于提高分拣效率。

本申请实施例提供的一种注塑件的自动分拣方法，所述方法包括:

采集注塑件的双目图像；

根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置；

按照所述空间位置抓取所述注塑件，并移动至缺陷检测位；

在所述缺陷检测位，采集所述注塑件的外观图像；

根据所述外观图像，对所述注塑件进行缺陷识别，并按照识别结果对所述注塑件进行分类放置。

在一实施例中，在所述采集注塑件的双目图像之前，所述方法还包括：

通过传送装置传送所述注塑件至双目相机的视野范围。

在一实施例中，在所述采集注塑件的双目图像之后，所述方法还包括：

通过分类算法从所述双目图像中识别出所述注塑件的类型；

根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件的类型进行校验。

在一实施例中，所述按照识别结果对所述注塑件进行分类放置包括：

根据在所述注塑件上的当前抓取位置以及所述注塑件的识别结果，对所述注塑件进行分开码放操作。

在一实施例中，在所述采集所述注塑件的外观图像之后，所述方法还包括：

根据获取的当前批次样本模型，计算所述外观图像中注塑件位置与所述样本模型的映射关系；

根据所述映射关系，定位在所述注塑件上的当前抓取位置。

在一实施例中，所述根据所述外观图像，对所述注塑件进行缺陷识别，包括：

将所述外观图像输入训练好的瑕疵识别模型，获得所述瑕疵识别模型输出的识别结果；

其中，所述瑕疵识别模型是根据已标注缺陷类别的样品图像训练得到的。

本申请实施例还提供了一种注塑件的自动分拣设备，所述设备包括:

双目相机，用于采集注塑件的双目图像；

主控装置，连接所述双目相机，用于根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置；

机械抓手，连接所述主控装置，用于按照所述空间位置抓取所述注塑件，并移动至缺陷检测位；

图像采集装置，位于所述缺陷检测位，连接所述主控装置，用于采集所述注塑件的外观图像；

主控装置还用于根据所述外观图像，对所述注塑件进行缺陷识别，并按照识别结果控制所述机械抓手对所述注塑件进行分类放置。

在一实施例中，所述设备还包括:

传送装置，用于传送所述注塑件至所述双目相机的视野范围。

在一实施例中，所述主控装置还用于：

通过分类算法从所述双目图像中识别出所述注塑件的类型；

根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件的类型进行校验。

在一实施例中，所述主控装置还用于：

根据获取的当前批次样本模型，计算所述外观图像中注塑件位置与所述样本模型的映射关系；

根据所述映射关系，定位所述机械抓手在所述注塑件上的当前抓取位置；

根据在所述注塑件上的当前抓取位置以及所述注塑件的识别结果，控制所述机械抓手对所述注塑件进行分开码放操作。

本申请上述实施例提供的技术方案，通过准确抓取注塑件至缺陷检测位，采集注塑件的外观图像进行缺陷识别，并按照识别结果对所述注塑件进行分类放置，可以实现注塑件缺陷的自动识别，并按照缺陷类别实现注塑件的自动分拣，可以提高注塑件的分拣效率，降低人工分拣的成本，提高分拣准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种注塑件的自动分拣设备的框图；

图2为本申请另一实施例提供的一种注塑件的自动分拣设备的部分示意图；

图3为本申请又一实施例提供的一种注塑件的自动分拣设备的部分示意图；

图4为本申请实施例提供的一种注塑件的自动分拣方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本申请实施例提供的一种注塑件的自动分拣设备的框图。如图1所示，该设备包括:双目相机101、主控装置102、机械抓手103以及图像采集装置104。主控装置102分别连接双目相机101、机械抓手103以及图像采集装置104。

双目相机101用于采集注塑件106的双目图像。如图2所示，双目相机101包含左、右两台相机，各自独立成像，双目图像是指两台相机分别对注塑件106拍摄的图像。在一实施例中，如图2所示，上述设备还可以包括:传送装置105，用于传送所述注塑件106至所述双目相机101的视野范围。传送装置105可以包括传送带，通过传送带将注塑件106传送到双目相机101的视野范围。传送装置105可以连接主控装置102，由主控装置102统一控制；根据需要，也可单独控制。双目相机101拍摄的注塑件106的二维图像通过立体匹配技术可以还原其在传送带上的位置与姿态。

主控装置102可以是计算机、服务器或者可编程的处理芯片。主控装置102可以获取双目相机101采集的双目图像，根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置。

其中，预设抓取位置可以由主控装置102从厂家数据库中调取得到，进而运用人工智能图像分割算法在双目图像中识别出抓取点坐标。根据需要，还可以识别出其他关键点位置。在一实施例中，预设抓取位置可以是长柄顶部，主控装置102可以对双目图像中使用基于深度神经网络的图像分割模型，区分出镜片、长柄、背景等区域，以及长柄的顶部、底部所在的位置。之后联合左右相机的图像数据(即双目图像)进行立体匹配，找到若干关键点、预设抓取位置在左右图像中各自的坐标(即抓取点坐标)，之后根据事先标定完毕的双目相机101标定参数(即双目图像中坐标与三维空间中坐标的映射关系)，可还原出关键点、抓取点坐标在实际三维空间中的坐标(即空间位置)。

在一实施例中，主控装置102还可以通过分类算法从所述双目图像中识别出所述注塑件106的类型；根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件106的类型进行校验。其中，类型可以分为类别和型号，分类算法可以利用已知类型的双目图像训练得到。双目图像输入训练好的分类算法，即可获得分类算法输出的注塑件106的类型。主控装置102可以运用人工智能图像检测与分类算法，从双目图像中识别出注塑件106所在的区域以及注塑件106的种类和型号。

其中，当前批次的工单信息可以由主控装置102通过与产线MES(ManufacturingExecutionSystem，制造执行系统)通信，从产线MES系统获取得到。根据需要，工单信息也可提前存储在主控装置102的存储器中。工单信息中可以包括当前批次的镜片种类和型号，进而主控装置102可以将识别得到的种类和型号与工单信息包含的种类和型号进行比对，如果种类或型号不一致，可以认为产线生产出错，可以发出告警信息，提示工作人员。

机械抓手103可以接收主控装置102发送的空间位置。机械抓手103用于按照所述空间位置抓取所述注塑件106，并移动至缺陷检测位。此空间位置可以认为是机械抓手103的抓取位置，机械抓手103可以移动到此空间位置抓取所述注塑件106。其中，缺陷检测位是指图像采集装置104的视野范围，缺陷检测位可以认为是固定不变的，可以存储在机械抓手103的存储单元中，从而机械抓手103可以抓取注塑件106，并移动注塑件106至缺陷检测位。

图像采集装置104位于所述缺陷检测位，用于采集所述注塑件106的外观图像。在一实施例中，机械抓手103可以进行转动，从而图像采集装置104可以从不同方向对注塑件106进行拍摄，从而在多个方向上获得注塑件106的外观图像。图像采集装置104可以是高分辨率的工业相机。

主控装置102可以获取图像采集装置104采集的外观图像，根据所述外观图像，对所述注塑件106进行缺陷识别，并按照识别结果控制所述机械抓手103对所述注塑件106进行分类放置，如图3所示。

其中，缺陷识别方式可以是将外观图像输入训练好的瑕疵识别模型，获得所述瑕疵识别模型输出的识别结果。在一实施例中，当瑕疵识别模型训练阶段，样本数据仅标记为存在瑕疵或不存在瑕疵时，则外观图像的识别结果可以是不存在瑕疵或存在瑕疵。根据训练时样本数据标注细度的不同，识别结果也可以是不存在瑕疵或者存在毛刺、划痕、断裂、裂纹、黑点、起泡或变色。

在一实施例中，所述瑕疵识别模型可以是根据已标注缺陷类别的样品图像训练得到的。缺陷类别可以是毛刺、划痕、断裂、裂纹、黑点、起泡、变色。样品图像是指已知存在何种缺陷的注塑件106的外观图像，样品图像还可以包括不存在缺陷的注塑件106的外观图像。在训练阶段，可以将样品图像输入深度神经网络检测模型，调整深度神经网络检测模型的参数，使深度神经网络检测模型输出的识别结果与已标注的缺陷类别之间的误差最小，参数优化后的深度神经网络检测模型可以作为瑕疵识别模型。将待识别的注塑件106的外观图像输入上述瑕疵识别模型，可以获得注塑件106是否存在毛刺、划痕、断裂、裂纹、黑点、起泡、变色等缺陷的识别结果。

在一实施例中，主控装置102可以将识别结果发送给机械抓手103，从而机械抓手103可以将同类瑕疵的注塑件106放置在一起，将没有瑕疵的注塑件106放置在一起(即分类放置)。例如，存在毛刺的注塑件106可以放置在一起，便于后期打磨处理。断裂的注塑件106可以放置在一起，可以作为废品处理。

在一实施例中，主控装置102还用于：根据获取的当前批次样本模型，计算所述外观图像中注塑件106位置与所述样本模型的映射关系；根据所述映射关系，定位所述机械抓手103在所述注塑件106上的当前抓取位置。根据在所述注塑件106上的当前抓取位置以及所述注塑件106的识别结果，控制所述机械抓手103对所述注塑件106进行分开码放操作。

其中，样本模型是指为当前批次设计好的注塑件106的三维模型。样本模型可以由主控装置102从产线MES系统获取，也可以存储在主控装置102中。主控装置102可以先使用图像校正和边沿提取等技术，从外观图像中识别出注塑件106区域，之后将注塑件106区域与样本模型对齐，计算外观图像中注塑件106各个关键点与样本模型的相应关键点之间的映射关系。从而根据此映射关系以及外观图像中抓取位置的坐标，可以计算出机械抓手103相对样本模型的当前抓取位置。相对样本模型而已，当前抓取位置可以是样本模型的某个部位。从而主控装置102可以向机械抓手103发送当前抓取位置和识别结果。机械抓手103基于识别结果，可以将注塑件106移动至相应的码放区域，之后按照当前抓取位置以及标准位置，可以适当调整方向，使注塑件106整齐叠放在相应区域。

本申请上述实施例提供的技术方案，通过准确抓取注塑件106至缺陷检测位，采集注塑件106的外观图像进行缺陷识别，并按照识别结果对所述注塑件106进行分类放置，可以实现注塑件106缺陷的自动识别，并按照缺陷类别实现注塑件106的自动分拣，可以提高注塑件106的分拣效率，降低人工分拣的成本，提高分拣准确性。

图4是本申请实施例提供的一种注塑件的自动分拣方法的流程示意图。该方法可以由图1所示的自动分拣设备执行，如图4所示，该方法包括:以下步骤S310、步骤S320、步骤S330、步骤S340以及步骤S350。

步骤S310：采集注塑件106的双目图像；

步骤S320：根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置；

步骤S330：按照所述空间位置抓取所述注塑件106，并移动至缺陷检测位；

步骤S340：在所述缺陷检测位，采集所述注塑件106的外观图像；

步骤S350：根据所述外观图像，对所述注塑件106进行缺陷识别，并按照识别结果对所述注塑件106进行分类放置。

上述方法实施例中各个步骤的实现方式详见上述装置实施例。具体可以由自动分拣设备通过双目相机101、主控装置102、机械抓手103以及图像采集装置104完成上述步骤。

在一实施例中，在上述步骤S310采集注塑件106的双目图像之前，本申请实施例提供的方法还包括：通过传送装置105传送所述注塑件106至双目相机101的视野范围。

在一实施例中，在上述步骤S310采集注塑件106的双目图像之后，本申请实施例提供的方法还包括：通过分类算法从所述双目图像中识别出所述注塑件106的类型；根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件106的类型进行校验。

在一实施例中，上述步骤S350按照识别结果对所述注塑件106进行分类放置具体包括：根据在所述注塑件106上的当前抓取位置以及所述注塑件106的识别结果，对所述注塑件106进行分开码放操作。

在一实施例中，在步骤S340采集所述注塑件106的外观图像之后，所述方法还包括：根据获取的当前批次样本模型，计算所述外观图像中注塑件106位置与所述样本模型的映射关系；根据所述映射关系，定位在所述注塑件106上的当前抓取位置。

在一实施例中，上述步骤S350根据所述外观图像，对所述注塑件106进行缺陷识别，包括：将所述外观图像输入训练好的瑕疵识别模型，获得所述瑕疵识别模型输出的识别结果；其中，所述瑕疵识别模型是根据已标注缺陷类别的样品图像训练得到的。

本申请实施例提供的技术方案，通过对注塑件106的类型、瑕疵、抓取的位置都有精确的检测，机械抓手103可以汇总上述信息，完成瑕疵分拣、正常品分类码放的一站式操作。并且，正常品已经经过整齐码放，后道工序可衔接一台自动包装设备，进一步提升生产效率，减少人工成本。主控设备可存储全部监测信息，以备工厂进行数据回溯、工艺优化等项目。

随着注塑行业的科技进步，注塑件的应用领域愈发广泛而专业。这对注塑件的加工质量提出了更高的需求，传统的人工检测手段难以实现对各类细微瑕疵的检测。加之，使用挡板拨片式自动分拣还会对注塑件造成二次损伤。本申请实施例提供的技术方案，利用双目视觉、视觉检测等技术，自动分拣设备可嵌入注塑件现有产线。视觉检测手段拥有实时快速检测的特点，提高检测效率。视觉检测分辨率较高，相较于人眼检测有着检测精确、标准统一的优势。使用智能识别抓取位置的分拣方案，避免了注塑件质检、注塑件与分拣设备之间的磕碰与二次损伤。设备实现全自动检测，并与MES通信，读取当前工单信息，进一步避免繁琐的人工设置带来的效率降低。

综上，本申请上述技术方案，通过在线检测，自动分拣设备可以与产线紧密结合，可进行数据通信，自动检测、分拣、码料，数据回传数据库。

通过视觉+人工智能的分拣方法，相较于人工统计方法，此方法有着数据获取速度快、效率高、准确度高、正确性强的优点。并且可以进行24小时不间断连续工作，节约人力成本。

视觉分拣手段相比于传统手段，避免注塑件磕碰损伤。

视觉方法已经获取了加工过程中的全部图像信息，可依照不同厂家的不同检测需求灵活切换算法。

Claims (6)

1.一种注塑件的自动分拣方法，其特征在于，所述方法包括:

采集注塑件的双目图像；

根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置；

按照所述空间位置抓取所述注塑件，并移动至缺陷检测位；

在所述缺陷检测位，采集所述注塑件的外观图像；

根据所述外观图像，对所述注塑件进行缺陷识别，并按照识别结果对所述注塑件进行分类放置；其中，所述根据所述外观图像，对所述注塑件进行缺陷识别，包括：将所述外观图像输入训练好的瑕疵识别模型，获得所述瑕疵识别模型输出的识别结果；其中，所述瑕疵识别模型是根据已标注缺陷类别的样品图像训练得到的；

所述按照识别结果对所述注塑件进行分类放置，包括：

使用图像校正和边沿提取技术，从外观图像中识别出注塑件区域，之后将注塑件区域与样本模型对齐，计算外观图像中注塑件各个关键点与样本模型的相应关键点之间的映射关系；其中，所述样本模型是指为当前批次设计好的注塑件的三维模型；根据映射关系以及外观图像中抓取位置的坐标，计算出相对样本模型的当前抓取位置；基于识别结果，将注塑件移动至相应的码放区域，之后按照当前抓取位置以及标准位置，调整方向，使注塑件叠放在相应区域。

2.根据权利要求1所述的方法，其特征在于，在所述采集注塑件的双目图像之前，所述方法还包括：

通过传送装置传送所述注塑件至双目相机的视野范围。

3.根据权利要求1所述的方法，其特征在于，在所述采集注塑件的双目图像之后，所述方法还包括：

通过分类算法从所述双目图像中识别出所述注塑件的类型；

根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件的类型进行校验。

4.一种注塑件的自动分拣设备，其特征在于，所述设备包括:

双目相机，用于采集注塑件的双目图像；

主控装置，连接所述双目相机，用于根据预设抓取位置，识别所述双目图像中的抓取点坐标，映射得到所述抓取点坐标在三维空间中的空间位置；

机械抓手，连接所述主控装置，用于按照所述空间位置抓取所述注塑件，并移动至缺陷检测位；

图像采集装置，位于所述缺陷检测位，连接所述主控装置，用于采集所述注塑件的外观图像；

主控装置还用于根据所述外观图像，对所述注塑件进行缺陷识别，并按照识别结果控制所述机械抓手对所述注塑件进行分类放置；所述根据所述外观图像，对所述注塑件进行缺陷识别，包括：将所述外观图像输入训练好的瑕疵识别模型，获得所述瑕疵识别模型输出的识别结果；其中，所述瑕疵识别模型是根据已标注缺陷类别的样品图像训练得到的；

所述按照识别结果对所述注塑件进行分类放置，包括：

使用图像校正和边沿提取技术，从外观图像中识别出注塑件区域，之后将注塑件区域与样本模型对齐，计算外观图像中注塑件各个关键点与样本模型的相应关键点之间的映射关系；其中，所述样本模型是指为当前批次设计好的注塑件的三维模型；根据映射关系以及外观图像中抓取位置的坐标，计算出相对样本模型的当前抓取位置；基于识别结果，将注塑件移动至相应的码放区域，之后按照当前抓取位置以及标准位置，调整方向，使注塑件叠放在相应区域。

5.根据权利要求4所述的自动分拣设备，其特征在于，所述设备还包括:

传送装置，用于传送所述注塑件至所述双目相机的视野范围。

6.根据权利要求4所述的自动分拣设备，其特征在于，所述主控装置还用于：

通过分类算法从所述双目图像中识别出所述注塑件的类型；

根据获取的当前批次工单信息，将所述工单信息指示的类型与识别出的所述注塑件的类型进行校验。