CN110180799A - 一种基于机器视觉的零件分拣方法及系统 - Google Patents

Abstract

本发明提供了一种基于机器视觉的零件分拣方法及系统，涉及零件分拣技术领域。基于机器视觉的零件分拣方法包括以下步骤：S1、基于套料册和/或零件样本生成零件图像模板库；S2、采集现场图像，提取现场零件的图像信息及其坐标信息；S3、将现场零件的图像信息与零件图像模板库进行匹配，确定零件类型；S4、根据零件类型规划分拣机构的运行路径和捡取动作参数。采用该方法实现了对现场零件的主动捡取动作，并将捡取的零件分类投放至对应的位置，从而实现了在前后工序存在较大空间距离和时间间隔的情况下，对各种零件进行准确判断并完成分拣动作，适用范围更大。

Description

一种基于机器视觉的零件分拣方法及系统

技术领域

本发明涉及零件分拣技术领域，具体涉及一种基于机器视觉的零件分拣方法及系统。

背景技术

在生产制造业中，分拣零件一般是整个生产工序中的必要环节，传统的分拣方法是通过专门的工人对零件进行人工识别，并控制捡取机构分拣出对应的零件。但是，因人工分拣不可避免地存在失误，所以这种分拣方法既无法满足高效、准确的生产要求，又不能适应工业自动化的发展。

如授权公告号为CN103785622B、授权公告日为2018.12.30的中国发明专利公开了基于机器视觉的零件分拣装置的零件分拣方法，并具体公开了零件分拣装置包括图像采集系统、图像处理系统和分拣机构，图像采集系统为用于定时采集零件图像的CCD相机；图像处理系统为用于从零件图像获取分拣信息并发送推送指令的图像处理系统；分拣机构还包括：用于接收推送指令并推送零件的气缸；与气缸位置配合且用于接收零件的若干流水线分支。分拣机构中的流水线传送零件，图像采集系统自动采集由流水线传入摄像区域的零件图像，再由图像输入接口传入计算机的处理平台，继而由图像处理算法模块做出判断，最后由输出控制接口发出指令，命令分拣机构将该零件进行分类输出。

现有技术的零件分拣方法中零件从流水线到流水线分支的位置转移距离小，仅适用于流水线式快速生产作业中。但是，在生产工艺中前一工序与后一工序之间可能存在较大的空间距离和时间间隔，不能通过流水线来实现对接，比如，机加工后的金属零件需要先分拣和码垛，之后根据生产需要再进行取用和转移。综上所述，现有技术的零件分拣方法仅适用于流水线式生产作业，不能用于前后工序的空间距离和时间间隔大的情况，适用范围有限。

发明内容

为了解决上述问题，本发明的目的在于提供了一种基于机器视觉的零件分拣方法，以解决现有技术的分拣方法仅适用于流水线式生产作业，不能用于前后工序的空间距离和时间间隔大的情况，适用范围有限的问题。同时本发明的目的还在于提供一种基于机器视觉的零件分拣系统。

本发明的基于机器视觉的零件分拣方法的技术方案为：

基于机器视觉的零件分拣方法，包括以下步骤：

S1、制作零件图像模板库；

S2、采集现场图像，提取现场零件的图像信息及其坐标信息；

S3、将现场零件的图像信息与零件图像模板库进行匹配，确定零件类型；

S4、根据零件类型规划分拣机构的运行路径和捡取动作参数。

有益效果：先将零件的样本信息录入制作成对应的零件图像模板库，采集现场图像，根据图像信息获得现场零件信息，再将现场零件的图像信息与零件图像模板库进行匹配确定类型，最后规划出分拣吊机的运行路径，实现了对现场零件的主动捡取动作，并将捡取的零件分类投放至对应的位置，从而实现了在前后工序存在较大空间距离和时间间隔的情况下，对各种零件进行准确判断并完成分拣动作，适用范围更大。

进一步的，为了提高样本信息的准确度，所述S1包括：

基于套料册和/或零件样本进行图形标注与训练工作得出训练模型；

将所述各训练模型分别对应至零件图像模板库中。

进一步的，为了提高现场零件的识别效率，所述S2包括：

对采集的现场图像进行边缘层处理，提取现场图像的边界特征；

根据所述边界特征通过训练模型预测并锁定现场零件对应的零件图像模板库。

进一步的，为了方便后续工序取用各类型的零件，所述S4包括：

根据零件类型确定对应的存放架，根据现场零件的坐标信息规划出现场零件所在位置与对应的存放架之间的运行路径。

进一步的，为了方便控制零件的捡取动作，所述S4还包括：

所述分拣机构为电磁吊机，根据零件类型确定电磁吊机进行捡取动作的磁吸力大小。

本发明的基于机器视觉的零件分拣系统的技术方案为：

基于机器视觉的零件分拣系统，包括：

样本录入模块，用于制作零件图像模板库；

图像采集模块，用于采集现场图像；

视觉处理模块，包括图形处理单元、信息匹配单元、控制单元；所述图形处理单元，用于根据现场图像提取现场零件的图像信息及其坐标信息；所述信息匹配单元，用于将现场零件的图像信息与零件图像模板库进行匹配，确定零件类型；所述控制单元，用于控制分拣机构的运行路径和捡取动作参数；

有益效果：先将零件的样本信息录入对应的零件图像模板库，采集现场图像，根据图像信息获得现场零件信息，再将现场零件的图像信息与零件图像模板库进行匹配确定类型，最后规划出分拣吊机的运行路径，实现了对现场零件的主动捡取动作，并将捡取的零件分类投放至对应的位置，从而实现了在前后工序存在较大空间距离和时间间隔的情况下，对各种零件进行准确判断并完成分拣动作，适用范围更大。

分拣机构，用于分拣现场零件至规划路径的终点位置。

进一步的，为了提高样本信息的准确度，所述样本录入模块包括：

标注训练单元，用于基于套料册和/或零件样本对样本进行图形标注和训练工作并得出训练模型；

模型存储单元，用于存储所述各训练模型至对应的零件图像模板库中。

进一步的，为了提高现场零件的识别效率，所述图形处理单元包括：

边缘处理子单元，用于对采集的现场图像进行边缘层处理，提取现场图像的边界特征；

预测锁定子单元，用于根据所述边界特征通过训练模型预测并锁定现场零件对应的零件图像模板库。

进一步的，为了方便后续工序取用各类型的零件，所述零件分拣系统还包括对应各零件类型的存放架，所述视觉处理模块还包括：路径规划单元，用于根据零件的坐标信息规划出现场零件所在位置与对应的存放架之间的运行路径。

进一步的，为了方便控制零件的捡取动作，所述分拣机构为电磁吊机，所述控制单元还用于根据零件类型确定电磁吊机进行捡取动作的磁吸力大小。

附图说明

图1为本发明的基于机器视觉的零件分拣方法的具体实施例1中切割车间的俯视示意图；

图2为本发明的基于机器视觉的零件分拣方法的具体实施例1中切割车间的左视示意图；

图3为本发明的基于机器视觉的零件分拣方法的具体实施例1的工作流程图；

图4为本发明的基于机器视觉的零件分拣方法的具体实施例1的各模块之间的工作示意图；

图5为本发明的基于机器视觉的零件分拣方法的具体实施例1的逻辑运行图。

图中：1-待处理存放区域、2-移动平台、3-数控切割机、4-数控切割台、5-余料存放架、6-小散件存放架、7-拼小组立零件存放架、8-大板存放架、9-分拣吊机、10-控制柜、11-应急停车按钮、12-移动横梁、13-LED光源、14-电磁块、15-电机、16-钢缆、17-数据传输线缆、18-工业CCD相机。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的基于机器视觉的零件分拣方法的具体实施例1，如图1至图5所示，基于机器视觉的零件分拣方法涉及基于机器视觉的零件分拣系统，并以该零件分拣系统为硬件基础进行该零件分拣方法的执行，基于机器视觉的零件分拣方法用于机加工车间，车间的前端供应金属原料，经过机加工处理后金属原料变为零件成品，机加工处理后的出料不仅限于单一类型的零件，还包括其他类型的零件和余料。

在本实施例中，机加工车间为数控切割车间，相应的，金属原料为金属板材原料，在数控切割车间的前端设有待处理存放区域1，以存放金属板材原料；数控切割车间设有数控切割机3用于对金属板材原件进行切割，从而形成各种类型、形状、大小的零件成品，经切割之后金属板材原料成为废弃的余料，即切割处理后的出料包括各种类型的零件和余料；在数控切割车间还设有各种存放架，存放架用于承接切割处理后的各种类型零件和余料，且各存放架用于承接对应类型的零件和余料，对零件分类归纳以便于后续生产的取用。数控切割机3包括数控切割台4，通过数控切割台4支撑处于切割过程的金属板材原料、经切割后的零件成品以及经切割后的余料，在数控切割台4与待处理存放区域1之间设有移动平台2，通过移动平台2将待处理存放区域1的金属板材原料转移至数控切割台4上。

在数控切割车间的上方设有基于机器视觉的零件分拣系统，基于机器视觉的零件分拣系统包括样本录入模块、图像采集模块、视觉处理模块、分拣吊机9，分拣吊机9形成用于分拣现场零件至规划路径的终点位置的分拣机构。其中，样本录入模块包括标注训练单元和模型存储单元，标注训练单元基于套料册和零件样本对样本进行图形标注和训练工作，并得出各种类型零件的训练模型，各训练模型存储在对应的零件图像模板库中，整个样本录入过程是在工业互联网平台云端上完成的。套料册中记载有各种规格零件的尺寸、形状以及重量形成等相关数据，零件样本则为整个系统提供零件的实物图像和真实参数，在零件样本的实物图像与其数据之间进行一对一的标注对应，并以零件样本的实物图像和套料册记载的对应数据分别为两个变量，根据多组实物图像和对应数据在云端应用卷积神经网络算法训练得出关于两个变量的训练模型，通过该训练模型可预测现场零件的类型，提高零件的识别效率。相应的，以零件样本的实物图像和相关数据作为样本信息，各样本信息与对应的训练模型形成对应的零件图像模板库，各零件图像模板库存储于模型存储单元中。

图像采集模块包括工业CCD相机18、图像采集卡以及用于对车间现场进行补光的LED光源13，在本实施例中，工业CCD相机18为两台分别安装于分拣吊机9的移动横梁12的左右两侧位置，可随移动横梁12沿车间的纵向方向进行前后移动，相应的，切割车间的数控切割机3也有两台且分别布置于车间的左右两侧位置。根据数控切割机3的实际位置并结合工业CCD相机18的拍摄范围确定工业CCD相机18的具体安装位置，以能够清晰拍摄到完整的数控切割机3、数控切割台4、各类型的存放架以及其他相关的部分场地为准。

LED光源13设有多个且均布于车间的顶部位置，以对工业CCD相机18进行补光确保拍摄现场图像的清晰度，LED光源13产生的光线投射于现场零件上，突出零件特征，进而降低后续的图像处理难度。工业CCD相机18采集现场图像存储在图像采集卡上，并通过数据传输线缆17连接至视觉处理模块，由视觉处理模块对图像采集卡上的现场图像进行后续处理。

视觉处理模块包括图形处理单元、信息匹配单元、路径规划单元、控制单元，视觉处理的主要步骤也是在云端完成的，在得到处理结果后下发至控制单元控制分拣吊机进行工作。其中，图形处理单元对现场图片进行拼接组合，还原车间的现场图像并以车间场地作为参考获取现场零件的坐标信息；图形处理单元包括边缘处理子单元、预测锁定子单元，边缘处理子单元对还原的现场图像进行边缘层处理，经过边缘层处理后图像主要显示现场物体的边界特征，边界特征主要包括边长、周长、角度、曲率、直径等数据；预测锁定子单元根据边界特征的相关数据通过训练模型预测得出结果集，根据预测结果锁定边界特征所对应的零件图像模板库。

信息匹配单元将现场零件的图像信息与零件图像模板库中的样本信息进行匹配，匹配过程包括图像匹配和数据匹配，其中，图像匹配是将现场零件与样本零件进行图像匹配，确定二者的图像一致，数据匹配是将现场零件的边界特征与对应的样本参数进行匹配，确定二者的参数一致，根据现场零件与样本信息匹配得到准确结果，提高识别效率和识别准确度。在确定现场零件的类型后，从零件图像模板库的样本信息中获取现场零件或余料对应的重量参数。

路径规划单元根据不同类型的现场零件和余料确定相应的存放架，在本实施例中，金属板材原料经切割处理后产生大板、拼小组立零件、小散件以及余料，相应的，车间内设有大板存放架8、拼小组立零件存放架7、小散件存放架6、余料存放架5分别用于承接相应的现场零件和余料。路径规划单元根据现场零件和余料的定位信息，确定与之对应的存放架并规划出从现场零件和余料至对应的存放架之间的吊机移动路径。

控制单元与分拣吊机9控制连接，控制分拣吊机9的移动路径和捡取动作参数，分拣吊机9为电磁吊机，包括移动横梁12、电机15、行车、钢缆16以及电磁块14，移动横梁12可前后移动安装于车间的上方，行车可左右横向移动安装于移动横梁12上，电机15与电磁块14之间通过钢缆16连接。捡取的具体过程为：移动横梁12和行车运行至现场零件和余料的正上方，电机15释放钢缆16使电磁块14下移，控制单元控制电磁块14的电流参数，电磁块14产生能够捡取现场零件或者余料的磁吸力，然后再控制行车按规划路径运行至对应的存放架上方，控制电磁块14断电将捡取的现场零件或者余料释放至存放架上。采用该基于机器视觉的零件分拣方法，实现了对现场零件的主动捡取动作，并将捡取的零件分类投放至对应的位置，在前后工序存在较大空间距离和时间间隔的情况下，对各种零件进行准确判断并完成分拣动作，适用范围更大。

一台分拣吊机9对应车间中的两台数控切割机3和两组存放架，车间中左侧的数控切割机3对应左侧的存放架组，右侧的数控切割机3对应右侧的存放架组，且左、右两侧的存放架分别沿前后方向间隔布置，且左侧的存放架组与右侧的存放架组相对布置，在左侧的存放架组和右侧的存放架组之间形成供后续加工、拼接工序取用零件的运输通道。以左侧的存放架组为例，沿前后方向依次布置有余料存放架5、小散件存放架6、拼小组立零件存放架7以及大板存放架8，仅通过一台分拣吊机9的分拣工作满足左、右两侧的数控切割机3的出料分拣需要，且左、右两侧的数控切割机3错开工作。当左侧完成切割处理后，分拣吊机9对左侧的各种类型的零件和余料进行分拣码垛至相应的存放架上，此时右侧正在进行切割处理；当右侧完成切割处理时分拣吊机9正好完成对左侧的分拣工作，可及时对右侧的各种类型的零件和余料进行分拣码垛，实现了分拣吊机9的不间断运行，提高了分拣的工作效率。

此外，切割车间中还设有控制柜10，控制柜10中内置有控制单元和应急处理模块，控制单元、应急处理模块分别与分拣吊车9控制连接，当分拣吊机9出现异常情况时，应急处理模块可控制分拣吊车9自动紧急停车，然后切换成人工操作模式进行应急处理。在车间的左右两侧均设有控制分拣吊车9紧急断电的应急停车按钮11，其中，右侧的应急停车按钮11设于控制柜10上，当出现紧急情况且应急处理模块未控制分拣吊车9自动紧急停车时，可通过工人手动操作应急停车按钮11，实现分拣吊机9的人工紧急停车。

本发明的基于机器视觉的零件分拣方法的具体实施例2，与具体实施例1的不同在于，如果零件样本的参数和图形信息足够全面准确时，在样本录入步骤中，录入材料可仅为零件样本，通过对零件样本进行图形标注和训练工作得到训练模型。在其他实施例中，如果套料册中提供的零件样本参数和图形信息足够全面准确时，在样本录入步骤中，录入材料可仅为套料册。

本发明的基于机器视觉的零件分拣方法的具体实施例3，与具体实施例1的不同在于，基于机器视觉的零件分拣系统不仅限应用在切割车间中，可根据机加工车间的实际需要，将该基于机器视觉的零件分拣系统可应用于焊接车间中。在其他实施中，切割车间还可替换成冲压车间等。

本发明的基于机器视觉的零件分拣方法的具体实施例4，与具体实施例1的不同在于，根据车件实际情况和出料种类，分拣吊机可替换成钳式吊机，钳式吊机的下端设有用于夹取零件的钳口，通过钳口的开合实现准确地夹取和释放零件，相比于电磁吊机可适用于非磁性材料的零件，通用性更好。

本发明的基于机器视觉的零件分拣系统的具体实施例，与本发明的基于机器视觉的零件分拣方法的具体实施方式中基于机器视觉的零件分拣系统的各具体实施例相同，在此不再赘述。

Claims (10)

1.一种基于机器视觉的零件分拣方法，其特征是，包括以下步骤：

S1、制作零件图像模板库；

S2、采集现场图像，提取现场零件的图像信息及其坐标信息；

S3、将现场零件的图像信息与零件图像模板库进行匹配，确定零件类型；

S4、根据零件类型规划分拣机构的运行路径和捡取动作参数。

2.根据权利要求1所述的基于机器视觉的零件分拣方法，其特征是，所述S1包括：

基于套料册和/或零件样本进行图形标注与训练工作得出训练模型；

将所述各训练模型分别对应至零件图像模板库中。

3.根据权利要求2所述的基于机器视觉的零件分拣方法，其特征是，所述S2包括：

对采集的现场图像进行边缘层处理，提取现场图像的边界特征；

根据所述边界特征通过训练模型预测并锁定现场零件对应的零件图像模板库。

4.根据权利要求1所述的基于机器视觉的零件分拣方法，其特征是，所述S4包括：

根据零件类型确定对应的存放架，根据现场零件的坐标信息规划出现场零件所在位置与对应的存放架之间的运行路径。

5.根据权利要求1所述的基于机器视觉的零件分拣方法，其特征是，所述S4还包括：

所述分拣机构为电磁吊机，根据零件类型确定电磁吊机进行捡取动作的磁吸力大小。

6.一种基于机器视觉的零件分拣系统，其特征是，包括：

样本录入模块，用于制作零件图像模板库；

图像采集模块，用于采集现场图像；

视觉处理模块，包括图形处理单元、信息匹配单元、控制单元；所述图形处理单元，用于根据现场图像提取现场零件的图像信息及其坐标信息；所述信息匹配单元，用于将现场零件的图像信息与零件图像模板库进行匹配，确定零件类型；所述控制单元，用于控制分拣机构的运行路径和捡取动作参数；

分拣机构，用于分拣现场零件至规划路径的终点位置。

7.根据权利要求6所述的基于机器视觉的零件分拣系统，其特征是，所述样本录入模块包括：

标注训练单元，用于基于套料册和/或零件样本对样本进行图形标注和训练工作并得出训练模型；

模型存储单元，用于存储所述各训练模型至对应的零件图像模板库中。

8.根据权利要求7所述的基于机器视觉的零件分拣系统，其特征是，所述图形处理单元包括：

边缘处理子单元，用于对采集的现场图像进行边缘层处理，提取现场图像的边界特征；

预测锁定子单元，用于根据所述边界特征通过训练模型预测并锁定现场零件对应的零件图像模板库。

9.根据权利要求6所述的基于机器视觉的零件分拣系统，其特征是，所述零件分拣系统还包括对应各零件类型的存放架，所述视觉处理模块还包括：

路径规划单元，用于根据零件的坐标信息规划出现场零件所在位置与对应的存放架之间的运行路径。

10.根据权利要求6所述的基于机器视觉的零件分拣系统，其特征是，所述分拣机构为电磁吊机，

所述控制单元还用于根据零件类型确定电磁吊机进行捡取动作的磁吸力大小。