CN114405865A - 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统 - Google Patents

Abstract

本发明公开了一种视觉引导钢板分拣方法和引导钢板分拣方法装置以及系统，该方法用于视觉引导钢板分拣装置，该装置包括地轨、分拣机器人和相机模块，分拣机器人包括底座、机械臂和端拾器，底座与地轨适应性结合，相机模块和端拾器结合并设置于机械臂的执行端，该方法包括：获取钢板的定位信息；启动分拣机器人根据获取的定位拍照点位坐标数据控制分拣机器人执行走点操作，以及根据获取的钢板的位姿数据控制分拣机器人和控制相机模块动作并获取待分拣工件的图像信息；获取当前待分拣工件的编号以及当前待分拣工件的抓取数据和放置数据，并控制相应的分拣机器人执行分拣作业。本方法能实现分拣机器人的手眼协同融合作业，提升精确度且更加智能。

Description

视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统

技术领域

本发明涉及自动化技术领域，尤其是涉及一种视觉引导钢板分拣方法和视觉引导钢板分拣装置以及系统。

背景技术

钢板分拣作为制造业和重工行业也最基础的生产及物流模块，有着承上启下的关键作用，其生产效率影响下料后的实际加工生产，也能反馈影响上游的原材料加工及上料。当前智能制造的发展中，钢板分拣模块在保证设备的先进性和稳定性，工艺布局和工艺流程系统的合理性，工作效率的高效性，整体物流系统流畅性等方面一直是重点推动方向。

在相关技术中，大部分钢板分拣场景采用人工分拣或手动操作机械设备进行钢板分拣，部分采用自动化分拣设备的钢板分拣场景使用预先配置机器人轨迹进行分拣，无法准确区分工件和废料，分拣效率低，稳定性低，不够智能。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的之一在于提出一种视觉引导钢板分拣方法，能实现分拣机器人的手眼协同融合作业，能实现精确分拣，提升分拣效率，稳定性高且更加智能。

本发明的目的之二在于提出一种视觉引导钢板分拣装置。

本发明的目的之三在于提出一种视觉引导钢板分拣系统。

为了达到上述目的，本发明第一方面实施例提出的视觉引导钢板分拣方法，用于视觉引导钢板分拣装置，所述视觉引导钢板分拣装置包括地轨、分拣机器人和相机模块，所述分拣机器人包括底座、机械臂和端拾器，所述底座与所述地轨适应性结合，所述相机模块和所述端拾器结合并设置于所述机械臂的执行端，所述视觉引导钢板分拣方法包括：获取所述钢板的定位信息；启动所述分拣机器人并获取定位拍照点位坐标数据，根据所述定位拍照点位坐标数据控制所述分拣机器人走点至定位拍照点位，以及控制所述相机模块进行拍照以获取所述钢板的位姿数据；根据所述钢板的位姿数据获取分拣拍照点位坐标数据，以及根据所述分拣拍照点位坐标数据控制所述分拣机器人走点至拍照点位，控制所述相机模块进行拍照以获取所述待分拣工件的图像信息；根据所述待分拣工件的图像信息获取当前待分拣工件的编号，根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据和放置数据；根据所述抓取数据控制相应的所述分拣机器人执行走点动作、抓取动作和开磁操作中的至少一种，以及根据所述放置数据控制相应的所述分拣机器人执行走点动作、放置动作和放磁操作中的至少一种。

根据本发明实施例提出的视觉引导钢板分拣方法，设置视觉引导钢板分拣装置的相机模块和与端拾器配合设置于机械臂的执行端，使得相机模块的视野范围可以随分拣机器人的运动而覆盖整板。采用分拣机器人与相机模块的手眼协同融合作业，能使得分拣机器人能结合视觉场景进行分拣操作，能实现精确分拣，提升分拣效率，更加智能。以及将分拣机器人的底座与地轨适应性结合能扩大单个分拣机器人的作业范围，实现长距离抓取和放置工件的操作。通过对待分拣工件进行编号，根据编号获取抓取数据和放置数据，并控制分拣机器人进行分拣，可灵活控制分拣机器人的分拣动作，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。基于视觉精准识别技术，在自动流程下无需人工操作，实现智能分拣代替人工决策，减少人工误识别的情况。

在本发明的一些实施例中，启动所述分拣机器人并获取定位拍照点位坐标数据，根据所述定位拍照点位坐标数据控制所述分拣机器人走点至定位拍照点位，以及控制所述相机模块进行拍照以获取所述钢板的位姿数据，包括：确定需要执行定位操作的所述分拣机器人并判断其状态；启动所述分拣机器人并运行定位程序；控制所述相机模块进行拍照后获取所述钢板的图像信息；根据所述图像信息获取所述钢板的位姿数据。

在本发明的一些实施例中，启动所述分拣机器人并运行定位程序，以及，控制所述相机模块进行拍照后获取所述钢板的图像信息，包括：所述待分拣机器人发送请求定位拍照点位坐标数据的信号；响应所述请求定位拍照点位坐标数据的信号并计算定位拍照点位坐标数据，将所述定位拍照点位坐标数据反馈给所述分拣机器人；所述分拣机器人根据所述定位拍照点位坐标数据走点至拍照点位；所述分拣机器人发送视觉定位请求和所述分拣机器人的坐标数据；响应所述视觉定位请求并根据所述分拣机器人的坐标数据控制所述相机模块进行拍照以获取所述钢板的图像信息。以及，获取所述钢板的位置数据之后，所述方法还包括：存储所述钢板的位姿数据；发送定位完成信号至所述分拣机器人；所述分拣机器人响应所述定位完成信号，记录当前定位作业完成并返回至安全点。

在本发明的一些实施例中，根据所述钢板的位置数据获取分拣拍照点位坐标数据，包括：所述分拣机器人循环发送请求分拣拍照点位坐标数据的信号和所述当前分拣机器人的坐标数据；响应所述请求分拣拍照点位坐标数据的信号，根据所述钢板的定位数据和所述当前分拣机器人的坐标数据获取当前待分拣工位的分拣拍照点位坐标数据；将所述分拣拍照点位坐标数据反馈给所述分拣机器人；以及，控制所述相机模块进行拍照以获取所述待分拣工件的图像信息之后，所述方法还包括：控制所述分拣机器人返回至安全点。

在本发明的一些实施例中，根据所述待分拣工件的图像信息获取当前待分拣工件的编号，根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据和放置数据，包括：根据所述待分拣工件的图像信息获取当前待分拣工件的数据信息和所述待分拣工件的编号列表；所述分拣机器人循环发送请求获取所述待分拣工件的所述抓取数据和所述放置数据的信号；响应请求获取所述待分拣工件的所述抓取数据和所述放置数据的信号并获取当前待分拣工件的编号；根据所述当前待分拣工件的编号，将所述待当前待分拣工件的数据信息与参考数据进行局部匹配以获取所述当前待分拣工件的抓取数据和放置数据。

在本发明的一些实施例中，所述获取当前待分拣工件的编号之后，所述控制方法还包括：根据所述当前待分拣工件的编号确定其所在的所述编号队列中剩余的所述待分拣工件数量为零，则确定该所述编号队列对应的所述工件分拣完成；发送完成信号至相应的所述分拣机器人；控制所述分拣机器人返回至安全点；全部所述分拣机器人接收到所述完成信号，记录当前分拣作业完成。

在本发明的一些实施例中，获取所述钢板的定位信息，包括：所述钢板位于分拣作业区域并接收到所述钢板的到位信号；获取所述钢板的基础数据，并根据所述基础数据和放置位置数据计算出所述钢板的定位信息。

为了达到上述目的，本发明第二方面实施例提出的视觉引导钢板分拣装置，包括：地轨；分拣机器人，所述分拣机器人包括底座、机械臂和端拾器，所述底座与所述地轨适应性结合，所述端拾器设置于所述机械臂的执行端，所述机械臂与所述端拾器配合用于执行分拣作业；相机模块，所述相机模块设置于所述分拣机器人的所述机械臂的执行端，并与所述端拾器配合设置，所述相机模块用于获取所述钢板的图像信息和所述待分拣工件的图像信息；视觉算法模块，所述视觉算法模块与所述相机模块连接，用于根据所述钢板的图像信息获取所述钢板的位置数据，以及根据所述待分拣工件的图像信息获取所述待分拣工件的数据信息；中控控制模块，所述中控控制模块与视觉算法模块和所述分拣机器人连接，用于根据所述待分拣工件的数据信息和所述待分拣工件的编号控制所述分拣机器人执行走点、抓取和放置操作中的至少一种。

根据本发明实施例提出的视觉引导钢板分拣装置，基于分拣机器人、相机模块、视觉算法模块和中控控制模块的架构，将分拣机器人的底座与地轨适应性结合能扩大单个分拣机器人的作业范围，实现长距离抓取和放置工件的操作。将相机模块和与端拾器配合设置于机械臂的执行端，使得相机模块的视野范围可以随分拣机器人的运动而覆盖整板，保证相机视野的稳定性和识别的准确性。

以及，由视觉算法模块和中控控制模块配合并控制拣机器人和相机模块执行上面实施例的视觉引导钢板分拣方法，能实现分拣机器人的手眼协同融合作业，能实现精确分拣，提升分拣效率，稳定性高且更加智能。

此外，由相机模块进行数据实时采集并反馈至视觉算法模块，再由视觉算法模块和中控控制模块逆向控制相机模块和分拣机器人的工作状态，能够为规划部署提供安全便捷的远程控制调度。

在本发明的一些实施例中，所述端拾器为磁吸式端拾器；所述相机模块中至少包括一台相机。

为了达到上述目的，本发明第三方面实施例还提出一种视觉引导钢板分拣系统，包括：输送线，所述输送线用于输送钢板，所述钢板中包括有待分拣工件；多个第二方面实施例中的任一项所述的视觉引导钢板分拣装置，多个所述视觉钢板引导分拣装置并排设置，且任意一个所述视觉钢板引导分拣装置中的所述分拣机器人分布于所述输送线的两侧，其中，至少两个所述分拣机器人以所述输送线为轴相对设置，且位于所述输送线一侧且相邻的至少两个所述分拣机器人共用一组所述地轨；至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现砂锅面第一方面实施例中任一项所述的视觉引导钢板分拣方法

根据本发明实施例提出的视觉引导钢板分拣系统，采用上面实施例的视觉引导钢板分拣装置，能实现相机模块与分拣机器人手眼协同融合作业，进而实现待分拣工件的精准检测和分拣。且由智能系统代替人工决策，减少人工误识别的情况，提升分拣效率的分拣准确度。至少一个处理器执行存储器中存储的计算机程序时以实现上面实施例的视觉引导钢板分拣方法，通过采用该方法，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的分拣机器人的示意图；

图2为根据本发明一个实施例的视觉引导钢板分拣方法的流程图；

图3为根据本发明另一个实施例的视觉引导钢板分拣方法的流程图；

图4为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图5为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图6为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图7为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图

图8为根据本发明一个实施例的视觉引导钢板分拣装置的框图；

图9为根据本发明一个实施例的视觉引导钢板分拣系统的框图；

图10为根据本发明一个实施例的视觉引导钢板分拣装置的场景示意图。

附图标记：

视觉引导钢板分拣系统100；

视觉引导钢板分拣装置10、输送线20、处理器30、存储器40；

分拣机器人1、相机模块2、视觉算法模块3、中控控制模块4、地轨5；

机械臂11、端拾器12、底座13。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图7描述根据本发明实施例的视觉引导钢板分拣方法。

在本发明的一些实施例中，视觉引导钢板分拣方法用于视觉引导钢板分拣装置，其中，视觉引导钢板分拣装置包括地轨、分拣机器人和相机模块，在工业或制造业中，钢板通常是由输送线进行传送，分拣机器人用于执行分拣作业。具体地，可参考图1理解视觉引导钢板分拣装置中分拣机器人和相机模块的布置位置，图1为根据本发明一个实施例的分拣机器人的示意图。其中，分拣机器人包括底座13、机械臂11和端拾器12，相机模块2和端拾器12结合并设置于机械臂11的执行端，也就是说，将相机模块2与端拾器12结合，相机模块2的视野范围可以随分拣机器人1的运动而覆盖整板。其中，分拣机器人1可以为地轨机器人，该分拣机器人1设置有能够沿地轨5移动的底座13，该分拣机器人1响应系统发出的控制指令时，基于地轨5的分拣机器人的底座设计，能扩大单个分拣机器人的作业范围，实现长距离抓取和放置工件的操作。

可将分拣机器人1设置于输送线两侧，用于执行对输送线上的钢板中的待分拣工件进行分拣，相机模块2用于对输送线上的钢板及其中包含的待分拣工件进行拍摄，以获取钢板的图像信息和待分拣工件的图像信息。进一步地，相机模块2和端拾器12的具体设置位置和二者相对位置可根据需要进行调整，不限于图1中示出的布置方案，以保证相机模块2能对钢板和分拣机器人1的端拾器12的操作细节进行全面、准确地拍摄。

如图2所示，为根据本发明一个实施例的视觉引导钢板分拣方法的流程图，其中，以一个视觉引导钢板分拣装置包括一个分拣机器人和对应设置的一个相机模块为例，本发明的视觉引导钢板分拣方法至少包括步骤S1-S5，具体如下。

S1，获取钢板的定位信息。

可以理解的是，工件是由钢板切割得到，且在分拣之前已经对钢板进行了切割处理，经切割处理后待分拣工件位于钢板上。

具体地，可参考图3所示的流程理解本发明实施例的步骤S1，图3为根据本发明另一个实施例的视觉引导钢板分拣方法的流程图，其中，获取钢板的定位信息，即步骤S1具体包括步骤S11和步骤S12。

S11，钢板位于分拣作业区域并接收到钢板的到位信号。

在对钢板中的工件进行分拣操作时，首先将切割处理后的钢板被放置在输送线上，当钢板运动至待分拣区域后，系统会接收到钢板的到位信号，即表示待分拣区域存在钢板和待分拣工件。

S12，获取钢板的基础数据，并根据基础数据计算出钢板的定位信息。

其中，基础数据可以理解为钢板的放置方案，例如可以包括钢板的长度数据和宽度数据以及放置位置数据等中的至少一种，由于待分拣的钢板的宽度或长度不同，以及输送线上的待分拣钢板的放置位置的不同，则钢板的边缘位置的角点所对应的坐标不同。在批量生产时，待分拣的钢板被输送至待分拣区域后，可以先获取钢板的基础数据，即检测钢板的长度、宽度和放置位置等数据。

进一步地，可以根据钢板的长度数据、宽度数据和放置位置数据来确定角点可能存在的位置，进而可以初步估算出钢板的定位信息，以便于后续分拣机器人根据位置信息进行走点拍照，进而获取更加精确的数据信息。

S2，启动分拣机器人并获取定位拍照点位坐标数据，根据定位拍照点位坐标数据控制分拣机器人走点至定位拍照点位，以及控制相机模块进行拍照以获取钢板的位姿数据。

其中，可以根据钢板的定位信息获取定位拍照点位坐标数据，例如可以根据分拣机器人的个数以及单个分拣机器人上设置的相机模块的视野范围相适应的定位拍照点位坐标获取定位拍照点位坐标数据，以使得任意一个相机模块在该拍摄点位进行拍摄时，至少能拍摄到钢板的一处角点的图片。针对不同长度、不同形状或者不同放置的钢板，所获取的每一个定位拍照点位坐标数据不同。

将定位拍照点位坐标数据发送至分拣机器人，分拣机器人根据定位拍照点位坐标数据进行移动，并走点至相应的定位拍照点位，该步骤用于将设置在分拣机器人上的相机模块移动至拍照区域进行图像采集，以获取钢板的图像，其中一个相机模块所获取的钢板的图像为钢板中部分区域的图像。

根据拍摄到的图片能获取图片中所有角点的特征点数据，如角点位置数据、倾斜角数据等。由于单个相机模块获取的图像中仅包含部分钢板的图像信息，且每个分拣机器人均所获取的定位拍照点位坐标数据不同，因此多个相机模块拍摄后可获取钢板的不同部分的图像信息，即获取钢板的若干个角点的图片，进而可以基于多个角点的图片即可计算出钢板的位姿数据。其中，钢板的位姿数据包含钢板的位置数据和姿态数据，位置数据包括钢板中的角点坐标，从二维平面考虑，位姿数据也可以理解为钢板或待分拣工件放置的位置，姿态数据包括倾斜角度数据等。进而根据该钢板的位姿数据精确计算出钢板的位置数据。相较于步骤S1中的钢板的定位信息，该位置数据为更加精确的定位数据。

S3，根据钢板的位姿数据获取分拣拍照点位坐标数据，以及根据分拣拍照点位坐标数据控制分拣机器人走点至拍照点位，控制相机模块进行拍照以获取待分拣工件的图像信息。

具体地，在待分拣的钢板中可能包含有多个待分拣工件，而分拣机器人执行一次走点分拣作业时所抓取的工件的数量和范围有限，因此对于一块钢板中包含多个待分拣工件的情况，可能需要分拣机器人执行多次走点分拣的操作。该步骤以一台分拣机器人执行一次走点分拣的操作为例。

可以理解的是，根据上面步骤S2中相机模块拍摄的图像可以获得钢板的位姿数据，进而根据钢板的位姿数据获取了钢板的位置数据，其中该钢板的图像信息还包含有所有带待分拣工件的图像信息，因此，可根据获取的钢板的位姿数据了解整体钢板上的所有待分拣工件所在分拣工位的坐标系下的实际坐标，也就是说能根据钢板的位姿数据估计出所有待分拣工件的位置信息，进而根据待分拣工件的位置信息并结合对应的相机模块的视野范围和拍摄清晰度等特性将所有带分拣工件进行划分。例如，在保证图像清晰度的条件下，将相机模块一次拍摄能够获取的最大范围的待分拣工件划分为一组，或者将距离较近的待分拣工件划分为一组，每次控制拣机器人走点并控制相机模块进行拍照以获取包含至少一组待分拣工件的图像。

S4，根据待分拣工件的图像信息获取当前待分拣工件的编号，根据当前待分拣工件的编号获取当前待分拣工件的抓取数据和放置数据。

其中，抓取数据可以包括分拣机器人的中的各个结构运行数据、角度数据、走点数据、开磁点位数据等，放置数据可以包括分拣机器人的中的各个结构运行数据、角度数据、走点数据、放磁点位数据等。

具体地，采集到所有待分拣工件的图像信息后，将获取的待分拣工件的图像信息进行整合分析，并将所需要抓取工件排序，并根据排序结果将待分拣工件进行编号，确定当前待分拣工件的编号后，计算出与该编号相对应的前待分拣工件的抓取数据和放置数据。通过对待分拣工件进行编号，可以根据编号对当前待分拣工件进行精准地特征识别、姿态评估和坐标定位等，从而便于后续根据获取的抓取数据和放置数据控制相应的分拣机器人按照编号对待分拣工件进行高精度抓取和放置操作。

S5，根据抓取数据控制相应的分拣机器人执行走点动作、抓取动作和开磁操作中的至少一种，以及根据放置数据控制相应的分拣机器人执行走点动作、放置动作和放磁操作中的至少一种。

具体地，分拣机器人能根据获取的抓取数据和放置数据自动生成运动轨迹，其中分拣机器人的端拾器可以为磁吸式端拾器，即端拾器通电磁化后可以吸取待分拣工件，断电后磁性消失。其中，分拣机器人根据抓取数据进行走点并运动至抓取区域，由机械臂控制端拾器靠近待分拣工件，执行完走点动作后，执行端拾器开磁操作抓取待分拣工件。以及，分拣机器人根据放置数据进行走点并运动至放置区域，由机械臂控制端拾器带动工件靠近放置区域中的放置点，以及在执行完走点动作后，执行端拾器断磁操作放置待分拣工件，进而完成一次分拣操作。

可以理解的是，分拣机器人每一次执行分拣作业均根据抓取数据和放置数据进行动作，因此无需预先设定分拣机器人的固定轨迹，通过控制多视觉和多分拣机器人的手眼协同融合作业，能有效减少复杂生产场景下形态各异的工件抓取策略调度。

根据本发明实施例提出的视觉引导钢板分拣方法，设置视觉引导钢板分拣装置10的相机模块2和与端拾器12配合设置于机械臂11的执行端，使得相机模块2的视野范围可以随分拣机器人1的运动而覆盖整板。采用分拣机器人1与相机模块2的手眼协同融合作业，能使得分拣机器人能结合视觉场景进行分拣操作，能实现精确分拣，提升分拣效率，更加智能。以及将分拣机器人1的底座13与地轨5适应性结合能扩大单个分拣机器人1的作业范围，实现长距离抓取和放置工件的操作。通过对待分拣工件进行编号，根据编号获取抓取数据和放置数据，并控制分拣机器人进行分拣，可灵活控制分拣机器人的分拣动作，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。基于视觉精准识别技术，在自动流程下无需人工操作，实现智能分拣代替人工决策，减少人工误识别的情况。

在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，启动分拣机器人并获取定位拍照点位坐标数据，根据定位拍照点位坐标数据控制分拣机器人走点至定位拍照点位，以及控制相机模块进行拍照以获取钢板的位姿数据，即上面步骤S2可以具体包括步骤S21-S24。

S21，确定需要执行定位操作的分拣机器人并判断其状态。

在对钢板进行拍照时，需要通过控制分拣机器人走点以将相机模块移动至定位拍照点位坐标，因此在控制分拣机器人运动之前，系统需要先检测相应的分拣机器人的工作状态，并确定该分拣机器人能够正常工作，则发送控制指令启动该分拣机器人。

S22，启动分拣机器人并运行定位程序。

分拣机器人启动后，待分拣机器人发送请求定位拍照点位坐标数据的信号，系统响应请求定位拍照点位坐标数据的信号并运行定位程序，根据钢板的定位信息计算出定位拍照点位坐标数据，将定位拍照点位坐标数据反馈给相应的分拣机器人。

S23，控制相机模块进行拍照后获取钢板的图像信息。

分拣机器人根据定位拍照点位坐标数据走点至拍照点位，此时，分拣机器人发送视觉定位请求和分拣机器人的坐标数据，系统响应视觉定位请求并根据分拣机器人的坐标数据控制对应的分拣机器人上的相机模块进行拍照以获取钢板的图像信息，其中，一个相机模块获取的图像信息为钢板中部分区域的图像信息。

进一步地，相机模块执行拍照操作后，还将钢板的图像信息发送至系统。

S24，根据图像信息获取钢板的位姿数据。

具体地，系统可以准确识别出所获取的各个图片中的带分拣钢板的角点数据和边缘数据等并进行标注，进而根据多个图片中的标注信号精确计算出钢板的位姿数据。然后再根据钢板的位姿数据获取钢板的位置数据，其中，相较于步骤S1中的钢板的定位信息，该位置数据为更加精确的定位数据。其中，获取的钢板的位置数据可以包括钢板中所有的角点数据和边缘数据，还包括钢板中各个待分拣工件的位置信息。

以及，如图4所示，获取钢板的位姿数据之后，本发明实施例的视觉引导钢板分拣方法具体还包括步骤S25-S27。

S25，存储钢板的位姿数据。

本发明的视觉引导钢板分拣装置一般应用于工业和制造业生等流水线中，流水线一般用于批量生产产品，因此，对于批量的待分拣的钢板来说，一定数量待分拣的钢板的具体类型、大小、形状等数据可能存在高度相似或者完全相同的情况，因此获取钢板的位姿数据后，可将该位姿数据存储到该装置的软件或者存储器中，便于随时调用和进行数据就交换，进而可以快速获取相适应的数据信息，能有效减少复杂生产场景下对形态各异的钢板进行拍照的策略调度。

S26，发送定位完成信号至分拣机器人。

S27，分拣机器人响应定位完成信号，记录当前定位作业完成并返回至安全点。

具体地，当钢板定位完成后，系统可发送定位完成信号至分拣机器人，或者也可以在机模块完成拍照操作后，分拣机器人自动返回至安全点，以便为执行下一次走点操作做准备。

在本发明的一些实施例中，如图5所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，上面步骤S3中的根据钢板的位姿数据获取分拣拍照点位坐标数据，以及根据分拣拍照点位坐标数据控制分拣机器人走点至拍照点位，可以包括步骤S31-S33，具体如下。

S31，分拣机器人循环发送请求分拣拍照点位坐标数据的信号和当前分拣机器人的坐标数据。

具体地，由上述内容可知，每次控制拣机器人走点并控制相机模块进行拍照后，能获取包含至少一组待分拣工件的图像，而一整块钢板中可能包括若干组待分拣工件，分拣机器人发送请求分拣拍照点位坐标数据的信号并执行完一组待分拣工件的分拣作业后，需再次发送请求分拣拍照点位坐标数据的信号，直至整块钢板中的所有待分拣工件分拣完成。还可以在分拣机器人中设置定位装置，以实时获取分拣机器人的坐标数据，分拣机器人还循环发送自身坐标数据只系统，以便系统根据分拣机器人的位置选择合适的待分拣工件组。

S32，响应请求分拣拍照点位坐标数据的信号，根据钢板的位姿数据和当前分拣机器人的坐标数据获取当前待分拣工位的分拣拍照点位坐标数据。

由上述内容可知，在对钢板进行精确定位时，可根据钢板的位姿数据计算出每一组的待分拣工件的分拣拍照点位坐标。系统响应请求分拣拍照点位坐标数据的信号，并根据当前分拣机器人的坐标数据选取合适位置的待分拣工件组，例如，可以选择距离分拣机器人最近的待分拣工件组，或者与当前分拣机器人所在位置相对应的待分拣工件组，以便规划分拣机器人的走点路线和节省控制分拣机器人的走点操作的时间。确定待分拣工件组后，再根据钢板的位姿数据计算出与该待分拣工件组相适应的分拣拍照点位坐标数据，即当前待分拣工位的分拣拍照点位坐标数据。

S33，将分拣拍照点位坐标数据反馈给分拣机器人。

将分拣拍照点位坐标数据发送至分拣机器人，分拣机器人根据分拣拍照点位坐标数据进行移动，并走点至相应的定位拍照点位，该步骤用于将设置在分拣机器人上的相机模块移动至拍照区域进行图像采集，以获取清晰的待分拣工件的图像。

以及，如图5所示，控制相机模块进行拍照以获取待分拣工件的图像信息之后，本发明实施例的视觉引导钢板分拣方法具体还包括步骤S30。

S30，控制分拣机器人返回至安全点。

具体地，当相机模块获取待分拣工件的图像信息之后，系统可发送拍摄完成信号至分拣机器人，或者也可以在机模块完成拍照操作后，分拣机器人自动返回至安全点，以便为执行下一次走点操作做准备。

在本发明的一些实施例中，如图6所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，根据待分拣工件的图像信息获取当前待分拣工件的编号，根据当前待分拣工件的编号获取当前待分拣工件的抓取数据和放置数据，即上面步骤S4具体包括步骤S41-S44。

S41，根据待分拣工件的图像信息获取当前待分拣工件的数据信息和待分拣工件的编号列表。

其中，待分拣工件的数据信息为能够使得待分拣工件辨识度较高的数据，例如可以包括待分拣工件的具体类型、大小、形状等数据，以便于后续控制分拣机器人进行分拣时，能快速、准确地识别出待分拣工件并执行分拣作业。具体地，可将图片中带分拣工件进行标注，并根据标注结果计算出待分拣工件的数据信息。

进一步地，获取到待分拣工件的数据信息后，将获取的待分拣工件的数据信息进行整合分析，可以根据抓取策略将当前图像内的地分拣工件进行排序，并根据排序结果将所有待分拣工件进行编号，最终获取该组待分拣工件的编号列表，以便在控制分拣机器人进行分拣时可根据编号准确识别待抓取元件并进行分拣作业。其中抓取策略为软件中预存的抓取策略，可以为按照形状优先或者大小优先或者重量优先等设定的抓取策略，以便于按规律进行抓取。例如，将待分拣工件按照工件的形状进行排序，再例如还可以将待分拣工件按照工件的大小进行排序，再例如还可以将待分拣工件按照工件的重量进行排序，进而获取待分拣工件的编号列表。

S42，分拣机器人循环发送请求获取待分拣工件的抓取数据和放置数据的信号。

由于一组待分拣工件可包含若干个待分拣工件，因此，分拣机器人发送请求获取待分拣工件的抓取数据和放置数据的信号并执行完一个待分拣工件的分拣作业后，需再次发送请求获取待分拣工件的抓取数据和放置数据的信号，直至该组中所有待分拣工件分拣完成。

S43，响应请求获取待分拣工件的抓取数据和放置数据的信号并获取当前待分拣工件的编号。

系统获取到请求获取待分拣工件的抓取数据和放置数据的信号后判断是否有需要备被分拣的待分拣工件，若有需要分拣的工件时，针对即将要被分抓取的一个待分拣工件即当前待分拣工件时，需要识别并确定当前待分拣工件所对应的编号。

S44，根据当前待分拣工件的编号，将待当前待分拣工件的数据信息与参考数据进行局部匹配以获取当前待分拣工件的抓取数据和放置数据。

其中，参考数据可以为系统中预存的数据，参考数据可以包括工件的具体类型、大小、形状等数据，系统中还预存有与参考数据相对应的工件的抓取坐标、放置坐标和开磁点位等数据中的至少一种。根据当前待分拣工件的编号调取系统中相适应的参考数据进行局部比对和分析，当确定待分拣工件的数据信息与该参考数据进行匹配后，则可以直接获取当前待分拣工件的抓取坐标、放置坐标和开磁点位等数据。也就是说，当确定当前待分拣工件的数据信息与参考数据相匹配时，可直接调用该参考数据所对应的数据作为控制当前待分拣工件进行分拣作业的数据。通过对待分拣工件进行编号，并根据编号对当前待分拣工件进行精准地特征识别、姿态评估和坐标定位等，进而便于控制相应的分拣机器人根据对该待分拣工件进行高精度抓取和放置操作。

在本发明的一些实施例中，如图7所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，获取当前待分拣工件的编号之后，控制方法还包括S45-S48，具体如下。

S45，根据当前待分拣工件的编号确定其所在的编号队列中剩余的待分拣工件数量为零，则确定该编号队列对应的工件分拣完成。

当确定当前待分拣工件的编号为其所在的编号列表中的最后一个编号，且当分拣机器人执行完当前待分拣工件的分拣作业后，确定该编号列表中不存在其他待分拣工件，则表示确定该编号列表中的工件已分拣完成。

S46，发送完成信号至相应的分拣机器人。系统确定分拣完成后，发送完成信号至相应的分拣机器人，分拣机器人能响应该完成信号停止分拣操作。

S47，控制分拣机器人返回至安全点。具体地，当一组中的所有待分拣工件被分拣完成后，系统可发送分拣完成信号至分拣机器人，或者也可以分拣完成后，分拣机器人自动返回至安全点，以便为执行下一次走点操作做准备。

S48，全部分拣机器人接收到完成信号，记录当前分拣作业完成。

对于一整个钢板来说可能存在若干组待分拣工件，以及，对于工业或制造业的流水线作业中，设置的多个视觉引导钢板分拣装置来说，可能存在多个分拣机器人同时执行分拣作业的情况，若所有待分拣工件被分拣完成且及启动的分拣机器人均接收到了系统发送的完成信号，则所有启动的分拣机器人均停止分拣操作，则表示当前分拣作业完成。

在本发明的一些实施例中，还提出一种采用上面视觉引导钢板分拣方法的视觉引导钢板分拣装置，如图8所示，为根据本发明一个实施例的视觉引导钢板分拣装置的框图，其中，视觉引导钢板分拣装置10包括分拣机器人1、相机模块2、视觉算法模块3、中控控制模块4和地轨5。

具体地，可结合图1描述本发明实施例的分拣机器人1和地轨5，其中，分拣机器人1可以为地轨机器人，分拣机器人1设置于地轨5上，且可以沿地轨5滑行。如图1所示，地轨5可以为分拣机器人1沿水平方向运动的轨道，该分拣机器人1设置有能够沿地轨移动的底座，该底座与地轨5适应性结合，分拣机器人沿地轨5运行时，能实现大范围的拍照和抓取操作。该分拣机器人1响应系统发出的控制指令时，基于地轨的分拣机器人1的底座设计，能扩大单个分拣机器人1的作业范围，实现长距离抓取和放置工件的操作。

分拣机器人1包括机械臂11和端拾器12，分拣机器人1的机械臂11由多个可旋转的关节组成，端拾器12设置于机械臂11的执行端。其中，端拾器12为磁吸式端拾器，端拾器12通电磁化后可以吸取待分拣工件，断电后磁性消失，端拾器12通电磁化后可将待分拣工件吸附住即抓取待分拣工件，端拾器12断电后，磁性变小或消失进而放开工件。

机械臂11与端拾器12配合用于执行分拣作业。具体地，可控制机械臂11各个关节的运动速度、角度和运动时间等，从而实现对待分拣工件的抓取操作和放置操作。

进一步地，可参考图1理解本发明实施例的相机模块2，相机模块2设置于分拣机器人1的机械臂11的执行端，并与端拾器12配合设置，相机模块2用于获取钢板的图像信息和待分拣工件的图像信息。其中，相机模块2的视野范围可以随分拣机器人1的运动而覆盖整板，也就是说，相机模块2的视野范围能够覆盖其对应设置的端拾器12的作业范围，以保证相机模块2能对钢板和分拣机器人1的端拾器12的操作细节进行全面、准确地拍摄。

具体地，可以沿机械臂11的执行端伸长的方向、端拾器12的上方延伸出一个固定支架，将相机模块2固定在固定支架上，相机模块2中至少包括一台相机，其中，该相机可以为2D相机或工业3D相机等，均能用于拍照并获取图像信息。其中以图1中示出的相机为工业3D相机为例进行描述，一台工业3D相机可以包括两个摄像头，分别用于获得图像信息和深度信息，并且3D视觉设备能拍摄非常清晰的图片，进而获取更加精确地图像信息。以及，将相机模块2设置在端拾器12的一侧的支架上并与端拾器12相距一定的距离，保证相机视野的稳定性和识别的准确性，使得相机模块2的视野不会受到分拣运动的影响。

如图8所示，视觉算法模块3与相机模块4连接，其中视觉算法模块3可以为一个具有数据分析功能的处理器，用于对相机模块2拍摄的图像信息进行分析和比对。例如，视觉算法模块3可以控制相机模块2进行拍摄，并获取图像信息，进而根据钢板的图像信息获取钢板的位姿数据，以及根据待分拣工件的图像信息获取待分拣工件的数据信息。视觉算法模块3还可以将获取的钢板的位姿数据和待分拣工件的数据信息进行存储。

以及，视觉算法模块3还可以根据当前待分拣工件的编号获取当前待分拣工件的抓取数据和放置数据。

中控控制模块4可以为后台总控制器，用于进行数据的统筹和处理，中控控制模块4与视觉算法模块3，可以调动视觉算法模块3执行图像信息处理和分析等操作，并获取视觉算法模块3存储的钢板的位置数和待分拣工件的数据信息，以及根据待分拣工件的数据信息获取当前待分拣工件的编号，再将当前待分拣工件的编号发送至视觉算法模块3中。

中控控制模块4和分拣机器人1连接，中控控制模块4还能将视觉算法模块3获取的当前待分拣工件的抓取数据和放置数据发送至分拣机器人1，进而根据待分拣工件的数据信息和待分拣工件的编号控制分拣机器人1执行走点、抓取和放置操作中的至少一种。以及在根据待分拣工件的编号确定其所在的编号队列中剩余的待分拣工件数量为零时，发送完成信号至相应的分拣机器人1，并控制分拣机器人1停止分拣操作。

进一步地，视觉算法模块3和中控控制模块4可以为独立设置的控制器，也可以将两个模块集成设置在同一个处理器或服务器中，以实现数据和信息的分析和处理。

根据本发明实施例提出的视觉引导钢板分拣装置10，基于分拣机器人1、相机模块2、视觉算法模块3和中控控制模块4的架构，将分拣机器人1的底座13与地轨5适应性结合能扩大单个分拣机器人1的作业范围，实现长距离抓取和放置工件的操作。将相机模块2和与端拾器12配合设置于机械臂11的执行端，使得相机模块2的视野范围可以随分拣机器人1的运动而覆盖整板，保证相机视野的稳定性和识别的准确性。

以及，由视觉算法模块3和中控控制模块4配合并控制拣机器人1和相机模块2执行上面实施例的视觉引导钢板分拣方法，能实现分拣机器人1的手眼协同融合作业，能实现精确分拣，提升分拣效率，稳定性高且更加智能。以及由相机模块2进行数据实时采集并反馈至视觉算法模块3，再由视觉算法模块3和中控控制模块4逆向控制相机模块2和分拣机器人1的工作状态，能够为规划部署提供安全便捷的远程控制调度。

在本发明的一些实施例中，还提出一种视觉引导钢板分拣系统，如图9所示为根据本发明一个实施例的视觉引导钢板分拣系统的框图，其中视觉引导钢板分拣系统100包括输送线20、多个视觉引导钢板分拣装置10、至少一个处理器30和存储器40。其中，图10中未示出上述结构的位置关系。

其中，输送线20可以为用于输送钢板的生产流水线，钢板中包括有待分拣工件。多个视觉钢板引导分拣装置10中的分拣机器人1分布于输送线的两侧，其中，至少两个分拣机器1人以输送线20为轴相对设置。

具体地，可以结合图10理解本发明实施例的输送线20和多个视觉引导钢板分拣装置10的位置分布，图10为根据本发明一个实施例的视觉引导钢板分拣装置的场景示意图。其中，在整个分拣作业中，两个分拣机器人1以输送线20为轴相对设置时，且位于输送线20一侧且相邻的两个分拣机器人1可共用一组地轨5。

如图9所示，本发明实施例的视觉引导钢板分拣系统100还包括至少一个处理器30和存储器40，其中，存储器40与至少一个处理器30通信连接，其中，存储器40中存储有可被至少一个处理器30执行的计算机程序，至少一个处理器30执行计算机程序时实现上面第一方面实施例中任一项的视觉引导钢板分拣方法。

根据本发明实施例提出的视觉引导钢板分拣系统100，采用上面实施例的视觉引导钢板分拣装置10，能实现相机模块2与分拣机器人1手眼协同融合作业，进而实现待分拣工件的精准检测和分拣。且由智能系统代替人工决策，减少人工误识别的情况，提升分拣效率的分拣准确度。至少一个处理器30执行存储器40中存储的计算机程序时以实现上面实施例的视觉引导钢板分拣方法，通过采用该方法，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。

根据本发明实施例的视觉引导钢板分拣装置10和视觉引导钢板分拣系统100等的其他构成以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种视觉引导钢板分拣方法，其特征在于，用于视觉引导钢板分拣装置，所述视觉引导钢板分拣装置包括地轨、分拣机器人和相机模块，所述分拣机器人包括底座、机械臂和端拾器，所述底座与所述地轨适应性结合，所述相机模块和所述端拾器结合并设置于所述机械臂的执行端，所述视觉引导钢板分拣方法包括：

获取所述钢板的定位信息；

启动所述分拣机器人并获取定位拍照点位坐标数据，根据所述定位拍照点位坐标数据控制所述分拣机器人走点至定位拍照点位，以及控制所述相机模块进行拍照以获取所述钢板的位姿数据；

根据所述钢板的位姿数据获取分拣拍照点位坐标数据，以及根据所述分拣拍照点位坐标数据控制所述分拣机器人走点至拍照点位，控制所述相机模块进行拍照以获取所述待分拣工件的图像信息；

根据所述待分拣工件的图像信息获取当前待分拣工件的编号，根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据和放置数据；

根据所述抓取数据控制相应的所述分拣机器人执行走点动作、抓取动作和开磁操作中的至少一种，以及根据所述放置数据控制相应的所述分拣机器人执行走点动作、放置动作和放磁操作中的至少一种。

2.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，启动所述分拣机器人并获取定位拍照点位坐标数据，根据所述定位拍照点位坐标数据控制所述分拣机器人走点至定位拍照点位，以及控制所述相机模块进行拍照以获取所述钢板的位姿数据，包括：

确定需要执行定位操作的所述分拣机器人并判断其状态；

启动所述分拣机器人并运行定位程序；

控制所述相机模块进行拍照后获取所述钢板的图像信息；

根据所述图像信息获取所述钢板的位姿数据；

以及，获取所述钢板的位姿数据之后，所述方法还包括：

存储所述钢板的位姿数据；

发送定位完成信号至所述分拣机器人；

所述分拣机器人响应所述定位完成信号，记录当前定位作业完成并返回至安全点。

3.根据权利要求2所述的视觉引导钢板分拣方法，其特征在于，启动所述分拣机器人并运行定位程序，以及，控制所述相机模块进行拍照后获取所述钢板的图像信息，包括：

所述待分拣机器人循环发送请求定位拍照点位坐标数据的信号；

响应所述请求定位拍照点位坐标数据的信号并计算定位拍照点位坐标数据，将所述定位拍照点位坐标数据反馈给所述分拣机器人；

所述分拣机器人根据所述定位拍照点位坐标数据走点至拍照点位；

所述分拣机器人发送视觉定位请求和所述分拣机器人的坐标数据；

响应所述视觉定位请求并根据所述分拣机器人的坐标数据控制所述相机模块进行拍照以获取所述钢板的图像信息。

4.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，根据所述钢板的位姿数据获取分拣拍照点位坐标数据，包括：

所述分拣机器人循环发送请求分拣拍照点位坐标数据的信号和所述当前分拣机器人的坐标数据；

响应所述请求分拣拍照点位坐标数据的信号，根据所述钢板的位姿数据和所述当前分拣机器人的坐标数据获取当前待分拣工位的分拣拍照点位坐标数据；

将所述分拣拍照点位坐标数据反馈给所述分拣机器人；

以及，控制所述相机模块进行拍照以获取所述待分拣工件的图像信息之后，所述方法还包括：

控制所述分拣机器人返回至安全点。

5.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，根据所述待分拣工件的图像信息获取当前待分拣工件的编号，根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据和放置数据，包括：

根据所述待分拣工件的图像信息获取当前待分拣工件的数据信息和所述待分拣工件的编号列表；

所述分拣机器人循环发送请求获取所述待分拣工件的所述抓取数据和所述放置数据的信号；

响应请求获取所述待分拣工件的所述抓取数据和所述放置数据的信号并获取当前待分拣工件的编号；

根据所述当前待分拣工件的编号，将所述待当前待分拣工件的数据信息与参考数据进行局部匹配以获取所述当前待分拣工件的抓取数据和放置数据。

6.根据权利要求5所述的视觉引导钢板分拣方法，其特征在于，所述获取当前待分拣工件的编号之后，所述控制方法还包括：

根据所述当前待分拣工件的编号确定其所在的所述编号队列中剩余的所述待分拣工件数量为零，则确定该所述编号队列对应的所述工件分拣完成；

发送完成信号至相应的所述分拣机器人；

控制所述分拣机器人返回至安全点；

全部所述分拣机器人接收到所述完成信号，记录当前分拣作业完成。

7.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，获取所述钢板的定位信息，包括：

所述钢板位于分拣作业区域并接收到所述钢板的到位信号；

获取所述钢板的基础数据，并根据所述基础数据计算出所述钢板的定位信息，其中所述基础数据包括长度数据、宽度数据和放置位置数据中的至少一种。

8.一种视觉引导钢板分拣装置，其特征在于，包括：

地轨；

分拣机器人，所述分拣机器人包括底座、机械臂和端拾器，所述底座与所述地轨适应性结合，所述端拾器设置于所述机械臂的执行端，所述机械臂与所述端拾器配合用于执行分拣作业；

相机模块，所述相机模块设置于所述分拣机器人的所述机械臂的执行端，并与所述端拾器配合设置，所述相机模块用于获取所述钢板的图像信息和所述待分拣工件的图像信息；

视觉算法模块，所述视觉算法模块与所述相机模块连接，用于根据所述钢板的图像信息获取所述钢板的位姿数据，以及根据所述待分拣工件的图像信息获取所述待分拣工件的数据信息；

中控控制模块，所述中控控制模块与视觉算法模块和所述分拣机器人连接，用于根据所述待分拣工件的数据信息和所述待分拣工件的编号控制所述分拣机器人执行走点、抓取和放置操作中的至少一种。

9.根据权利要求8所述的视觉引导钢板分拣装置，其特征在于，

所述端拾器为磁吸式端拾器；

所述相机模块中至少包括一台相机。

10.一种视觉引导钢板分拣系统，其特征在于，包括：

输送线，所述输送线用于输送钢板，所述钢板中包括有待分拣工件；

多个权利要求8或9任一项所述的视觉引导钢板分拣装置，多个所述视觉钢板引导分拣装置并排设置，且任意一个所述视觉钢板引导分拣装置中的所述分拣机器人分布于所述输送线的两侧，其中，至少两个所述分拣机器人以所述输送线为轴相对设置，且位于所述输送线一侧且相邻的至少两个所述分拣机器人共用一组所述地轨；

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现权利要求1-7任一项所述的视觉引导钢板分拣方法。

Images