CN114405866B - 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统 - Google Patents

Abstract

本发明公开了一种视觉引导钢板分拣方法和视觉引导钢板分拣装置以及系统，视觉引导钢板分拣方法用于视觉引导钢板分拣装置，视觉引导钢板分拣装置包分拣机器人、相机模块和视觉算法模块，视觉算法模块和相机模块连接，相机模块包括多个相机，该方法包括：通过多个相机获取待分拣工件所在的钢板的图像信息；视觉算法模块根据图像信息获取钢板位姿数据和待分拣工件的数据信息；根据待分拣工件的数据信息获取当前待分拣工件的编号，视觉算法模块根据当前待分拣工件的编号获取当前待分拣工件的抓取数据、放置数据和开磁点位数据，进而根据这些数据控制相应的分拣机器人执行分拣作业，本发明的方法，能实现分拣机器人的手眼协同融合作业，更加智能。

Description

视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统

技术领域

本发明涉及自动化技术领域，尤其是涉及一种视觉引导钢板分拣方法和视觉引导钢板分拣装置以及系统。

背景技术

钢板分拣作为制造业和重工行业也最基础的生产及物流模块，有着承上启下的关键作用，其生产效率影响下料后的实际加工生产，也能反馈影响上游的原材料加工及上料。当前智能制造的发展中，钢板分拣模块在保证设备的先进性和稳定性，工艺布局和工艺流程系统的合理性，工作效率的高效性，整体物流系统流畅性等方面一直是重点推动方向。

在相关技术中，大部分钢板分拣场景采用人工分拣或手动操作机械设备进行钢板分拣，部分采用自动化分拣设备的钢板分拣场景使用预先配置机器人轨迹进行分拣，无法准确区分工件和废料，分拣效率低，稳定性低，不够智能。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的之一在于提出一种视觉引导钢板分拣方法，通过控制多个分拣机器人和多视觉的手眼协同融合作业，能实现整板的精确分拣，提升分拣效率，稳定性高且更加智能。

本发明的目的之二在于提出一种视觉引导钢板分拣装置。

本发明的目的之三在于提出一种视觉引导钢板分拣系统。

为了达到上述目的，本发明第一方面实施例提出的视觉引导钢板分拣方法，用于视觉引导钢板分拣装置，所述视觉引导钢板分拣装置包括多个分拣机器人、多个相机模块和视觉算法模块，所述视觉算法模块和多个所述相机模块连接，多个所述相机模块的视野范围至少覆盖多个多所述分拣机器人的作业轨迹，所述视觉引导钢板分拣方法包括：通过多个所述相机模块获取待分拣工件所在的钢板的图像信息；所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，其中，所述待分拣工件的数据信息包括工件类型信息、形状信息和大小信息；根据所述待分拣工件的数据信息获取当所述分拣工件的编号；所述视觉算法模块根据所述待分拣工件的编号获取所述待分拣工件的抓取数据、放置数据和开磁点位数据；根据所述抓取数据、所述放置数据和所述开磁点位数据控制所述分拣机器人执行分拣作业。

根据本发明实施例提出的视觉引导钢板分拣方法，基于视觉引导钢板分拣装置能够实现多个分拣机器人与多个相机模块的手眼协同融合作业，并通过视觉算法模块进行数据的处理和计算，能结合视觉场景控制多个分拣机器人同时对整块钢板中的待分拣工件进行分拣操作，实现精确分拣，提升分拣效率，更加智能。以及，将待分拣工件进行编号，使得视觉算法模块能根据编号获取抓取数据、放置数据和开磁点位数据，便于后续控制对应的分拣机器人进行分拣操作，相互之间协同合作且互不干扰，并且能灵活控制各个分拣机器人的分拣动作，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。基于视觉精准识别技术，在自动流程下无需人工操作，实现智能分拣代替人工决策，减少人工误识别的情况。

在本发明的一些实施例中，所述视觉算法模块根据所述待分拣工件的编号获取所述待分拣工件的抓取数据、放置数据和开磁点位数据，包括：根据所述待分拣工件的数据信息按照预定策略将所述待分拣工件进行排序；获取当前待分拣工件的编号；将和所述当前待分拣工件的编号相对应的所述当前分拣工件的数据信息与参考数据进行局部匹配，获取所述当前待分拣工件的所述抓取数据、所述放置数据和所述开磁点位数据。

在本发明的一些实施例中，根据所述待分拣工件的数据信息获取所述当前待分拣工件的编号包括：根据所述待分拣工件的数据信息按照预定策略将所述待分拣工件进行排序；根据排序结果将所述待分拣工件编号并确定所述当前待分拣工件的编号。

在本发明的一些实施例中，根据排序结果将所述待分拣工件编号并确定所述当前待分拣工件的编号之后，所述方法还包括：根据所述当前待分拣工件的编号确定其所在的所述编号队列中剩余的所述待分拣工件数量为零，则确定所述编号队列中的所述待分拣工件分拣完成；发送完成信号至相应的所述分拣机器人；全部所述分拣机器人接收到所述完成信号，记录当前分拣作业完成。

在本发明的一些实施例中，所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，包括：根据所述图像信息获取所述钢板的定位数据；根据所述钢板的定位数据进行全局匹配计算并获取视觉全局匹配数据；根据所述视觉全局匹配数据获取所述钢板中的所述待分拣工件的数据信息；及，所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息之后，所述方法还包括：存储所述待分拣工件的数据信息。

在本发明的一些实施例中，根据所述抓取数据所述放置数据和所述开磁点位数据控制对应的所述分拣机器人执行分拣作业，包括：根据所述视觉全局匹配数据分配多个所述分拣机器人应当抓取的所述待分拣工件；检测所述分拣机器人的状态并启动对应的所述分拣机器人，发送所述当前待分拣工件的所述抓取数据、所述放置数据和所述开磁点位数据至对应的所述分拣机器人；对应的所述分拣机器人根据所述当前待分拣工件的所述抓取数据和所述开磁点位数据执行走点动作、抓取动作和开磁操作中的至少一种，以及根据所述放置数据执行走点动作、放置动作和放磁操作中的至少一种。

在本发明的一些实施例中，所述通过多个所述相机模块获取待分拣工件所在的钢板的图像信息之前，所述方法还包括：所述钢板位于分拣作业区域并接收到所述钢板的到位信号；根据所述到位信号获取所述钢板的基础数据；调度所述视觉系统控制多个所述相机模块进行拍照。

为了达到上述目的，本发明第二方面实施例提出的视觉引导钢板分拣装置，包括：多个分拣机器人，任意一个所述分拣机器人包括机械臂和端拾器，所述端拾器设置于所述机械臂的执行端，所述机械臂与所述端拾器配合用于执行分拣作业；多个相机模块，多个所述相机模块设置于多个所述分拣机器人上方的固定支架上，并与多个所述分拣机器人对应设置，多个所述相机模块的视野范围至少覆盖多个所述分拣机器人的所述端拾器的作业轨迹，多个所述相机模块用于实时获取待分拣工件和所在钢板的图像信息；视觉算法模块，所述视觉算法模块与多个所述相机模块连接，用于控制多个所述相机模块进行拍照并获取所述图像信息，根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，以及根据所述待分拣工件的编号获取所述待分拣工件的抓取数据、放置数据和开磁点位数据；中控控制模块，所述中控控制模块与所述视觉算法模块和多个所述分拣机器人连接，用于调度所述视觉算法模块和多个所述分拣机器人执行分拣作业，以实现上面任一项所述的视觉引导钢板分拣方法。

根据本发明实施例提出的视觉引导钢板分拣装置，基于多个分拣机器人、多个相机模块、视觉算法模块和中控控制模块的架构，由视觉算法模块和中控控制模块配合并控制多个分拣机器人和多个相机模块执行上面实施例的视觉引导钢板分拣方法，能实现分拣机器人的手眼协同融合作业，能实现精确分拣，提升分拣效率，稳定性高且更加智能。

此外，由多个相机模块进行数据实时采集并反馈至视觉算法模块，再由视觉算法模块和中控控制模块逆向控制多个相机模块和多个分拣机器人的工作状态，能够为规划部署提供安全便捷的远程控制调度。

在本发明的一些实施例中，所述端拾器为磁吸式端拾器；所述相机模块中至少包括两个相机单元，任意一个相机单元至少包括一台工业3D相机。

为了达到上述目的，本发明第三方面实施例还提出一种视觉引导钢板分拣系统，视觉引导钢板分拣系统包括：输送线，所述输送线用于输送钢板，所述钢板中包括有待分拣工件；第二方面实施例中任一项所述的视觉引导钢板分拣装置，所述视觉钢板引导分拣装置中的多个所述分拣机器人分布于所述输送线的两侧，其中，至少两个所述分拣机器人以所述输送线为轴相对设置；遮光罩，所述遮光罩覆盖于所述固定支架的上方并环绕于所述固定支架的四周，用于遮光；至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现上面任一项所述的视觉引导钢板分拣方法。

根据本发明实施例提出的视觉引导钢板分拣系统，通过将视觉引导钢板分拣装置中的多个分拣机器人设置在输送线两侧，并控制多个相机模块与多个分拣机器人手眼协同融合作业，能实现精准检测和分拣。且由智能系统代替人工决策，能减少人工误识别的情况，提升分拣效率的分拣准确度。以及，采用遮光罩能够降低环境光影响。至少一个处理器执行存储器中存储的计算机程序时以实现上面实施例的视觉引导钢板分拣方法，通过采用该方法，无需预先设定多个分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的视觉引导钢板分拣装置的场景示意图；

图2为根据本发明一个实施例的视觉引导钢板分拣方法的流程图；

图3为根据本发明另一个实施例的视觉引导钢板分拣方法的流程图；

图4为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图5为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图6为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图；

图7为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图

图8为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图

图9为根据本发明一个实施例的视觉引导钢板分拣装置的框图；

图10为根据本发明一个实施例的分拣机器人的示意图；

图11为根据本发明一个实施例的相机模块的示意图；

图12为根据本发明一个实施例的视觉引导钢板分拣系统的框图；

图13为根据本发明一个实施例的遮光罩的示意图。

附图标记：

视觉引导钢板分拣系统100；

视觉引导钢板分拣装置10、输送线20、遮光罩30、处理器40、存储器50；

分拣机器人1、相机模块2、视觉算法模块3、中控控制模块4；

机械臂11、端拾器12、相机单元21、相机单元22；

相机A、相机B。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

下面参考图1-图8描述根据本发明实施例的视觉引导钢板分拣方法。

在本发明的一些实施例中，视觉引导钢板分拣方法用于视觉引导钢板分拣装置，其中，视觉引导钢板分拣装置包括多个分拣机器人、多个相机模块和视觉算法模块，相机模块的视野范围至少覆盖分拣机器人的作业轨迹。

可以理解的是，在工业或制造业中，钢板通常是由输送线进行传送，分拣机器人用于执行分拣作业。具体地，可参考图1理解视觉引导钢板分拣装置中多个分拣机器人和多个相机模块的布置位置，但不限于图1中示出的布置方案。如图1所示，为根据本发明一个实施例的视觉引导钢板分拣装置的场景示意图，其中，视觉引导钢板分拣装置包括多个分拣机器人、多个相机模块和视觉算法模块(图中未示出)，在工业或制造业的流水线作业中，多个分拣机器人同时动作用以实现批量生产和操作。可将多个分拣机器人设置于输送线两侧，用于执行对输送线上的钢板中的待分拣工件进行分拣，例如，当输送线上的钢板的长度比较长、面积比较大，且钢板上包含有多个待分拣工件时，多个分拣机器人也可同时执行整板的分拣操作。多个相机模块用于对输送线上的待分拣工件及其所在钢板进行拍摄，以获取待分拣工件和所在钢板的图像信息。视觉算法模块和多个相机模块连接，用于驱动相机模块拍照并获取其拍摄到的图像信息。其中，可以根据需要设置多个相机模块与多个分拣机器人的相对位置，例如设置多个相机模块与多个分拣机器人的位置正对设置，再例如也可以设置多个相机模块与多个分拣机器人所在的竖直方向所在的位置相距一定的距离，可将多个相机模块固定于多个分拣机器人上方的固定支架上，保证多个相机视野的稳定性和识别的准确性。多个相机模块的视野范围至少覆盖多个分拣机器人的作业轨迹，也就是说，一个相机模块的视野范围至少需要覆盖对应设置的分拣机器人的作业范围，以保证多个相机模块能对整板和多个分拣机器人的操作细节进行全面、准确地拍摄。

如图2所示，为根据本发明一个实施例的视觉引导钢板分拣方法的流程图，其中，以视觉引导钢板分拣装置包括6个分拣机器人和对应设置的6个相机模块为例，本发明的视觉引导钢板分拣方法至少包括步骤S1-S5，具体如下。

S1，通过多个相机模块获取待分拣工件所在的钢板的图像信息。

可以理解的是，工件是由钢板切割得到，且在分拣之前已经对钢板进行了切割处理，经切割处理后待分拣工件位于钢板上。其中，对于一块长度比较长或面积比较大钢板而言，如钢板长度为9-12米，由多个相机模块对待分拣工件所在的钢板进行拍照能一次性获取整板的图像信息，并且相机模块拍摄的图片中既包括钢板的图像信息也包括钢板的中待分拣工件的图像信息。

S2，视觉算法模块根据图像信息获取钢板的位姿数据和待分拣工件的数据信息，其中，待分拣工件的数据信息包括工件类型信息、形状信息和大小信息。

具体地，可参考图3所示的流程理解本发明实施例的步骤S2，图3为根据本发明另一个实施例的视觉引导钢板分拣方法的流程图，其中，根据图像信息获取待分拣工件的数据信息，即步骤S2具体包括步骤S21-S23。

S21，根据图像信息获取钢板的定位数据。

其中，视觉算法模块获取图像信息后，可先对拍摄的图像信息进行分析，识别出该图像信息中整体的钢板的图像信息，并对图片中的钢板进行定位，并获取钢板的定位数据。

S22，根据钢板的定位数据进行全局匹配计算并获取视觉全局匹配数据。

进一步地，根据钢板的定位数据对钢板进行全局匹配计算，进而获取钢板的视觉全局匹配数据，由于待分拣工件位于钢板，因此所获取的钢板的图像信息中包含有待分拣工件的图像信息，其中视觉全局匹配数据至少包括钢板的位姿数据和待分拣工件的位姿数据。其中，位姿数据包含位置数据和姿态数据，位置数据包括角点坐标，从二维平面考虑，位姿数据也可以理解为钢板或待分拣工件放置的位置，姿态数据包括倾斜角度数据等。

S23，根据视觉全局匹配数据获取钢板中的待分拣工件的数据信息。

具体地，识别钢板中的待分拣工件后，可将图片中带分拣工件的图像信息进行标注，并可根据待分拣工件的位姿数据获取待分拣工件的数据信息。其中待分拣工件的数据信息为能够使得待分拣工件辨识度较高的数据即待分拣工件的特征点数据，例如可以包括待分拣工件的具体类型、大小、形状等数据，还可以包括图像中待分拣工件的轮廓数据和废料的轮廓数据等，以便于后续控制分拣机器人进行分拣时，能快速、准确地识别出待分拣工件并执行分拣作业。

上述数据分析过程均由视觉算法模块执行，其中，视觉算法模块中预先写入有相关程序和算法模型，能够对获取到的图像信息进行分析和计算，进而获取钢板的位姿数据和待分拣工件的数据信息。

以及，如图3所示，视觉算法模块根据图像信息获取钢板的位姿数据和待分拣工件的数据信息之后，本发明实施例的视觉引导钢板分拣方法具体还包括步骤S20。

S20，存储待分拣工件的数据信息。

本发明的视觉引导钢板分拣装置一般应用于工业和制造业生等流水线中，流水线一般用于批量生产产品，因此，对于批量的待分拣工件的分拣作业来说，一定数量待分拣工件的具体类型、大小、形状等数据高度相似或者完全相同，因此获取待分拣工件的数据信息后，可将该数据信息存储到该装置的软件或者存储器中，便于随时调用和进行数据就交换，进而可以快速获取相适应的数据信息，能有效减少复杂生产场景下形态各异的工件抓取策略调度。

S3，根据待分拣工件的数据信息获取当前待分拣工件的编号。

具体地，视觉算法模块采集到所有待分拣工件的数据信息并存储后，还可以将待分拣工件的数据信息反馈至中控控制模块也就是总控制器中，中控控制模块用于实现装置的总体调度和数据处理。中控控制模块可以将获取的待分拣工件的数据信息进行整合分析并按照预定策略将待分拣工件进行排序，进而能够确定当前待分拣工件进行编号，通过对待分拣工件进行编号，可以根据编号对当前待分拣工件进行精准地特征识别、姿态评估和坐标定位等，从而便于后续根据获取的抓取数据和放置数据控制相应的分拣机器人按照编号对待分拣工件进行高精度抓取和放置操作。

S4，视觉算法模块根据当前待分拣工件的编号获取当前待分拣工件的抓取数据、放置数据和开磁点位数据。

中控控制模块可直接发送当前待分拣工件的编号给视觉算法模块，视觉算法模块计算出与该编号相对应的前待分拣工件的抓取数据和放置数据。其中，抓取数据可以包括分拣机器人的中的各个结构运行数据、角度数据、走点数据、开磁点位数据、抓取偏移数据等，放置数据可以包括分拣机器人的中的各个结构运行数据、角度数据、走点数据、放磁点位数据和放置偏移数据等。

S5，根据抓取数据、放置数据和开磁点位数据控制对应的分拣机器人执行分拣作业。

其中，分拣机器人能根据抓取数据进行走点并运动至抓取区域，以及还能根据开磁点位数据在开磁点通电以抓取待分拣工件。以及，分拣机器人根据放置数据进行走点并运动至放置区域，以及在执行完走点动作后执行放置待分拣工件动作，进而完成一次分拣操作。

可以理解的是，分拣机器人每一次执行分拣作业均根据抓取数据和放置数据进行动作，因此无需预先设定分拣机器人的固定轨迹，通过控制多视觉和多分拣机器人的手眼协同融合作业，能有效减少复杂生产场景下形态各异的工件抓取策略调度。

根据本发明实施例提出的视觉引导钢板分拣方法，基于视觉引导钢板分拣装置能够实现多个分拣机器人与多个相机模块的手眼协同融合作业，并通过视觉算法模块进行数据的处理和计算，能结合视觉场景控制多个分拣机器人同时对整块钢板中的待分拣工件进行分拣操作，实现精确分拣，提升分拣效率，更加智能。以及，将待分拣工件进行编号，使得视觉算法模块能根据编号获取抓取数据、放置数据和开磁点位数据，便于后续控制对应的分拣机器人进行分拣操作，相互之间协同合作且互不干扰，并且能灵活控制各个分拣机器人的分拣动作，无需预先设定分拣机器人的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。基于视觉精准识别技术，在自动流程下无需人工操作，实现智能分拣代替人工决策，减少人工误识别的情况。

在本发明的一些实施例中，如图4所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，视觉算法模块根据当前待分拣工件的编号获取当前待分拣工件的抓取数据、放置数据和开磁点位数据，即上面步骤S4具体包括步骤S41和步骤S42。

S41，获取当前待分拣工件的编号。其中，当前待分拣工件的编号可直接由中控控制模块发送至视觉算法模块中。

S42，将和当前待分拣工件的编号相对应的当前分拣工件的数据信息与参考数据进行局部匹配，获取当前待分拣工件的抓取数据、放置数据和开磁点位数据。

其中，参考数据可以为系统中预存的数据，参考数据可以包括工件的具体类型、大小、形状、待分拣工件的轮廓和废料轮廓等数据，系统中还预存有与参考数据相对应的工件的抓取坐标、放置坐标和开磁点位等数据。根据当前待分拣工件的编号调取系统中相适应的参考数据进行局部比对和分析，当确定待分拣工件的数据信息与该参考数据进行匹配后，则可以直接获取当前待分拣工件的抓取坐标、放置坐标和开磁点位等数据。也就是说，当确定当前待分拣工件的数据信息与参考数据相匹配时，可直接调用该参考数据所对应的数据作为控制当前待分拣工件进行分拣作业的数据。通过对待分拣工件进行编号，并根据编号对当前待分拣工件进行精准地特征识别、姿态评估和坐标定位等，进而便于控制相应的分拣机器人根据对该待分拣工件进行高精度抓取和放置操作。

在本发明的一些实施例中，如图5所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，根据待分拣工件的数据信息获取当前待分拣工件的编号，即上面步骤S3具体包括步骤S31和步骤S32。

S31，根据待分拣工件的数据信息按照预定策略将待分拣工件进行排序。

具体地，中控控制模块获取到所有待分拣工件的数据信息后，将获取的待分拣工件的数据信息进行整合分析，可以根据预定策略将所需要抓取工件进行排序。其中预定策略为软件中预存的抓取策略，可以为按照待分拣工件的形状或大小等设定抓取策略，例如以形状优先或者大小优先或者重量优先等为预定策略，进一步地，根据预定策略将所有待分拣工件进行排序，以便在后续控制分拣机器人进行分拣作业时能按规律进行抓取。例如，将待分拣工件按照工件的形状进行排序，再例如还可以将待分拣工件按照工件的大小进行排序，再例如还可以将待分拣工件按照工件的重量进行排序。

S32，根据排序结果将待分拣工件进行编号并确定当前待分拣工件的编号。

将待分拣工件进行排序后，可以根据排序结果将所有待分拣工件进行编号，以便在控制分拣机器人进行分拣时可根据编号准确识别待抓取元件进而精准、高效地完成分拣作业。例如，若有需要分拣的工件时，针对即将要被分抓取的一个待分拣工件即当前待分拣工件时，需要识别并确定当前待分拣工件所对应的编号。

在本发明的一些实施例中，如图6所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，根据排序结果将待分拣工件编号并确定当前待分拣工件的编号之后，控制方法还包括S33-S35，具体如下。

S33，根据当前待分拣工件的编号确定其所在的编号队列中剩余的待分拣工件数量为零，则确定编号队列中的待分拣工件分拣完成。

中控控制模块还能实时检测各个编号队列中剩余的待分拣工件数量，其中当确定当前待分拣工件的编号为其所在的编号队列中的最后一个编号，且当分拣机器人执行完当前待分拣工件的分拣作业后，确定该编号队列中不存在其他待分拣工件，则表示确定该编号队列中的工件已分拣完成。

S34，发送完成信号至相应的分拣机器人。系统确定分拣完成后，发送完成信号至相应的分拣机器人，分拣机器人能响应该完成信号停止分拣操作。

对于工业或制造业的流水线作业中，设置的多个视觉引导钢板分拣装置来说，可能存在多个分拣机器人同时执行分拣作业的情况，因此本发明的方法具体还包括步骤S36。

S35，全部分拣机器人接收到完成信号，记录当前分拣作业完成。若所有启动的分拣机器人均接收到了系统发送的完成信号，则所有启动的分拣机器人均停止分拣操作，则表示当前分拣作业完成。

在本发明的一些实施例中，如图7所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，根据抓取数据、放置数据和开磁点位数据控制对应的分拣机器人执行分拣作业，即上面步骤S5包括步骤S51-S53，具体如下。

S51，根据视觉全局匹配数据分配多个分拣机器人应当抓取的待分拣工件。

具体地，以图1中示出的在输送线或传送带两侧设置多个分拣机器人，且两个分拣机器人相对设置为例。在整个分拣作业中，可能会出现两个分拣机器人共同配合分拣一块钢板中的待分拣工件，因此系统需要控制对应的分拣机器人执行分拣操作，则可以根据获取的视觉全局匹配数据确定需要执行分拣作业的分拣机器人以及确定每一个分拣机器人所需执行的待分拣工件的个数、位置等。

S52，检测分拣机器人的状态并启动对应的分拣机器人，发送当前待分拣工件的抓取数据、放置数据和开磁点位数据至对应的分拣机器人。

在发送控制指令之前，中控控制模块需要先检测需要执行分拣作业的分拣机器人的工作状态，并确定该分拣机器人能够正常工作。对于任意一个待分拣工件来说，需要确定该待分拣工件应当被哪一个分拣机器人抓取，在确定需要执行分拣作业的分拣机器人后，则发送控制指令启动该分拣机器人，并将获取的当前待分拣工件的抓取数据、放置数据和开磁点位数据发送给该分拣机器人。

S53，对应的分拣机器人根据抓取数据和开磁点位数据执行走点动作、抓取动作和开磁操作中的至少一种，以及根据放置数据执行动作、放置动作和放磁操作中的至少一种。

具体地，分拣机器人能根据获取的抓取数据和放置数据自动生成运动轨迹，分拣机器人包括操机械臂和端拾器，端拾器设置于机械臂的执行端，端拾器可以为磁吸式端拾器，即端拾器通电磁化后可以吸取待分拣工件，断电后磁性消失。其中，分拣机器人根据抓取数据进行走点并运动至抓取区域，由机械臂控制端拾器靠近待分拣工件，执行完走点动作后，执行端拾器开磁操作抓取待分拣工件。以及，分拣机器人根据放置数据进行走点并运动至放置区域，由机械臂控制端拾器带动工件靠近放置区域中的放置点，以及在执行完走点动作后，执行端拾器断磁操作放置待分拣工件，进而完成一次分拣操作。

在本发明的一些实施例中，如图8所示，为根据本发明又一个实施例的视觉引导钢板分拣方法的流程图，其中，通过多个相机模块获取待分拣工件所在的钢板的图像信息之前，该方法具体还包括步骤S11-S13。

S11，钢板位于分拣作业区域并接收到钢板的到位信号。

可以理解的是，钢板被放置在输送线上，当钢板运动至待分拣区域后，中控控制模块会接收到钢板的到位信号，即表示待分拣区域存在钢板和待分拣工件。

S12，根据到位信号获取钢板的基础数据。

其中，基础数据可以包括钢板的长度和宽度数据和放置方案数据，由于钢板中包含有待分拣的工件，因此该基础数据也可以包括待分拣工件的基础信息数据，例如待分拣工件的编号、类型等。在批量生产时，输送线上的待分拣钢板基础数据可预先存储到系统中，在接收到位信号后可以直接调用内部存储的对应钢板的基础数据。或者，中控控制模块也可以直接进行检测来获取待分拣钢板基础数据，通过获取待分拣的钢板的基础数据，便于后续分拣机器人进行分拣作业，提升分拣效率。

S13，调度视觉算法模块控制多个相机模块进行拍照。

中控控制模块作为总控制器可以驱动视觉算法模块工作，例如发送控制指令至视觉算法模块，视觉算法模块响应控制指令控制多个相机模块拍照，例如可以控制多有相机模块同时进行拍照操作。因此，即使输送线上的钢板的长度比较长、面积比较大，也能一次性获取完整的钢板的图像信息。

在本发明的一些实施例中，还提出一种采用上面视觉引导钢板分拣方法的视觉引导钢板分拣装置，如图9所示，为根据本发明一个实施例的视觉引导钢板分拣装置的框图，其中，视觉引导钢板分拣装置10包括多个分拣机器人1、多个相机模块2、视觉算法模块3和中控控制模块4。

具体地，可结合图10描述本发明实施例的分拣机器人1，如图10所示，为根据本发明一个实施例的分拣机器人的示意图。其中，分拣机器人1包括机械臂11和端拾器12，分拣机器人1的机械臂11由多个可旋转的关节组成，端拾器12设置于机械臂11的执行端。其中，端拾器12为磁吸式端拾器，端拾器12通电磁化后可以吸取待分拣工件，断电后磁性消失，端拾器12通电磁化后可将待分拣工件吸附住即抓取待分拣工件，端拾器12断电后，磁性变小或消失进而放开工件。

机械臂11与端拾器12配合用于执行分拣作业，具体地，可控制机械臂11各个关节的运动速度、角度和运动时间等，从而实现对待分拣工件的走点操作、抓取操作和放置操作。

进一步地，可参考图11理解本发明实施例的多个相机模块2，如图11所示，为根据本发明一个实施例的相机模块的示意图，其中，多个相机模块2设置于多个分拣机器人1上方的固定支架上，具体地，固定支架的顶部高于分拣机器人1的顶部，可将多个相机模块2固定在固定支架上，且能保证能清晰拍摄到钢板和待分拣工件的位置，例如将多个相机模块2设置在固定支架的顶部或四周等。

其中，可以将多个相机模块2与讴歌分拣机器人1对应设置，以便实现精准拍摄。多个相机模块2的视野范围至少覆盖对应设置的分拣机器人1的端拾器12的作业轨迹，用于实时获取待分拣工件和所在钢板的图像信息。

其中，任意一个相机模块2中至少包括两个相机单元，任意一个相机单元至少包括一台工业3D相机。具体地，如图11所示，以图中示出的一个相机模块2为例，该相机模块2设置于固定支架的顶部的中间位置，该相机模块2包括相机单元21和相机单元22，相机单元21包括相机A，相机A可以包括两个摄像头，分别用于获得图像信息和深度信息，相机单元22包括相机B，相机B也可以包括两个摄像头，分别用于获得图像信息和深度信息。其中，相机A和相机B均为工业3D相机，3D视觉设备能拍摄非常清晰的图片，进而获取精确地图像信息。并且，基于独立支架固定相机模块2，保证相机视野的稳定性和识别的准确性，不受分拣运动的影响。

通过设置一个相机模块2包括至少一台工业3D相机如2台工业3D相机或3台工业3D相机或4台工业3D相机等，能够弥补单个相机的视野不足的缺点，并且通过安装多个相机来进行补充视野，能够确保分拣机器人1的作业轨迹始终位于相机模块2的视野范围内，进而可以实时监控端拾器12抓取工件时的状态以及钢板和工件的姿态。

视觉算法模块3与多个相机模块2连接，用于控制多个相机模块2进行拍照并获取图像信息，根据图像信息获取钢板的位姿数据和待分拣工件的数据信息。其中视觉算法模块3可以为具有数据分析功能的处理器，用于对相机模块2拍摄的图像信息进行分析和比对。例如，视觉算法模块3可以控制多个相机模块2进行拍摄，并获取图像信息，进而根据图像信息对钢板整体进行定位，以及根据定位数据进行全局匹配计算并获取视觉全局匹配数据，再根据视觉全局匹配数据获取钢板中的待分拣工件的数据信息。视觉算法模块3还可以将获取的待分拣工件的数据信息进行存储。

以及，视觉算法模块3还可以根据当前待分拣工件的编号获取当前待分拣工件的抓取数据和放置数据。

中控控制模块4可以为后台总控制器，用于进行数据的统筹和处理，中控控制模块4与视觉算法模块3连接以实现实时通信，可以调动视觉算法模块3执行图像信息处理和分析等操作，例如可以获取视觉算法模块3存储的待分拣工件的数据信息，并根据待分拣工件的数据信息获取当前待分拣工件的编号，再将当前待分拣工件的编号发送至视觉算法模块3中。中控控制模块4和多个分拣机器人1连接，中控控制模块4还能将视觉算法模块3获取的当前待分拣工件的抓取数据和放置数据发送至多个分拣机器人1，进而根据待分拣工件的数据信息控制分拣机器人1执行抓取和放置操作。以及在根据待分拣工件的编号确定其所在的编号队列中剩余的待分拣工件数量为零时，发送完成信号至相应的分拣机器人1，并控制分拣机器人1停止分拣操作，进而实现上面任一项实施例的视觉引导钢板分拣方法。

此外，视觉算法模块3和中控控制模块4可以为独立设置的控制器，也可以将两个模块集成设置在同一个处理器或服务器中，以实现数据和信息的分析和处理。

根据本发明实施例提出的视觉引导钢板分拣装置10，基于多个分拣机器人1、多个相机模块2、视觉算法模块3和中控控制模块4的架构，由视觉算法模块3和中控控制模块4配合并控制多个分拣机器人1和多个相机模块2执行上面实施例的视觉引导钢板分拣方法，能实现多个分拣机器人1的手眼协同融合作业，能实现精确分拣，提升分拣效率，稳定性高且更加智能。以及由多个相机模块2进行数据实时采集并反馈至视觉算法模块3，再由视觉算法模块3和中控控制模块4逆向控制多个相机模块2和多个分拣机器人1的工作状态，能够为规划部署提供安全便捷的远程控制调度。

在本发明的一些实施例中，还提出一种视觉引导钢板分拣系统，如图12所示为根据本发明一个实施例的视觉引导钢板分拣系统的框图，其中视觉引导钢板分拣系统100包括输送线20、视觉引导钢板分拣装置10、遮光罩30、至少一个处理器40和存储器50。其中，图12中未示出上述结构的位置关系。

其中，输送线20可以为生产中用于输送钢板以进行分拣的流水线，钢板中包括有待分拣工件。视觉钢板引导分拣装置10中的多个分拣机器人1分布于输送线20的两侧，其中，至少两个分拣机器1人以输送线20为轴相对设置。

具体地，可以结合图1理解本发明实施例的输送线20和视觉引导钢板分拣装置10的位置分布，其中图1中未标示标号。其中，在整个分拣作业中，两个分拣机器1人以输送线20为轴相对设置时，一个相机模块2至少能同时监测两个分拣机器人1的分拣作业范围。

具体地，可结合图13理解本发明实施例的遮光罩30，如图13所示，为根据本发明一个实施例的遮光罩的示意图，其中，遮光罩30覆盖于固定支架的上方并环绕于固定支架的四周，用于遮光，可以设置该遮光罩30的遮挡范围能够覆盖钢板所在整条输送线20。也就是说，整个遮光罩30至少需要遮盖环境投射到相机模块2的视野范围内的光，进而能够降低环境光影响。

本发明实施例的视觉引导钢板分拣系统100还包括至少一个处理器40和存储器50，其中，存储器50与至少一个处理器40通信连接，其中，存储器50中存储有可被至少一个处理器40执行的计算机程序，至少一个处理器40执行计算机程序时实现上面第一方面实施例中任一项的视觉引导钢板分拣方法。

根据本发明实施例提出的视觉引导钢板分拣系统100，通过将视觉引导钢板分拣装置10中的多个分拣机器人1设置在输送线20两侧，并控制多个相机模块2与多个分拣机器人1手眼协同融合作业，能实现精准检测和分拣。且由智能系统代替人工决策，能减少人工误识别的情况，提升分拣效率的分拣准确度。以及，采用遮光罩30能够降低环境光影响。至少一个处理器40执行存储器50中存储的计算机程序时以实现上面实施例的视觉引导钢板分拣方法，通过采用该方法，无需预先设定多个分拣机器人1的固定轨迹，能适应多种复杂形态的工件的抓取和放置，稳定性高。

根据本发明实施例的视觉引导钢板分拣装置10和视觉引导钢板分拣系统100等的其他构成以及操作对于本领域普通技术人员而言都是已知的，这里不再详细描述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种视觉引导钢板分拣方法，其特征在于，用于视觉引导钢板分拣装置，所述视觉引导钢板分拣装置包括多个分拣机器人、多个相机模块和视觉算法模块，所述视觉算法模块和多个所述相机模块连接，多个所述相机模块的视野范围至少覆盖多个所述分拣机器人的作业轨迹，所述视觉引导钢板分拣方法包括：

通过多个所述相机模块获取待分拣工件所在的钢板的图像信息；

所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，其中，所述待分拣工件的数据信息包括工件类型信息、形状信息和大小信息；

根据所述待分拣工件的数据信息获取当前待分拣工件的编号，其中，根据所述待分拣工件的数据信息获取所述当前待分拣工件的编号包括：根据所述待分拣工件的数据信息按照预定策略将所述待分拣工件进行排序，根据排序结果将所述待分拣工件编号并确定所述当前待分拣工件的编号；

所述视觉算法模块根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据、放置数据和开磁点位数据；

根据所述抓取数据、所述放置数据和所述开磁点位数据控制对应的所述分拣机器人执行分拣作业。

2.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，所述视觉算法模块根据所述当前待分拣工件的编号获取所述当前待分拣工件的抓取数据、放置数据和开磁点位数据，包括：

获取所述当前待分拣工件的编号；

将和所述当前待分拣工件的编号相对应的所述当前分拣工件的数据信息与参考数据进行局部匹配，获取所述当前待分拣工件的所述抓取数据、所述放置数据和所述开磁点位数据。

3.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，根据排序结果将所述待分拣工件编号并确定所述当前待分拣工件的编号之后，所述方法还包括：

根据所述当前待分拣工件的编号确定其所在的所述编号队列中剩余的所述待分拣工件数量为零，则确定所述编号队列中的所述待分拣工件分拣完成；

发送完成信号至相应的所述分拣机器人；

全部所述分拣机器人接收到所述完成信号，记录当前分拣作业完成。

4.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，包括：

根据所述图像信息获取所述钢板的定位数据；

根据所述钢板的定位数据进行全局匹配计算并获取视觉全局匹配数据；

根据所述视觉全局匹配数据获取所述钢板中的所述待分拣工件的数据信息；

以及，所述视觉算法模块根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息之后，所述方法还包括：

存储所述待分拣工件的数据信息。

5.根据权利要求1或4所述的视觉引导钢板分拣方法，其特征在于，根据所述抓取数据所述放置数据和所述开磁点位数据控制对应的所述分拣机器人执行分拣作业，包括：

根据所述视觉全局匹配数据分配多个所述分拣机器人应当抓取的所述待分拣工件；

检测所述分拣机器人的状态并启动对应的所述分拣机器人，发送所述当前待分拣工件的所述抓取数据、所述放置数据和所述开磁点位数据至对应的所述分拣机器人；

对应的所述分拣机器人根据所述当前待分拣工件的所述抓取数据和所述开磁点位数据执行走点动作、抓取动作和开磁操作中的至少一种，以及根据所述放置数据执行走点动作、放置动作和放磁操作中的至少一种。

6.根据权利要求1所述的视觉引导钢板分拣方法，其特征在于，所述通过多个所述相机模块获取待分拣工件所在的钢板的图像信息之前，所述方法还包括：

所述钢板位于分拣作业区域并接收到所述钢板的到位信号；

根据所述到位信号获取所述钢板的基础数据；

调度所述视觉算法模块控制多个所述相机模块进行拍照。

7.一种视觉引导钢板分拣装置，其特征在于，包括：

多个分拣机器人，任意一个所述分拣机器人包括机械臂和端拾器，所述端拾器设置于所述机械臂的执行端，所述机械臂与所述端拾器配合用于执行分拣作业；

多个相机模块，多个所述相机模块设置于多个所述分拣机器人上方的固定支架上，多个所述相机模块的视野范围至少覆盖多个所述分拣机器人的所述端拾器的作业轨迹，多个所述相机模块用于实时获取待分拣工件和所在钢板的图像信息；

视觉算法模块，所述视觉算法模块与多个所述相机模块连接，用于控制多个所述相机模块进行拍照并获取所述图像信息，根据所述图像信息获取所述钢板的位姿数据和所述待分拣工件的数据信息，以及根据所述待分拣工件的编号获取所述待分拣工件的抓取数据、放置数据和开磁点位数据；

中控控制模块，所述中控控制模块与所述视觉算法模块和多个所述分拣机器人连接，用于调度所述视觉算法模块和多个所述分拣机器人执行分拣作业，以实现权利要求1-6任一项所述的视觉引导钢板分拣方法。

8.根据权利要求7所述的视觉引导钢板分拣装置，其特征在于，

所述端拾器为磁吸式端拾器；

任意一个所述相机模块中至少包括两个相机单元，任意一个相机单元至少包括一台工业3D相机。

9.一种视觉引导钢板分拣系统，其特征在于，包括：

输送线，所述输送线用于输送钢板，所述钢板中包括有待分拣工件；

权利要求7或8所述的视觉引导钢板分拣装置，所述视觉钢板引导分拣装置中的多个所述分拣机器人分布于所述输送线的两侧，其中，至少两个所述分拣机器人以所述输送线为轴相对设置；

遮光罩，所述遮光罩覆盖于所述固定支架的上方并环绕于所述固定支架的四周，用于遮光；

至少一个处理器；

与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现权利要求1-6任一项所述的视觉引导钢板分拣方法。