CN111761575A

CN111761575A - 工件及其抓取方法和生产线

Info

Publication number: CN111761575A
Application number: CN202010484931.9A
Authority: CN
Inventors: 曾德天
Original assignee: Hunan Shibite Robot Co Ltd
Current assignee: Hunan Shibite Robot Co Ltd
Priority date: 2020-06-01
Filing date: 2020-06-01
Publication date: 2020-10-13
Anticipated expiration: 2040-06-01
Also published as: CN111761575B

Abstract

本发明公开一种工件及其抓取方法和生产线，其中，工件抓取方法包括以下步骤：调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位；获取图像中钢板的角点和边点的坐标；将图像中钢板的角点和边点的坐标转换到机器人坐标系，同时将钢板套料图匹配到机器人坐标系中，以获取各个工件的角点坐标和边点坐标；根据吸盘中心点到其边缘的最大尺寸、各个工件的角点坐标和边点坐标以及真空柱的位置，计算吸盘在吸取工件时所允许旋转的最大旋转角；比较所需最大旋转角与套料图中给定的预设旋转角；确定所需最大旋转角大于或者等于预设旋转角，机械臂对工件进行抓取。本发明技术方案有利于机械臂规避障碍准确抓取工件。

Description

工件及其抓取方法和生产线

技术领域

本发明涉及工件加工技术领域，特别涉及一种工件及其抓取方法和生产线。

背景技术

工件识别与抓取是实现自动化生产线的重要环节，目前的工件识别与抓取方案中大部分还是离线编程与事先示教好的方法。一旦外部条件发生改变如光照强度、工件的形状与尺寸等，方案整体的鲁棒性与准确性会急剧下降。使得机器人在定位和抓取工件的过程中，其机械臂无法准确的规避障碍，不利于工件的顺利生产。

发明内容

本发明的主要目的是提供一种工件抓取方法，旨在提供机械臂规避障碍的能力，以使工件顺利的生产。

为实现上述目的，本发明提出的工件抓取方法，包括以下步骤：

调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位；获取图像中钢板的角点和边点的坐标；

将图像中钢板的角点和边点的坐标转换到机器人坐标系，同时将钢板套料图匹配到机器人坐标系中，以获取各个工件的角点坐标和边点坐标；

根据吸盘中心点到其边缘的最大尺寸、各个工件的角点坐标和边点坐标以及真空柱的位置，计算吸盘在吸取工件时所允许旋转的最大旋转角；

比较所需最大旋转角与套料图中给定的预设旋转角；确定所需最大旋转角大于或者等于预设旋转角，机械臂对工件进行抓取。

可选地，所述将图像中钢板的角点和边点的坐标转换到机器人坐标系的步骤包括：

放置标记板，调用相机对标记板进行拍照，并计算出相机到标记板的转换矩阵R_c_to_m；

在机械臂吸盘末端绑定激光笔，且在标记板上走三个点，并分别记录三个点在PLC显示盘上的(x，y)值；其中，第一个点代表原点，第二个点代表X方向上的点，第三个点代表Y方向上的点；

通过分别和原点坐标做减法及规范化，分别算出X和Y方向上的单位向量e_x和e_y，并对两个单位向量做叉积即可得出Z方向上的单位向量e_z；e_x、e_y、e_z及记录的原点坐标o_o(x,y,z)构成了标记板坐标系到机器人坐标系的转换矩阵

外参矩阵R_c_to_f为R_m_to_f点乘R_c_to_m。

可选地，在所述调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位的步骤之前还包括步骤：

获取钢板在板链上的到位信息，根据到位信息获取钢板对应套料图的相关数据。

可选地，所述机械臂对工件进行抓取的步骤包括：

获取钢板上工件的最大长度尺寸；

比较最大长度尺寸与预设的标准长度；

确定该工件的最大长度尺寸大于标准长度，采用双臂协同抓取；

确定该工件的最大长度尺寸小于或者等于标准长度，采用单臂抓取。

可选地，所述机械臂对工件进行抓取的步骤包括：

获取套料图工件的中心坐标，以套料图左下角为原点；从水平方向上的中点处左右各延伸预设宽度，设为中间区域；中间区域的左边的为左边区域，中间区域右边的右边区域；

确定钢板上的所有工件均采用单臂抓取，则两个机械臂首先分别单独抓取左边区域和右边区域中的工件；

在左边区域和右边区域的工件抓取接受后，其中一个机械臂来单独抓取中间区域的工件，同时将另一个机械臂移动到最边界处进行避障。

可选地，所述机械臂对工件进行抓取的步骤包括：

确定钢板上同时具有需要采用单臂抓取和采用双臂协同抓取的工件，则两个机械臂首先分别单独抓取左边区域和右边区域中的工件；

在左边区域和右边区域的工件抓取接受后，其中一个机械臂来单独抓取中间区域的工件，同时将另一个机械臂移动到最边界处进行避障；

待所有的单臂抓取的零件抓完后，两条机械臂开始协同依次抓取需要双臂协同抓取的零件。

可选地，在所述机械臂对工件进行抓取的步骤之后，还包括：

将所有零件按最长边的长度进行降序排列，并依次抓取摆放；

抓取尺寸最长的工件，并将其放置在工件放料区域的右上角；

将除去最长零件的最小外接矩形所剩余的区域划分为右放置区和左放置区；

抓取尺寸次长的工件，并比对尺寸次长的工件的最大宽度与右放置区的宽度；

确定尺寸次长的工件的最大宽度小于或者等于右放置区的宽度，则将尺寸次长的工件摆放在右放置区；

确定尺寸次长的工件的最大宽度大于右放置区的宽度，则将尺寸次长的工件摆放在左放置区。

可选地，对所拍摄的图像中的钢板进行角点定位和边点定位的步骤包括：

针对特定场景设计对应的角点与边点检测的学习网络；

将预设人工合成的场景图片数据放到学习网络中进行训练，以反向传播优化参数，生成精确预训练模型；

获取真实场景的角点图片和边点图片，并将真实场景的图片数据放到学习网络中进行训练，精确预训练模型生成最终检测模型；

对拍摄的图像中的钢板进行检测以获取角点定位和边点定位。

本发明还提出一种工件生产线，使用工件抓取方法，其中，工件抓取方法包括以下步骤：

本发明还提高一种工件，该工件由工件生产线所生产，该工件生产线使用工件抓取方法，其中，工件抓取方法包括以下步骤：

本发明技术方案中，首先调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位；获取图像中钢板的角点和边点的坐标；再通过内参矩阵好和外参矩阵将图像中钢板的角点和边点的坐标转换到机器人坐标系，同时将钢板套料图匹配到机器人坐标系中，以获取各个工件的角点坐标和边点坐标；然后，根据吸盘中心点到其边缘的最大尺寸、各个工件的角点坐标和边点坐标以及真空柱的位置，计算吸盘在吸取工件时所允许旋转的最大旋转角；再比较所需最大旋转角与套料图中给定的预设旋转角；确定所需最大旋转角大于或者等于预设旋转角，机械臂对工件进行抓取；通过充分考虑当前工件实际的工况，以及真空柱、机械臂等的位置，确保机械臂在抓取工件的过程中，机械臂的吸盘将避开真空柱(避障)，从而稳定可靠的对工件进行抓取，提升系统鲁棒性与工件识别抓取的速度，且抓取的准确性需要达100％。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明工件抓取方法一实施例的流程示意图；

图2为本发明的避障示意图；

图3为本发明左边区域、右边区域和中间区域的划分示意图；

图4为本发明工件抓取方法的放料位置排列示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中的“和/或”包括三个方案，以A和/或B为例，包括A技术方案、B技术方案，以及A和B同时满足的技术方案；另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明主要提出一种工件抓取方法，主要应用于工件生产线中，以增加机械臂在抓取工件(零件)时的避障能力，从而提高机械臂抓取工件(零件)的可靠性和稳定性。

以下将主要描述工件抓取方法的具体结构。

参照图1至图4，在本发明实施例中，该工件抓取方法包括以下步骤：

具体地，本实施例中，工件抓取方法基于套料图，套料图可以为为客户提供，也可以为第三机构提供。其中，套料是下料的时候,在排料时有的地方不好排或空缺,造成很大的浪费,可以再在里面套出一些不同形状的小料，即在有限的材料面积上尽可能多的使用材料进行生产，将材料利用率提高，减少废料的一种方法。也即，套料图是利用套料方法排布零件的图纸。在加工工件的过程中，首先将钢板根据套料图切割为所需要的工件，再通过机械臂根据工件抓取方法，基于套料图对钢板上的工件进行抓取。

S10，调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位；获取图像中钢板的角点和边点的坐标；

本实施例中，首先利用相机对钢板的角点和边点进行拍照，并对所拍摄的图像进行处理，对其角点和边点进行定位，标注其角点和边点。标注边点和角点的方式有很多，可以人为的进行标注，也可以通过成熟的算法来标注。关于图像中钢板角点和边点的坐标，与图像所建立的坐标系有关。本实施例中，在机器人内设置有内参矩阵，将图像中的角点和边点转化到相机所拍摄图像的坐标系下。钢板角点和边点的定位方法，在后面的实施例中进行详细阐述。

S20，将图像中钢板的角点和边点的坐标转换到机器人坐标系，同时将钢板套料图匹配到机器人坐标系中，以获取各个工件的角点坐标和边点坐标；

本实施例中，将图像中的角点和边点坐标转换到机器人坐标系的方式有多种，下面将举一个例子进行说明。对于图像中的角点与边点，首先通过内参矩阵将其转换到相机坐标系下，再通过外参矩阵转换到机器人基坐标系，外参矩阵参考下面的实施例。在将钢板的角点坐标和边点坐标确定后，结合套料图，由于套料图中，各个工件在套料图中的位置固定，机器人可以获取处钢板上各个工件的角点和边点，从而得到各个工件真实的抓取位置。

所述将图像中钢板的角点和边点的坐标转换到机器人坐标系的步骤包括：放置标记板，调用相机对标记板进行拍照，并计算出相机到标记板的转换矩阵R_c_to_m；

外参矩阵R_c_to_f为R_m_to_f点乘R_c_to_m。

在坐标转换的过程中，先给出标记板，调用相机对标记板进行拍照，并计算出相机到标记板的转换矩阵(内参矩阵)。同时，在机械臂吸盘末端绑定激光笔，在标记板上走三个点，分别记录三个点在PLC显示盘上的(x，y)值。

S30，根据吸盘中心点到其边缘的最大尺寸、各个工件的角点坐标和边点坐标以及真空柱的位置，计算吸盘在吸取工件时所允许旋转的最大旋转角；

S40，比较所需最大旋转角与套料图中给定的预设旋转角；确定最大旋转角大于或者等于预设旋转角，机械臂对工件进行抓取。

机械臂的吸盘，由于其存在较大的直径，在旋转的过程中，可能会打到板链边缘的真空柱。吸盘的中心点到吸盘边缘的最大尺寸可能有多种形式，本实施例中，最长的距离以0.71m为例，当然在一些实施例中，可以为0.6～0.8m。对每一根真空柱，取柱子在水平面上的中心点为柱子的位置。在钢板上，形成有待检测区域，图2中以矩形框表示，通常情况下，待检测区域为工件的排列区域。若零件的中心坐标在图2的矩形待检测区域内，则需要在线估算吸盘在吸取零件时能旋转的最大(阈值)角度。也即，需要计算，吸盘在吸取工件的工程中，最大旋转多少角度，不会碰撞到真空柱。若套料图中给定的旋转角度大于给定的阈值角度，也即，抓取工件需要吸盘旋转的角度超出了实际所允许的情况，此时，吸盘抓取旋转不合法，也即此时有碰撞的风险，不能直接抓取，需要重新计算最佳旋转角度和通磁矩阵，直至所允许旋转的最大旋转角大于或者等于套料图中所需要的预设旋转角，再对工件进行直接抓取。当然，如果计算出的所允许旋转的最大旋转角直接大于套料图所规定的旋转角，则可以直接抓取。

在上述的计算过程中，考虑工件和真空柱在机器人坐标系中的具体位置，再结合机械臂的位置和吸盘的最大尺寸，在机械臂旋转的过程中，吸盘边缘所到达的位置，如果不与真空柱干涉，则说明当前旋转角度可以直接抓取。如果吸盘所达到的位置，在抓取过程中，将与真空柱干涉，此时，则说明当前旋转角度不合理，需要重新计算抓取路线。

本实施例中，首先调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位；获取图像中钢板的角点和边点的坐标；再通过内参矩阵好和外参矩阵将图像中钢板的角点和边点的坐标转换到机器人坐标系，同时将钢板套料图匹配到机器人坐标系中，以获取各个工件的角点坐标和边点坐标；然后，根据吸盘中心点到其边缘的最大尺寸、各个工件的角点坐标和边点坐标以及真空柱的位置，计算吸盘在吸取工件时所允许旋转的最大旋转角；再比较所需最大旋转角与套料图中给定的预设旋转角；确定所需最大旋转角大于或者等于预设旋转角，机械臂对工件进行抓取；通过充分考虑当前工件实际的工况，以及真空柱、机械臂等的位置，确保机械臂在抓取工件的过程中，机械臂的吸盘将避开真空柱(避障)，从而稳定可靠的对工件进行抓取，提升系统鲁棒性与工件识别抓取的速度，且抓取的准确性需要达100％。

在一些实施例中，为了进一步的提高抓取的精度，在所述调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位的步骤之前还包括步骤：获取钢板在板链上的到位信息，根据到位信息获取钢板对应套料图的相关数据。

获取钢板到位信息的方式有很多，可以通过位置传感器、光传感器以及触碰传感器等，以红外传感器为例。具体地，钢板在板链上到位后，触碰到红外感应装置，被红外感应装置所检测到，红外感应装置将到位的信号传递给机器人或者相机。如此，使得相机所拍照片中的角点与边点的位置更加准确。有利于其更好的匹配套料图，提高机械臂的抓取精度。

在一些实施例中，参照图3，为了提高抓取效率，采用双臂抓取的方式，为了确保抓取效率的同时，工件被稳定可靠的抓取。首先将工件分为单臂抓取对象和双臂协同抓取对象。

所述机械臂对工件进行抓取的步骤包括：

获取钢板上工件的最大长度尺寸；

比较最大长度尺寸与预设的标准长度；

本实施例中，预设的标准长度可以为3m或者5m等，可以根据吸盘的实际情况设置。也即当该工件的最大长度尺寸大于一个值时，需要双臂协同才能可靠的抓取，当该工件的最大长度尺寸小于标准长度时，仅一个机械臂即可以可靠的对其进行抓取。

为了提高工作效率，在将工件分为单臂抓取和双臂协同抓取后，可以分为两种情况进行抓取：

第一种工况，确定钢板上的所有工件均采用单臂抓取：

所述机械臂对工件进行抓取的步骤包括：

在该工况下，可以同时发送零件抓取的相关数据(位置、旋转角、通磁矩阵)给两个机械臂并行的单独抓取。待左右两区域的单独抓取完成后，由其中的一个机械臂来单独抓取中心坐标在中间区域，同时将另一个机械臂移动到最边界处进行避障。如此，既充分利用了两个机械臂，又充分避免了两个机械臂在工作时发生碰撞。其中，预设宽度可以为0.9～1.2m，以1m为例。

第二种工况，确定钢板上的部分工件采用单臂抓取，部分工件需要采集双臂协同抓取：

所述机械臂对工件进行抓取的步骤包括：

在该工况下，先高效的抓取单臂抓取的工件，再共同抓取需要双臂系统抓取的工件。可以同时发送零件抓取的相关数据(位置、旋转角、通磁矩阵)给两个机械臂并行的单独抓取。待左右两区域的单独抓取完成后，开始依次抓取需要双臂协同抓取的零件，发送相关数据(位置、旋转角、通磁矩阵由套料图数据可直接计算获得)给零件抓取的两个机械臂。如此，既充分利用了两个机械臂，又充分避免了两个机械臂在工作时发生碰撞。其中，预设宽度可以为0.9～1.2m，以1m为例，则中间区域为1.8～2.4m，以2m为例。

在一些实施例中，为了便于后续工件的使用，在所述机械臂对工件进行抓取的步骤之后，还包括：

具体地，本实施例中，参照图4，首先获取所有工件的最长边的长度，并按照工件最长边的长度，按照降序排列。首先将最长的零件(工件1)放置在摆放区域的最右侧的上方，再比较次长工件的宽度与右边区域的宽度，当次长工件的宽度小于或者等于右放置区的宽度时，说明右边区域可以放置该工件，将该工件放置在右边区域。也即，再摆放次最长零件(工件2)，先看零件能否摆放在右放置区，如能摆放，则继续对右边区域的剩余部分划分出子右边区域和子下方区域；如不能摆放，则看零件能否摆放在下方区域，如能摆放，则继续对下方区域的剩余部分划分出子右边区域和子下方区域.如此不断循环，直至所有零件摆放完成。使得，在放料位置排列区放置零件时最长的边沿水平方向放置，且零件之间不能相互重叠。计算过程中使用到二叉树的数据结构，每个树节点记录了放置区域大小和对应可放置的零件的相关数据.最后对二叉树进行遍历，即可得到一组近似全局最优的位置排列方案。

在一些实施例中，为了提高钢板角点定位和边点定位的准确性，对所拍摄的图像中的钢板进行角点定位和边点定位的步骤包括：

针对特定场景设计对应的角点与边点检测的学习网络；

具体地，本实施例中，针对特定场景设计对应的角点与边点检测网络的形式有很多，其中，特定场景可以根据实际需求进行设置，下面举一个设计角点与边点检测的学习网络。

所述针对特定场景设计对应的角点与边点检测的学习网络的步骤包括：

特征提取模块通过卷积模块提取自下而上和自上而下的特征，将两种特征相结合，将结合后的特征再次使用卷积运算，消除混叠效应；区域提名模块训练一个粗的潜在目标区域提名模块，以便初步定位出大致的目标区域；最终预测模块通过训练一个卷积与全连接相结合的网络，进一步精确的预测角点与边点的具体位置；将特征提取模块、区域提名模块以及最终预测模块进行端到端的整体训练，在预测时则三个模块串联使用。

在学习网络的具体使用时，特征提取模块首先对场景进行提取，其提取的方式分别为自下而上和自上而下，将两次提取的特征相结合，将结合后的特征再次进行处理。区域提名模块训练一个粗的潜在目标区域提名模块，最终预测模块通过训练一个卷积与全连接相结合的网络，进一步精确的预测角点与边点的具体位置。如此，形成一个初步的学习网络模型。

在学习网络建立后，将合成的人工图片给学习网络学习，也即使用人工合作的图片对学习网络进行训练。人工合成图片的方式有很多，可以考虑多种工况合成(工况可以包括光线强度、光线角度，工件表面的清洁程度等)，也可以根据现有真实工况的照片进行合成。下面举例说明人工图片的合成方式。

为了提高人工合成场景图片的真实性，人工合成场景图片数据的步骤包括：

获取相机所拍摄的场景图片；根据场景图片，人工合成若干的合成图片；对合成图片进行角点或者边点进行标注。也即，相机采集若干的真实场景的图片，根据真实的场景图片，模拟生成人工合成的场景图片。在模拟的过程中，可以基于同一张真实的场景图片，通过调节场景工况，如调节光照强度、光照角度和工件表面纹理中的一个或者多个参数，来合成多个场景图片，

如此，不仅仅可以对真实图片所展示的工况进行模拟展示，还可以通过在合成过程中，调节工况参数，衍生出以真实场景图片为基础，多种不同工况的人工合成场景图片。从而大幅的丰富了工作场景，有利于提高学习网络模型的成长和提高其模型的检测精度。值得说明的是，在整个系统未投入到实际生产之前，无法获得到大量的场景图片，而数据量不大也无法训练出较好的网络模型。人工合图片较好的弥补了数量不足的缺点由于真实场景的图片采集困难。虽然合成图片的真实程度不及真实图片，但同样可以提取到两种场景中的某些共同特征，对于加强角点与边点检测模型的泛化能力起到了重要作用。通过生成大量的合成数据并仅对这些数据进行训练，模型的准确率可到90％。

下面具体的介绍两种人工合成场景图片的情况：

情况一：根据场景图片，人工合成若干的合成图片的步骤包括：

根据第一光照强度和第一光照角度生成第一合成图片；

根据第二光照强度和第二光照角度生成第二合成图片；

根据第三光照强度和第三光照角度生成第三合成图片；

其中，第一光照强度大于第二光照强度，且小于第三光照强度；

第一光照角度大于第二光照角度，且小于第三光照角度。

本实施例中，以第一光照强度和第一光照角度合成有第一合成图片，以第一合成图片为基础，可以合成光照强度和光照角度均大于第一合成图片的第三合成图片，也可以合成光照强度和光照角度均小于第一合成图片的第二合成图片。当然，在一些实施例中，还可以考虑增加工件表面的洁净度，比如可以分别对应第一合成图片、第二合成图片和第三合成图片设置第一洁净度、第二洁净度和第三洁净度。其中，第一洁净度大于第二洁净度，且小于第三洁净度。在一些实施例中，还可以考虑工件表面的纹理情况，我们将多种工件的纹理情况合成图片中，形成综合性纹理图片，综合性纹理图片中所集成的纹理数量，可以根据不同的情况来处理。比如，可以分别对应第一合成图片、第二合成图片和第三合成图片设置第一纹理数、第二纹理数和第三纹理数。其中，第一纹理数大于第二纹理数，且小于第三纹理数。

情况二：根据不同的工作场景，人工合成若干的合成图片的步骤还包括：

根据第四光照强度和第四光照角度生成第四合成图片；

根据第五光照强度和第五光照角度生成第五合成图片；

其中，第一光照强度大于第五光照强度，且小于第四光照强度；

第一光照角度小于第五光照角度，且大于第四光照角度。

本实施例中，以第一光照强度和第一光照角度合成有第一合成图片，以第一合成图片为基础，可以合成光照强度大于第一合成图片，光照角度小于第一合成图片的第四合成图片。也可以合成光照强度小于第一合成图片，光照角度大于第一合成图片的第五合成图片。当然，在一些实施例中，还可以考虑增加工件表面的洁净度，比如可以分别对应第一合成图片、第四合成图片和第五合成图片设置第一洁净度、第四洁净度和第五洁净度。其中，第一洁净度大于第五洁净度，且小于第四洁净度。在一些实施例中，还可以考虑工件表面的纹理情况，我们将多种工件的纹理情况合成图片中，形成综合性纹理图片，综合性纹理图片中所集成的纹理数量，可以根据不同的情况来处理。比如，可以分别对应第一合成图片、第二合成图片和第三合成图片设置第一纹理数、第四纹理数和第五纹理数。其中，第一纹理数大于第五纹理数，且小于第四纹理数。

在生成精确预训练模型后，获取真实场景的角点图片和边点图片，并将真实场景的图片数据放到学习网络中进行训练，精确预训练模型生成最终检测模型。本实施例中，生成真实场景的角点图片和边点图片的步骤包括：采集若干真实角点图片和边点图片；在角点图片上标注对应的角点，在边点图片上标注对应的边点。

整个训练出的模型最终要在真实图片上进行角点与边点的预测。系统未生产前，真实图片难以获得，且真实图片更加复杂，背景与干扰繁杂多变。收集一批少量的真实场景图片并标注后，继续对之前的网络进行训练，让网络接触到真实的场景数据，通过反向传播修正模型中的参数，从而进一步提升模型在真实场景图片中的准确率与鲁棒性。

本实施例中，首先针对特定场景设计对应的角点与边点检测的学习网络；再将预设人工合成的场景图片数据放到学习网络中进行训练，以反向传播优化参数，生成精确预训练模型；然后获取真实场景的角点图片和边点图片，并将真实场景的图片数据放到学习网络中进行训练，精确预训练模型生成最终检测模型；如此，通过人工合成大量的场景图片供学习网络模型学习，使得学习网络模型可以学习到多种工作场景下的检测情况，人工合成图片非常好的弥补了现有模型高质量的学习场景图片数量不足的缺陷，使得学习网络可以从两种场景中提取到某些共同特征，对于加强角点与边点检测模型的泛化能力起到了非常重要作用；通过生成大量的合成数据，并对这些数据进行训练，模型的准确率可高到90％以上，在对真实图片进行训练后，精确预训练模型精化为最终检测模型，进一步的大幅提高了学习网络模型的检测准确率。

本发明还提出一种工件生产线，该工件生产线使用工件抓取方法，该工件抓取方法的具体方案参照上述实施例，由于本工件生产线采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

本发明还提出一种工件，该工件由上面实施例中的生产线使用工件抓取方法，该工件抓取方法的具体方案参照上述实施例，由于本工件生产线采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims

1.一种工件抓取方法，其特征在于，包括以下步骤：

2.如权利要求1所述的工件抓取方法，其特征在于，所述将图像中钢板的角点和边点的坐标转换到机器人坐标系的步骤包括：

通过分别和原点坐标做减法及规范化，分别算出X和Y方向上的单位向量e_x和e_y，并对两个单位向量做叉积即可得出Z方向上的单位向量e_z；e_x、e_y、e_z及记录的原点坐标o_o(x,y,z)构成了标记板坐标系到机器人坐标系的转换矩阵R_m_to_f：

外参矩阵R_c_to_f为R_m_to_f点乘R_c_to_m。

3.如权利要求1所述的工件抓取方法，其特征在于，在所述调用相机对钢板角点与边点进行拍照，并对所拍摄的图像中的钢板进行角点定位和边点定位的步骤之前还包括步骤：

4.如权利要求1所述的工件抓取方法，其特征在于，所述机械臂对工件进行抓取的步骤包括：

获取钢板上工件的最大长度尺寸；

比较最大长度尺寸与预设的标准长度；

5.如权利要求4所述的工件抓取方法，其特征在于，所述机械臂对工件进行抓取的步骤包括：

6.如权利要求4所述的工件抓取方法，其特征在于，所述机械臂对工件进行抓取的步骤包括：

7.如权利要求1至6中任意一项所述的工件抓取方法，其特征在于，在所述机械臂对工件进行抓取的步骤之后，还包括：

8.如权利要求1至6中任意一项所述的工件抓取方法，其特征在于，对所拍摄的图像中的钢板进行角点定位和边点定位的步骤包括：

针对特定场景设计对应的角点与边点检测的学习网络；

9.一种工件生产线，其特征在于，使用如权利要求1至8中任意一项所述的工件抓取方法。

10.一种工件，其特征在于，由权利要求9中所述的工件生产线所生产。