CN110374312A - 搬运系统及其控制方法、地砖铺贴系统 - Google Patents

Abstract

本发明公开了一种搬运系统及其控制方法、地砖铺贴系统。其中，搬运系统包括：第一图像采集装置、第二图像采集装置和机器人，该方法包括：控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；根据第一偏移量和放置基准位置预测放置位；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。本发明解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

Description

搬运系统及其控制方法、地砖铺贴系统

技术领域

本发明涉及机器人领域，具体而言，涉及一种搬运系统及其控制方法、地砖铺贴系统。

背景技术

贴砖在建筑领域具有较广泛的应用，目前贴砖的工作通常由人工进行，但人工的测量通常并不准确，且施工进度较慢，因此在贴砖这一领域，逐渐引入了贴砖机器人。

目前的贴砖机器人在铺贴地砖的过程中，从运砖AGV(Automated GuidedVehicle，主动导引运输车)抓取地砖，搬运到铺贴位，进行对齐参考砖后进行地砖铺贴。但由于AGV定位精度有限(误差20mm)，而地砖的铺贴对精度具有较高的要求，因此该方式难以满足地砖的铺贴对精度的要求。

针对现有技术中用于贴砖的机器人无法满足贴砖的精度要求的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种搬运系统及其控制方法、地砖铺贴系统，以至少解决现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

根据本发明实施例的一个方面，提供了一种搬运系统的控制方法，搬运系统包括：第一图像采集装置、第二图像采集装置和机器人，其中，搬运系统的控制方法包括：控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

进一步地，控制机械臂移动至当前放置区域；向第一图像采集装置发送第一图像采集指令，其中，第一图像采集装置根据第一图像采集指令采集第一图像。

进一步地，在控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，获取放置特征位置和抓取特征位置，其中，获取放置特征位置和抓取特征位置的步骤包括：控制机械臂移动至初始放置区域，并通过第一图像采集装置采集初始第一图像；提取初始第一图像中的第一特征位置，得到放置特征位置；控制机械臂移动至初始抓取区域，并通过第一图像采集装置采集初始第二图像；提取初始第二图像中的第二特征位置，得到抓取特征位置。

进一步地，在将待搬运对象搬运至放置位之后，控制第一图像采集装置采集第三图像，其中，第三图像中包括待搬运对象和已放置对象；根据第三图像确定已放置对象和已放置对象的相邻边之间的距离；如果距离超过预设距离范围，则发出报警信息。

进一步地，待搬运对象为待铺贴地砖，第一特征位置为第一图像中已铺贴地砖的砖角所在的位置，第二特征位置为第二图像中待铺贴地砖的砖角所在的位置。

进一步地，第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，第一图像包括：第一子图像和第二子图像，其中，控制第一图像采集装置采集当前放置区域的第一图像，控制第一子图像采集装置采集第一当前放置区域的第一子图像；控制第二子图像采集装置采集第二当前放置区域的第二子图像，其中，第一当前放置区域和第二当前放置区域包括已放置对象的两个不同的特征位置；根据第一子图像和第二子图像确定第一偏移量。

进一步地，第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，第二图像包括：第三子图像和第四子图像，控制第三子图像采集装置采集第一当前抓取区域的第三子图像；控制第四子图像采集装置采集第二当前抓取区域的第四子图像，其中，第一当前抓取区域和第二当前抓取区域包括待搬运对象的两个不同的特征位置；根据第三子图像和第四子图像确定第二偏移量。

进一步地，在控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，对的第一子图像采集装置和第二子图像采集装置进行映射，得到第一子图像采集装置与第二子图像采集装置之间的映射关系。

根据本发明实施例的一个方面，提供了一种搬运系统，第一图像采集装置，用于采集当前放置区域的第一图像，并根据第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量；第二图像采集装置，用于采集当前抓取区域的第二图像，并根据第二图像中第二特征位置与预设的抓取特征位置确定第二偏移量；具有机械臂的机器人，用于根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；机器人还用于控制机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

进一步地，在第一图像采集装置设置于机械臂的末端。

进一步地，在机器人包括支杆，第二图像采集装置设置于支杆末端。

进一步地，在第一图像采集装置还用于在将待搬运对象搬运至放置位之后采集第三图像，其中，第三图像中包括已放置对象和待搬运对象，其中，机器人根据第三图像确定已放置对象和待搬运对象的相邻边之间的距离，如果距离超过预设距离，则发出报警信息。

进一步地，在待搬运对象为待铺贴地砖，第一特征位置为第一图像中已铺贴地砖的砖角所在的位置，第二特征位置为第二图像中待铺贴地砖的砖角所在的位置。

进一步地，在第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，第一图像包括：第一子图像和第二子图像；第一子图像采集装置用于采集第一当前放置区域的第一子图像；第二子图像采集装置用于采集第二当前放置区域的第二子图像，其中，第一当前放置区域和第二当前放置区域包括已放置对象的两个不同的特征位置；其中，机器人还用于根据第一子图像和第二子图像确定第一偏移量。

进一步地，在第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，第二图像包括：第三子图像和第四子图像；第三子图像采集装置用于采集第一当前抓取区域的第三子图像；第四子图像采集装置用于采集第二当前抓取区域的第四子图像，其中，第一当前抓取区域和第二当前抓取区域包括待搬运对象的两个不同的特征位置；其中，机器人还用于根据第三子图像和第四子图像确定第二偏移量。

根据本发明实施例的一个方面，提供了一种地砖铺贴系统，包括上述的搬运系统。

根据本发明实施例的一个方面，提供了一种搬运系统的控制方法，包括：获取当前放置区域的第一图像，并根据第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量；获取当前抓取区域的第二图像，并根据第二图像中的第二特征位置与预设的抓取特征位置确定第二偏移量；根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

在本发明实施例中，控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。上述方案使用不同非图像采集装置分别采集当前放置区域和当前抓取区域的图像，并根据采集的图像确定抓取位和放置位，从而实现了基于双相机对对象的搬运过程进行视觉指导，以提高搬运系统的精度的目的，当待搬运对象为地砖时，即可实现在进行示教后无需人为干预完成高精度地砖铺贴的效果，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本申请施例的搬运系统的控制方法的示意图；

图2是根据本申请实施例的一种搬运系统工作的示意图；

图3是根据本申请实施例的另一种搬运系统工作的示意图；

图4是根据本申请实施例中对相机进行标定的示意图；

图5是根据本申请实施例的一种搬运系统的示意图；

图6是根据本申请实施例的一种搬运系统的构架图；以及

图7是根据本申请实施例的又一种搬运系统的控制方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种搬运系统的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请施例的搬运系统的控制方法的示意图，搬运系统包括：第一图像采集装置、第二图像采集装置和具有机械臂的机器人，如图1所示，该述搬运系统的控制方法包括如下步骤：

步骤S102，控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量。

具体的，上述第一图像采集装置可以为智能相机，更具体的，可以为设置在机械臂末端，并与机械手进行过手眼标定的手眼相机。

图2是根据本申请实施例的一种搬运系统工作的示意图，结合图2所示，放置区域为贴砖拍照区，可以设置在参考对象(已铺贴的参考砖)附近。第一图像采集装置可以在机器人的机械臂的带动下移动至放置区域，并在移动到贴砖拍照区后，向控制器发送指定信号(例如，可以修改控制器的寄存器中指定位的数值)，控制器在收到该指定信号后，向第一图像采集装置发送图像采集的指令，图像采集装置在收到图像采集的指令后，采集第一图像。

上述放置特征位置可以是在示教的过程中确定的位置，也可以是人为指定的位置。以示教为例，在示教的过程中，人工控制机器人的移动和机械臂的移动，从而完成了一个对象的搬运过程，进而从这一过程中确定了放置特征位置。

上述第一特征位置可以是第一图像中的已放置对象的特征点的位置，该特征点可以是第一图像中的已放置对象的中心点，也可是第一图像中的已放置对象的角的位置。仍结合图2所示，第一特征位置可以为参考砖的地转角。上述第一偏移量可以为第一特征位置与预设的放置特征位置的差值。

步骤S104，控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量。

具体的，机器人可以在预设方向上设置有支杆，上述第二图像采集装置可以是设置在该支杆末端的固定相机。

上述抓取特征位置可以是在示教的过程中确定的位置，也可以是人为指定的位置。以示教为例，在示教的过程中，人工控制机器人的移动和机械臂的移动，从而完成了一个对象的搬运过程，进而从这一过程中确定了抓取特征位置。

上述第二特征位置可以是第二图像中的待搬运对象的特征点的位置，该特征点可以是第二图像中的待搬运对象的中心点，也可是第二图像中的待搬运对象的角的位置。仍如图2所示，第二特征位置可以为铺贴转的砖角，上述第二偏移量可以为第二特征位置与预设的抓取特征位置的差值。

步骤S106，根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得。

具体的，上述放置基准位置可以是在放置特征位置的基础上与其对齐且具有指定距离(例如2mm)的位置。

在一种可选的实施例中，可以首先将第一偏移量与放置基准位置调整至同一个坐标系中，然后在放置基准位置的基础上增加第一偏移量，即可得到放置位。同理，可以首先将第二偏移量与抓取特征位置调整至同一个坐标系中，然后在抓取特征位置的基础上增加第二偏移量，即可得到抓取位。

步骤S108，控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

具体的，上述机械臂末端可以包括吸盘，用于吸附待搬运对象。

在确定抓取位和放置位后，控制器即可控制机械臂根据抓取位抓取待搬运对象，并根据放置位，将待搬运对象移动至放置位，从而完成了对象的搬运。

由此可知，本申请上述实施例控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。上述方案使用不同非图像采集装置分别采集当前放置区域和当前抓取区域的图像，并根据采集的图像确定抓取位和放置位，从而实现了基于双相机对对象的搬运过程进行视觉指导，以提高搬运系统的精度的目的，当待搬运对象为地砖时，即可实现在进行示教后无需人为干预完成高精度地砖铺贴的效果，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

作为一种可选的实施例，控制第一图像采集装置采集当前放置区域的第一图像，包括：控制机械臂移动至放置区域；向第一图像采集装置发送第一图像采集指令，其中，第一图像采集装置根据第一图像采集指令采集第一图像。

由于第一图像采集设置于机械臂末端，因此当机械臂移动至放置区域时，第一图像采集装置也被移动至了放置区域。

在第一图像采集装置移动至放置区域后，可以向控制器发送指定信号(例如，可以修改控制器的寄存器中指定位的数值)，控制器在收到该指定信号后，向第一图像采集装置发送图像采集的指令，第一图像采集装置在收到图像采集的指令后，采集第一图像。

需要说明的是，第二图像采集装置采集第二图像的方式与第一图像采集装置采集第一图像的方式类似，此处不再赘述。

作为一种可选的实施例，在控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，方法还包括：获取放置特征位置和抓取特征位置，其中，获取放置特征位置和抓取特征位置的步骤包括：控制机械臂移动至初始放置区域，并通过第一图像采集装置采集初始第一图像；提取初始第一图像中的第一特征位置，得到放置特征位置；控制机械臂移动至初始抓取区域，并通过第一图像采集装置采集初始第二图像；提取初始第二图像中的第二特征位置，得到抓取特征位置。

当图像采集装置采集放置区域的第一图像和抓取区域的第二图像时，即开始对待搬运对象进行搬运，在这之前，控制器还需要获取抓取特征位置和放置特征位置，以在对待搬运对象进行搬运时，能够根据抓取特征位置和放置特征位置确定当前的抓取位和放置位。

在一种可选的实施例中，可以通过人工示教的方式，完整上述控制机械臂移动以及图像采集装置采集初始第一图像和初始第二图像的步骤，从而基于人工示教的过程得到抓取特征位置和放置特征位置。

仍以铺贴地砖为例，上述获取抓取特征位置和放置特征位置可以在室内铺贴地砖的初始阶段进行，即在开始对一个室内进行地砖铺贴时，首先可以通过示教的方式获取抓取特征位置和放置特征位置，然后再进行地砖的铺贴。

具体的，上述初始放置区域和初始抓取区域可以为预先指定的区域，例如，在铺贴地砖时第一块待铺贴地砖需要放置的区域(例如，室内的拐角处)为初始放置区域，抓取的第一块待铺贴地砖所在的区域为初始抓取区域。

下面，对人工进行操作来完成上述的示教过程进行详细说明，其中，图像采集装置中是设置在机械臂末端的智能相机：

S41，操作机械臂运动到贴砖拍照位，触发相机采集图像。在图像中选取地砖的角作为定位特征，并记录此时参考砖的位置作为它的基准位置。

具体的，上述贴砖拍照位即为初始放置区域，上述步骤中采集到的图像即为初始第一图像，上述地砖的角即为第一特征位置。该地砖的角可以为预先设定的任意一个角，也可以是指定的一个角。

当控制机械臂达到贴砖拍照位后，向智能相机发送拍照指令，触发智能相机采集图像。智能相机在采集到图像后，对图像进行处理，从中提取出地砖的一个角的位置，作为基准位。

需要说明的是，该参考砖的基准位置相当于上述的放置特征位置，在参考砖的基准位置的基础上确定与其对齐且具有指定距离(例如2mm)的位置即能够得到上述放置基准位置，即示教时的贴砖坐标。

S42，操作机械臂运动到取砖拍照位，触发相机采集图像，在图像中选取地砖的角作为定位特征，并记录此时铺贴砖的位置作为它的抓取特征位置。

具体的，上述取砖拍照位为初始抓取区域，上述步骤中采集到的图像即为初始第二图像，上述地砖的角即为第二特征位置。该地砖的角可以为预先设定的任意一个角，也可以是指定的一个角。

当控制机械臂达到取砖拍照位后，向智能相机发送拍照指令，触发智能相机采集图像。智能相机在采集到图像后，对图像进行处理，从中提取出地砖的一个角的位置，作为抓取特征位置。

S43，操作机械臂抓取地砖，搬运地砖，铺贴地砖，并控制相邻地砖缝隙为2mm。

在上述步骤中，通过操作机械臂抓取地砖并铺贴地砖，完成示教的过程，并通过示教的过程确定了抓取特征位置和放置特征位置，这些用于确定工作时每次地砖的抓取和铺贴坐标。

作为一种可选的实施例，在将待搬运对象搬运至放置位之后，上述方法还包括：控制第一图像采集装置采集第三图像，其中，第三图像中包括待搬运对象和已放置对象；根据第三图像确定已放置对象和已放置对象的相邻边之间的距离；如果距离超过预设距离范围，则发出报警信息。

具体的，上述预设的距离范围可以根据预定的相邻对象的相邻边的标准距离和预设的允许误差来确定，例如，预设的标准距离为2mm，允许的误差未0.5mm，因此上述的距离范围即为(2mm-0.5mm，2mm+0.5mm)。

在将待搬运对象搬运至放置位之后，机械臂将待搬运对象放置在放置位，从而完成了对象的搬运。在地砖铺贴领域，一块地砖铺贴的位置产生偏差，就会影响后续地砖的铺贴，从而影响地砖的整体铺贴效果，因此当检测到两个相邻地砖的相邻边之间的距离不处于距离范围内时，需要发出警告信息，并停止继续进行铺贴。

作为一种可选的实施例，待搬运对象为待铺贴地砖，第一特征位置为第一图像中已铺贴地砖的砖角所在的位置，第二特征位置为第二图像中待铺贴地砖的砖角所在的位置。

具体的，在上述方案中，待铺贴地砖可以为正方形、矩形、等边六边形等具有角度的形状。上述第一特征位置可以为已铺贴地砖的指定砖角，第二特征位置可以为和待铺贴地砖的指定砖角。

作为一种可选的实施例，第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，第一图像包括：第一子图像和第二子图像，其中，控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量，包括：控制第一子图像采集装置采集第一当前放置区域的第一子图像；控制第二子图像采集装置采集第二当前放置区域的第二子图像，其中，第一当前放置区域和第二当前放置区域包括已放置对象的两个不同的特征位置；根据第一子图像和第二子图像确定第一偏移量。

具体的，上述第一图像采集装置为一组图像采集装置，该组图像采集装置中包括两个子图像采集装置，用于采集不同放置区域的图像。不同的特征位置可以是参考砖的不同的砖角。上述的第一偏移量可以为一个数组，用于表示两个不同的特征位置对应的偏移量。

图3是根据本申请实施例的另一种搬运系统工作的示意图，结合图3所示，第一当前放置区域可以为拍照区3，第二当前放置区域可以为拍照区4，通过两个图像采集装置获取两个不同的特征位置，能够提升地砖铺贴的精确程度。

作为一种可选的实施例，第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，第二图像包括：第三子图像和第四子图像，其中，控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中第二特征位置与预设的抓取特征位置的第二偏移量，包括：控制第三子图像采集装置采集第一当前抓取区域的第三子图像；控制第四子图像采集装置采集第二当前抓取区域的第四子图像，其中，第一当前抓取区域和第二当前抓取区域包括待搬运对象的两个不同的特征位置；根据第三子图像和第四子图像确定第二偏移量。

具体的，上述第二图像采集装置为一组图像采集装置，该组图像采集装置中包括两个子图像采集装置，用于采集不同抓取区域的图像。不同的特征位置可以是待铺贴砖的不同的砖角。上述的第二偏移量可以用于表示两个不同的特征位置对应的偏移量。

仍结合图3所示，第一当前抓取区域可以为拍照区1，第二当前抓取区域可以为拍照区2，通过两个图像采集装置获取两个不同的特征位置，能够提升地砖抓取的精确程度。

作为一种可选的实施例，在控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，上述方法还包括：对的第一子图像采集装置和第二子图像采集装置进行映射，得到第一子图像采集装置与第二子图像采集装置之间的第一映射关系；对的第三子图像采集装置和第四子图像采集装置进行映射，得到第三子图像采集装置与第四子图像采集装置之间的第二映射关系；对第一图像采集装置中的一个子图像采集装置与第二图像采集装置中的第一子图像采集装置进行标定。

上述步骤用于四个子图像采集装置提取出的特征点可以在同一坐标系中进行运算。在得到两个映射关系后，可以对第一图像采集装置中的一个子图像采集装置，以及第二图像采集装置中的一个子图像采集装置进行标定，其中，可以对第一图像采集装置中的一个子图像采集装置进行9点标定，对第二图像采集装置中的一个子图像采集装置进行12点标定。

图4是根据本申请实施例中对相机进行标定的示意图，结合图4所示，首先分别对两台上相机(第一图像采集装置中的两个子图像采集装置)进行映射，对两台下相机(第二图像采集装置中的两个子图像采集装置)进行映射。映射后，对上后相机(上后相机为上相机中位置靠后的相机)进行9点标定，对下后相机(下后相机为下相机中位置靠后的相机)进行12点标定。标定后，分别制作上相机和下相机的模板。至此，数据准备工作完成。然后可以采用上相机拍照确定铺砖位，采用下相机拍照确定抓取位，最后根据抓取位和铺砖位进行地砖的铺贴。

下面结合图2，对上述实施例的方案应用在地砖铺贴中的一种实施例进行说明，可以包括如下步骤：

S21，分别对上下相机的各自两台相机进行映射，建立相互联系，建立联系后，对上后相机进行9点标定，对下后相机进行12点标定，标定后分别对上下相机进行模板制作。

具体的，上相机即为上述第一子图像采集装置和第二子图像采集装置，下相机为上述第二子图像采集装置和第三图像采集装置。

S22，机器人控制机械臂运动至放置区域，并向PC部分发送拍照指令，触发上相机对参考砖的砖角采集图像(拍照区3、拍照区4)，上相机计算出机器人坐标的偏移量，通过TCP/IP协议传递给机器人。机器人将示教时的贴砖坐标加上该偏移量作为此次的贴砖坐标。

具体的，上述S22中的偏移量即为第一偏移量，上述示教时的贴砖坐标即为放置标准位置。机器人在接收到智能相机计算的偏移量后，根据接收到的偏移量和示教时的贴砖坐标，即可计算得到此次的放置位，即贴砖坐标。

S23，机械臂运动到取砖拍照位，触发相机采集图像(拍照区1、拍照区2)，定位特征(地砖的角)并计算出机器人坐标的偏移量，通过TCP/IP协议传递给机器人。机器人将示教时的取砖坐标加上这个偏移量作为此次的取砖坐标。

具体的，上述S23中的取砖拍照位即为当前抓取区域，上述示教时的取砖坐标即为抓取特征位置。机器人在接收到智能相机计算的偏移量后，根据接收到的偏移量和示教时的取砖坐标，即可得到此次的抓取为，即取砖坐标。

S24，按得到的取砖和贴砖坐标操作机械臂抓取地砖，搬运地砖，并铺贴地砖。

在确定取砖坐标和贴砖坐标后，机械臂在机器人的控制下运行，即可在取砖位抓取待铺贴地砖，并在贴砖位放置待铺贴地砖。

S25，控制机械臂到贴砖拍照位，触发相机采集图像，在图像中选取地砖的相邻边作为特征，测量相邻边的距离即可以得到相邻砖的缝隙宽度。

上述步骤用于在机械臂将待铺贴地砖放置在贴砖位后，触发相机再次采集放置区域的图像，并根据采集的图像获取参考砖和铺贴砖的相邻边的距离，即两块砖的缝隙宽度。

实施例2

根据本发明实施例，提供了一种搬运系统。该搬运系统可以执行实施例1中的控制方法。图5是根据本申请实施例的一种搬运系统的示意图，结合图5，该系统包括：

第一图像采集装置10，用于采集当前放置区域的第一图像，并根据第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量。

具体的，上述第一图像采集装置可以为智能相机，更具体的，可以为设置在机械臂末端，并与机械手进行过手眼标定的手眼相机。

图2是根据本申请实施例的一种搬运系统工作的示意图，结合图2所示，放置区域为贴砖拍照区，可以设置在参考对象(已铺贴的参考砖)附近。第一图像采集装置可以在机器人的机械臂的带动下移动至放置区域，并在移动到贴砖拍照区后，向控制器发送指定信号(例如，可以修改控制器的寄存器中指定位的数值)，控制器在收到该指定信号后，向第一图像采集装置发送图像采集的指令，图像采集装置在收到图像采集的指令后，采集第一图像。

上述放置特征位置可以是在示教的过程中确定的位置，也可以是人为指定的位置。以示教为例，在示教的过程中，人工控制机器人的移动和机械臂的移动，从而完成了一个对象的搬运过程，进而从这一过程中确定了放置特征位置。

上述第一特征位置可以是第一图像中的已放置对象的特征点的位置，该特征点可以是第一图像中的已放置对象的中心点，也可是第一图像中的已放置对象的角的位置。仍结合图2所示，第一特征位置可以为参考砖的地转角。上述第一偏移量可以为第一特征位置与预设的放置特征位置的差值。

第二图像采集装置20，用于采集当前抓取区域的第二图像，并根据第二图像中第二特征位置与预设的抓取特征位置确定第二偏移量。

具体的，机器人可以在预设方向上设置有支杆，上述第二图像采集装置可以是设置在该支杆末端的固定相机。

上述抓取特征位置可以是在示教的过程中确定的位置，也可以是人为指定的位置。以示教为例，在示教的过程中，人工控制机器人的移动和机械臂的移动，从而完成了一个对象的搬运过程，进而从这一过程中确定了抓取特征位置。

上述第二特征位置可以是第二图像中的待搬运对象的特征点的位置，该特征点可以是第二图像中的待搬运对象的中心点，也可是第二图像中的待搬运对象的角的位置。仍如图2所示，第二特征位置可以为铺贴转的砖角，上述第二偏移量可以为第二特征位置与预设的抓取特征位置的差值。

具有机械臂的机器人30，用于根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得；机器人还用于控制机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

在一种可选的实施例中，可以首先将第一偏移量与放置特征位置调整至同一个坐标系中，然后在放置特征位置的基础上增加第一偏移量，即可得到放置位。同理，可以首先将第二偏移量与抓取特征位置调整至同一个坐标系中，然后在抓取特征位置的基础上增加第二偏移量，即可得到抓取位。

在确定抓取位和放置位后，控制器即可控制机械臂根据抓取位抓取待搬运对象，并根据放置位，将待搬运对象移动至放置位，从而完成了对象的搬运。

由此可知，本申请上述实施例控制第一图像采集装置采集当前放置区域的第一图像，并获取根据第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；控制第二图像采集装置采集当前抓取区域的第二图像，并获取根据第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，所述放置基准位置根据所述放置特征位置获得；控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。上述方案使用不同非图像采集装置分别采集当前放置区域和当前抓取区域的图像，并根据采集的图像确定抓取位和放置位，从而实现了基于双相机对对象的搬运过程进行视觉指导，以提高搬运系统的精度的目的，当待搬运对象为地砖时，即可实现在进行示教后无需人为干预完成高精度地砖铺贴的效果，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

图6是根据本申请实施例的一种搬运系统的构架图，下面结合图6所示，对上述系统的每个装置进行具体的说明：

本申请上述实施例的架构主要由工业相机，PC和机器人三部分组成，如图7所示。机器人部分控制机械臂完成地砖抓取和铺贴的动作，并在相应的拍照位向PC部分发送拍照指令。PC部分接收到拍照指令后，依指令的不同传递给相应相机，触发其采集图像。工业相机部分对图像中的特征进行定位，并将其对应的机器人坐标(或偏移量)传递给PC部分。PC部分根据坐标信息计算偏移量，再将其传递给机器人。机器人根据偏移量信息进行相应运动，完成地砖的视觉引导抓取和铺贴。

作为一种可选的实施例，第一图像采集装置设置于机械臂的末端。

作为一种可选的实施例，机器人包括支杆，第二图像采集装置设置于支杆末端。

作为一种可选的实施例，第一图像采集装置还用于在将待搬运对象搬运至放置位之后采集第三图像，其中，第三图像中包括已放置对象和待搬运对象，其中，机器人根据第三图像确定已放置对象和待搬运对象的相邻边之间的距离，如果距离超过预设距离，则发出报警信息。

具体的，上述预设的距离范围可以根据预定的相邻对象的相邻边的标准距离和预设的允许误差来确定，例如，预设的标准距离为2mm，允许的误差未0.5mm，因此上述的距离范围即为(2mm-0.5mm，2mm+0.5mm)。

在将待搬运对象搬运至放置位之后，机械臂将待搬运对象放置在放置位，从而完成了对象的搬运。在地砖铺贴领域，一块地砖铺贴的位置产生偏差，就会影响后续地砖的铺贴，从而影响地砖的整体铺贴效果，因此当检测到两个相邻地砖的相邻边之间的距离不处于距离范围内时，需要发出警告信息，并停止继续进行铺贴。

作为一种可选的实施例，待搬运对象为待铺贴地砖，第一特征位置为第一图像中已铺贴地砖的砖角所在的位置，第二特征位置为第二图像中待铺贴地砖的砖角所在的位置。

具体的，在上述方案中，待铺贴地砖可以为正方形、矩形、等边六边形等具有角度的形状。上述第一特征位置可以为已铺贴地砖的指定砖角，第二特征位置可以为和待铺贴地砖的指定砖角。

作为一种可选的实施例，第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，第一图像包括：第一子图像和第二子图像；第一子图像采集装置用于采集第一当前放置区域的第一子图像；第二子图像采集装置用于采集第二当前放置区域的第二子图像，其中，第一当前放置区域和第二当前放置区域包括已放置对象的两个不同的特征位置；其中，机器人还用于根据第一子图像和第二子图像确定的第一偏移量。

具体的，上述第一图像采集装置为一组图像采集装置，该组图像采集装置中包括两个子图像采集装置，用于采集不同放置区域的图像。不同的特征位置可以是参考砖的不同的砖角。上述的第一偏移量可以为一个数组，用于表示两个不同的特征位置对应的偏移量。

图3是根据本申请实施例的另一种搬运系统工作的示意图，结合图3所示，第一当前放置区域可以为拍照区3，第二当前放置区域可以为拍照区4，通过两个图像采集装置获取两个不同的特征位置，能够提升地砖铺贴的精确程度。

作为一种可选的实施例，第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，第二图像包括：第三子图像和第四子图像；第三子图像采集装置用于采集第一当前抓取区域的第三子图像；第四子图像采集装置用于采集第二当前抓取区域的第四子图像，其中，第一当前抓取区域和第二当前抓取区域包括待搬运对象的两个不同的特征位置；其中，机器人还用于根据第三子图像和第四子图像确定第二偏移量。

具体的，上述第二图像采集装置为一组图像采集装置，该组图像采集装置中包括两个子图像采集装置，用于采集不同抓取区域的图像。不同的特征位置可以是待铺贴砖的不同的砖角。上述的第二偏移量可以用于表示两个不同的特征位置对应的偏移量。

仍结合图3所示，第一当前抓取区域可以为拍照区1，第二当前抓取区域可以为拍照区2，通过两个图像采集装置获取两个不同的特征位置，能够提升地砖抓取的精确程度。

实施例3

根据本发明实施例，提供了一种搬运系统的控制方法的实施例，图7是根据本申请实施例的又一种搬运系统的控制方法的流程图，结合图7所示，该方法包括：

步骤S702，获取当前放置区域的第一图像，并根据第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量。

步骤S704，获取当前抓取区域的第二图像，并根据第二图像中的第二特征位置与预设的抓取特征位置确定第二偏移量。

步骤S706，根据第一偏移量和放置基准位置预测放置位，并根据第二偏移量和抓取特征位置预测抓取位，其中，放置基准位置根据放置特征位置获得。

步骤S708，控制机器人的机械臂移动至抓取位抓取待搬运对象后，将待搬运对象搬运至放置位。

需要说明的是，上述第一图像和第二图像可以由同一个图像采集装置获取，也可以分别由不同的采集装置获取。但本实施例并不对此进行限定。

还需要说明的是，可以由上位机控制机器人执行上述步骤，且本实施例提供的方案还可以包括实施例1中的其他步骤，具体实施方式可见实施例1，此处不再赘述。

实施例4

根据本发明实施例，提供了一种地砖铺贴系统，包括实施例2的搬运系统。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种搬运系统的控制方法，其特征在于，所述搬运系统包括：第一图像采集装置、第二图像采集装置和机器人，其中，所述搬运系统的控制方法包括：

控制所述第一图像采集装置采集当前放置区域的第一图像，并获取根据所述第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量；

控制所述第二图像采集装置采集当前抓取区域的第二图像，并获取根据所述第二图像中的第二特征位置与预设的抓取特征位置确定的第二偏移量；

根据所述第一偏移量和放置基准位置预测放置位，并根据所述第二偏移量和抓取特征位置预测抓取位，其中，所述放置基准位置根据所述放置特征位置获得；

控制所述机器人的机械臂移动至所述抓取位抓取待搬运对象后，将所述待搬运对象搬运至所述放置位。

2.根据权利要求1所述的方法，其特征在于，控制所述第一图像采集装置采集当前放置区域的第一图像，包括：

控制所述机械臂移动至所述当前放置区域；

向所述第一图像采集装置发送第一图像采集指令，其中，所述第一图像采集装置根据所述第一图像采集指令采集所述第一图像。

3.根据权利要求1所述的方法，其特征在于，在控制所述第一图像采集装置采集当前放置区域的第一图像，并获取根据所述第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，所述方法还包括：获取所述放置特征位置和所述抓取特征位置，其中，获取所述放置特征位置和所述抓取特征位置的步骤包括：

控制所述机械臂移动至初始放置区域，并通过所述第一图像采集装置采集初始第一图像；

提取所述初始第一图像中的第一特征位置，得到所述放置特征位置；

控制所述机械臂移动至初始抓取区域，并通过所述第一图像采集装置采集初始第二图像；

提取所述初始第二图像中的第二特征位置，得到所述抓取特征位置。

4.根据权利要求1所述的方法，其特征在于，在将所述待搬运对象搬运至所述放置位之后，所述方法还包括：

控制所述第一图像采集装置采集第三图像，其中，所述第三图像中包括待搬运对象和已放置对象；

根据所述第三图像确定所述已放置对象和所述已放置对象的相邻边之间的距离；

如果所述距离超过预设距离范围，则发出报警信息。

5.根据权利要求1所述的方法，其特征在于，所述待搬运对象为待铺贴地砖，所述第一特征位置为所述第一图像中已铺贴地砖的砖角所在的位置，所述第二特征位置为所述第二图像中待铺贴地砖的砖角所在的位置。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，所述第一图像包括：第一子图像和第二子图像，其中，控制所述第一图像采集装置采集当前放置区域的第一图像，并获取根据所述第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量，包括：

控制所述第一子图像采集装置采集第一当前放置区域的第一子图像；

控制所述第二子图像采集装置采集第二当前放置区域的第二子图像，其中，所述第一当前放置区域和所述第二当前放置区域包括已放置对象的两个不同的特征位置；

根据所述第一子图像和所述第二子图像确定所述第一偏移量。

7.根据权利要求6所述的方法，其特征在于，所述第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，所述第二图像包括：第三子图像和第四子图像，其中，控制所述第二图像采集装置采集当前抓取区域的第二图像，并获取根据所述第二图像中第二特征位置与预设的抓取特征位置的第二偏移量，包括：

控制所述第三子图像采集装置采集第一当前抓取区域的第三子图像；

控制所述第四子图像采集装置采集第二当前抓取区域的第四子图像，其中，所述第一当前抓取区域和所述第二当前抓取区域包括待搬运对象的两个不同的特征位置；

根据所述第三子图像和所述第四子图像确定所述第二偏移量。

8.根据权利要求7所述的方法，其特征在于，在控制所述第一图像采集装置采集当前放置区域的第一图像，并获取根据所述第一图像中的第一特征位置与预设的放置特征位置确定的第一偏移量之前，所述方法还包括：

对所述的第一子图像采集装置和所述第二子图像采集装置进行映射，得到所述第一子图像采集装置与所述第二子图像采集装置之间的第一映射关系；

对所述的第三子图像采集装置和所述第四子图像采集装置进行映射，得到所述第三子图像采集装置与所述第四子图像采集装置之间的第二映射关系；

对所述第一图像采集装置中的一个子图像采集装置与所述第二图像采集装置中的第一子图像采集装置进行标定。

9.一种搬运系统，其特征在于，包括：

第一图像采集装置，用于采集当前放置区域的第一图像，并根据所述第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量；

第二图像采集装置，用于采集当前抓取区域的第二图像，并根据所述第二图像中第二特征位置与预设的抓取特征位置确定第二偏移量；

具有机械臂的机器人，用于根据所述第一偏移量和放置基准位置预测放置位，并根据所述第二偏移量和所述抓取特征位置预测抓取位，其中，所述放置基准位置根据所述放置特征位置获得；

所述机器人还用于控制所述机械臂移动至所述抓取位抓取待搬运对象后，将所述待搬运对象搬运至所述放置位。

10.根据权利要求9所述的系统，其特征在于，所述第一图像采集装置设置于所述机械臂的末端。

11.根据权利要求9所述的系统，其特征在于，所述机器人包括支杆，所述第二图像采集装置设置于所述支杆末端。

12.根据权利要求9所述的系统，其特征在于，所述第一图像采集装置还用于在将所述待搬运对象搬运至所述放置位之后采集第三图像，其中，所述第三图像中包括已放置对象和待搬运对象，其中，所述机器人根据所述第三图像确定所述已放置对象和所述待搬运对象的相邻边之间的距离，如果所述距离超过预设距离，则发出报警信息。

13.根据权利要求9所述的系统，其特征在于，所述待搬运对象为待铺贴地砖，所述第一特征位置为所述第一图像中已铺贴地砖的砖角所在的位置，所述第二特征位置为所述第二图像中待铺贴地砖的砖角所在的位置。

14.根据权利要求9至13中任意一项所述的系统，其特征在于，所述第一图像采集装置包括第一子图像采集装置和第二子图像采集装置，所述第一图像包括：第一子图像和第二子图像；

所述第一子图像采集装置用于采集第一当前放置区域的第一子图像；

所述第二子图像采集装置用于采集第二当前放置区域的第二子图像，其中，所述第一当前放置区域和所述第二当前放置区域包括已放置对象的两个不同的特征位置；

其中，所述机器人还用于根据所述第一子图像和所述第二子图像确定所述第一偏移量。

15.根据权利要求9至13中任意一项所述的系统，其特征在于，所述第二图像采集装置包括第三子图像采集装置和第四子图像采集装置，所述第二图像包括：第三子图像和第四子图像；

所述第三子图像采集装置用于采集第一当前抓取区域的第三子图像；

所述第四子图像采集装置用于采集第二当前抓取区域的第四子图像，其中，所述第一当前抓取区域和所述第二当前抓取区域包括待搬运对象的两个不同的特征位置；

其中，所述机器人还用于根据所述第三子图像和所述第四子图像确定所述第二偏移量。

16.一种地砖铺贴系统，包括权利要求9至15中任意一项所述的搬运系统。

17.一种搬运系统的控制方法，其特征在于，包括：

获取当前放置区域的第一图像，并根据所述第一图像中的第一特征位置与预设的放置特征位置确定第一偏移量；

获取当前抓取区域的第二图像，并根据所述第二图像中的第二特征位置与预设的抓取特征位置确定第二偏移量；

根据所述第一偏移量和放置基准位置预测放置位，并根据所述第二偏移量和抓取特征位置预测抓取位；

控制机器人的机械臂移动至所述抓取位抓取待搬运对象后，将所述待搬运对象搬运至所述放置位。