CN110397257A - 搬运系统及其控制方法、地砖铺贴系统 - Google Patents

Abstract

本发明公开了一种搬运系统及其控制方法、地砖铺贴系统。该搬运系统包括图像采集装置，其中，该方法包括：在将所述待搬运对象搬运至初始放置位后，获取所述图像采集装置采集的图像信息，其中，所述图像信息至少包括所述待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；提取所述图像信息中的特征位置；根据所述特征位置确定偏移量，其中，所述偏移量用于表示实际放置位和所述初始放置位的偏差；根据所述偏移量将所述待搬运对象移动至所述实际放置位。本发明解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

Description

搬运系统及其控制方法、地砖铺贴系统

技术领域

本发明涉及机器人领域，具体而言，涉及一种搬运系统及其控制方法、地砖铺贴系统。

背景技术

贴砖在建筑领域具有较广泛的应用，目前贴砖的工作通常由人工进行，人工的测量通常并不准确，且施工进度较慢，因此在贴砖这一领域，逐渐引入了贴砖机器人。

目前的贴砖机器人在铺贴地砖的过程中，从运砖AGV(Automated GuidedVehicle，主动导引运输车)抓取地砖，搬运到铺贴位，进行对齐参考砖后进行地砖铺贴。但由于AGV定位精度有限(误差20mm)，而地砖的铺贴对精度具有较高的要求，因此该方式难以满足地砖的铺贴对精度的要求。

针对现有技术中用于贴砖的机器人无法满足贴砖的精度要求的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种搬运系统及其控制方法、地砖铺贴系统，以至少解决现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。

根据本发明实施例的一个方面，提供了一种搬运系统的控制方法，搬运系统包括图像采集装置，该方法包括：在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；提取图像信息中的特征位置；根据特征位置确定偏移量，其中，偏移量用于表示实际放置位和初始放置位的偏差；根据偏移量将待搬运对象移动至实际放置位。

进一步地，搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括三个相邻角中的一个相邻角。

进一步地，在确定待搬运对象被搬运至初始放置位后，向图像采集装置发送拍照指令和拍照参数，其中，图像采集装置在接收到拍照指令和拍照参数后，按照拍照参数采集图像信息。

进一步地，搬运系统还包括照明装置，在获取图像采集装置采集的图像信息之前向照明装置发送照明指令，其中，照明装置接收到照明指令后点亮。

进一步地，对象为地砖，将图像信息与预设的模板进行匹配，查找到图像信息中的直线；获取直线相交的位置；确定直线相交的位置为特征位置。

进一步地，根据特征位置确定实际放置位的坐标信息；根据初始放置位的坐标信息和实际放置位的坐标信息确定偏移量，其中，偏移量包括：在第一方向上的偏移量，在与第一方向垂直的第二方向上的移动量，和在与第一方向和第二方向均垂直的第三方向上的旋转量，其中，第一方向和第二方向构成的面与待搬运对象所在的面平行。

进一步地，方法还包括：对图像采集装置进行标定，得到图像采集装置的第一坐标系与机器人的第二坐标系之间的映射关系；在提取图像信息中的特征位置之后，方法还包括：将特征位置在第一坐标系中的坐标转换至在第二坐标系中的坐标。

本发明实施例提供了一种搬运系统，图像采集装置，用于在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；机器人，用于在将待搬运对象被搬运至初始放置位后，获取三个图像采集装置采集的图像信息，提取图像信息中的特征位置；根据特征位置确定偏移量，并根据偏移量将待搬运对象移动至实际放置位，其中，偏移量用于表示实际放置位和初始放置位的偏差。

进一步地，搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括三个相邻角中的一个相邻角。

进一步地，上述系统还包括：照明装置，照明装置在机器人控制图像采集装置拍照前点亮。

进一步地，照明装置包括：第一条形光带，第一条形光带的设置与待搬运对象的第一边平行；第二条形光带，第一条形光带的设置与待搬运对象的第二边平行，其中，第一边和第二边为待搬运对象相邻的两条边。

进一步地，照明装置还包括：设置在每个条形光带上的漫射板，用于对条形光带发出的光线进行散射。

进一步地，图像采集装置设置在机器人的可移动支架上，随可移动支架的移动而移动，或设置在机器人的固定支架上，与机器人相对固定。

本发明实施例提供了一种地砖铺贴系统，包括上述的搬运系统。

在本发明实施例中，在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；提取图像信息中的特征位置；根据特征位置确定偏移量，其中，偏移量用于表示实际放置位和初始放置位的偏差；根据偏移量将待搬运对象移动至实际放置位。上述方案引入图像采集装置在地砖放置前进行视觉纠偏，消除在这之前过程(吸盘抓取等)引入的误差，提升铺贴精度，进而达到0.5mm以内的误差要求，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。进一步地，该过程可以反复执行，以克服后续过程(如振捣)可能造成的地砖位置偏移等问题，进而进一步提高了地砖铺贴的精确度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的搬运系统的控制方法的流程图；

图2是根据本发明实施例的一种搬运系统工作的示意图；

图3是根据本发明实施例的一种搬运系统的软件模块的结构示意图；

图4a是根据本发明实施例的一种图像采集模块执行的示意图；

图4b是根据本发明实施例的一种利用Halcon中的grab_image()函数实现图像采集模的示意图；

图4c是根据本发明实施例的一种通过socket相关函数实现通信模块的示意图；

图5a是根据本发明实施例的一种光照的示意图；

图5b是根据本发明实施例的一种光照情况下获得的图像信息的示意图；

图6a是根据本发明实施例的一种定位特征位置的示意图；

图6b是根据本发明实施例的一种通过线线相交的函数查找特征位置的示意图；

图7是根据本发明实施例的一种偏移量计算模块的示意图；

图8a是根据本发明实施例的一种数据通讯模块的示意图；

图8b是根据本发明实施例的一种数据通讯的示意图；

图9a是根据本发明实施例的中进行图像采集装置的标定的示意图；

图9b是根据本发明实施例的一种相机标定模块的示意图；

图9c是根据本发明实施例的一种使用Halcon中的仿射变换函数实现相机标定的示意图；以及

图10是根据本发明实施例的一种搬运系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种搬运系统的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的搬运系统的控制方法的流程图，搬运系统包括图像采集装置，本实施例中的待搬运对象可以为待铺贴的地砖，下述实施例中以地砖为例进行说明，如图1所示，该方法包括如下步骤：

步骤S102，在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角。

上述初始放置位是实际放置位的附近，机器人根据自动导航运行可以运行至该初始放置位。

上述图像采集装置可以为工业相机，设置在搬运系统主体(即机器人)上，该工业相机可以是固定相机，即与机器人相对固定的相机，也可以是手眼相机，即与机器人的相对位置可以变动的相机。

在地砖尺寸较小的情况下，上述图像信息可以由一个图像采集装置拍摄得到，在地砖尺寸较大的情况下，由于图像采集装置距离地砖的位置较近，因此可以设置三个图像采集装置，每个图像采集装置采集其中一个相邻角的图像。

图2是根据本发明实施例的一种搬运系统工作的示意图，结合图2所示，地砖铺贴一体机100即为上述搬运系统，其中箭头所指向的铺砖位10即为待铺贴地砖的实际放置位，与该实际放置位相邻的两个参考砖分别为上一排参考砖20和上一个参考砖30。需要说明的是，地砖铺贴设备在进行地砖铺贴时，是按照一定的运行轨迹进行铺设的，如图2，可以是先由右至左铺设完参考砖20所在排，在由左至右铺设参考砖20所在的排，当前已将参考砖20铺设完成，待在铺砖位10上进行铺设，因此参考砖20为上一排参考砖，参考砖30为上一个参考砖。

在确定待铺贴地砖相邻的参考砖为参考砖20和参考砖30的情况下，可以确定三个相邻角分别相邻角A、相邻角B以及相邻角C，分别处于视野41，视野42和视野43内。

步骤S104，提取图像信息中的特征位置。

具体的，上述特征位置指的是图像中具有指定特征的位置。

在一种可选的实施例中，可以是砖角所在的位置；在另一种可选的实施例中，在地砖表面具有指定符号的情况下，还可以确定指定符号所在的位置为上述特征位置。

步骤S106，根据特征位置确定偏移量，其中，偏移量用于表示实际放置位和初始放置位的偏差。

具体的，上述特征位置的偏移量指的是待搬运地砖的初始放置位与实际放置位之间的偏差，用户在将待搬运对象搬运至初始放置位后对待搬运对象的调整，以将待搬运对象搬运至实际放置位。

步骤S108，根据偏移量将待搬运对象移动至实际放置位。

在一种可选的实施例中，地砖铺贴机器人在工作中，通过自动导航运行到地砖铺贴位置附近(如图2中地砖铺贴一体机所在的位置)。从物料料库抓取地砖，通过机械臂搬运到初始放置位。启用图像采集装置，通过3个相机拍摄地砖的3个角，从而得到给出坐标偏移量，再根据上述坐标偏移量引导机械臂带着铺贴砖运动，实现铺贴砖与上一块参考砖和上一排参考砖的高精度对齐。然后机械臂将待铺贴地砖放在已经铺设好的砂浆上，从而完成该块地砖的铺贴。

上述方案可以在上位机(工控机)中的控制器执行，或机器人一体机中的控制器执行，其执行程序可以通过Halcon程序编写，并通过TCP/IP协议与地砖一体机的控制部分通讯，接收拍照指令，并向它传递坐标偏移量信息等。为了实现上述功能，控制器中的软件主要包括图像采集模块，相机标定模块，特征定位模块，偏移量计算模块和数据通讯模块(如图3所示)。接收到机器人控制部分传过来的拍照指令后，图像采集模块触发相机拍照，得到图像信息。然后，特征定位模块通过视觉算法匹配图像特征(地砖的角)，并得到特征位置的像素坐标。接着，在相机标定模块中，将得到的像素坐标转换成机器人世界坐标。继而，在偏移量计算模块中通过特征的世界坐标计算得到视觉补偿所需的机械臂运动偏移量信息。最后，通过数据通讯模块将偏移量信息dx，dy，dR(分别代表x方向平移，y方向平移，绕z轴的转角)发送给机器人的控制部分，操作机械臂运动，完成地砖的对齐和铺贴动作。为保证地砖铺贴的精度要求，该视觉补偿的过程可以反复执行直到满足2±0.5mm的地砖缝隙宽度要求。

由此可知，本申请上述实施例在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；提取图像信息中的特征位置；根据特征位置确定偏移量，其中，偏移量用于表示实际放置位和初始放置位的偏差；根据偏移量将待搬运对象移动至实际放置位。上述方案引入图像采集装置在地砖放置前进行视觉纠偏，消除在这之前过程(吸盘抓取等)引入的误差，提升铺贴精度，进而达到0.5mm以内的误差要求，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。进一步地，该过程可以反复执行，以克服后续过程(如振捣)可能造成的地砖位置偏移等问题，进而进一步提高了地砖铺贴的精确度。

作为一种可选的实施例，搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括三个相邻角中的一个相邻角。

在上述方案中，可以是每个图像采集装置采集一个相邻角的图像。结合图2所示，再该示例中，视野41、视野42和视野43分别是三个图像采集装置的拍照视野。

上述方案采用三个图像采集装置采集地砖三个砖角的图像，增加了观察范围，可以与上一块参考砖和上一排参考砖对齐。从而可以克服地砖尺寸大(例如边长800mm的地砖)造成的拍照视野不全，精度下降问题，实现将地砖的整条边都对齐(角度<0.03度)的效果。

作为一种可选的实施例，获取图像采集装置采集的图像信息，包括：在确定待搬运对象被搬运至初始放置位后，向图像采集装置发送拍照指令和拍照参数，其中，图像采集装置在接收到拍照指令和拍照参数后，按照拍照参数采集图像信息。

图4a是根据本发明实施例的一种图像采集模块执行的示意图，结合图4a，在一种可选的实施例中，控制器中的图像采集模块与工业相机连接，相机发送拍照指令和拍照参数(曝光时间等)，接收从相机传回来的图像信息供程序的其它部分使用。图像采集模块可以利用Halcon中的grab_image()函数来实现，具体可见图4b所示。

上述拍照参数可以包括曝光时间、是否采用自动曝光、镜头焦距、图像采集触发方式等。图像采集模块的输出数据为M×N图像矩阵，其中M和N为图像的长与宽。

图4c是根据本发明实施例的一种通过socket相关函数实现通信模块的示意图，结合图4c所示，程序中的数据通信模块用Halcon中的socket相关函数来实现，主要包括数据接收和数据发送两个部分。数据接收部分通过TCP/IP协议从控制器处接收拍照指令，读取指令信息，触发相机采集图像。

作为一种可选的实施例，搬运系统还包括照明装置，在获取图像采集装置采集的图像信息之前，上述方法还包括：向照明装置发送照明指令，其中，照明装置接收到照明指令后点亮。

照明装置的设置可以为图像信息的采集提供光源，增加视觉系统在不同光照条件下的适应能力，进而提高工作稳定性。由于地砖表面光滑，光线正入射会产生非常严重的镜面反射，影响成像效果。因此上述光照装置可以是带有漫射板的条形光带，采用斜入射的方式，从而达到了光照均匀且强度好的效果。

图5a是根据本发明实施例的一种光照的示意图，结合图5所示，由于要同时照亮两条砖缝，因此可以至少设置两个光照装置，即条形光带51和条形光带52。光源的开关和亮度可以由程序通过RS232通讯用光源控制器进行控制。

图5b是根据本发明实施例的一种光照情况下获得的图像信息的示意图，在一种可选的实施例中，可以控制光照装置在图像采集装置采集图像前打开，并在图像采集装置采集图像后关闭，从而减少光照时间，节约设备电池的电量。通过上述光源系统可以得到光照均匀，边缘清晰的图像(如图5b所示)，从而为后续的处理提供良好的基础。

作为一种可选的实施例，对象为地砖，图像信息中的特征位置为地砖的砖角位置，提取图像信息中的特征位置，包括：将图像信息与预设的模板进行匹配，查找到图像信息中的直线；获取直线相交的位置；确定直线相交的位置为特征位置。

上述方案特征定位模块的功能是通过模板匹配寻找图像上的特征(地砖的角)，特征定位模块可以通过Halcon的模板匹配，对图像信息中的直线进行查找，并确定线线交点的函数来实现对特征位置的查找。

图6a是根据本发明实施例的一种定位特征位置的示意图，图6b是根据本发明实施例的一种通过线线相交的函数查找特征位置的示意图，在一种可选的实施例中，结合图6a和图6b所示，特征定位模块的输入数据为拍摄的图像信息，所选取的特征，以及相机的标定矩阵，通过模板匹配来定位地砖的角特征，得到图像信息中的特征位置，如图5b中所示出的砖角位置。特征定位模块的输出数据为所选取的特征(砖角)在图像采集装置的坐标和机器人世界坐标系下的坐标值，其中，根据特征位置在图像采集装置的坐标系中的坐标和对相机标定得到的标定矩阵，即可得到特征位置在机器人世界坐标下的坐标值。

作为一种可选的实施例，根据特征位置确定偏移量，包括：根据特征位置确定实际放置位的坐标信息；根据初始放置位的坐标信息和实际放置位的坐标信息确定偏移量，其中，偏移量包括：在第一方向上的偏移量，在与第一方向垂直的第二方向上的移动量，和在与第一方向和第二方向均垂直的第三方向上的旋转量，其中，第一方向和第二方向构成的面与待搬运对象所在的面平行。

在上述步骤中，在获得特征位置后，根据铺砖的铺砖需求确定实际放置位的坐标信息，实际放置位的坐标信息可以是实际放置位的砖角的位置坐标等，上述铺砖需求可以是预设的砖与砖之间的距离等信息，例如2±0.5mm。在获得实际放置位的坐标后，获取实际放置位的坐标与初始放置位的坐标之差，即可得到上述偏移量，该偏移量用于指示机械臂按照该偏移量带动待铺贴地砖移动，即可到达实际放置位。

在一种可选的实施例，上述实际放置位的坐标指示了实际放置位中至少一个砖角的坐标，初始放置位包括初始放置位中至少一个砖角的坐标，将上述两个坐标进行求差，即可得到上述偏移量。

需要说明的是，如果待铺贴地砖为正方形、正六边形、正三角形，则确定任意一个转角的坐标即可，如果待铺贴地砖为矩形、平行四边形等形状，则需要确定至少两个砖角的坐标。

上述第一方向可以为机器人的世界坐标系中的x轴，第二方向可以为机器人的世界坐标系中的y轴，第三方向可以为机器人世界坐标系中的z轴。

图7是根据本发明实施例的一种偏移量计算模块的示意图，上述步骤可以通过偏移量计算模块实现，该模块的功能是通过图像上所需特征(地砖的角)的世界坐标计算得到视觉补偿所需的机械臂运动坐标偏移量，包括dx，dy，dR，分别代表在x方向的平移，在y方向的平移和绕z轴的旋转。该模块的输入数据为所拍摄的图像信息，所选取的特征位置，以及相机标定矩阵，该模块的输出数据为机械臂动作的偏移量，通过数据通信模块将偏移量信息发送给机器人的控制程序，实现视觉补偿。

下面在对本方案中的数据通信模块进行说明，图8a是根据本发明实施例的一种数据通讯模块的示意图，结合图8a所示，该模块的输入数据包括来自控制程序的拍照指令和来自偏移量计算模块得到的偏移量信息。拍照指令为“T3”(对齐位拍照)。该模块首先接收拍照指令并向图像采集模块输出触发信号。通过采集图像，图像处理，计算偏移量得到坐标偏移量信息后，将它们通过TCP/IP协议发送给机器人的控制程序，包括dx(x方向位移)，dy(y方向位移)和dR(绕z轴旋转)。控制程序得到坐标偏移量信息后，控制机械臂运动，完成地砖的对齐和铺贴。

图8b是根据本发明实施例的一种数据通讯的示意图。TCP/IP协议的端口为8000，信息包的结束符为CR+LF(CR，Carriage Return，回车；LF，Line Feed，换行，)。数据发送部分将偏移量计算模块得到的偏移量数据进行格式整理，通过TCP/IP协议发送给控制程序，移动机械臂，完成地砖的对齐和铺贴。

作为一种可选的实施例，方法还包括：对图像采集装置进行标定，得到图像采集装置的第一坐标系与机器人的第二坐标系之间的映射关系；在提取图像信息中的特征位置之后，方法还包括：将特征位置在第一坐标系中的坐标转换至在第二坐标系中的坐标。

上述步骤用于对图像采集装置进行标定，得到的映射关系即为图像采集装置的标定矩阵。由于图像采集装置采集的图像信息均属于图像采集装置的坐标系，但难以根据图像采集装置的坐标系中的参数对机器人进行控制，因此需要使用标定矩阵将图像采集装置坐标系中的坐标参数转换至机器人的世界坐标系中，即上述的第二坐标系。

在一种可选的实施例中，相机标定模块可以通过记录图像上多个点的像素坐标和对应的机器人世界坐标计算出相应的仿射变换矩阵从而建立机图像上像素坐标和机器人世界坐标的一对一的联系。图9a是根据本发明实施例的中进行图像采集装置的标定的示意图，可以采用九个点对图像采集装置进行标定，相机标定模块的输入数据为九个点对在相机视野内的像素坐标和在机器人世界坐标系中的坐标，这九个点呈九宫格分布，输出数据即为相机标定矩阵。

图9b是根据本发明实施例的一种相机标定模块的示意图，图9c是根据本发明实施例的一种使用Halcon中的仿射变换函数实现相机标定的示意图，结合图9b和图9c所示，相机标定模块可以使用Halcon中的仿射变换函数(如图9c所示)来实现，建立起相机视野的图像坐标和机器人世界坐标的联系，包括像素距离与机器人坐标距离的关系，像素方向与机器人坐标方向的关系，以及确定坐标系原点。得到标定矩阵后即可通过图像上的像素坐标得到对应的机器人世界坐标，并将其应用在后续的偏移量计算模块。需要说明的是，与固定相机相比，手眼相机在标定时需要将世界坐标取反。

实施例2

根据本发明实施例，提供了一种搬运系统的实施例，图10是根据本发明实施例的一种搬运系统的示意图，结合图10所示，该系统包括：

图像采集装置102，用于在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角。

上述初始放置位是实际放置位的附近，机器人根据自动导航运行可以运行至该初始放置位。

上述图像采集装置可以为工业相机，设置在搬运系统主体(即机器人)上，该工业相机可以是固定相机，即与机器人相对固定的相机，也可以是手眼相机，即与机器人的相对位置可以变动的相机。

在地砖尺寸较小的情况下，上述图像信息可以由一个图像采集装置拍摄得到，在地砖尺寸较大的情况下，由于图像采集装置距离地砖的位置较近，因此可以设置三个图像采集装置，每个图像采集装置采集其中一个相邻角的图像。

图2是根据本发明实施例的一种搬运系统工作的示意图，结合图2所示，地砖铺贴一体机100即为上述搬运系统，其中箭头所指向的铺砖位10即为待铺贴地砖的实际放置位，与该实际放置位相邻的两个参考砖分别为上一排参考砖20和上一个参考砖30。需要说明的是，地砖铺贴设备在进行地砖铺贴时，是按照一定的运行轨迹进行铺设的，如图2，可以是先由右至左铺设完参考砖20所在排，在由左至右铺设参考砖20所在的排，当前已将参考砖20铺设完成，待在铺砖位10上进行铺设，因此参考砖20为上一排参考砖，参考砖30为上一个参考砖。

在确定待铺贴地砖相邻的参考砖为参考砖20和参考砖30的情况下，可以确定三个相邻角分别相邻角A、相邻角B以及相邻角C，分别处于视野41，视野42和视野43内。

机器人104，用于在将待搬运对象被搬运至初始放置位后，获取三个图像采集装置采集的图像信息，提取图像信息中的特征位置；根据特征位置确定偏移量，并根据偏移量将待搬运对象移动至实际放置位，其中，偏移量用于表示实际放置位和初始放置位的偏差。

具体的，上述特征位置指的是图像中具有指定特征的位置。上述特征位置的偏移量指的是待搬运地砖的初始放置位与实际放置位之间的偏差，用户在将待搬运对象搬运至初始放置位后对待搬运对象的调整，以将待搬运对象搬运至实际放置位。

在一种可选的实施例中，地砖铺贴机器人在工作中，通过自动导航运行到地砖铺贴位置附近(如图2中地砖铺贴一体机所在的位置)。从物料料库抓取地砖，通过机械臂搬运到初始放置位。启用图像采集装置，通过3个相机拍摄地砖的3个角，从而得到给出坐标偏移量，再根据上述坐标偏移量引导机械臂带着铺贴砖运动，实现铺贴砖与上一块参考砖和上一排参考砖的高精度对齐。然后机械臂将待铺贴地砖放在已经铺设好的砂浆上，从而完成该块地砖的铺贴。

由此可知，本申请上述实施例提出的搬运系统包括图像采集装置和机器人，图像采集装置在将待搬运对象搬运至初始放置位后，获取图像采集装置采集的图像信息，其中，图像信息至少包括待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；机器人在将待搬运对象被搬运至初始放置位后，获取三个图像采集装置采集的图像信息，提取图像信息中的特征位置；根据特征位置确定偏移量，并根据偏移量将待搬运对象移动至实际放置位，其中，偏移量用于表示实际放置位和初始放置位的偏差。上述方案引入图像采集装置在地砖放置前进行视觉纠偏，消除在这之前过程(吸盘抓取等)引入的误差，提升铺贴精度，进而达到0.5mm以内的误差要求，解决了现有技术中用于贴砖的机器人无法满足贴砖的精度要求的技术问题。进一步地，该过程可以反复执行，以克服后续过程(如振捣)可能造成的地砖位置偏移等问题，进而进一步提高了地砖铺贴的精确度。

作为一种可选的实施例，搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括三个相邻角中的一个相邻角。

在上述方案中，可以是每个图像采集装置采集一个相邻角的图像。结合图2所示，在该示例中，视野41、视野42和视野43分别是三个图像采集装置的拍照视野。

上述方案采用三个图像采集装置采集地砖三个砖角的图像，增加了观察范围，可以与上一块参考砖和上一排参考砖对齐。从而可以克服地砖尺寸大(例如边长800mm的地砖)造成的拍照视野不全，精度下降问题，实现将地砖的整条边都对齐(角度<0.03度)的效果。

作为一种可选的实施例，上述系统还包括：照明装置，照明装置在机器人控制图像采集装置拍照前点亮。

在一种可选的实施例中，可以控制光照装置在图像采集装置采集图像前打开，并在图像采集装置采集图像后关闭，从而减少光照时间，节约设备电池的电量。通过上述光源系统可以得到光照均匀，边缘清晰的图像(如图5b所示)，从而为后续的处理提供良好的基础。

作为一种可选的实施例，上述照明装置包括：第一条形光带，第一条形光带的设置与待搬运对象的第一边平行；第二条形光带，第一条形光带的设置与待搬运对象的第二边平行，其中，第一边和第二边为待搬运对象相邻的两条边。

图5a是根据本发明实施例的一种光照的示意图，结合图5所示，由于要同时照亮两条砖缝，因此可以至少设置两个光照装置，即条形光带51和条形光带52。光源的开关和亮度可以由程序通过RS232通讯用光源控制器进行控制。

作为一种可选的实施例，述照明装置还包括：设置在每个条形光带上的漫射板，用于对条形光带发出的光线进行散射。

照明装置的设置可以为图像信息的采集提供光源，增加视觉系统在不同光照条件下的适应能力，进而提高工作稳定性。由于地砖表面光滑，光线正入射会产生非常严重的镜面反射，影响成像效果。因此上述光照装置可以是带有漫射板的条形光带，采用斜入射的方式，从而达到了光照均匀且强度好的效果。

作为一种可选的实施例，图像采集装置设置在机器人的可移动支架上，随可移动支架的移动而移动，或设置在机器人的固定支架上，与机器人相对固定。

具体的，上述可移动支架可以为机器人的机械臂，也可以为其他可移动的支架，三个图像采集装置具有各自对应的支架，设置在机器人的可移动支架上的图像采集装置可以相对机器人移动，可以为手眼相机，而设置在机器人的固定支架上的图像采集装置相当于机器人固定，可以为固定相机。与固定相机相比，采用手眼在结构上更加灵活。

实施例3

根据本发明实施例，提供了一种地砖铺贴系统，包括实施例1所述的搬运系统。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种搬运系统的控制方法，其特征在于，所述搬运系统包括图像采集装置，其中，所述搬运系统的控制方法包括：

在将待搬运对象搬运至初始放置位后，获取所述图像采集装置采集的图像信息，其中，所述图像信息至少包括所述待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；

提取所述图像信息中的特征位置；

根据所述特征位置确定偏移量，其中，所述偏移量用于表示实际放置位和所述初始放置位的偏差；

根据所述偏移量将所述待搬运对象移动至所述实际放置位。

2.根据权利要求1所述的方法，其特征在于，所述搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括所述三个相邻角中的一个相邻角。

3.根据权利要求1所述的方法，其特征在于，获取所述图像采集装置采集的图像信息，包括：

在确定所述待搬运对象被搬运至所述初始放置位后，向所述图像采集装置发送拍照指令和拍照参数，其中，所述图像采集装置在接收到所述拍照指令和所述拍照参数后，按照所述拍照参数采集所述图像信息。

4.根据权利要求1所述的方法，其特征在于，所述搬运系统还包括照明装置，在获取所述图像采集装置采集的图像信息之前，所述方法还包括：

向所述照明装置发送照明指令，其中，所述照明装置接收到所述照明指令后点亮。

5.根据权利要求1所述的方法，其特征在于，所述对象为地砖，所述图像信息中的特征位置为所述地砖的砖角位置，提取所述图像信息中的特征位置，包括：

将所述图像信息与预设的模板进行匹配，查找到所述图像信息中的直线；

获取直线相交的位置；

确定所述直线相交的位置为所述特征位置。

6.根据权利要求1所述的方法，其特征在于，根据所述特征位置确定偏移量，包括：

根据所述特征位置确定实际放置位的坐标信息；

根据所述初始放置位的坐标信息和所述实际放置位的坐标信息确定所述偏移量，其中，所述偏移量包括：在第一方向上的偏移量，在与第一方向垂直的第二方向上的移动量，和在与所述第一方向和所述第二方向均垂直的第三方向上的旋转量，其中，所述第一方向和所述第二方向构成的面与所述待搬运对象所在的面平行。

7.根据权利要求1所述的方法，其特征在于，

所述方法还包括：对所述图像采集装置进行标定，得到所述图像采集装置的第一坐标系与机器人的第二坐标系之间的映射关系；

在提取所述图像信息中的特征位置之后，所述方法还包括：将所述特征位置在所述第一坐标系中的坐标转换至在所述第二坐标系中的坐标。

8.一种搬运系统，其特征在于，包括：

图像采集装置，用于在将待搬运对象搬运至初始放置位后，获取所述图像采集装置采集的图像信息，其中，所述图像信息至少包括所述待搬运对象的实际放置位置与相邻两个参考对象的三个相邻角；

机器人，用于在将所述待搬运对象被搬运至初始放置位后，获取三个图像采集装置采集的图像信息，提取所述图像信息中的特征位置；根据所述特征位置确定偏移量，并根据所述偏移量将所述待搬运对象移动至所述实际放置位，其中，所述偏移量用于表示实际放置位和所述初始放置位的偏差。

9.根据权利要求8所述的系统，其特征在于，所述搬运系统包括三个图像采集装置，每个图像采集装置采集的图像信息中至少包括所述三个相邻角中的一个相邻角。

10.根据权利要求8所述的系统，其特征在于，所述系统还包括：

照明装置，所述照明装置在所述机器人控制所述图像采集装置拍照前点亮。

11.根据权利要求10所述的系统，其特征在于，所述照明装置包括：

第一条形光带，所述第一条形光带的设置与所述待搬运对象的第一边平行；

第二条形光带，所述第一条形光带的设置与所述待搬运对象的第二边平行，其中，所述第一边和所述第二边为所述待搬运对象相邻的两条边。

12.根据权利要求11所述的系统，所述照明装置还包括：

设置在每个条形光带上的漫射板，用于对所述条形光带发出的光线进行散射。

13.根据权利要求8所述的系统，其特征在于，所述图像采集装置设置在机器人的可移动支架上，随所述可移动支架的移动而移动，或设置在机器人的固定支架上，与所述机器人相对固定。

14.一种地砖铺贴系统，其特征在于，包括权利要求1至7中任意一项所述的搬运系统。