CN109573526A - 搬运控制方法及搬运机器人 - Google Patents

Abstract

本发明实施例提供一种搬运控制方法及搬运机器人，其中，所述搬运控制方法包括：采集目标物的第一图像数据；对所述第一图像数据进行识别，识别出所述目标物上的拿取部位，得到所述拿取部位的位置信息；根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物。

Description

搬运控制方法及搬运机器人

技术领域

本发明涉及控制技术领域，具体而言，涉及一种搬运控制方法及搬运机器人。

背景技术

在使用搬运机器搬运货物时，如果不能够准确地定位待搬物品的位置，可能会导致在拿取过程中出现待搬物品掉落，抓取待搬物品的错误位置导致待搬物品被搬运机器损坏等危害。

发明内容

有鉴于此，本发明实施例的目的在于提供一种搬运控制方法及搬运机器人。通过图像识别的方式可以更准确地定位拿取位的位置，从而有效地实现目标物的拿取。

第一方面，本发明实施例提供的搬运控制方法，包括：

采集目标物的第一图像数据；

对所述第一图像数据进行识别，识别出所述目标物上的拿取部位，得到所述拿取部位的位置信息；

根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物。

在一些实施例中，所述根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物的步骤，包括：获取第二图像数据，所述第二图像数据包括所述取货机构与所述目标物的拿取部位的图像；根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系；根据所述第一相对位置关系控制所述取货机构配合所述拿取部位取下并搬运所述目标物。

在一些实施例中，所述第二图像数据包括取货机构的端部的图像；所述根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系的步骤，包括：将所述取货机构的端部作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

在一些实施例中，所述第二图像数据包括取货机构端部的凸台的图像；所述根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系的步骤，包括：将所述凸台作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

在一些实施例中，所述对所述第一图像数据进行识别，识别出所述目标物上的拿取部位的步骤，包括：对所述第一图像数据进行轮廓检测，检测出所述第一图像数据中的目标物的轮廓；根据所述轮廓确定出所述目标物的拿取部位的位置信息。

在一些实施例中，所述方法还包括：接收传感器检测到的所述取货机构与目标物之间的第二相对位置关系；根据所述第二相对位置关系控制取货机构的动作。

在一些实施例中，所述接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：接收距离传感器检测到的与目标物之间的距离；

所述根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：当所述距离小于设定值时，控制所述取货机构远离所述目标物。

在一些实施例中，所述接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：接收碰撞传感器检测到的与目标物之间是否碰撞的碰撞状态；

所述根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：当与目标物产生碰撞时，控制所述取货机构远离所述目标物。

第二方面，本发明实施例提供的搬运机器人，包括：取货机构、控制器以及与控制器连接的图像采集装置；

所述取货机构用于执行取放物品的动作；

所述图像采集装置用于采集目标物的图像数据；

所述控制器用于根据所述图像数据识别出所述目标物上的拿取部位，并控制所述取货机构配合所述拿取部位取下并搬运所述目标物。

在一些实施例中，还包括：传感器，用于检测与目标物之间的第二相对位置关系，并将所述相对位置关系传输给控制器；所述控制器还用于根据所述第二相对位置关系控制所述取货机构的动作。

在一些实施例中，所述传感器包括：

距离传感器，用于检测与目标物的距离，并将所述距离传输给控制器；或/及，碰撞传感器，用于检测与目标物的碰撞状态，并将所述碰撞状态发送给所述控制器；所述控制器根据检测到的距离或/及所述碰撞状态控制所述取货机构的动作。

在一些实施例中，所述控制器还用于在所述第二相对位置关系中与所述目标物之间的距离小于预警设定值时，向报警器发送报警控制指令；所述报警器，用于在接收到所述控制器的报警控制指令后，产生报警信号。

在一些实施例中，所述取货机构包括货叉，所述目标物上的拿取部位包括货叉孔，所述控制所述取货机构配合所述拿取部位取下并搬运所述目标物为：控制所述货叉伸入所述货叉孔，抬起并搬运所述目标物；或，

所述取货机构包括机械臂，所述目标物上的拿取部位包括抓孔或提手，所述控制所述取货机构配合所述拿取部位取下并搬运所述目标物为：控制所述机械臂伸入所述抓孔或所述提手，抬起并搬运所述目标物。

在一些实施例中，所述搬运机器人包括两个所述图像采集装置，分别安装在两个所述货叉上，或，两个机械臂上。

在一些实施例中，所述货叉的端部设有凸台。

本发明实施例的搬运机器人及搬运控制方法，通过采集目标物的第一图像数据，可以识别出目标物的拿取部位，从而可以使搬运机器人能够根据所述拿取部位拿取目标物，提高物品拿取的准确性，从而促使提高拿取物品过程中的安全性。进一步地，现有的通过单点测距传感器实现位置的识别的方式由于传感器的分辨率低，通过单点测距只有一个发射点对应一个目标点，可以得到的位置信息有限，与之相比，本申请实施例通过图像识别的方式可以得到高分辨率的图像，计算后位置信息更加精确。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的搬运控制方法的流程图。

图2为本发明实施例提供的目标物的结构示意图。

图3为本发明实施例提供的另一目标物的结构示意图。

图4为本发明实施例提供的第二图像数据的示意图。

图5a为本发明实施例提供的另一种第二图像数据的示意图。

图5b为本发明实施例提供的再一种第二图像数据的示意图。

图6为本发明实施例提供的搬运机器人的结构示意图。

图标：210-外边轮廓；220-货叉孔；230-抓孔；300-搬运机器人；310-取货机构；320-控制器；330-图像采集装置；340-传感器；350-指示灯；360-基座；361-升降机构；362-固定机构。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在智能仓储物流领域，搬运机器人发挥着越来越重要的作用。在一个使用场景中，搬运机器人可以包括货叉，需要搬运物体时，搬运机器人将其货叉对准物体并将货叉准确插入物体的货叉孔或者物体底部预留的空间完成货物的搬运。在另一场景中，搬运机器人可以包括机械臂，需要搬运物体时，搬运机器人可以将其机械臂配合物体的边缘或底部拿取物体以实现货物的搬运。在仓储复杂的操作流程和环境下，可能会出现托盘搬运机器人无法准确识别物体的形状或物体上预留的用于搬运的部位，导致无法完成货物搬运，甚至发生事故。

基于上述问题，发明人对如何准确物体的形状、物体上的孔等特征进行准确识别进行了仔细研究。研究发现对图像数据进行轮廓识别，进一步地对识别到的轮廓进行进一步地分析、检测或者识别物体的形状可以实现对物体上的各种特征实现识别，其中，轮廓可以认为是连续的点组成的曲线。在一个实例中，就搬运机器人领域而言，通过对物体的托盘进行识别，从而可以识别出托盘上的货叉孔，从而可以实现物体的搬运。

基于上述问题的发现，以及对发现的问题进行的研究，下面通过几个实施例进行详细的描述。

实施例一

本申请实施例提供一种搬运控制方法。本实施例中的方法可以应用于搬运机器人。搬运机器人可以包括：图像采集装置、取货机构等部件。请参阅图1，示出了本申请实施例提供的搬运控制方法的流程图。下面将对图1所示的具体流程进行详细阐述。

步骤S101，采集目标物的第一图像数据。

上述的步骤S101所采集到的第一图像数据可以用于在需要搬运目标物之前对目标物的拿取部位的初始识别。上述的第一图像可以包括需要搬运的目标物。其中，目标物可以是货箱、用于放置货箱的托板、外壳等任何需要或可以搬运的物体。可选地，上述的第一图像数据可以是由两个图像采集装置采集到的图像。进一步地，两个图像采集装置同时采集目标物的图像。

步骤S102，对所述第一图像数据进行识别，识别出所述目标物上的拿取部位，得到所述拿取部位的位置信息。

本实施例中的步骤S102包括以下步骤S1021和S1022。

步骤S1021，对所述第一图像数据进行轮廓检测，检测出所述第一图像数据中的目标物的轮廓。

上述的步骤S1021所使用的轮廓检测可以是：一、传统的边缘检测算子检测目标物的轮廓，二、从人类视觉系统中提取可以使用的数学模型检测目标物的轮廓。

在一种实施方式中，步骤S1021的具体实现可以描述为：

首先，对第一图像数据做预处理。为了减少将图像中本身的轮廓被模糊掉的可能，可以采用二维高斯模板对上述的第一图像数据做平滑滤波预处理，去除图像噪声。通过是使用二维高斯模板在能够去除图像的噪声的基础上还能够保证后续轮廓定位的准确性。

其次，对预处理后的图像做边缘检测处理，得到初步的边缘响应图像，其中，边缘相应图像通常会涉及到亮度、颜色等可以区分物体与背景的可用梯度特征信息。

然后，再对上述的初步的边缘响应图像做进一步处理，得到更好的边缘响应图像，更好的边缘响应图像包括可以作为轮廓的边缘图像。此过程会对轮廓点和非轮廓点做出不同处理；或，使用相同的程式因作用结果的不同而达到区分轮廓点和非轮廓点的效果，从而得到可以作为轮廓的边缘图像。

进一步地，若初步的边缘响应图像的轮廓响应效果达到预期效果时，则可以不对初步的边缘响应图像做进一步处理，则直接将初步的边缘响应图像作为轮廓的边缘图像。初步的边缘响应图像做进一步处理可以分成两个过程：第一步先对上述的初步的边缘响应图像做细化处理，得到单像素边缘图像。在一个实例中，可以采用的是非最大值抑制方法(局部极大搜索)实现上述的细化处理。通过非最大值抑制可以保留局部变化最大的点。第二步为在此基础上做基于滞后门限的二值化处理，利用递归跟踪算法可以使得到的轮廓图像是连续的。

步骤S1022，根据所述轮廓确定出所述目标物的拿取部位的位置信息。

由于对每一类目标物的拿取部位的位置和形状在目标物外表各边缘上是相对固定的，因此可以根据确定出的轮廓确定出目标物的拿取部位。

在一个实例中，如图2所示，目标物的形状可以是图示中的形状。拿取部位可以设置在目标物的底部，距离上边缘的距离表示：P厘米、距离下边缘的距离表示为：H-P-W厘米。其中H表示目标物的高度，W表示拿取部位的宽度。由于对目标物进行拍摄得到的图像与原物的比例可能产生变化，可以根据目标物的上述数据确定出拿取部位与边缘的相对位置，进一步地可以根据相对整个物体的轮廓以及拿取部位与边缘的相对位置确定出的图像中的目标物的拿取部位。通过上述的步骤S1021可以识别出目标物的外边轮廓和货叉孔。

如图3所示，图3示出了另一目标物的结构示意图。拿取部位可以设置在目标物的侧面。通过上述的步骤S1021可以识别出目标物的外边轮廓210和抓孔230。通过上述的轮廓识别目标物的拿取部位位置的可靠性相较于现有的通过单点测距传感器实现位置的识别的方式更高，主要由于传统的通过单点测距传感器实现位置的识别的方式，需要多个的单点测距传感器，而采用轮廓识别技术，需要的更少的器件，仅需要图像采集装置即可，故可以使故障率降低。

进一步地，基于对图像中的拿取部位的识别，计算拿取部位对应的各个像素点的三维坐标则可以得到拿取部位的位置信息。在一个可选的实施方式中，上述的计算拿取部位对应的各个像素点的三维坐标可以采用双目立体视觉模型进行计算得到。在另一个可选的实施方式中，上述的图像采集装置可以是TOF(Time of Flight)相机，采集得到的第一图像数据可以是深度图像。图像中的每个点的像素值表示采集到的物体与TOF相机的距离。则可以通过深度图像中各个点的像素值以及TOF相机的坐标得到采集到的物体的坐标。上述的计算拿取部位对应的各个像素点的三维坐标可以根据像素值及TOF相机的坐标计算得到。

上述的拿取部位的位置信息中包括目标物所处的环境中的空间位置的坐标。上述的坐标可以是世界坐标系下的坐标，也可以是图像采集装置坐标系下的坐标。其中，图像采集装置坐标系表示图像采集装置的光心作为原点，Z轴与光轴重合，并垂直于成像平面，且取摄影方向为正方向，X、Y轴与图像物理坐标系的x，y轴平行的坐标系。

具体地，可以根据图像采集装置的参数以及第一图像数据中的拿取部位的坐标可以得到拍摄得到的目标物中的拿取部位的空间位置。上述的空间位置可以是在图像采集装置坐标下表示的位置，也可以是世界坐标系下表示的位置。通过对图像采集到的图像数据进行识别，从而可以得到图像中的拿取部位的空间坐标，可以使取货机构能够更准确地对拿取部位进行定位，提高拿取目标物的成功率。

可选地，在确定拿取部位的位置信息时，可以分别结合两个图像采集装置采集到的图像进行计算得到。在一种可实施的方式中，使用第一图像采集装置采集到的图像数据计算得到的空间位置中的一点记录为x1，使用第二图像采集装置采集到的图像数据计算得到的空间位置中的一点记录为x2，则拿取部位的空间位置的一点可以使用x1和x2计算得到。则目标物的拿取部位的一点的坐标可以表示为：x＝ax1+bx2，其中，a+b＝1，a、b表示第一图像采集装置与第二图像采集装置对应的权重。

步骤S103，根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物。

在一个可选的实施方式中，目标物可以是托盘，目标物上的拿取部位可以是货叉孔，取货机构可以是货叉。上述的步骤S103可以被实施为：控制货叉以插入的方式与货叉孔配合取得所述目标物。

在另一个可选的实施方式中，目标物可以是货箱，目标物上的拿取部位可以是抓孔，取货机构可以是机械臂。上述的步骤S103可以被实施为：控制机械臂抓取抓孔的配合取下目标物。

上述的步骤S103可以包括以下步骤S1031至S1033。

步骤S1031，获取第二图像数据。

第二图像数据包括所述取货机构与所述目标物的拿取部位的图像。

步骤S1032，根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系。

上述的第一相对位置关系可以包括：取货机构与拿取部位偏斜、取货机构与拿取部位对齐、取货机构与拿取部位的水平距离等。

在一种实施方式中，第二图像数据包括取货机构的端部的图像。在一个实例中，具体可以参考图4所示的第二图像数据示意图，图4示出的第二图像数据P1中包括目标物P11、取货机构P12。其中，目标物P11上设置有拿取部位P111。步骤S1032可以包括：将所述取货机构的端部作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

图像采集装置安装在基座上时，图像采集装置可以采集到取货机构端部的图像，则可以以取货机构的端部作为参考位置。图像采集装置采集到的第二图像数据可以包括取货机构的端部的图像和目标物的拿取部位的图像。将取货机构的端部作为参考位置，可以进一步获得取货机构与拿取部位的第一相对位置关系。

上述的第二图像数据可以包括目标物的拿取部位的图像与取货机构的端部的图像。根据第二图像数据中的目标物的拿取部位的图像与取货机构的端部的图像的距离，可以进一步地计算出目标物与取货机构的距离。若距离较远，则可以调整取货机构向靠近目标物的方向移动。

根据目标物与取货机构的端部的偏移程度还可以计算出取货机构与目标物的拿取部位是否对齐，若取货机构与目标物的拿取部位未对齐，根据目标物与取货机构的端部的偏移程度控制取货机构在水平方向上调整位置，以使取货机构与目标物的拿取部位对齐。

在另一种实施方式中，第二图像数据包括取货机构端部的凸台的图像。在一个实例中，具体可以参考图5a和5b所示的第二图像数据示意图，图5a和5b示出的第二图像数据P1中包括目标物P11、取货机构P12。其中，目标物P11上设置有拿取部位P111，取货机构P12上设置有凸台P13。其中图5a示出了其中一种状态，图5a中示出的状态可以表示取货机构与目标物的拿取部位对齐，或者取货机构与目标物的拿取部位在相对于取货机构的左右对齐。图5b示出了另外一种状态，图5b中示出的状态可以表示取货机构与目标物的拿取部位存在偏移。

在本实施方式中，步骤S1032可以包括：将所述凸台作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

图像采集装置安装在取货机构的端部时，图像采集装置可能不能采集到取货机构端部的图像，则可以在取货机构的端部上设置凸台。则可以以取货机构的端部上的凸台作为参考位置。图像采集装置采集到的第二图像数据中可以包括取货机构的凸台的图像和目标物的拿取部位的图像。将所述取货机构的端部的凸台作为参考位置，可以获取取货机构与所述目标物的拿取部位的第一相对位置关系。

在一种实施方式中，可以根据上述的第二图像数据计算得到图像中的目标物的拿取部位的位置信息，以及取货机构对应的参考位置的位置信息。这里的参考位置可以是上述的凸台，也可以是取货机构的端部。通过上述的目标物的拿取部位的位置信息以及取货机构对应的参考位置的位置信息得到取货机构与所述目标物的拿取部位的第一相对位置关系。

在一个实例中，目标物的拿取部位的位置信息可以是拿取部位的坐标，取货机构对应的参考位置的位置信息也可以是取货机构对应的参考位置的坐标。通过坐标的三个维度的分量可以得到取货机构的参考位置与拿取部位是否在同一水平面、竖直平面上等，由此可以得到取货机构的参考位置与拿取部位的位置关系，通过取货机构的参考位置与拿取部位的位置关系可以表示取货机构与拿取部位的第一相对位置关系。

步骤S1033，根据所述第一相对位置关系控制所述取货机构配合所述拿取部位取下并搬运所述目标物。

步骤S1033可以包括：判断所述第一相对位置关系是否满足设定条件。若满足设定条件，则执行控制所述取货机构配合所述拿取部位拿取所述目标物。若不满足设定条件，则再次获取新的第二图像数据，根据新的第二图像数据计算得到取货机构与所述目标物的拿取部位的第一相对位置关系。上述的设定条件可以是取货机构与拿取部位是否对齐。

下面以将凸台作为参考位置为例进行描述步骤S1033的可选的实现过程。

具体地，两个图像采集装置形成的相机视场内可以采集到位置固定的两个取货机构的端部的凸台，可将凸台作为定位的参考位置。随着搬运机器人的取货机构逐渐接近目标物，目标物逐渐进入两个图像采集装置形成的相机视场内。根据采集到的第二图像数据可以得到取货机构与拿取部位的第一相对位置关系，通过该第一相对位置关系可以判断出是否取货机构与拿取部位对齐。根据拿取部位的位置控制搬运机器人的取货机构的微调整，反复对目标物的拿取部位的位置与参考位置进行识别和对搬运机器人的取货机构的位置的调整，直至完成取货机构与目标物的拿取部位对齐。进一步地，取货机构与目标物的拿取部位对齐后控制取货机构配合拿取部位取下并搬运目标物。

在一个实例中，当图像采集装置安装在取货机构上、且图像采集装置在拿取部位的正对位置时，采集到的拿取部位的图像的形状应当与拿取部位原本的形状相同，则根据拿取部位的图像的形状变化，可以获得取货机构的前端面与拿取部位的第一相对位置关系。例如，拿取部位是长方形的货叉孔，取货机构与拿取部位的相互平行时，第二图像数据中长方形的长边与短边的比例固定，如果长方形的长边与短边的比例发生变化，则表明取货机构的前端面与拿取部位存在偏移，需进一步调整取货机构的位置。在另一个实例中，第二图像数据中的拿取部位的尺寸越大表示图像采集装置距离拿取部位越近，因此，可以根据识别到的第二图像数据中的目标物的拿取部位的尺寸确定出取货机构与目标物的距离。

步骤S1031可以是在取货机构在向拿取部位移动过程中，多次获取第二图像数据。根据上述的第二图像数据可以得到取货机构与目标物的拿取部位的第二相对位置关系。通过实时的得到取货机构与目标物的拿取部位的第二相对位置关系，可以实时调整取货机构的移动方向，从而实现准确拿取目标物。

本实施例提供的搬运控制方法，通过采集目标物的第一图像数据，可以识别出目标物的拿取部位，从而可以使搬运机器人能够根据所述拿取部位拿取目标物，提高物品拿取的准确性，从而促使提高拿取物品过程中的安全性。进一步地，现有的通过单点测距传感器实现位置的识别的方式由于传感器的分辨率低，通过单点测距只有一个发射点对应一个目标点，可以得到的位置信息有限，与之相比，本申请实施例通过图像识别的方式可以得到高分辨率的图像，计算后位置信息更加精确。

在其它实施例中，搬运控制方法还可以包括：接收传感器检测到的所述取货机构与目标物之间的第二相对位置关系；根据所述第二相对位置关系控制取货机构的动作。此实施例中的目标物可以是待搬运物体；也可以是其它物体，例如，其它搬运机器人、货架等。其中，第二相对位置关系可以包括碰撞、距离在设定范围内、距离不小于安全值等。其中，第一范围可以是(0，y)，其中y可以表示安全值。

在一种实施方式中，上述的接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：接收距离传感器检测到的与目标物之间的距离。上述的根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：当所述距离小于设定值时，控制所述取货机构远离所述目标物。

以目标物是托盘为例进行说明，托盘上设有货叉孔，取货机构可以是货叉，距离传感器可安装在货叉上。在货叉拿取托盘时需要将货叉插入货叉孔中。货叉在插入货叉孔过程中，距离传感器可以实时检测货叉与货叉孔壁的距离，当距离传感器检测到货叉与货叉孔壁距离小于限定的值时，可以停止当前的前进动作，使货叉远离货叉孔壁，避免货叉损伤托盘。货叉退出货叉孔后，再执行上述的步骤S102重新对目标物的拿取部位的位置信息进行识别。

在另一种实施方式中，上述的接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：接收碰撞传感器检测到的与目标物之间是否碰撞的碰撞状态；上述的根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：当与目标物产生碰撞时，控制所述取货机构远离所述目标物。

通过上述的根据取货机构与目标物的第二相对位置关系控制取货机构的动作可以防止取货机构与目标物发生碰撞等，提高搬运目标物过程中的安全性。

实施例二

本申请实施例提供一种搬运机器人300，如图6所示，本实施例中的搬运机器人300包括：取货机构310、控制器320以及与控制器320连接的图像采集装置330。

取货机构310用于执行取放物品的动作。具体地，取货机构310可以在搬运机器人300移动到放置目标物的设定位置后，拿取目标物；在搬运机器人300移动到目的地后将拿取的目标物放下。

图像采集装置330用于采集目标物的图像数据。图像数据可以是照片、视频等。目标物可以是货箱、用于放置货箱的托板、外壳等任何需要或可以搬运的物体。

控制器320用于根据图像采集装置330采集到的图像数据识别出目标物上的拿取部位，并控制取货机构310配合识别到的拿取部位取下并搬运目标物。

控制器320可以安装在搬运机器人300的任意位置上。在一种可实施的方式中，如图1所示，搬运机器人300包括基座360，控制器320可以安装在搬运机器人300的基座360的升降机构361上。在另一种可实施的方式中，控制器320也可以安装在搬运机器人300的基座360的固定机构362上。本申请实施例并不会以控制器320的安装位置为限。

本申请实施例的搬运机器人，采用了图像识别的方式对目标物的拿取部位进行识别，因此不需要使用传统的通过单点测距传感器实现位置的识别的方式。因此，本申请的实施例相较于传统的通过单点测距传感器实现位置的识别的方式对位置进行定位的搬运机器人结构更加简单。具体因为，传统的通过单点测距传感器实现位置的识别的方式，由于红外测距传感器的视场角度较小，需要多个传感器配合使用，导致结构复杂，安装空间需求也比较大。

上述的控制器320对采集到的图像数据进行识别，识别出所述目标物上的拿取部位的详细过程可以通过以下方式实现。

a.对所述第一图像数据进行轮廓检测，检测出所述第一图像数据中的目标物的轮廓。上述的步骤a所使用的轮廓检测可以是：一、传统的边缘检测算子检测目标物的轮廓，二、从人类视觉系统中提取可以使用的数学模型检测目标物的轮廓。

b.根据所述轮廓确定出所述目标物的拿取部位的位置信息。

由于对每一类目标物的拿取部位的位置和形状在目标物外表各边缘上是相对固定的，因此可以根据确定出的轮廓确定出目标物的拿取部位。

在一个实例中，如图2所示，目标物的形状可以是图示中的形状。拿取部位可以设置在目标物的底部，距离上边缘的距离表示：P厘米、距离下边缘的距离表示为：H-P-W厘米。其中H表示目标物的高度，W表示拿取部位的宽度。由于对目标物进行拍摄得到的图像与原物的比例可能产生变化，可以根据目标物的上述数据确定出拿取部位与边缘的相对位置，进一步地可以根据相对整个物体的轮廓以及拿取部位与边缘的相对位置确定出的图像中的目标物的拿取部位。通过上述的步骤a可以识别出目标物的外边轮廓210和货叉孔220。

如图3所示，图3示出了另一目标物的结构示意图。拿取部位可以设置在目标物的侧面。通过上述的步骤a可以识别出目标物的外边轮廓210和抓孔230。

上述的拿取部位的位置信息中包括目标物所处的环境中的空间位置的坐标。具体地，可以根据图像采集装置330的参数以及第一图像数据中的拿取部位的坐标可以得到拍摄得到的目标物中的拿取部位的空间位置。上述的空间位置可以是在图像采集装置330坐标下表示的位置，也可以是世界坐标系下表示的位置。通过对图像采集到的图像数据进行识别，从而可以得到图像中的拿取部位的空间坐标，可以使取货机构310能够更准确地对拿取部位进行定位，提高拿取目标物的成功率。

上述的控制器320可以包括中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制搬运机器人300中的其它组件以执行期望的功能。上述的控制器320还可以包括存储装置，存储装置可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如，所述应用程序使用和/或产生的各种数据等。

进一步地，搬运机器人300还可以包括输入装置、输出装置。上述的输入装置、输出装置、图像采集装置330及控制器320这些组件通过总线系统和/或其它形式的连接机构互连。上述的输入装置可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。上述的输出装置可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

本申请实施例中的取货机构310可以有多种可能的实现方式，本实施例通过以下几个实施方式进行详细描述。

在一种可实施的方式中，取货机构310可以是货叉，目标物上的拿取部位可以是货叉孔。控制器320控制所述取货机构310配合所述拿取部位取下并搬运所述目标物为：控制所述货叉伸入所述货叉孔，抬起并搬运所述目标物。

在另一种实施方式中，取货机构310可以是机械臂。其中，取货机构310可以包括两条机械臂；也可以仅包括一条机械臂。

控制器320控制取货机构310配合所述拿取部位取下并搬运所述目标物为：控制所述机械臂伸入所述抓孔或所述提手，抬起并搬运所述目标物。

具体地，若取货机构310包括两条机械臂，与之匹配，上述的拿取部位可以是设置在目标物相对两侧的抓孔。机械臂需要拿取目标物时，机械臂分别伸入目标物左右两侧的抓孔内抬起目标物，并在放下目标物后从两侧的抓孔中抽出。通过为上述的取货机构310配置两条机械臂，两条机械臂配合上述的目标物上设置两个抓孔，可以实现稳定的抬起目标物。

具体地，若取货机构310包括一条机械臂，与之匹配，上述的拿取部位可以是设置在目标物上侧把手。机械臂需要拿取目标物时，机械臂分别伸入目标物上侧的把手内抬起目标物，并在放下目标物后从把手中抽出。通过为上述的取货机构310配置一条机械臂，一条机械臂配合上述的目标物上设置的把手，可以实现相对稳定的提起目标物。

考虑更好地识别出目标物的拿取部位，可以在搬运机器人300上安装两个图像采集装置330。

在一种实施方式中，若搬运机器人300的取货机构310是货叉，两个图像采集装置330可以安装在两个货叉上。在确定拿取部位的位置信息时，可以分别结合两个图像采集装置330采集到的图像进行计算得到。

当图像采集装置330安装在取货机构310的端部时，取货机构310的端部可以设置有凸台。进一步地，凸台可以设置在于图像采集装置330相同一侧。例如，取货机构310是货叉时，图像采集装置330安装在货叉的下侧，则凸台可以设置在货叉的下侧；再例如，图像采集装置330安装在货叉的上侧，则凸台可以设置在货叉的上侧。上述的上侧和下侧是相对的，在一个实例中，上述的上侧可以是搬运机器人300放置在地面上时，货叉远离地面的一侧；下侧可以是搬运机器人300放置在地面上时，货叉正对地面的一侧。

图像采集装置330安装在取货机构310的端部时，可以以取货机构的端部上的凸台作为参考位置。图像采集装置330采集到的第二图像数据中可以包括取货机构的凸台的图像和目标物的拿取部位的图像。将所述取货机构的端部的凸台作为参考位置，可以获取取货机构310与所述目标物的拿取部位的第一相对位置关系。通过取货机构310与拿取部位的第一相对位置关系，从而可以进一步地得到取货机构310与拿取部位是否对齐，如果对齐，则取货机构310可以进一步地向前移动，从而实现拿取目标物。上述的第一相对位置关系可以包括：取货机构310与拿取部位偏斜、取货机构310与拿取部位对齐、取货机构310与拿取部位的水平距离等。

具体地，随着搬运机器人300的取货机构310逐渐接近目标物，目标物逐渐进入两个图像采集装置330形成的相机视场内。根据两个取货机构的端部的凸台与目标物的拿取部位的第一相对位置关系，可以判断搬运机器人300的取货机构310与目标物的拿取部位是否对齐。根据图像采集装置330采集到的图像确定的拿取部位的位置控制搬运机器人300的取货机构310的微调整，反复对目标物的拿取部位的位置与参考图像的位置进行识别和对搬运机器人300的取货机构310的位置的调整，直至完成取货机构310与目标物的拿取部位对齐。取货机构310与目标物的拿取部位对齐后控制取货机构310配合拿取部位取下并搬运目标物。

在另一种实施方式中，若搬运机器人300的取货机构310是两条机械臂，两个图像采集装置330可以安装在两条机械臂上。

在一个实例中，拿取部位可以设置在目标物的两侧。则两条机械臂上的图像采集装置330可以分别用于采集目标物两侧的图像。通过两侧的图像可以分别识别出两侧的拿取部位的位置信息。

由于使用两条机械臂拿取物体时，将两条机械臂分别置于物体的相对的两侧可以使物体被拿取时相对更加稳定，一张图像不能很好地展示出相对的两侧的图像，因此可以将两条机械臂分别安装一个图像采集装置330，从而可以更好地识别出物体两侧的拿取部位，从而可以更准确地拿取物体。

通过上述的搬运机器人300的结构可以实现对目标物的拿取部位的识别，以及配合拿取部位搬运目标物的动作。出于对搬运机器人300在搬运物体或行走过程中的安全，搬运机器人300上还可以设置其它结构，实现对搬运机器人300与其它周边环境的相对状况的检测。

在一种实施方式中，搬运机器人300还可以包括传感器340。

传感器340可以用于检测与目标物之间的第二相对位置关系，并将第二相对位置关系传输给控制器320。通过上述的第二相对位置关系可以得到搬运机器人300所处的位置是否安全。上述的目标物可以是待搬运物体；也可以是其它物体，例如，其它搬运机器人、货架等。上述的第二相对位置关系可以包括：碰撞、距离在设定范围内、距离不小于安全值等。其中，设定范围可以是(0，y)，其中y可以表示安全值。

在一种实施方式中，传感器340可以包括距离传感器。该距离传感器可以用于检测与目标物的距离，并将距离传输给控制器320。在另一种实施方式中，传感器340可以包括碰撞传感器，用于检测与目标物的碰撞状态，并将所述碰撞状态发送给控制器320。控制器320还用于根据传感器340检测到的相对位置关系控制取货机构310的动作。

示例性的，若第二相对位置关系是碰撞，则控制器320控制取货机构310的远离目标物，使取货机构310与目标物保持安全距离；若第二相对位置关系是距离在设定范围内，则控制器320控制取货机构310的停止或远离目标物，使取货机构310与目标物保持安全距离；若第二相对位置关系是距离不小于安全值，则控制器320控制取货机构310可以继续当前进行的动作。

示例性的，上述的传感器340可以安装在所述取货机构310上。将传感器340安装在取货机构310上，则传感器340检测到与目标物的位置关系也就可以表示为取货机构310与目标物的位置关系。在其它可能的实施方式中，上述的传感器340也可以安装在基座360上。

可选地，搬运机器人300还可以包括报警器，用于在接收到所述控制器320的报警控制指令后，产生报警信号。示例性的，上述的控制器320可以用于在第二相对位置关系是搬运机器人300与所述目标物之间的距离小于预警设定值时，向所述报警器发送报警控制指令。其中，预警设定值可以是上述的安全值，也可以是用户按照需求自定义的一个数值。示例性的，上述的控制器320可以用于在在第二相对位置关系是搬运机器人300与所述目标物之间产生碰撞时，向所述报警器发送报警控制指令。

本实施例中，控制器320可以在传感器340传输的数据中体现出取货机构310与目标物的相对位置关系是碰撞或距离在第一范围内时，发出报警信号，可以起到提示相关工作人员，以方便相关工作人员可以及时采集补救操作。

上述的报警器包括音频报警器、光报警器中的至少一种。音频报警器可以使相关人员更好地注意到可能存在危险，进一步地方便相关工作人员进一步地采取措施；光报警器可以使工作人员可以更好地对可能存在危险的地方进行定位。

在一些实施例中，搬运机器人300还可以包括：指示灯350用于呈现出与搬运机器人300的当前状态匹配的显示规律的指示信号。示例性的，在搬运机器人300的控制器320在控制取货机构310在调整位置拿取目标物的过程中，上述的指示灯350可以以第一频率闪烁。例如，上述的第一频率可以是1hz。示例性的，当传感器340检测到与目标物的相对位置关系是碰撞或距离在第一范围内时，控制器320可以控制搬运机器人300紧急停止，上述的指示灯350以第二频率闪烁。上述的第二频率可以大于第一频率，例如，该第二频率可以是2hz。上述的指示灯350可以与传感器340为一体设置，也可以是一独立的部件。通过指示灯350的提示可以方便相关工作人员了解搬运机器人300的工作状态。

上面以图像采集装置330安装在取货机构上为例进行了描述。进一步地考虑，图像采集装置330也可以安装在基座360上。图像采集装置330安装在基座360上时，可以以取货机构的端部作为参考位置。图像采集装置330采集到的图像可以包括取货机构的端部的图像和目标物的拿取部位的图像。将端部作为参考位置，可以进一步获得取货机构310与拿取部位的第一相对位置关系。通过取货机构310与拿取部位的第一相对位置关系，从而可以进一步地得到取货机构310与拿取部位是否对齐，如果对齐，则取货机构310可以进一步地向前移动，从而实现拿取目标物。

可以理解的是，本领域的技术人员可以根据需求任意配置搬运机器人300的基座360，图1所示的形状仅仅是示意性的，并不表示本申请的搬运机器人的结构的实现仅仅是图示中的结构。

关于本实施例的其它细节可以进一步地参考上述搬运控制方法的实施例中的描述，在此不再赘述。

本发明实施例的搬运控制方法及搬运机器人，通过采集目标物的图像数据，可以识别出目标物的拿取部位，从而可以使搬运机器人能够根据所述拿取部位拿取，提高物品拿取的准确性，也能够提高拿取物品的安全性。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种搬运控制方法，其特征在于，包括：

采集目标物的第一图像数据；

对所述第一图像数据进行识别，识别出所述目标物上的拿取部位，得到所述拿取部位的位置信息；

根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物。

2.如权利要求1所述的搬运控制方法，其特征在于，所述根据所述拿取部位的位置信息控制取货机构配合所述拿取部位取下并搬运所述目标物的步骤，包括：

获取第二图像数据，所述第二图像数据包括所述取货机构与所述目标物的拿取部位的图像；

根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系；

根据所述第一相对位置关系控制所述取货机构配合所述拿取部位取下并搬运所述目标物。

3.如权利要求2所述的搬运控制方法，其特征在于，所述第二图像数据包括取货机构的端部的图像；所述根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系的步骤，包括：

将所述取货机构的端部作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

4.如权利要求2所述的搬运控制方法，其特征在于，所述第二图像数据包括取货机构端部的凸台的图像；所述根据所述第二图像数据得到所述取货机构与所述目标物的拿取部位的第一相对位置关系的步骤，包括：

将所述凸台作为参考位置，获取所述取货机构与所述目标物的拿取部位的第一相对位置关系。

5.如权利要求1所述的搬运控制方法，其特征在于，所述对所述第一图像数据进行识别，识别出所述目标物上的拿取部位的步骤，包括：

对所述第一图像数据进行轮廓检测，检测出所述第一图像数据中的目标物的轮廓；

根据所述轮廓确定出所述目标物的拿取部位的位置信息。

6.如权利要求1所述的搬运控制方法，其特征在于，所述方法还包括：

接收传感器检测到的所述取货机构与目标物之间的第二相对位置关系；

根据所述第二相对位置关系控制取货机构的动作。

7.如权利要求6所述的搬运控制方法，其特征在于，所述接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：

接收距离传感器检测到的与目标物之间的距离；

所述根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：

当所述距离小于设定值时，控制所述取货机构远离所述目标物。

8.如权利要求7所述的搬运控制方法，其特征在于，所述接收传感器检测到的与目标物之间的第二相对位置关系的步骤，包括：

接收碰撞传感器检测到的与目标物之间是否碰撞的碰撞状态；

所述根据所述第二相对位置关系控制所述取货机构的动作的步骤，包括：

当与目标物产生碰撞时，控制所述取货机构远离所述目标物。

9.一种搬运机器人，其特征在于，包括：取货机构、控制器以及与控制器连接的图像采集装置；

所述取货机构用于执行取放物品的动作；

所述图像采集装置用于采集目标物的图像数据；

所述控制器用于根据所述图像数据识别出所述目标物上的拿取部位，并控制所述取货机构配合所述拿取部位取下并搬运所述目标物。

10.如权利要求9所述的搬运机器人，其特征在于，还包括：

传感器，用于检测与目标物之间的第二相对位置关系，并将所述相对位置关系传输给控制器；

所述控制器还用于根据所述第二相对位置关系控制所述取货机构的动作。

11.如权利要求10所述的搬运机器人，其特征在于，所述传感器包括：

距离传感器，用于检测与目标物的距离，并将所述距离传输给控制器；或/及，

碰撞传感器，用于检测与目标物的碰撞状态，并将所述碰撞状态发送给所述控制器；

所述控制器根据检测到的距离或/及所述碰撞状态控制所述取货机构的动作。

12.如权利要求10所述的搬运机器人，其特征在于，所述控制器还用于在所述第二相对位置关系中与所述目标物之间的距离小于预警设定值时，向报警器发送报警控制指令；

所述报警器，用于在接收到所述控制器的报警控制指令后，产生报警信号。

13.如权利要求9所述的搬运机器人，其特征在于，所述取货机构包括货叉，所述目标物上的拿取部位包括货叉孔，所述控制所述取货机构配合所述拿取部位取下并搬运所述目标物为：控制所述货叉伸入所述货叉孔，抬起并搬运所述目标物；或，

所述取货机构包括机械臂，所述目标物上的拿取部位包括抓孔或提手，所述控制所述取货机构配合所述拿取部位取下并搬运所述目标物为：控制所述机械臂伸入所述抓孔或所述提手，抬起并搬运所述目标物。

14.如权利要求13所述的搬运机器人，其特征在于，所述搬运机器人包括两个所述图像采集装置，分别安装在两个所述货叉上，或，两个机械臂上。

15.如权利要求9所述的搬运机器人，其特征在于，所述取货机构的端部设有凸台。