CN111216122A - 把持机器人及把持机器人的控制程序 - Google Patents

Abstract

本发明提供一种把持机器人及把持机器人的控制程序，该把持机器人具备：把持机构，用于把持对象物；摄像部，对周边环境进行拍摄；提取部，使用已学习模型而提取在周边环境中把持机构能够把持的可把持部，所述已学习模型将利用摄像部取得的图像作为输入图像；位置检测部，检测可把持部的位置；识别部，参照可把持部的位置与可动状态建立了关联的查找表，识别可把持部的状态；及把持控制部，根据由识别部识别出的可把持部的状态，以使可把持部位移的方式对把持机构进行控制。

Description

把持机器人及把持机器人的控制程序

背景技术

本发明涉及把持机器人及把持机器人的控制程序。

已知有随时间推移取得包含可动部的对象物体的动作而识别其三维形状的技术(例如，参照日本特开2014-228879号公报)。

发明内容

在利用机械手使可动对象物位移的情况下，希望即使不对整体的三维形状进行识别也可以快速地把持可动对象物的可把持部而开始位移动作。

本发明提供一种把持机器人，其能够快速地把持可动对象物的可把持部而开始位移动作。

本发明的第一方式中的把持机器人具备：把持机构，用于把持对象物；摄像部，对周边环境进行拍摄；提取部，使用已学习模型提取在周边环境中把持机构能够把持的可把持部，所述已学习模型将利用摄像部取得的图像作为输入图像；位置检测部，检测可把持部的位置；识别部，参照可把持部的位置与可动状态建立了关联的查找表，识别可把持部的状态；及把持控制部，根据由识别部识别出的可把持部的状态，以使可把持部位移的方式对把持机构进行控制。这样，通过将已学习模型和查找表组合，能够迅速地把持可动对象物的可把持部而开始位移动作。

在上述的把持机器人中，在查找表，也可以使可把持部与可动状态被定义的可动部之间的关系建立了关联。如果利用这样的查找表，则即使在与把持部不同的可动部连动的情况下，也能够迅速地开始位移动作。

本发明的第二方式中的把持机器人的控制程序是具备用于把持对象物的把持机构的把持机器人的控制程序，该控制程序使计算机执行以下步骤：摄像步骤，对周边环境进行拍摄；提取步骤，使用已学习模型而提取在周边环境中把持机构能够把持的可把持部，所述已学习模型将在摄像步骤取得的图像作为输入图像；位置检测步骤，检测可把持部的位置；识别步骤，参照可把持部的位置与可动状态建立了关联的查找表，识别可把持部的状态；及把持控制步骤，根据由识别步骤识别出的可把持部的状态，以使可把持部位移的方式对把持机构进行控制。由这样的控制程序控制的把持机器人与第一方式中的把持机器人同样地，能够迅速地把持可动的对象物的可把持部而开始位移动作。

通过本发明能够提供一种把持机器人，其能够快速地把持可动对象物的可把持部而开始位移动作。

根据下文给出的详细描述及附图，本公开内容的上述及其他目的、特征和优点将理解得更加充分，附图仅作为说明的方式给出，因此不应被认为是对本公开内容的限制。

附图说明

图1是具备把持机构的移动机器人的外观立体图。

图2是移动机器人的控制框图。

图3是移动机器人取得的周边环境图像的一例。

图4是已学习模型输出的可把持区域的一例。

图5是示出把持准备动作的情况的图。

图6是对可动部表中的可动物的定义进行说明的图。

图7是示出把持动作的一系列处理的流程图。

具体实施方式

图1是具备对对象物进行把持的把持机构的移动机器人100的外观立体图。移动机器人100是把持机器人的一例。移动机器人100大致划分由台车部110与主体部120构成。台车部110在圆筒形状的壳体内支撑有各自与行驶面接触的两个驱动轮111和一个脚轮112。两个驱动轮111以旋转轴芯互相一致的方式配设。各个驱动轮111由未图示的电动机独立地旋转驱动。脚轮112是从动轮，以从台车部110在铅垂方向上延伸的旋转轴远离车轮的旋转轴而对车轮进行轴支撑的方式进行设置，并以沿着台车部110的移动方向的方式进行追随。

台车部110在上表面的周缘部具备激光扫描仪133。激光扫描仪133按每个步进角对水平面内的一定的范围进行扫描，输出在各个方向上是否存在障碍物。并且，在障碍物存在的情况下，输出到该障碍物为止的距离。

主体部120主要具备：搭载于台车部110的上表面的躯干部121、载置于躯干部121的上表面的头部122、支撑于躯干部121的侧面的臂部123及设置于臂部123的前端部的手部124。在手部124的手腕部分具备检测把持对象物的位置的手部相机135。臂部123和手部124由未图示的电动机驱动，能够对各种对象物以被控制的姿势进行把持并使其位移。即，臂部123和手部124承担作为用于把持对象物的把持机构的功能。躯干部121能够通过未图示的电动机的驱动力而相对于台车部110绕铅垂轴旋转。

头部122主要具备立体相机131及显示面板141。立体相机131具有彼此分离地配置有具有相同视角的两个相机单元的结构，并输出利用各个相机单元拍摄到的拍摄信号。立体相机131承担作为拍摄周边环境的摄像部的功能。

显示面板141例如是液晶面板，用动画显示所设定的人物的面部，或以文本或者图标显示与移动机器人100有关的信息。如果在显示面板141显示人物的面部，则能够给周围的人们带来显示面板141是虚拟的面部的印象。

头部122能够通过未图示的电动机的驱动力而相对于躯干部121绕铅垂轴旋转。因此，立体相机131能够对任意方向的对象物进行拍摄，另外，显示面板141能够朝向任意的方向呈现显示内容。

图2是移动机器人100的控制框图。在此，对与对象物的把持动作相关的主要的要素进行说明，但作为移动机器人100的结构还可以具备其他的要素，另外，也可以添加有助于把持动作的处理的其他的要素。

控制部160例如是CPU，例如存放于配置于躯干部121的控制单元。台车驱动单元145包含驱动轮111和用于对驱动轮111进行驱动的驱动电路、电动机。控制部160通过向台车驱动单元145发送驱动信号来执行驱动轮的旋转控制。另外，控制部160从台车驱动单元145接收编码器等的反馈信号而掌握台车部110的移动方向、移动速度。

上体驱动单元146包含臂部123及手部124即把持机构、躯干部121及头部122、用于驱动这些部件的驱动电路、电动机。控制部160通过向上体驱动单元146发送驱动信号而实现把持动作、立体相机131向特定方向的旋转等。另外，控制部160从上体驱动单元146接收编码器等的反馈信号而掌握臂部123及手部124的位置、移动速度、躯干部121及头部122的朝向、旋转速度。显示面板141根据用户的请求等显示控制部160生成的图像信号。另外，如上所述，控制部160生成人物等的图像信号而向显示面板141显示。

立体相机131按照来自控制部160的请求对周边环境进行拍摄，并将摄像信号向控制部160传递。控制部160使用取得的摄像信号执行图像处理。激光扫描仪133按照来自控制部160的请求检测在移动方向上是否存在障碍物，并将其结果即检测信号向控制部160传递。

手部相机135例如是距离图像传感器，用于识别对象物的距离、形状、方向等。手部相机135包含对从对象空间入射的光学影像进行光电转换的像素以二维状排列的摄像元件，并按每个像素向控制部160输出到被摄体为止的距离。具体而言，手部相机135包含将图案光向对象空间照射的照射单元，并利用摄像元件接收其反射光，而根据图像中的图案的失真度、大小输出到各像素捕捉到的被摄体的距离。此外，控制部160通过立体相机131掌握更广阔的周边环境的情况，并通过手部相机135掌握特定的对象物附近的情况。手部相机135承担作为检测把持机构能够把持的可把持部的位置的检测部的功能。

存储器150是非易失性存储介质，使用例如固态驱动器。存储器150除了用于存储控制移动机器人100的控制程序之外，还存储有用于控制、运算的各种参数值、函数、查找表等。尤其是存储有由输入图像输出把持机构能够把持的可把持区域的已学习模型151以及作为将配置于对象空间中的可把持部的位置与可动状态建立了关联的查找表的可动部表152。

控制部160通过执行从存储器150读出的控制程序来执行移动机器人100整体的控制和各种运算处理。另外，控制部160也承担作为执行与控制相关的各种运算、控制的功能执行部的作用。作为这样的功能执行部包含提取部161、识别部162、把持控制部163。

提取部161将根据立体相机131的任一方的摄像信号生成的图像数据的图像作为输入图像并从从存储器150读出的已学习模型151得到可把持区域，进而从周边环境提取把持机构能够把持的可把持部。识别部162对提取部161提取到的可把持部中的为了执行任务而应该把持的可把持部的状态进行识别。更具体而言，基于从手部相机135获得的该可把持部的位置信息和可动部表152中记载的该可把持部的信息而识别当前的该可把持部的状态。把持控制部163对于识别部162识别到的该可把持部的状态，根据被赋予的任务决定如何进行把持、进而如何进行位移，并为了以如上方式控制把持机构而向上体驱动单元146发送驱动信号。

图3是移动机器人100通过立体相机131取得的周边环境图像的一例。在立体相机131由两个相机单元分别输出摄像信号，但在此示出根据任一方的摄像信号生成的二维图像。

根据该图像，在移动机器人100的附近存在柜子700。柜子700具备设置有第一把手711的抽屉710和设置有第二把手721、第三把手722的橱柜720。提取部161将这样的图像作为输入图像提供给已学习模型151。

图4是已学习模型151输出的可把持区域的一例。具体而言，将包围第一把手711的区域作为第一检测区域811，将包围第二把手721的区域作为第二检测区域821，将包围第三把手722的区域作为第三检测区域822而进行检测。已学习模型151是通过大量的教师数据进行了学习的神经网络，上述教师数据是把持机构的手部抓握或钩挂的可把持部映现的图像和该图像中哪个区域是该可把持部的正确值的组合。因此，如果在图像中映现看起来可抓握的凸部、看起来可钩挂的凹部，则也存在即使是实际上不能够位移的对象物也作为可把持区域而被检测的情况。提取部161从周边环境提取把持机构能够把持的可把持部作为已学习模型151的输出结果。此外，已学习模型151可以是通过深度学习进行了学习的神经网络。

图5是示出移动机器人100执行的把持准备动作的情况的图。对移动机器人100预先赋予应该执行的任务，对象物的位移动作作为其一部分而执行。例如在此赋予了把持收容于柜子700的抽屉710中的毛巾而搬送至特定的场所的任务。

收容有毛巾的抽屉710的大致的位置在赋予的任务中预先进行了记载。控制部160根据该信息将提取部161提取到的可把持部中存在于抽屉710的附近的第一把手711确定为把持对象。然后，如图所示，向手部相机135能够观察第一把手711的位置驱动臂部123。

在臂部123的驱动结束之后，手部相机135对包含第一把手711的空间区域进行拍摄。控制部160根据手部相机135的输出信号计算从当前时刻的手部124的基准位置到第一把手711的距离以及安装有第一把手711的第一基准面712的面方向。

识别部162将计算出的到第一把手711的距离和第一基准面712的面方向与在可动部表152中记载的第一把手711的信息进行对照，识别抽屉710的当前的状态。更具体而言，识别抽屉710是关闭或者开启到哪种程度的状态。把持控制部163对于识别部162识别出的抽屉710的状态或者第一把手711的状态，决定如何进行把持、进而在把持的状态下向哪个方向位移多少，并将与该决定相应的驱动信号向上体驱动单元146发送。位移量例如根据手部124能够将对象的毛巾取出的宽度计算。

图6是对可动部表182中的可动物的定义进行说明的图。在柜子700的情况下，定义抽屉710和橱柜720作为可动物。对于抽屉710，使用对移动机器人的操作空间进行规定的绝对坐标系记载了安装有第一把手711的第一基准面712的面方向(例如面向量)、能够位移的方向及能够位移的范围。另外，记载了第一把手711相对于第一基准面712的位置和外形形状。

对于橱柜720同样地使用绝对坐标系记载了安装有第二把手721的第二基准面723的关闭状态下的面方向、旋转轴方向及可旋转范围。另外，记载了第二把手721相对于第二基准面723的位置与外形形状。同样地使用绝对坐标系记载了安装有第三把手722的第三基准面724的关闭状态下的面方向、旋转轴方向及可旋转范围。另外，记载了第三把手722相对于第三基准面724的位置和外形形状。

通过创建这样的可动部表152，控制部160能够根据已学习模型151的输出和手部124的输出迅速地识别作为目标的可动对象物的状态。进而，能迅速地对可把持部进行把持而开始位移动作。

图7是示出把持动作的一系列处理的流程图。流程从移动机器人100根据应该执行的任务而移动到把持对象物的附近的时刻开始。控制部通过从存储器150读出的把持控制程序执行以下的处理。

控制部160在步骤S101中，通过立体相机131对周边环境进行拍摄，并取得周边环境图像。进入步骤S102，提取部161将该周边环境图像作为输入图像，从从存储器150读出的已学习模型151得到可把持区域而从周边环境提取把持机构能够把持的可把持部。

进入步骤S103，控制部160向手部相机135能够观察可把持部的位置驱动臂部123。然后，使手部相机135拍摄可把持部。控制部160根据手部相机135的输出信号计算可把持部的位置和安装有可把持部的基准面的面方向。

进入步骤S104，识别部162将可把持部的位置和安装有可把持部的基准面的面方向与可动部表152中记载的该可把持部的信息对照，并识别当前的状态。进入步骤S105，把持控制部163对于识别部162识别出的可把持部的状态，决定如何进行把持、进而在把持的状态下向哪个方向位移多少，并向上体驱动单元146发送与该決定相应的驱动信号。把持机构根据该驱动信号对可把持部进行把持而使其位移。在位移完成之后结束一系列的处理。

在以上说明的本实施方式中，将具备把持机构的移动机器人100作为把持机器人的例子进行了说明，但把持机器人不限于这样的移动机器人。也可以是设置于特定的场所的臂机器人。另外，作为可把持部的位置与可动状态建立了关联的查找表的例子，对可动部表152进行了说明，但表现形式不限于说明的例子。也可以不利用坐标系进行表现而使用例如动态图像数据表现可动状态。另外，作为检测可把持部的位置的位置检测部的例子，对手部相机135进行了说明，但只要是立体相机131对于把持动作能够以足够的精度检测把持部的位置的话，则立体相机131也可以承担作为位置检测部的功能。

另外，在以上说明的本实施方式中，将柜子700作为可动对象物进行了说明，当然可移动的对象物不限于柜子。如果使移动机器人100打开门而使其从被分隔的空间的一方向另一方移动的话，则开关的门也能够成为可动对象物。

另外，可把持部也可以不是可动部的一部分。例如，如果是伞那样的结构物，则相对于轴部即把持部，沿轴部开闭的伞面成为可动部。在这样的情况下，在查找表中将可把持部与可动状态被定义的可动部之间的关系建立关联而记载。具体而言，记载开闭的伞面的基准位置相对于把持部的基准位置能够如何地进行位移，另外，记载伞面相对于空间如何地进行扩展。

可以使用任何类型的非暂时性计算机可读介质来存储程序并将其提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)，CD-ROM(光盘只读存储器))，CD-R(可刻录光盘)，CD-R/W(可擦写光盘)和半导体存储器(例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存储器)等)。可以使用任何类型的暂时性计算机可读介质将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号及电磁波。暂时性计算机可读介质能够经由有线通信线(例如电线和光纤)或无线通信线将程序提供给计算机。

根据上述公开可知，本发明的实施例能够以多种方式进行变更。这些变更不应该被视为背离了本公开的精神和范围，并且对于本领域的技术人员显而易见的所有的这些变更旨在包括在所附权利要求的范围内。

Claims (3)

1.一种把持机器人，其中，

所述把持机器人具备：

把持机构，用于把持对象物；

摄像部，对周边环境进行拍摄；

提取部，使用已学习模型从所述周边环境提取所述把持机构能够把持的可把持部，所述已学习模型将利用所述摄像部取得的图像作为输入图像；

位置检测部，检测所述可把持部的位置；

识别部，参照所述可把持部的位置与可动状态建立了关联的查找表，识别所述可把持部的状态；及

把持控制部，根据由所述识别部识别出的所述可把持部的状态，以使所述可把持部位移的方式对所述把持机构进行控制。

2.根据权利要求1所述的把持机器人，其中，

所述查找表中，所述可把持部与所述可动状态被定义的可动部之间的关系建立了关联。

3.一种计算机可读的存储介质，存储有把持机器人的控制程序，该把持机器人具备用于把持对象物的把持机构，其中，所述控制程序使计算机执行以下步骤：

摄像步骤，对周边环境进行拍摄；

提取步骤，使用已学习模型从所述周边环境提取所述把持机构能够把持的可把持部，所述已学习模型将在所述摄像步骤取得的图像作为输入图像；

位置检测步骤，检测所述可把持部的位置；

识别步骤，参照所述可把持部的位置与可动状态建立了关联的查找表，识别所述可把持部的状态，及

把持控制步骤，根据由所述识别步骤识别出的所述可把持部的状态，以使所述可把持部位移的方式对所述把持机构进行控制。

Images