CN111421546B - 机器人系统的控制装置以及控制方法 - Google Patents

Abstract

本公开提供可提高属性不同的操作对象的操控性和保管效率的控制装置以及控制方法。该控制装置为机器人系统的控制装置，该机器人系统包含用于将操作对象堆积于托板和/或者从托板卸下的对操作对象进行操作的操作机器人，该装置具备：数据获取部，在将操作对象堆积于托板和/或者从托板卸下之前，获取包含关于操作对象的信息和关于托板的信息的第一数据；数据存储部，存储第一数据；以及机器人控制部，在将操作对象堆积于托板和/或者从托板卸下之前，基于第一数据创建用于将操作对象堆积于托板和/或者从托板卸下的控制序列，以及基于控制序列指令机器人执行用于将操作对象堆积于托板和/或者从托板卸下的任务。

Description

机器人系统的控制装置以及控制方法

本申请是2020年2月27日递交的申请号为202010122755.4、发明名称为“机器人系统的控制装置以及控制方法”的分案申请。

技术领域

本公开总体涉及机器人系统，特别是涉及对物品等操作对象进行操作的机器人系统的控制装置、控制方法、物流系统、程序以及存储介质。

背景技术

当前，大多机器人(例如，构成为自动/独立执行物理动作的机器)由于不断提升的性能以及降低的成本而被广泛应用于很多领域。例如，机器人在制造、组装、捆包、传送、搬运、输送等中能够用于执行操纵、移动对象等各种作业。在执行作业中，机器人能够重复进行人类的动作，由此，能够代替或者减少人类进行的危险或者重复的作业。

作为使用这种机器人的系统(机器人系统)，例如，专利文献1中提出了一种用于使物品从入库到出库实现自动化以及省力化的自动物流系统，具备：搬运容器储存机构，暂时储存搬运容器；以及物品自动送出机构，基于出库信息，将搬运容器内的物品自动集约在出厂用容器内。

现有技术文献

专利文献

专利文献1：日本特开2018-167950号公报

发明内容

但是，不管技术进步与否，机器人在大多情况下都缺乏用于执行较大和/或较复杂任务而为了再现人类参与作业所需的精细度。因此，机器人系统下的自动化以及高性能化尚未充分，存在很多难以替代人类参与的作业，另外，很难充分提高例如属性不同的操作对象的操控性和保管效率。因此，仍然需要管理机器人之间的各种动作和/或对话，用于进一步促进机器人系统的自动化以及高性能化的技术改良。因此，本公开的目的在于提供机器人系统的控制装置以及控制方法等，能够实现包含机器人的单元之间的高度协作，例如充分提高属性不同的操作对象的操控性和保管效率。

本发明为了解决上述课题，采用以下结构。

[1]即，本公开所涉及的控制装置是用于控制机器人系统的装置，该机器人系统包含：用于将操作对象堆积(palletize)于托板和/或从托板卸下(depalletize)操作对象而对所述操作对象进行操作的操作机器人，例如，用于通过堆垛机器人、卸垛机器人、拣件机器人、抓取机器人、拆箱机器人等的机器人臂以及末端执行器等对物品进行操作的机器人。并且，控制装置具备：(1)数据获取部，在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述托板的信息的第一数据；(2)数据存储部，存储所述第一数据；以及(3)机器人控制部，在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象，以及基于所述控制序列，指令所述操作机器人执行用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象的任务。

其中，“操作对象”表示机器人系统所具备的操作机器人所操作的对象物，例如，包含一个以上的物品(商品)、载置或者收纳它们的瓶、集装箱、箱等容器，该容器可以是封装的，也可以是封装打开的，另外，可以是容器的局部(例如上面)打开。另外，在其他实施方式以及实施例中，“操作对象”还可以是包含搁架、托板、传送带、其他暂时放置场所等的概念。另外，“托板”表示为了装卸、运输、保管物品而具备对单位数量进行汇总载置的面的装卸台，例如，可以包括平托板、箱式托板、立式托板等，还可以具有或不具有叉夹等的插入口。进而，“关于物品的信息”以及“关于托板的信息”分别表示与物品的识别信息相关联的信息以及与托板的识别信息相关联的信息。另外，“控制序列”表示控制用于使机器人系统所具备的一个以上单元执行各个任务时预先设定的动作顺序(机器人是“单元”的一种)。另外，「～之前」表示该时刻以及该时刻之前，「～之后」表示该时刻以及该时刻之后。

另外，“关于操作对象的信息”至少包含该操作对象的位置信息和该操作对象的“库存管理单位(SKU:Stock Keeping Unit)”的信息。“库存管理单位(SKU)”表示进行操作对象的订货及库存管理时的最小管理单位，例如，即使是相同的操作对象，也能够通过包装、进货数、内容量等属性的不同来区分，能够通过SKU以比操作对象单位更小的单位来对操作对象进行分类。例如，即使操作对象是衣物物品且相同的衣物，在颜色为3色、尺寸为S、M、L、LL的4种情况下，也被认为是“12SKU”。此外，SKU可由运营商自由设定，也存在不区别颜色或尺寸而设定SKU的情况。但是，一般认为，在以下情况下，应该区别管理SKU(财团法人流通系统开发中心：GTIN设定指南～GTIN应用指南修订版～2018年12月版，第一0页)。

﹒在交易上，作为其他商品存在必须判别的要素时

﹒希望向消费者传达商品不同时

﹒希望对商品销售额分开进行分析时

(例)

﹒尺寸不同时：大袋、中袋、小袋

﹒净内容量(重量、容量、个数等)不同时：100g、200g、500ml、650ml

﹒包装样式不同时：袋装、罐装、瓶装

﹒颜色不同时：粉红色、蓝色、白色

﹒味道不同时：咖喱味、烧烤味

﹒香味不同时：茉莉花、花束

﹒销售单位不同时：3个装、5个装、15个装

﹒成套商品中内容(组合)不同时：2个调味料和3瓶食用油的套装、3个调味料和2瓶食用油的套装

根据上述结构，在将操作对象堆积于托板和/或将操作对象从托板卸下之前，把握操作对象以及托板各自相关的信息，基于包含这些信息的第一数据创建的控制序列来执行任务。由此，能够高效顺畅地进行将操作对象堆积于托板的操作、和/或将操作对象从托板卸下的操作。

[2]在上述结构中，可以构成为：所述数据获取部在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之后，获取包含关于所述操作对象的信息以及关于所述托板的信息的第二数据，所述数据存储部存储所述第二数据。

根据上述结构，能够在操作对象堆积于托板之后、和/或操作对象从托板卸下之后，把握操作对象以及托板各自相关的信息。由此，能够可靠把握并追踪堆积操作对象之后、和/或卸下操作对象之后的托板的状态或者状况。

[3]在上述结构中，可以构成为：所述机器人控制部基于所述第一数据和/或所述第二数据，以将SKU彼此不同的多个种类的操作对象装载在所述托板上的方式，创建或者获取所述控制序列。

根据上述结构，由于根据第一数据和第二数据能够把握在托板上堆积的操作对象以及堆积于托板的操作对象的SKU，因此即使是将SKU不同的操作对象装载于相同的托板(所谓的混载)情况，也能监视及跟踪这些操作对象的装载状态。由此，能够提高托板的装载率，提高托板的利用效率。另外，由于能够把握托板的填充信息/空置信息，因此作为下一个阶段，能够在将操作对象堆积于托板和/或将操作对象从托板卸下时高效地选定托板。进而，能够防止托板上的浪费空间零散化(散件整理)，并且，能够更加容易进行操作对象以及托板的位置信息的统一管理。

[4]在上述结构中，可以构成为：基于所述第一数据和所述第二数据，以所述托板中具有相同或者近似的所述库存管理单位(SKU)的操作对象的配置进行集约的方式，创建或者获取所述控制序列。在此，所谓“近似的”表示在规定SKU的属性(如上所述，颜色、尺寸等)中的规定数量以上的属性是共通的。另外，本结构包括仅将SKU相同或近似的操作对象装载在相同托板上的情况(所谓的单载)以及将SKU不同的操作对象装载(所谓的混载)在相同托板的情况，在混载的情况下，能够将SKU相同或近似的操作对象集约进行装载(例如，沿纵向堆起等)。

根据上述结构，由于能够根据第一数据和第二数据，把握在托板上堆积的操作对象、以及堆积于托板的操作对象的SKU，所以容易将具有相同或近似的SKU的操作对象集约配置在托板上。其结果，无论是单载还是混载，都能够提高托板的装载率，提高托板的利用效率。另外，由于将具有相同或近似的SKU的操作对象进行集约，因此作为下一阶段，能够在将操作对象堆积在托板和/或从托板卸下操作对象时高效地选定托板。

[5]在上述结构中，可以构成为：所述机器人控制部基于所述第二数据，计算在从所述托板卸下所述操作对象时表示操控性的指标，基于该指标，创建或者获取包含确定所述操作对象以及堆积有该操作对象的托板的所述控制序列。在此，“操控性”表示通过机器人对操作对象进行操作的作业的难易度，虽然没有特别限制，具体而言，例如包括操作机器人把持堆积于托板的操作对象时的难易度、操作机器人移动把持的操作对象时的难易度(路径的复杂度等)等。另外，“指标”可以定量地进行数值化，也可以定性地例如分级等。

根据上述结构，在存在多个卸货对象的操作对象的候补的情况下，基于表示操控性的指标，能够选定装载有操作机器人容易操作的操作对象的托板及其操作对象。由此，机器人更可靠地易于把持并移动卸货对象的操作对象，因而能够提高作业效率以及作业精度(成功率)。

[6]在上述结构中，可以构成为：所述数据存储部将所述托板中的多个所述操作对象的位置信息(配置信息)以操作对象为单位或者以托板为单位进行存储，并作为二维信息或者三维信息进行存储。

根据上述结构，能够将托板上载置的操作对象的位置以操作对象为单位或者以层(layer)为单位进行把握。另外，能够将堆积于托板上的多个操作对象的配置作为平面信息或者立体信息进行统一管理。由此，例如，通过确定一个操作对象，能够统一确定堆积于该托板上的操作对象。其结果，例如可降低库存管理及盘货时的作业工时，从而提高作业效率。

[7]在上述结构中，可以构成为：所述机器人系统还具备对所述操作对象或堆积有所述操作对象的所述托板进行拍摄的传感器，所述机器人控制部以所述传感器能够检测所述操作对象的识别信息(表示识别信息的识别码或者识别标签)的方式，创建或者获取用于将所述操作对象堆积于所述托板的所述控制序列。

根据上述结构，即使在操作对象堆积于托板的状态下，也能够通过传感器检测并确认该操作对象的识别信息。在该情况下，如果将操作对象的识别信息至少粘贴在侧面，即使操作对象堆积于托板上，由于能够以识别该识别信息的方式露出，通过例如照相机等传感器进行拍摄，易于识别操作对象上粘贴的识别信息。由此，即使在保持于操作对象堆积于托板的状态下，也能够简单进行操作对象的识别以及确定。此时，如上述[6]所述，如果将托板中的多个操作对象的位置信息作为二维信息或者三维信息进行存储，则通过确定一个操作对象，就能够以托板为单位，统一简单地确定该托板中堆积的操作对象。其结果，能够进一步提高库存管理、盘货时的作业效率。

[8]在上述结构中，可以构成为：所述机器人控制部在结束将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，判断完成了将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象。

根据上述结构，在将操作对象堆积于托板、和/或从托板卸下操作对象结束之前的阶段，能够判定完成这些堆积和/或卸下操作。由此，能够顺畅且在适当的时刻开始作为下个阶段执行的任务，抑制发生作业延迟，能够实现单元之间的高度协作。

[9]在上述结构中，可以构成为：所述数据获取部获取关于所述操作对象的信息和/或关于所述托板的信息的实测值或者推定值。由此，能够通过例如照相机等传感器进行实测并确认、或者不进行实测而基于例如主数据推定存在于托板上/外的操作对象的位置、托板的位置、操作对象上粘贴的识别信息的位置。

[10]另外，本公开所涉及的物流系统具备上述各结构的控制装置、以及包含所述操作机器人的机器人系统。

[11]在上述结构中，可以构成为：所述控制装置识别所述机器人系统以及与该机器人系统相关联的区域，计算基于所述控制序列的任务(包含单位任务、组合多个单位任务而成的任务)，所述任务包含所述机器人系统进行的与所述托板的搬运和所述操作对象的操作相关联的任务、以及在邻接和/或重合的区域内由所述机器人系统交叉执行的多个任务。

[12]另外，本公开的程序构成为用于使计算机作为上述各结构的控制装置发挥功能的程序。

[13]另外，本公开的存储介质构成为存储有上述程序的非暂时性计算机可读取存储介质。

[14]另外，本公开的控制方法是机器人系统的控制方法，所述机器人系统包含：用于将操作对象堆积于托板和/或从托板卸下操作对象而对操作对象进行操作的操作机器人，所述控制方法通过使用具有数据获取部、数据存储部以及机器人控制部的控制装置来执行。并且，(1)所述数据获取部在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述托板的信息的第一数据，(2)所述数据存储部存储所述第一数据，(3)所述机器人控制部在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，基于所述第一数据，创建或者获取控制序列，该控制序列用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象，以及基于所述控制序列，指令所述操作机器人执行用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象的任务。

附图说明

图1是表示本公开的一实施方式中的机器人系统动作的示例性作业序列的简要流程图。

图2(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性搬运机器人的外观的立体图。

图3是简要表示本公开的一个以上实施方式中的示例性操作机器人的外观的立体图。

图4(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性操作机器人的外观的立体图。

图5是表示本公开的一实施方式中的机器人系统的硬件结构以及功能结构的一个例子的框图。

图6是表示本公开的一实施方式中的由机器人系统执行的作业流程的一个例子、以及机器人系统所具备的控制装置的功能结构的一个例子的正面图(一部分功能结构图)。

图7是表示本公开的实施方式中的用于使机器人系统动作从而执行第一任务的顺序的一个例子的流程图。

图8是表示本公开的实施方式中的用于使机器人系统动作从而执行第二任务的顺序的一个例子的流程图。

图9是表示本公开的一实施方式中的机器人系统动作的示例环境的简要俯视图。

附图标记说明

11、12…搬运机器人；13、14…操作机器人；15…托板；16…操作对象、容器；40…车辆；100、500、600…机器人系统；101…保管区域；102…搬运区域；103…分类区域；131、141…末端执行器；132、142…机器人臂；502…处理器；504…存储设备；506…通信设备；508…输入-输出设备；510…显示器；512…运转设备；514…移送电动机；516…传感器；522…拍摄传感器；524…位置传感器；526…接触传感器；552…主数据；554…对象追踪数据；601…访问位置；602…移载位置；610…控制装置；612…数据获取部；614…数据存储部；616…机器人控制部；OL…移载位置；P1…第一路径；P2…第二路径；SL…停止位置。

具体实施方式

根据本公开，提供将多个单元(例如，各种机器人、各种设备、与它们一体或者单独设置的控制装置等)高度统合的机器人系统、其控制装置、以及具备它们的物流系统、以及用于它们的方法等。即，本公开的实施方式的机器人系统例如是能够自主执行一个以上任务的统合系统。

其中，“任务”可包含例如机器人等访问操作对象的任务、用于将这些操作对象从某个场所向其他场所移动、收纳、保管、取出、整理等任务、将这些操作对象分类成多组的任务、对操作对象进行拍摄、观察、管理的任务等。

另外，“任务”还可以包含物流系统中的操作对象的入库(收货、搬运、堆积(堆垛)、卸货(卸垛)、储存等)、操作对象的补充(开封、填充、补充等)、以及操作对象的出库(取出、拾取、捆包、堆积、堆垛等)中执行的多个任务的组合。进而，为了进行例如操作对象的排列变换、把持变换、替换等，“任务”可包括在指定位置把持或者提升操作对象、按照指定路径移动操作对象、以及在指定位置释放、放下、载置操作对象。

进而，本公开中的机器人系统例如能够通过机器人等的多个单元访问操作对象，由此，机器人系统能够以自动化方式应对操作对象的入库流程、补充流程、以及出库流程等作业。进而，本公开中的机器人系统能够基于例如SKU的异同将操作对象适当分类(分组化)并将它们移动或配置到目的位置或指定场所，访问这些操作对象，进行在该场所或者至其他场所的再配置、再分类等，能够根据操作对象的特性，将它们进行排列变换或者把持替换。在该情况下，机器人系统能够读取操作对象的一个以上的特定位置或表面上粘贴的一个以上的识别信息(例如，条形码或者快速响应(QR)码(注册商标)等)，通过需要时参照主数据，能够识别和/或确定操作对象，获取与该物品等相关联的信息。

进而，本公开中的机器人系统可以具备用于识别操作对象的位置以及状态(例如朝向等姿势)和/或操作对象的周围环境的拍摄传感器等传感器。拍摄传感器能够获取机器人系统的各单元执行任务中的作业位置(例如操作对象的拾取位置、放下位置、路径中途的位置等)的图像、以及各位置处的操作对象的图像。另外，本公开中的机器人系统能够按照规定的顺序(例如，从操作对象的顶部到底、从外侧边缘开始、从内测开始)对操作对象的图像进行处理。此时，通过例如基于操作对象的图像中相邻的像素的颜色、亮度、这些值的变化等，识别或者分类操作对象的外形、环境，从而能够适当判断操作对象的状态、状况。

本公开中的机器人系统能够获取并执行用于执行对操作对象进行访问并操作的任务、以及用于对操作对象进行搬运、移动、载置、收纳等的任务等的控制序列。所述控制序列中可以包含用于驱动各单元的运转机构的基本控制序列的组合。机器人系统例如通过运动规划、深度学习等机械学习等创建或者获取用于执行各种任务的控制序列。

其中，例如，在典型的物流系统使用的现有机器人系统中，在执行操作对象的入库、补充、出库相关的任务时，无法在多个单元之间充分进行高度的相互作用，在连续执行的不同任务之间，操作者的支援大多是不可缺少的。另外，例如，在现有的机器人系统中，虽然自身能够对应订货并访问例如操作对象，但很多情况下需要操作者分类或者排序该订购商品。进而，在现有的机器人系统中，例如，在变更进行操作对象的操作的单元、或者变更操作对象的操作顺序的情况下，很多情况下难以通过单元之间自主对话对这些进行变更。特别是，在包含需要操作者介入、支援的任务的作业包含所需单元的情况下，自主或者自动变更控制序列是非常困难的。并且，以往在托板等上装载操作对象时，将SKU不同的操作对象混载在同一托板上的作业难以实施自动化，需要操作员的介入，妨碍了物流系统的全自动化。

另外，在现有的机器人系统中，作为基本控制序列，执行诸如在某个位置把持操作对象、在该状态下向另外的某个位置移动并释放的任务。但是，仅通过这样的基本操作，并不能充分提高操作对象的收纳效率、各单元实施的作业效率，特别是从提高操作对象的收纳效率方面考虑，有时需要操作者介入、支援(调整、重新调整、补充完整、系统停止等)。

对此，以下示例的各方面的本公开中的机器人系统不同于现有方式，为了执行任务，可以调整和控制单独的单元(例如，操纵和搬运机器人等)之间的相互作用，从而实现不同单元之间的协作。由此，能够削减以往需要的操作者的介入、支援，提高操作对象的收纳效率、作业效率以及经济性。此外，通过在操作对象堆垛及卸垛时按照适当的时序取得、管理与操作对象和托板有关的信息，能够实现将SKU不同的操作对象混载于同一托板的作业的自动化。

另外，本公开中的机器人系统针对各单元，可靠地识别动作区域、动作路径、操作对象的位置、状态、或者它们的组合，能够交叉且圆滑地执行不同的单元所执行的任务。另外，此时，能够基于操作对象的形状信息、识别信息、位置信息等，最优化操作对象的收纳效率，因此，能够进一步提高空间的利用效率。因此，在本公开中的机器人系统中，能够基于对不同单元的任务进行排序的一个以上的算法、用于控制单元之间的相互作用的一个以上的协议、以及关于操作对象状态的信息，创建或获取能够对各单元实现高度的协同动作的合适的控制序列并对其执行。

以下，参照附图对本公开的一例所涉及的实施方式进行说明。然而，以下描述的实施方式仅是示例性的，并且不旨在排除以下未明确描述的各种变形和技术的应用。即，本公开的一个例子能够在不脱离其主旨的范围内进行各种变形来实施。另外，在以下的附图的记载中，对相同或类似的部分标注相同或类似的符号，附图是示意性的，未必与实际的尺寸、比例等一致。并且，在附图相互之间有时也包含相互的尺寸关系、比例不同的部分。另外，以下说明的实施方式是本公开的一部分实施方式，当然不是全部实施方式。进而，基于本公开的实施方式，本领域技术人员在不需要创造性行为的情况下获得的任何其他实施例都包含在本公开的保护范围内。

另外，在每个实施方式中，可以在没有这些具体细节的情况下实施本说明书中导入的技术。进而，特定功能或常规等周知的功能将被省略详细说明，以避免不必要地使本公开难以理解。此外，出于清楚的目的，对于众所周知并且通常与机器人系统和子系统相关联的结构或过程，有时也省略了详细说明。本文中的“实施方式(an embodiment)”、“一个实施方式(one embodiment)”等参照是指所记载的特定特征、结构、材料或特性被包括在本公开的至少一个实施方式中。因此，本说明书中这样的用语表述不一定全部参照相同的实施方式。另一方面，这样的参照不一定是相互排斥的。进而，在一个以上的实施方式中，特定特征、结构、材料或特性可以任何合适的方式组合。应当理解，图示的各种实施方式仅是说明性表示，并且不一定按实际比例表示。

另外，本公开中的许多实施方式或方面包括由可编程计算机(computer)或控制装置(controller)执行的过程、步骤、例程、块等，可以是计算机可执行或者控制装置可执行的命令形式。该相关领域的本领域技术人员应该理解，本公开的技术可以在除了各实施方式中示出的那些之外的计算机或控制装置的系统中实施。本说明书记载的技术可以在被编程、构成或构建为执行以下描述的计算机可执行的一个以上命令的专用计算机或数据处理器中实施。

因此，如本说明书中通常使用的用语“计算机”和“控制装置”包括任何数据处理器，并且包括互联网装置和手持设备(包括掌上型计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器或可编程的家用电器、网络计算机、微型计算机等)。由计算机和控制装置处理的信息可以提供至任何合适的显示介质，包括例如液晶显示器(LCD)。

用于执行计算机或控制装置可执行作业的命令可存储在任何合适的计算机可读非暂时性存储介质中，包括硬件、固件、或硬件和固件的组合。此外，每个命令可被包括在任何合适的存储器设备中，包括例如闪存驱动器和/或其它合适的介质。

“耦合(coupled)”、“连接(connected)”以及同种用语有时用于记载构成组件之间的结构关系。但是，这些用语并不意味着相互同义。具体地，在特定的实施方式中，“连接(connected)”可以用于表示两个以上的元件彼此直接接触。除非上下文另有明确规定，用语“耦合(coupled)”可用于表示两个以上的元件彼此直接或间接接触(在它们之间存在其他中间元件)、或两个以上的元件彼此协动或相互作用(以使例如与信号的发送/接收或函数调用相关的等存在因果关系)、或表示这二者。

[应用例]

图1是表示本公开的一实施方式中的包含机器人系统的物流系统实现的示例性作业序列的简要流程图。该作业序列包含：入库流程P10，例如，操作对象(本实施方式中，例如，收纳有物品的纸箱)等容器接收到物流中心等；补充流程P20，例如，将载置于托板等的操作对象补充到例如货架等进行保管；以及出库流程P30，从补充并保管于货架的操作对象中拾取订购物品进行出库。

在入库流程P10中，首先在步骤S101，将车辆等运入的操作对象收货，例如，使用拆箱机器人进行卸货。在步骤S102中，例如，使用分拣系统，通过传送机等将操作对象搬运至中转用托板的待机位置。然后，在步骤S103，将搬运到的操作对象通过例如堆垛机器人堆积到合适的托板上。

在补充流程P20中，在步骤S104，使用例如托板式AGV(构成为搭载或者提升托板进行移动的自动搬运车)，将装载有操作对象的托板搬运至用于开封操作对象的位置，通过例如卸垛机器人从托板上卸货。在步骤S105中，例如使用上部切割机，以将操作对象的上面打开的方式，将上面部分切割(上部开口)进行开封，通过传送机等将该操作对象搬运至保管用货架的待机位置。然后，在步骤S106，通过例如抓取机器人，将操作对象收纳于货架的适当位置，例如使用货架式AGV(构成为搭载或者提升货架进行移动的自动搬运车)，搬运到货架的保管位置，以适当的状态保管。

在出库流程P30中，在存在物品订购的情况下，在步骤S107，使用例如货架式AGV将收纳有该订购物品的操作对象的货架搬运至取出位置，例如通过抓取机器人，将目标操作对象从货架中取出。在步骤S108中，例如使用拣件机器人，从操作对象中拾取订购物品，载移至出货用容器等。然后，在步骤S109，例如使用包装机器对出货用容器等进行捆包，在步骤S110中，例如在适当的推车、车辆等中堆积已捆包的出货用容器进行出库(出货)。

这样，本公开的一实施方式中的机器人系统作为属于构成为在不同场所之间执行用于移动操作对象的操作的移送/分类单元的操作机器人，可包含拆箱机器人、堆垛机器人、卸垛机器人、抓取机器人、拣件机器人、包装机器等。另外，本公开的一实施方式中的机器人系统作为属于输送单元的搬运机器人，可以包含分拣系统、托板式AGV、货架式AGV等。

在此，图2(A)以及(B)是简要表示本公开的一个以上实施方式中的示例性搬运机器人11、12的外观的立体图。搬运机器人11、12可包含构成为将托板在规定位置之间进行搬运的货架式AGV等移动式/带车轮的机器人。例如，搬运机器人11、12具有能够在托板的下方和/或托板之间移动的外形尺寸。另外，搬运机器人11、12可包含构成为将托板从地面(搬运路径的平面)提升的提升机构(叉夹)。

搬运机器人11、12能够通过各种机构进行引导操纵(导航)。例如，搬运机器人11、12可基于来自本公开的实施方式中的机器人系统的控制装置的指令，例如跟随作为地面标识(例如，涂装、胶带粘贴)实施的规定路径自行行驶。另外，搬运机器人11、12能够通过映射/定位机构(例如航位推测系统、基于激光的系统、和/或基于无线通信信号的系统)计算当前位置，基于该当前位置，沿指定的路径以及路线移动。

此外，本公开的实施方式中的机器人系统例如能够通过独立设备或者作为其他单元一部分的控制装置将作为搬运对象的托板的目标位置、该托板的保持位置、该托板的识别信息、路径、动作计划、或者它们的组合发送给搬运机器人11、12。搬运机器人11、12可基于通信指令信息，例如执行向作为搬运对象的托板的保持位置移动、将该托板提升、将该托板向指定位置搬运、和/或将该托板配置在指定位置的任务。进而，搬运机器人11、12能够通过将作为搬运对象的托板例如返回至原始保持位置或者不同的保管位置，从而执行或者完成任务。

图3以及图4分别为简要表示本公开的一个以上实施方式中的示例性操作机器人13、14的外观的立体图以及侧面图。操作机器人13、14例如可以包含构成为将操作对象16(参照图4)在规定位置之间进行移送的机器人。例如，操作机器人13、14具有能够将操作对象通过减压吸附或者真空吸附进行把持的把持工具(夹具)、用于拾取的手持式等末端执行器131、141、以及安装于它们的前端部的机器人臂132、142的构造部件。由此，操作机器人13、14能够将操作对象沿上方和横向把持。另外，操作机器人13、14可以固定设置于规定位置，也可以设置为可移动。并且，操作机器人14的末端执行器141还可以具有像所谓的拆箱夹具这种用于将操作对象16从下方支撑(保持)的板状引导件等，适合作为拆箱机器人或抓取机器人发挥功能。

操作机器人13、14例如能够基于来自本公开的实施方式中的机器人系统的控制装置的指令来进行驱动。另外，操作机器人13、14能够计算操作对象的当前位置，能够基于该当前位置，沿指定的路径以及路线对操作对象进行操作。本公开的实施方式中的机器人系统例如能够通过独立设备或者作为其他单元的一部分的控制装置，将操作对象的目标位置以及抓取位置、该操作对象的识别信息、路径、动作计划或者它们的组合发送给操作机器人13、14。操作机器人13、14能够基于通信指令信息，例如执行下述任务：使末端执行器131、141向操作对象的把持位置移动，把持并提升该操作对象，向指定位置移送，和/或配置在指定位置。

[结构例]

图5是表示本公开的一实施方式中的机器人系统的硬件结构以及功能结构的一个例子的框图。例如，机器人系统500可具备处理器502、存储设备504、通信设备506、输入-输出设备508、运转设备512、移送电动机514、传感器516、或者它们的组合等电子/电气机器。机器人系统500可以分别具备这些元件以及设备的一个以上。

此外，这些元件和设备可以经由有线连接和/或无线连接彼此耦合。例如，机器人系统500可以包括总线，诸如系统总线、外围组件互连(PCI)总线或PCI-Express总线、超传输(HyperTransport)或工业标准配置(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准1394总线(也称为“火线”)。

为了提供设备之间的有线连接，机器人系统500还可以包括例如桥、适配器、控制装置或其它信号相关的设备。无线连接可以基于例如蜂窝通信协议(例如3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如保真度无线通信环境(WIFI))、点对点或设备到设备通信协议(例如蓝牙、Near-Field通信(NFC)等)、物联网(IoT)协议(例如NB-IoT、LTE-M等)和/或其他无线通信协议。

处理器502可以包括数据处理器(例如中央处理单元(CPU)、专用计算机和/或车载服务器)，其配置为执行存储在存储设备504(例如计算机存储器)中的命令(例如软件命令)。处理器502可以执行程序命令以对其他设备进行控制/交互，从而使机器人系统500执行任务中的各种动作、作业和/或操作。

存储设备504可以包括具有存储在其上的程序命令(例如软件)的非暂时性计算机可读存储介质。存储设备504的一些示例包括易失性存储器(例如高速缓存和/或随机存取存储器(RAM))、非易失性存储器(例如闪存和/或磁盘驱动器)、便携式存储器驱动器、云存储设备等。

在一些实施方式中，存储设备504还存储处理结果、规定数据、规定阈值、规定参数等，并且可适当地访问这些数据。例如，存储设备504可以存储主数据552，主数据552包括与可以由机器人系统500操纵的操作象相关联的信息数据。

主数据552包括与机器人系统500的操作对象相关的尺寸、形状(例如，可能状态相关的计算机生成的模板、用于识别处于不同状态的操作对象的计算机生成的模型等)、配色、图像，标识信息(例如条形码、快速响应(QR)码(注册商标)、徽标等、设置它们的预期位置等)、预期重量或它们的组合。另外，主数据552可以包括每个操作对象的质量中心(重心)的位置、根据一个以上的动作/动向所期望的传感器测量值(例如力、扭矩、压力、接触基准值、与它们相关的各种测量值)或者它们的组合等的对象及与其操作相关的关联信息。

另外，例如，存储设备504可以存储机器人系统500实施的与操作对象的追踪相关的对象追踪数据554。对象追踪数据554可以包含扫描或者操作的操作对象的日志。另外，对象追踪数据554可以包含一个以上位置(例如，指定的拾取位置或者放下位置、和/或传送带上的位置)处的操作对象的图像数据(例如提供照片、点云、实况视频等)、一个以上位置处的操作对象的位置和/或状态(朝向等)。

通信设备506可以包括被配置为通过网络与外部设备或远程设备进行通信的电路。例如，通信设备506可以包括接收机、发射机、协调器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信设备506可以被配置为响应于一个以上的通信协议(例如，互联网协议(IP)，无线通信协议等)来发送、接收和/或处理电信号。机器人系统500可以使用通信设备506在机器人系统500的单元之间交换信息和/或为了数据收集、分析、报告、故障排除等目的，与机器人系统500的外部系统/设备交换信息。

输入-输出设备508可以包括被配置为与操作者进行信息通信和/或从操作者接收信息的用户界面设备。例如，输入-输出设备508可以包括与操作者进行信息通信的显示器510和/或其他输出设备，诸如扬声器、触觉电路或触觉反馈设备等。另外，输入-输出设备508还包括控制或接收设备，例如键盘、鼠标、触摸屏、麦克风、用户界面(UI)传感器(例如，用于接收运动命令的照相机)、可穿戴输入设备等。机器人系统500可以使用输入-输出设备508执行在机器人系统500上执行的任务、动作、作业、操作或它们的组合时，与操作者对话。

机器人系统500的适当的单元可以包含末端执行器以及构成为操纵末端执行器的机器人臂等(例如参照图3以及图4)，末端执行器构成为用于动作(例如，旋转和/或平移)而通过关节(接头)连接的构造部件执行例如把持(拾取、夹持)、旋转(转动)、焊接等。另外，机器人系统500在关节或其周围，可以包含构成为驱动或者操纵(例如，移位和/或定向)所述构造部件的运转设备512(例如电动机、致动器、线、人造肌、电活性聚合物等)、以及构成为从某个位置向其他位置移送单元的移送电动机514。

机器人系统500可包含用于获取用于驱动或操纵所述构造部件、和/或用于实施各单元的移送作业等所用的信息的传感器516。传感器516可包含构成为检测或者测定机器人系统500的一个以上物理特性(例如，一个以上关节、构造部件的状态、条件、位置等)和/或周围环境的特性的各种设备。作为上述传感器516，除了加速度计、陀螺仪、力传感器、应变仪、力矩传感器等，还可以包含拍摄传感器522、位置传感器524、接触传感器526等。

传感器516作为一个以上的拍摄传感器522，可包含被配置为检测周围环境的例如可见和/或红外照相机、二维和/或三维成像照相机(2D视觉和/或3D视觉)、激光雷达或雷达等测距设备。拍摄传感器522例如应用于自动检查、机器人引导或另一机器人时，能够生成用于控制每个单元和控制装置所用的数字图像和/或点群(点云)等显示数据。

机器人系统500为了操作操作对象，能够获取并分析指定区域(例如，包含该操作对象的把持位置、拾取位置、放下位置、其他作业位置等的区域)的图像，识别各位置。例如，拍摄传感器522可包含构成为生成指定区域的图像数据、距离数据的上述照相机、测距设备等。机器人系统500能够基于获取的图像和/或测距数据，例如判定操作对象的把持位置、拾取位置、放下位置、其他作业位置等。此外，作业中，为了在输送/接收时获取操作对象的日志，可以包含扫描该操作对象。在该情况下，拍摄传感器522在操作对象的输送期间，可以包含扫描操作对象的识别信息的一个以上扫描仪(例如，条形码扫描仪和/或QR码扫描仪(注册商标))。

另外，传感器516作为位置传感器524，例如可以包含构成为检测上述构造部件(例如，机器人臂和/或末端执行器)、和/或机器人系统500的各单元中的关节位置的例如位置编码器、电位器等。机器人系统500在执行任务中的作业期间，为了追踪构造部件和/或关节的位置和/或状态(朝向等)，可以使用位置传感器524。

进而，传感器516作为接触传感器526，可以包含构成为检测多个物理构造或者表面之间的直接接触相关的特性的例如压力传感器、力传感器、应变仪、压阻式/压电性传感器、电容性传感器、弹性电阻式传感器、其他触觉传感器等。接触传感器526能够测定操作对象上的末端执行器的例如把持(夹持)操作对应的特性。由此，接触传感器526构成为能够检测操作对象与把持工具(夹具)的接触或者安装程度对应的物理量，输出定量化的测量值(例如力、力矩、压力、接触基准值、它们相关的各种测定值等)。此外，接触基准值包含末端执行器对操作对象施加的力相关的一个以上力或者力矩的读取值。

此外，在以上说明以及以下说明中，机器人系统500以仓库、物流系统中的例子进行说明，但不限于此，为了实施制造、组装、捆包、保健、和/或其他类型的自动化作业，也可以构成为以其他环境/其他目的执行各种任务。另外，机器人系统500可以包含未图示的操作器、服务机器人、模块式机器人等其他单元。另外，机器人系统500例如可以包含在仓库或者分配/输送枢纽内运转且将操作对象从笼车或者托板向传送机或者其他托板移送的各种卸货/堆货机器人、分拣系统、用于将操作对象开封的开封机器人、上部切割机、将操作对象从一个集装箱移动至其他集装箱的集装箱切换机器人、用于对操作对象进行捆包的捆包机器人、包装机器或者它们的组合。

[动作例]

图6是表示本公开的一实施方式中的机器人系统所执行的作业流程的一个例子以及机器人系统所具备的控制装置的功能结构的一个例子的正视图(一部分功能结构图)。本实施方式的机器人系统600例如设置在作为物流系统的入库、补充、保管以及出库据点的仓库等，作为调整控制机器人系统600中的各单元的动作的装置，可以包含控制装置610。另外，机器人系统600可特别优选是图1所示的入库流程P10中的将操作对象堆积于托板以及从托板卸下操作对象的系统。

控制装置610如上所述，构成为独立设备或者其他单元的一部分，能够调整以及控制所谓的搬运机器人11、12(图6中作为搬运机器人11示例。下同。)、操作机器人13、14(图6中作为具有替代夹具且用于拾取的手持式末端执行器的操作机器人13示例。下同。)的单元、进而所谓的其他机器人、搬运机构的单元执行的任务中的动作。更具体来讲，控制装置610与搬运机器人11、操作机器人13以及包含拍摄传感器522的传感器516连接，另外，根据需要，未图示的仓库管理系统(WMS：Warehouse Management System)、其他上层系统以及/或者外部系统彼此相连接。

另外，控制装置610包含数据获取部612、数据存储部614以及机器人控制部616，根据与图5的对比可以理解，控制装置610主要由处理器502、存储设备504以及通信设备506构成。特别是，处理器502可以作为数据获取部612以及机器人控制部616发挥功能，存储设备504可以作为数据存储部614发挥功能。机器人系统600可以构成为执行用于向托板15堆积操作对象16的第一任务、和/或用于从托板15卸下操作对象16的第二任务。

[第一任务：向托板15堆积操作对象16]

在第一任务中，以下所示的任务A1至A5可以按照适当的顺序、适当的时序组合执行。

A1：将保管区域101中保管的托板15通过搬运机器人11，从该保管位置向分类区域103的访问位置601(停止位置SL)搬运。

A2：将暂时放置于分类区域103的例如传送机上的移载位置602(移载位置OL)上的操作对象16通过操作机器人13进行拾取并把持。

A3：将把持的操作对象16从移载位置602移动至访问位置601。

A4：将该操作对象16堆积到静止的搬运机器人11所保持的托板15上的空置的指定位置。

A5：将堆积有操作对象16的托板15通过搬运机器人11，从访问位置601返回至保管区域101中的保管位置。

此外，在本实施方式中，对将作为操作对象16的堆积目的地的托板15通过搬运机器人11保持及移动的示例进行了说明，但不限于此。例如，可以在将无法载置于传送机器人11的结构的托板15放置于地面的状态下，进行操作对象16的堆积及卸货，也可以使该托板15通过与搬运机器人11不同的搬运机构(叉车等)而移动。另外，可以在托板15载置于作为其他搬运机构的传送机上的状态下，进行操作对象16的堆积及卸货，也可以将托板15沿着由传送机划定的搬运路径向规定地点搬运，最终通过不同的搬运机构(叉车等)从传送机上移动。

这里，图7为表示本公开的实施方式所涉及的用于使机器人系统运转从而执行第一任务的流程的一个例子的流程图。首先，在框701，数据获取部612获取例如执行任务A1之前的包含关于操作对象16的信息以及关于各托板15的信息的第一数据，数据存储部614将该第一数据与操作对象16以及托板15相关联进行存储。

例如，数据获取部612将暂时放置在分类区域103的移载位置602上的操作对象16通过3D视觉等的拍摄传感器522进行拍摄，基于将其图像数据处理的结果以及需要时的主数据552，可以获取识别信息、位置信息、形状信息、重量、质量中心等的关于操作对象16的信息。或者，可以根据主数据552中的操作对象16以及托板15的追踪信息，推定或者确定关于操作对象16以及托板15的信息。此外，作为识别/追踪操作对象16的方法，可以应用例如本申请人递交的日本特愿2019-118678、日本特愿2019-080213、美国专利申请16/258120等记载的方法。或者，数据获取部612能够从WMS等上层系统获取这些关于操作对象16的信息，在该情况下，在将操作对象16配置在移载位置602之前，可以预先获取关于操作对象16的信息。

然后，在框702，机器人控制部616基于关于操作对象16的信息、以及关于保管区域101中保管的各托板15的信息，确定用于堆积操作对象16的托板15。然后，基于关于操作对象16的信息(SKU、大小、形状、重量、数量等)、关于托板15的信息(大小、形状、空置面积、承载能力、数量、已堆积的操作对象16的平面位置及高度位置、关于已堆积的操作对象16的信息等)，例如为了尽可能将操作对象16以SKU为单位进行集约，并且提高仓库整体的收纳效率，能够选择合适的托板15的候补。

在该情况下，可以将托板15上具有相同或近似SKU的操作对象16的配置进行集约，另外，也可以仅将这样的操作对象16装载(单载)在托板15上，或者将SKU彼此不同的多种操作对象16装载(混载)在托板上。这些可根据托板15的使用方式适当选择。例如，在将操作对象16暂时堆积在托板15上的情况下(暂时放置)，除了上述各信息之外，还考虑暂时放置后的操作对象16的操作性(例如订购商品的卸货容易性等)等，选择向各托板15的单载/混载，可适当地控制选定在托板15上堆积的操作对象16，或者适当确定各操作对象16的堆积顺序等。进而，也可以考虑堆积有操作对象16的托板15的向分类区域103的搬运路径等，来选定一个以上的最佳托板15。

另外，基于上述各信息，不管暂时放置的种类如何，并且，在单载及混载任一情况下，考虑例如关于托板15上的信息(特别是空置面积、平面位置及高度位置等)，都能够选定操作对象16，并堆积在托板15上。进而，考虑例如关于入库的操作对象16的信息(条件)，能够控制调整单载和混载的比率、或者调整混载时的各托板15上的混载程度等。另外，可以先配置多个能够堆积操作对象16的托板15，可以并行地进行向这些托板15的堆积操作，进而，可以选择更优选条件的托板15来进一步提高作业效率。进而，在将操作对象16直接堆积到托板15之前，当然也可以在其他的临时放置机构或临时放置场所暂时放置操作对象16。

然后，在框703，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含用于指定搬运机器人11将确定的一个以上托板15从其保管区域101向分类区域103的访问位置601搬运、以及各搬运机器人11搬运托板15的搬运路径。机器人控制部616基于该控制序列，指令指定的搬运机器人11执行将托板15向访问位置601搬运的任务A1。

与任务A1同时，或者，在任务A1前后，在框704，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列用于基于操作对象16的信息，将暂时放置在移载位置602的该操作对象16通过操作机器人13例如拾取并把持，从移载位置602向访问位置601移动。机器人控制部616基于该控制序列，指令操作机器人13执行用于操作机器人13将操作对象16把持以及向访问位置601移动的任务A2、A3。

不特别限定执行这些任务A2、A3的时序，例如，机器人控制部616可以在托板15到达访问位置601前，指令操作机器人13执行上述控制序列中的至少一部分操作。在该情况下，可以在托板15到达访问位置601前，操作机器人13完成操作对象16的把持以及向访问位置601的移动，在托板15到达后，直接执行将操作对象16堆积于托板的任务A4。

然后，在框705，控制装置610根据需要，通过3D视觉等拍摄传感器522，拍摄访问位置601处的操作对象16以及托板15，通过处理该图像数据，确认操作对象16以及托板15的状态以及状况。在框705，机器人控制部616还可以基于关于操作对象16的信息以及关于托板15的信息(特别是，托板的操作对象16的装载状况和集约状况、以及托板15上的空置状况)，例如通过机械学习等创建或获取控制序列，该控制序列包含指定用于堆积操作对象16的托板15上的位置、操作对象16向该位置的移动路径。机器人控制部616基于该控制序列，指令操作机器人13执行用于将操作对象16放在静止的搬运机器人11所保持的托板15上的空置的指定位置的任务A4。

此时，机器人控制部616可以例如将停止在访问位置601的搬运机器人11所保持的托板15的任意位置作为操作机器人13访问托板15时的基准坐标。该托板15的静止位置可以以保持托板15的搬运机器人11停止的访问位置601为基准进行计算，但是，搬运机器人11上的托板15位置有时会相对于基准位置发生偏移。因此，控制装置610可以根据访问位置601的托板15的图像数据，计算搬运机器人11以及托板15的位置，数据获取部612获取该搬运机器人11与托板15的相对位置信息。并且，优选地，机器人控制部616基于该两者的相对位置信息，校正访问位置601中的托板15的位置信息，基于该校正的托板15的位置信息，例如通过机械学习等创建或获取用于任务A4的控制序列。

这样，在完成将操作对象16堆积于托板15之后，在框706，机器人控制部616例如通过机械学习创建或获取控制序列，该控制序列包含将堆积了操作对象16的托板15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置的搬运路径。机器人控制部616基于该控制序列，指令搬运机器人11执行用于将托板15搬运以及返回至保管区域101的任务A5。

在结束以上向托板15堆积操作对象16的第一任务之后，在框707，数据获取部612获取包含堆积有操作对象16的托板15的相关信息以及该托板15中的操作对象16的装载位置的信息的第二数据，数据存储部614将该第二数据与操作对象16以及托板15相关联进行存储。

机器人控制部616在下次此后实施的将操作对象16堆积于托板15作业时，基于该第二数据，创建或获取控制序列，该控制序列使得托板15中的操作对象16的配置集约，或者说，以尽可能不存在空置空间的方式紧密保管操作对象16。另外，在该情况下，还可以基于操作对象16的特性来创建或获取控制序列，该控制序列例如使得对具有相同或近似SKU的操作对象16进行集合，或者对形状尺寸相同或者近似的操作对象16进行集约并保管。这样获取的托板15中的操作对象16的装载状况相关的第二数据根据每个操作对象16并且每次操作对象16的堆积作业进行更新，能够适当用于后面所述的第二任务(从托板15卸下操作对象16)中。

进而，数据存储部614基于这样获取的第二数据，将托板15中的多个操作对象16的位置(配置)信息以操作对象16或者托板15的层为单位作为二维信息或者遍及整个托板15作为三维信息进行存储。

另外，操作对象16可以例如在其侧面具有识别码或者识别标签作为识别信息。这样，即使是操作对象16堆积于托板15的状态，也能够从托板15的外部可识别地露出操作对象16的识别信息。并且，通过拍摄传感器522等确认该操作对象16的识别信息，即使是保持于操作对象16堆积于托板15的状态，也能够简单识别确定操作对象16。在该情况下，如上所述，如果将托板15中的多个操作对象16的位置信息作为二维信息或者三维信息进行存储，则通过确定一个操作对象16，就能够以托板15上的层或者托板15为单位简单确定该托板15中堆积的操作对象16。此外，拍摄传感器522可以构成为：在保持托板15的搬运机器人11静止的状态或者保持托板15的搬运机器人11移动的状态，即在托板15静止或者移动状态中的任一状态下，均拍摄托板15。

另外，机器人控制部616可构成为：在向托板15堆积操作对象16的作业(任务A4)实际结束之前，判断完成了向托板15堆积操作对象16。例如，通过操作机器人13的末端执行器的运转状态，或者拍摄传感器522追踪操作对象16的移动，在操作对象16的全部或者大部分移动至托板15上时，或者，在操作对象16的一部分与托板15或已装载的操作对象16接触时等，能够判断完成了操作对象16的堆积。

机器人系统600可以实施第一任务(向托板15堆积操作对象16)以及以适当顺序、时序组合执行以下所示的单位任务B1至B5的第二任务(从托板15卸下操作对象16)。

[第二任务：从托板15卸下操作对象16]

在第二任务中，以下所示的任务B1至B5可以按照适当的顺序、适当的时序组合执行。

B1：将保管区域101所保管的、装载有操作对象16的托板15通过搬运机器人11从其保管位置搬运至分类区域103中的访问位置601(停止位置SL)。

B2：将静止于访问位置601的搬运机器人11所保持的托板15上的操作对象16通过操作机器人13例如拾取并把持。

B3：将把持的操作对象16从访问位置601移动至移载位置602。

B4：将该操作对象16暂时放置在移载位置602。

B5：将已卸下操作对象16的托板15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置。

此外，与关于第一任务的说明相同，在本实施方式中，对将作为操作对象16的卸货对象的托板15通过搬运机器人11保持及移动的示例进行了说明，但不限于此。

这里，图8为表示本公开的实施方式中的用于使机器人系统运转从而执行第二任务的流程的一个例子的流程图。首先，在框801，数据获取部612获取包含例如执行任务B1前的关于操作对象16的信息以及关于各托板15的信息的第一数据，数据存储部614将该第一数据与操作对象16以及托板15相关联进行存储。

例如，数据获取部612可以基于数据存储部614中存储的第二数据、需要时的主数据552，获取识别信息、位置信息、形状信息、重量、质量中心等关于操作对象16的信息、以及装载有该操作对象16的托板15的识别信息以及保管位置信息。然后，在框802，机器人控制部616基于这些关于操作对象16的信息、以及关于保管区域101中保管的各托板15的信息，选定用于卸下操作对象16的托板15，考虑向分类区域103的搬运路径等，确定一个以上最合适的托板15。

然后，在框803，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含指定搬运机器人11将确定的一个以上托板15从该保管区域101搬运至分类区域103的访问位置601、以及各搬运机器人11的托板15的搬运路径。机器人控制部616基于该控制序列，指令指定的搬运机器人11执行用于将托板15搬运至访问位置601的任务B1。

在操作机器人13的末端执行器没有位于访问位置601的情况下，与任务B1同时，或者在任务B1前后，机器人控制部616指令操作机器人13执行将操作机器人13的末端执行器向访问位置601移动的任务。在该情况下，通过在托板15到达访问位置601之前，结束操作机器人13的移动，从而在托板15到达后，能够直接执行将操作对象16从托板15卸下的任务B2。

当搬运机器人11到达访问位置601时，在框804，控制装置610通过3D视觉等拍摄传感器522，拍摄访问位置601的操作对象16以及托板15，通过对该图像数据进行处理，确认操作对象16以及托板15的状态以及状况。在框804，进而，机器人控制部616基于操作对象16相关的信息以及关于托板15的信息(特别是，托板15的操作对象16的装载状况及集约状况)，例如通过机械学习等创建或获取控制序列，该控制序列包含指定操作对象16在托板15中的位置以及向该位置移动的末端执行器的移动路径，用于拾取该操作对象16并从访问位置601向移载位置602移动。机器人控制部616基于该控制序列，指令操作机器人13执行用于将访问位置601静止的搬运机器人11所保持的托板15上的操作对象16把持以及向移载位置602移动的任务B2、B3。

另外，在该情况下，可以基于关于操作对象16的信息和关于托板15的信息(第二数据)以及/或者图像数据的处理结果，计算在从托板15卸下操作对象16时表示操控性的指标。并且，可以构成为基于表示该操控性的指标，例如通过机器学习等创建或取得确定包含操作对象16以及堆积有操作对象16的托板15的控制序列。

进而，此时，与第一任务同样，控制装置610可以根据访问位置601中的托板15的图像数据，计算搬运机器人11与托板15的位置，数据获取部612获取该搬运机器人11与托板15的相对位置信息。进而，优选地，机器人控制部616基于该两者的相对位置信息，校正访问位置601中的托板15的位置信息，基于该经校正的托板15的位置信息，例如通过机械学习创建或获取用于任务B2的控制序列。

然后，在框805，控制装置610根据需要，通过3D视觉等的拍摄传感器522，拍摄移载位置602处保持的操作对象16、以及移载位置602(例如传送机上，最终位置等)，通过对该图像数据进行处理，确认操作对象16以及移载位置602上的状态以及状况。在框805，进一步，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含移载操作对象16的指定位置以及操作对象16向该指定位置的移动路径。机器人控制部616基于该控制序列，指令操作机器人13执行用于向移载位置602中的指定位置放下操作对象16的任务B4。此外，在将操作对象16直接移载至移载位置602处准备的容器等的情况下，通过拍摄传感器522，确认该容器内的空置状况，可以提高收纳效率。

这样，在完成从托板15卸下操作对象16之后，在框806，机器人控制部616例如通过机械学习等创建或获取控制序列，该控制序列包含将卸下了操作对象16的托板15通过搬运机器人11从访问位置601返回至保管区域101中的保管位置的搬运路径。机器人控制部616基于该控制序列，指令搬运机器人11执行用于将托板15搬运至保管区域101的任务B5。

在以上的从托板15卸下操作对象16的第二任务结束之后，在框807，数据获取部612获取包含卸下了操作对象16的托板15相关的信息、以及该托板15中装载的其他操作对象16的装载位置的信息的第二数据，数据存储部614将该第二数据与操作对象16以及托板15相关联进行存储。由此，托板15中的操作对象16的装载状况相关的第二数据按照每个操作对象16以及操作对象16的每次卸下作业进行更新。另外，数据存储部614基于第二数据，将托板15中的多个操作对象16的位置信息以操作对象16为单位或者以托板15为单位进行存储，另外，作为二维信息或者三维信息进行存储与第一任务的情况相同。

另外，与第一任务的情况同样，如果操作对象16在例如侧面具有识别信息，则即使是操作对象16在托板15上堆积起来的状态，也能够通过拍摄传感器522确认操作对象16的识别信息，即使是保持于操作对象16在托板15上堆起的状态，通过实测，也能够简单识别操作对象16。进而，拍摄传感器522可以构成为：在保持有托板15的搬运机器人11处于静止的状态、或者保持有托板15的搬运机器人11处于移动的状态下，拍摄托板15。

另外，机器人控制部616也可以构成为在从托板15卸下操作对象16的卸货作业(任务B2)实际结束前，判断完成从托板15卸下操作对象16。例如，通过操作机器人13的末端执行器的运转状态，或者通过由拍摄传感器522追踪操作对象16的移动，在操作对象16的全部或者大部分移动至托板15的外部时，或者在操作对象16的全部或者一部分从托板15或者堆积在下面的操作对象16离开时，能够判断完成了操作对象16的卸下。

根据上述构成的机器人系统500、600的控制装置610以及控制方法，在将操作对象16堆积于托板15之前，或者，将操作对象16从托板15卸下之前，把握操作对象16以及托板15各自的相关信息，执行基于控制序列的任务(第一以及第二任务)，该控制序列是基于包含这些信息的第一数据例如通过机械学习创建或获取的。由此，能够高效顺畅地实施将操作对象16堆积于托板15的操作、或者将操作对象16从托板15卸下的操作。另外，此时，能够实现机器人系统500、600中的单元之间(例如，搬运机器人11与操作机器人13)的高度协作，由此，能够实现机器人系统500、600的高性能化。

[其他应用例]

图9是表示本公开的一实施方式中的机器人系统动作的示例环境的简要俯视图。机器人系统100也与机器人系统600同样，例如可设置在作为物流系统的入库、补充、保管、以及出库据点的仓库等。另外，机器人系统100可构成为实施或者执行由一个以上任务、和/或适当任务多个组合而成的任务。这些任务可优选由包含一个以上单元(例如，各种机器人、各种设备、与它们一体设置或者单独设置的控制装置等)的机器人系统100实施或者执行。

如图9所示，机器人系统100包含作为输送单元的一个以上搬运机器人11、12(例如，托板式AGV)、作为构成为在不同场所之间移动操作对象的移送/分类单元的一个以上操作机器人13(例如拣件机器人)、以及它们的控制装置(图9中未图示)。

机器人系统100所执行的任务为了实现规定的目的，可以构成为各单元将各个任务按照适当顺序组合，另外，也可以构成为各单元适当选择各种不同的任务来执行。在机器人系统100中，各单元在保管区域101中可以执行一个以上的任务，用于访问在收纳于托板15、容器16的状态下分散配置的各种不同物品和/或基于规定的入库顺序、捆包顺序、或者物品的特性(SKU等)所分类的各种不同物品。

搬运机器人11例如能够执行将收纳有订购物品的容器16被堆积的托板15在保管区域101与搬运区域102之间移送的任务。另一方面，搬运机器人12能够将收纳有订购物品的容器16从搬运的托板15中取出(拾取)。另外，搬运机器人12能够执行将该容器16在搬运区域102与分类区域103(用于将物品分组的区域：图9中容器16的停止位置SL)之间移送的任务。另一方面，操作机器人13执行将订购物品从分类区域103的容器16中拾取，向移载位置OL(例如，捆包订购物品的集装箱、箱、承载它们的传送机、暂时放置场所等)和/或其他出货用容器等移动的任务。

在执行任务时，例如，在出现出货订购时、对保管的物品进行排列变换时、进行物品的补充等时，机器人系统100能够识别各单元和/或分组化的单元组运转的不同区域。例如，机器人系统100能够识别搬运机器人11运转的保管区域101、搬运机器人12运转的搬运区域102、搬运机器人12和/或操作机器人13运转的分类区域103。此外，搬运机器人11、12以及操作机器人13运转的区域不限于此，例如，可以构成为：根据适当的控制序列，搬运机器人11也进一步在搬运区域102运转，搬运机器人12也进一步在保管区域101运转。

另外，各单元运转的区域可以彼此相邻，也可以部分重合。例如，保管区域101可以与搬运区域102邻接，另外，搬运区域102可以与分类区域103部分重合。在该情况下，搬运机器人11、12例如如图9所示，通过访问搬运区域102内的托板15，从而能够在各自的区域内运转。其结果，机器人系统100能够减少不同类型的单元彼此间潜在的冲突可能性和/或彼此成为障碍物的可能性。此外，操作机器人13可以固定配置在规定位置，在该情况下，搬运机器人12不会与其他单元冲突，不会在移动中引起堵塞，易于进入分类区域103内。

另外，机器人系统100为了引导操纵搬运机器人11、12等输送单元，可以利用合适的路径。例如，机器人系统100可以使用用于操纵一个以上搬运机器人11的第一路径P1和/或用于操纵一个以上搬运机器人12的第二路径P2。此外，第一路径P1与第二路径P2例如如图9所示，可以以彼此不重合的方式，隔开距离或者空间地分离设定，但不限于此。

另外，在第一路径P1以及第二路径P2中可以实施搬运机器人11、12等输送单元自行移动时可参照的地面标识(例如，涂装、胶带粘贴等)。由此，机器人系统100识别地面标识的形状/位置，指示输送单元进行路径计算、和/或位置(例如，输送对象的拾取位置和/或放下位置)的排序等时，可以使用该识别后的信息。进而，第一路径P1以及第二路径P2可以包含一系列的链接(例如托板15之间的路径)、以及节点(例如，路径的交叉位置，或者变更移动方向时的指定位置)。

另外，机器人系统100可以计算搬运机器人11、12等输送单元在输送对象的拾取位置与放下位置之间移动时高效且不干扰其他单元的路径。这些输送单元能够使用例如位置/导航系统，计算该路径内的当前位置，基于该当前位置，沿指定的路径以及路线移动。

此外，机器人系统100如上所述，可以将任务设定为由多个单元执行的一连串任务，能够将这些多个单元基于各自任务的特性，以最优化执行统合任务的方式，调整以及控制各单元，例如，可以进行如下调整，即规定多个单元所需的范围的动作、或者规定遍及多个指定区域的动作的范围。

例如，与出货订购相对应，为了履行该订货，可以设定并执行以下任务：确定保管区域101中的订购物品的保管位置，例如，装载有该物品的托板15，或者收纳有该订购物品的容器16被装载的托板15；将该托板15移送至搬运区域102；从该托板15中将该容器16移送到分类区域103；将该订购物品从该容器16中移载至目标位置，例如出货用容器和/或传送机；将该容器16返回至托板15；将该托板15返回至保管区域101；或者，可以将这些任务适当地进行组合并执行。

另外，与物品的入库、补充相对应，为了确定可利用的保管位置，例如按照需要预测可以设定执行以下任务：作为物品的保管位置，确定可收纳该物品的容器16、以及可装载该容器16的托板15；使容器16入库或者收纳补充物品；将入库或者补充了物品的容器16堆积于托板15；将该托板15移送至规定对应保管位置；或者，将这些任务适当地进行组合并执行。

另外，机器人系统100为了操纵各单元，例如，可以生成用于使各单元内的运转装置动作的指令(命令)、设定条件、动作计划、位置、识别信息、路径、当前的单元位置、状态以及行进信息、或者它们的组合。生成的信息能够在各单元之间通信，另外，在控制装置以及各单元之间，能够共享该生成的各种信息并执行任务。

此外，在以上的关于机器人系统100的说明中，主要说明执行关于物品的出库(出货)的任务的状态，但是，在执行物品的入库、补充相关的任务的情况下，基本上是例如通过机械学习等创建或获取与以上说明相反的顺序使机器人系统100动作的控制序列，基于该控制序列执行任务从而进行应对。

以上，对作为本公开的一例的实施方式进行了详细说明，但上述的说明在所有方面只不过是表示本公开的一例，是为了容易理解本发明的，并不用于限定解释本发明。另外，当然在不脱离本发明的范围的情况下能够进行各种改良、变形，实施方式所具备的各要素及其配置、材料、条件、形状以及尺寸等并不限定于例示的内容、特定的内容，能够适当变更。

换言之，本公开中的实施方式并不排除其它构成，并且不将本公开限制于上述实施方式。在本公开的范围内能够实现与本公开中的上述实施方式等同的各种变形方式。例如，通过本公开范围内的替代实施方式，可以以不同的顺序执行流程、步骤、例程或框的实施顺序，另外，在本公开的范围内，可以删除、移动、添加、细分、组合和/或变形一些流程、步骤、例程或框。此外，这些流程、步骤、例程或框中的每一个有时以各种不同的方式来执行。进而，即使在上述实施方式中连续实施这些流程、步骤、例程或框，这些过程、步骤、例程或框有时也可以并行地实施，或者有时在不同的时间内不连续地实施。进而，本说明书所示的特定数量有时可为不同的值或不同的范围。

此外，对于上述实施方式，作为本公开的具体实施例，不限于可设想的“最佳模式”，有时可以以许多替代方式实施。进而，上述实施方式的细节有时在其特定实施方面中可以显著变化，但它们仍可包含在本公开的技术中。在此基础上，在描述本公开的特定特征或方面时使用的特定用语不限于本公开中与该用语相关联的特定的特性、特征或方面或具体实施方式，因此，本发明除了由权利要求书限定的内容以外，不限于特定含义。此外，虽然本发明由任意数量的权利要求的方式限定，但在本公开的范围内，当然能够设想各种方式。

Claims (10)

1.一种控制装置，为机器人系统的控制装置，所述机器人系统包含：用于将操作对象堆积于托板和/或从托板卸下操作对象而对所述操作对象进行操作的操作机器人，

所述控制装置具备：

数据获取部，在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述托板的信息的第一数据，并且在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之后，获取包含关于所述操作对象的信息以及关于所述托板的信息的第二数据，所述操作对象的信息包括库存管理单位、大小、形状、重量和数量；

数据存储部，存储所述第一数据和所述第二数据；以及

机器人控制部，在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，基于所述第一数据和所述第二数据，创建或者获取控制序列，该控制序列用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象，以及基于所述控制序列，指令所述操作机器人执行用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象的任务，

所述机器人控制部基于所述第一数据和所述第二数据，以将库存管理单位彼此不同的多个种类的操作对象通过控制混载程度混载在所述托板上且使所述托板中的具有相同或近似的所述库存管理单位的所述操作对象的配置集约的方式，创建或者获取所述控制序列。

2.根据权利要求1所述的控制装置，其中，

所述机器人控制部基于所述第二数据，计算在从所述托板卸下所述操作对象时表示难易度的指标，基于该指标，创建或者获取包含确定所述操作对象以及堆积有该操作对象的托板的所述控制序列。

3.根据权利要求1或2所述的控制装置，其中，

所述数据存储部将所述托板中的多个所述操作对象的位置信息以操作对象为单位或者以托板为单位进行存储，并且作为二维信息或者三维信息进行存储。

4.根据权利要求1或2所述的控制装置，其中，

所述机器人系统还具备对所述操作对象以及堆积有所述操作对象的所述托板进行拍摄的传感器，

所述机器人控制部以所述传感器能够检测所述操作对象的识别信息的方式，创建或者获取用于将所述操作对象堆积于所述托板的所述控制序列。

5.根据权利要求1或2所述的控制装置，其中，

所述机器人控制部在结束将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，判断完成了将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象。

6.根据权利要求1或2所述的控制装置，其中，

所述数据获取部获取关于所述操作对象的信息和/或关于所述托板的信息的实测值或者推定值。

7.一种物流系统，具备：

权利要求1至6中任一项所述的控制装置；以及

包含所述操作机器人的机器人系统。

8.根据权利要求7所述的物流系统，其中，

所述控制装置识别所述机器人系统以及与该机器人系统相关联的区域，计算基于所述控制序列的任务，

所述任务包含所述机器人系统进行的与所述托板的搬运和所述操作对象的操作相关联的任务、以及在邻接和/或重合的区域内由所述机器人系统交叉执行的多个任务。

9.一种非暂时性计算机可读取存储介质，所述非暂时性计算机可读取存储介质存储有用于使计算机作为权利要求1至6中任一项所述的控制装置发挥功能的程序。

10.一种控制方法，为机器人系统的控制方法，所述机器人系统包含：用于将操作对象堆积于托板和/或从托板卸下操作对象而对操作对象进行操作的操作机器人，

所述控制方法通过使用具有数据获取部、数据存储部以及机器人控制部的控制装置来执行，

所述数据获取部在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，获取包含关于所述操作对象的信息以及关于所述托板的信息的第一数据，并且在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之后，获取包含关于所述操作对象的信息以及关于所述托板的信息的第二数据，所述操作对象的信息包括库存管理单位、大小、形状、重量和数量，

所述数据存储部存储所述第一数据和所述第二数据，

所述机器人控制部在将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象之前，基于所述第一数据和所述第二数据，创建或者获取控制序列，该控制序列用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象，以及基于所述控制序列，指令所述操作机器人执行用于将所述操作对象堆积于所述托板和/或从所述托板卸下所述操作对象的任务，

所述机器人控制部基于所述第一数据和所述第二数据，以将库存管理单位彼此不同的多个种类的操作对象通过控制混载程度混载在所述托板上且使所述托板中的具有相同或近似的所述库存管理单位的所述操作对象的配置集约的方式，创建或者获取所述控制序列。

Images