CN111328408A - 形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法 - Google Patents

形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法 Download PDF

Info

Publication number
CN111328408A
CN111328408A CN201980002082.4A CN201980002082A CN111328408A CN 111328408 A CN111328408 A CN 111328408A CN 201980002082 A CN201980002082 A CN 201980002082A CN 111328408 A CN111328408 A CN 111328408A
Authority
CN
China
Prior art keywords
information
dimensional
articles
region
unloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980002082.4A
Other languages
English (en)
Other versions
CN111328408B (zh
Inventor
魯仙·出杏光
叶旭涛
周子颜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Priority to CN202111128484.4A priority Critical patent/CN113989341A/zh
Publication of CN111328408A publication Critical patent/CN111328408A/zh
Application granted granted Critical
Publication of CN111328408B publication Critical patent/CN111328408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/04—Loading land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/24—Unloading land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0311—Other article loading or unloading devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Loading Or Unloading Of Vehicles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种控制设备，包括：第一信息获取部，用于获取多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的；第二信息获取部，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的；以及组合部，用于基于所述第一信息获取部所获取到的所述第一区域的三维信息和所述第二信息获取部所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。

Description

形状信息生成设备、控制设备、装卸设备、物流系统、程序和控 制方法
技术领域
本发明涉及形状信息生成设备、控制设备、装载/卸载设备、物流系统、程序和控制方法。
背景技术
已知有使用拾取手和机械臂取出集装箱中所容纳的工件、并将该工件布置在其它集装箱内的指定地点处的拾取系统。
引文列表
专利文献
专利文献1：日本特开2016-091053
专利文献2：日本特开2016-147330
专利文献3：日本特开2017-033429
发明内容
发明要解决的问题
正在研究使用拾取系统来将包裹卸载到卡车或集装箱等的货台上、并从该货台拾取包裹。在这种情况下，要求即使在由包裹形成的整体形状是未知的状态下、也能在防止包裹掉落的同时拾取包裹。
用于解决问题的方案
根据本发明的第一方面，提供一种形状信息生成设备。所述形状信息生成设备例如包括：第一信息获取部，用于获取所堆放的多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的。所述形状信息生成设备例如包括：第二信息获取部，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的。所述形状信息生成设备例如包括：组合部，用于基于所述第一信息获取部所获取到的所述第一区域的三维信息和所述第二信息获取部所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。在所述形状信息生成设备中，所述第一地点的位置和所述第二地点的位置可以彼此不同。所述组合部可以通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。根据本发明的第二方面，提供一种控制设备。所述控制设备是用于控制机器人的控制设备。所述机器人例如使用操作器来从所堆放的多个物品中卸载至少一个物品。所述控制设备例如包括：第一信息获取部，用于获取所述多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的。所述控制设备例如包括：第二信息获取部，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的。所述控制设备例如包括：组合部，用于基于所述第一信息获取部所获取到的所述第一区域的三维信息和所述第二信息获取部所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。在所述控制设备中，所述第一地点的位置和所述第二地点的位置可以彼此不同。在所述控制设备中，所述组合部可以通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
在所述控制设备中，所述组合部可以将与所述操作器的表面有关的信息从所述第一信息获取部所获取到的所述第一区域的三维信息中去除。在所述控制设备中，所述组合部可以将与所述操作器的表面有关的信息从所述第二信息获取部所获取到的所述第二区域的三维信息中去除。在所述控制设备中，所述组合部可以通过用与所述操作器的表面有关的信息已被去除的、所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
在所述控制设备中，所述组合部可以基于所述第一信息获取部所获取到的所述第一区域的三维信息来生成第一分布图信息，在所述第一分布图信息中，针对在所述机器人的作业空间中虚拟地设置的多个体素中的各体素，(a)占用信息、(b)空信息或(c)未知信息与该体素相关联，所述占用信息指示在该体素中存在所述多个物品中的物品的表面的一部分，所述空信息指示在该体素中不存在所述多个物品的表面，以及所述未知信息指示在该体素中是否存在所述多个物品中的物品的表面的一部分是未知的。在所述控制设备中，所述组合部可以基于所述第二信息获取部所获取到的所述第二区域的三维信息来生成第二分布图信息，在所述第二分布图信息中，针对所述多个体素中的各体素，(a)所述占用信息、(b)所述空信息或(c)所述未知信息与该体素相关联。在所述控制设备中，所述组合部可以通过用所述第一分布图信息和所述第二分布图信息中的一方补充另一方来生成合成分布图信息，在所述合成分布图信息中，针对所述多个体素中的各体素，(a)所述占用信息、(b)所述空信息或(c)所述未知信息与该体素相关联。
在所述控制设备中，所述组合部可以基于所述第一信息获取部所获取到的多个时间点处的所述第一区域的三维信息来生成所述第一分布图信息。在所述控制设备中，所述组合部可以基于所述第二信息获取部所获取到的多个时间点处的所述第二区域的三维信息来生成所述第二分布图信息。
在所述控制设备中，所述组合部可以基于所述第一信息获取部所获取到的一个或多个时间点处的所述第一区域的三维信息来生成所述第一分布图信息。在所述控制设备中，所述组合部可以基于所述第二信息获取部所获取到的一个或多个时间点处的所述第二区域的三维信息来生成所述第二分布图信息。在所述控制设备中，所述组合部可以在所述第一分布图信息和所述第二分布图信息针对同一体素而不同的情况下，(i)使用在时间上更加新的信息来生成所述合成分布图信息，或者(ii)使用由离所述操作器的安装位置更近的信息获取部所获得的信息来生成所述合成分布图信息。
所述控制设备可以包括：卸载对象确定部，用于确定要作为所述操作器的卸载操作的对象的物品。所述控制设备中可以包括：卸载方向确定部，用于确定所述卸载对象确定部所确定的物品的卸载方向。
根据本发明的第三方面，提供一种装载/卸载设备。所述装载/卸载设备例如包括上述的控制设备。所述装载/卸载设备例如包括所述操作器。
根据本发明的第四方面，提供一种物流系统。所述物流系统例如包括上述的控制设备。所述物流系统例如包括所述操作器。所述物流系统例如包括用于运输多个物品至少之一的运输设备。
根据本发明的第五方面，提供一种控制方法。所述控制方法是用于控制机器人的控制方法。所述机器人例如使用操作器来从所堆放的多个物品中卸载至少一个物品。所述控制方法例如包括：第一信息获取步骤，用于获取所述多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的。所述控制方法例如包括：第二信息获取步骤，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的。所述控制方法例如包括：组合步骤，用于基于所述第一信息获取步骤中所获取到的所述第一区域的三维信息和所述第二信息获取步骤中所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。在所述控制方法中，所述第一地点的位置和所述第二地点的位置可以彼此不同。在所述控制方法中，所述组合步骤可以包括：通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
根据本发明的第五方面，提供一种程序。可以提供存储有所述程序的非暂时性计算机可读介质。所述程序可以是使得计算机用作上述的信息生成设备的程序。所述程序可以是使得计算机用作上述的控制设备的程序。该程序可以是使得计算机进行上述的控制方法的程序。
发明内容的条款不一定描述本发明的实施例的所有必要特征。本发明也可以是上述特征的子组合。
附图说明
图1示意性示出物流管理系统100的系统结构。
图2示意性示出装箱系统120的内部结构的示例。
图3示意性示出拆箱系统140的内部结构的示例。
图4示意性示出装载/卸载系统142的系统结构的示例。
图5示意性示出装载/卸载系统142的系统结构的示例。
图6示意性示出系统控制部210的内部结构的示例。
图7示意性示出点群数据的示例。
图8示意性示出点群数据的示例。
图9示意性示出点群数据的示例。
图10示意性示出合成分布图(map)生成部630的信息处理的示例。
图11示意性示出数据表1100的示例。
图12示意性示出管理服务器160的内部结构的示例。
图13示意性示出数据表1300的示例。
具体实施例
以下将说明本发明的一些实施例。这些实施例并不限制根据权利要求书的发明，并且这些实施例中所述的特征的所有组合对于本发明的各方面所提供的方式而言不一定是必需的。在附图中，相同或相似的部分可被赋予相同的附图标记，并且可以省略重复的说明。
[物流管理系统100的概要]
图1示意性示出物流管理系统100的系统结构。在本实施例中，物流管理系统100包括装箱系统120、拆箱系统140和管理服务器160。在本实施例中，装箱系统120包括装载/卸载系统122。在本实施例中，拆箱系统140包括装载/卸载系统142。
物流管理系统100可以是物流系统的示例。拆箱系统140可以是物流系统的示例。装载/卸载系统122可以是装载/卸载设备和机器人的示例。装载/卸载系统142可以是装载/卸载设备和机器人的示例。在本说明书中，术语“一个以上”意味着“一个或多个”。
在本实施例中，装箱系统120使用装载/卸载系统122将一个以上的包裹装载到卡车12中。对于卡车12中所装载的一个以上的包裹中的各包裹，装箱系统120可以获取与包裹的大小有关的信息。对于卡车12中所装载的一个以上的包裹中的各包裹，装箱系统120可以获取与用于识别该包裹的特征点有关的信息。对于卡车12中所装载的一个以上的包裹中的各包裹，装箱系统120可以获取与该包裹的质量有关的信息。
装箱系统120获取上述的与各包裹有关的信息所利用的方法不受特别限制。在一个实施例中，将上述信息输入至包裹的托运方的终端或者递送包裹的人或公司的终端，并且将该信息从该终端发送至装箱系统120或管理服务器160。在另一实施例中，利用装箱系统120中所布置的传感器来获取上述信息。该传感器可以是用于获取包裹的图像或包裹表面上的点群的传感器。该传感器可以是用于获取包裹质量的传感器。
装箱系统120例如将上述信息经由通信网络10发送至管理服务器160。以下进一步说明装箱系统120的详情。
在本实施例中，拆箱系统140使用装载/卸载系统142来从卡车12卸载一个以上的包裹。例如，拆箱系统140经由通信网络10访问管理服务器160，并从管理服务器160获取与卡车12中所装载的一个以上的包裹中的各包裹的大小有关的信息。拆箱系统140可以从管理服务器160获取与卡车12中所装载的一个以上的包裹中的各包裹的特征点有关的信息。拆箱系统140可以从管理服务器160获取与卡车12中所装载的一个以上的包裹中的各包裹的质量有关的信息。
拆箱系统140可以使用从管理服务器160获取到的各种信息来从卡车12卸载一个以上的包裹。拆箱系统140可以从装箱系统120、包裹的托运方的终端、或者递送包裹的人或公司的终端获取上述的各种信息。以下进一步说明拆箱系统140的详情。
在本实施例中，管理服务器160在装箱系统120和拆箱系统140之间发送和接收信息。例如，管理服务器160从装箱系统120获取与卡车12的货物有关的信息。管理服务器160可以将与卡车12的货物有关的信息存储在存储设备中。例如，管理服务器160可以响应于来自拆箱系统140的请求，将与卡车12的货物有关的信息发送至拆箱系统140。以下进一步说明管理服务器160的详情。
在本实施例中，通信网络10可以是有线通信的传输路径、无线通信的传输路径、或者有线通信的传输路径和无线通信的传输路径的组合。通信网络10可以包括无线分组通信网络、因特网、P2P网络、专用线路、VPN或电力线通信线路等。通信网络10可以包括(i)诸如移动电话网络等的移动通信网络、或者(ii)诸如无线MAN、无线LAN、蓝牙(Bluetooth，注册商标)、Zigbee(注册商标)或NFC(近场通信)等的无线通信网络。无线MAN可以是WiMAX(注册商标)。无线LAN可以是WiFi(注册商标)。
在本实施例中，使用装箱系统120的装载/卸载系统122将包裹装载在卡车12中并且拆箱系统140的装载/卸载系统142从卡车12卸载包裹的示例来说明物流管理系统100的详情。然而，装载/卸载系统122和装载/卸载系统142不限于本实施例。在另一实施例中，装载/卸载系统122和装载/卸载系统142至少之一被配置为能够进行将包裹装载到卡车12中的装载操作和从卡车12卸载包裹的卸载操作这两者。
[物流管理系统100中的各部的详细结构]
物流管理系统100的各部可以由硬件、软件、或者硬件和软件这两者来实现。物流管理系统100的各部的至少一部分可以由单个服务器或多个服务器来实现。物流管理系统100的各部的至少一部分可以在虚拟服务器或云系统上实现。物流管理系统100的各部的至少一部分可以由个人计算机或移动终端来实现。移动终端可以由移动电话、智能电话、PDA、平板电脑、笔记本式计算机、膝上型计算机或可穿戴式计算机等来例示。物流管理系统100的各部可以使用诸如区块链等的分布式账本技术或分布式网络来存储信息。
如果形成物流管理系统100的组件中的至少一部分组件由软件实现，则由软件实现的这些组件可以通过利用具有一般结构的信息处理设备启动定义了与这些组件相对应的操作的程序来实现。上述的具有一般结构的信息处理设备可以包括：(i)数据处理设备，其具有诸如CPU或GPU等的处理器、ROM、RAM、以及通信接口等；(ii)输入设备，诸如键盘、指点装置、触摸面板、照相机、音频输入设备、手势输入设备、各种传感器或GPS接收器等；(iii)输出设备，诸如显示设备、音频输出设备或振动设备等；以及(iv)存储设备(包括外部存储设备)，诸如存储器、HDD或SSD等。在上述的具有一般结构的信息处理设备中，上述的数据处理设备或存储设备可以存储上述程序。上述程序通过由处理器执行来使得上述信息处理设备进行这些程序所定义的操作。上述程序可以存储在非暂时性计算机可读存储介质中。上述程序可以存储在诸如CD-ROM、DVD-ROM、存储器或硬盘等的计算机可读介质中，或者可以存储在连接至网络的存储设备中。
上述程序可以使得计算机用作物流管理系统100的一部分或全部。上述程序可以包括定义了物流管理系统100的各部的操作的模块。这些程序和模块作用于数据处理设备、输入设备、输出设备和存储设备等，以使得计算机用作物流管理系统100的各部并且使得计算机进行物流管理系统100的各部中的信息处理方法。上述程序可以从计算机可读介质或连接至网络的存储设备安装在形成物流管理系统100的至少一部分的计算机中。通过执行上述程序，可以使计算机用作物流管理系统100的各部的至少一部分。通过使计算机读取上述程序，这些程序中所记录的信息处理用作通过与这些程序有关的软件和物流管理系统100的一部分或全部的各种硬件资源协作所实现的具体手段。这些具体手段实现了对与本实施例中的计算机的预期用途相对应的信息的计算或处理，由此形成与该预期用途相对应的物流管理系统100。
上述程序可以是用于使得计算机进行物流管理系统100的一部分或全部的信息处理方法的程序。在本实施例中，物流管理系统100的一部分或全部的信息处理方法是用于生成指示物品的三维形状的信息的方法。
上述信息生成方法例如包括第一信息获取步骤，该第一信息获取步骤用于获取所堆放的多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对这多个物品进行摄像或扫描所获得的。上述信息生成方法例如包括第二信息获取步骤，该第二信息获取步骤用于获取多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对这多个物品进行摄像或扫描所获得的。上述信息生成方法例如包括组合步骤，该组合步骤用于基于在第一信息获取步骤中获取到的第一区域的三维信息和在第二信息获取步骤中获取到的第二区域的三维信息，来生成指示多个物品的表面的至少一部分的三维形状的信息。在上述信息生成方法中，第一地点的位置和第二地点的位置可以彼此不同。在上述信息生成方法中，组合步骤可以包括：通过用第一区域的三维信息和第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示多个物品的表面的至少一部分的三维形状的信息。
在另一实施例中，物流管理系统100的全部或一部分的信息处理方法可以是用于控制机器人的控制方法。该机器人例如使用操作器来从所堆放的多个物品中卸载至少一个物品。
上述控制方法例如包括第一信息获取步骤，该第一信息获取步骤用于获取多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对多个物品进行摄像或扫描所获得的。上述控制方法例如包括第二信息获取步骤，该第二信息获取步骤用于获取多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对多个物品进行摄像或扫描所获得的。上述控制方法例如包括组合步骤，该组合步骤用于基于在第一信息获取步骤中获取到的第一区域的三维信息和在第二信息获取步骤中获取到的第二区域的三维信息，来生成指示多个物品的表面的至少一部分的三维形状的信息。在上述控制方法中，第一地点的位置和第二地点的位置可以彼此不同。在上述控制方法中，组合步骤可以包括：通过用第一区域的三维信息和第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示多个物品的表面的至少一部分的三维形状的信息。
图2示意性示出装箱系统120的内部结构的示例。在本实施例中，装箱系统120包括装载/卸载系统122和用于控制装载/卸载系统122的系统控制部210。装箱系统120可以包括用于运输包裹20的输送机270。装箱系统120可以包括用于对输送机270所运输的包裹20进行摄像或扫描的三维照相机280。
在本实施例中，装载/卸载系统122包括操作器220、平台230、轨道232、驱动部240和驱动控制部250。在本实施例中，操作器220包括机械手222和机械臂224。
在本实施例中，装载/卸载系统122使用操作器220将至少一个包裹20装载到卡车12的集装箱22中。包裹20可以是物品的示例。
作为示例，首先，装载/卸载系统122识别由输送机270运输到装载/卸载系统122的包裹20的形状和当前位置。例如，装载/卸载系统122获得三维照相机280所拍摄到的图像，并且基于该图像来识别包裹20的形状和当前位置。三维照相机280可以获取包裹20的点群数据或深度图像。
接着，装载/卸载系统122基于包裹20的形状来确定集装箱22的内部的包裹20的布置。包裹20的布置由包裹20的位置和取向来例示。例如，装载/卸载系统122可以从管理服务器160获取与集装箱22的内部的包裹20的布置有关的信息。之后，装载/卸载系统122从输送机270拾取包裹20，并将包裹20布置在集装箱22内的指定位置。
装载/卸载系统122可以包括单个操作器220，或者可以包括多个操作器220。装载/卸载系统122可以使用单个操作器220来装载单个包裹20，或者可以使用多个操作器220来装载单个包裹20。装载/卸载系统122可以使用单个操作器220来一次装载多个包裹20。
在本实施例中，操作器220的机械手222把持包裹20。机械手222所使用的把持方法不受特别限制。机械手222所使用的把持方法可以通过用于利用由低压引起的吸引来保持包裹20的方法、以及用于利用多个手指模块把持包裹20的方法等来例示。可以根据操作内容来替换机械手222。机械手222可以包括诸如触摸传感器、质量测量传感器和负载测量传感器等的各种传感器。机械手222可以包括照相机。该照相机可以包括用于获取深度图像或点群数据的三维照相机。三维照相机可以包括多个摄像元件。三维照相机可以包括测量所用的激光发射装置。
在本实施例中，操作器220的机械臂224连接至机械手222，并且调整机械手222的位置和取向。机械臂224的结构不受特别限制，并且例如使用具有多个关节的多关节机械臂。机械臂224可以包括诸如质量测量传感器和负载测量传感器等的各种传感器。负载测量传感器可以是用于测量用于驱动机械臂224的各关节的驱动部240的扭矩、电流值或电压值的传感器。
在本实施例中，平台230支撑操作器220。平台230可以是固定平台，或者可以是可动平台。在本实施例中，平台230可以沿着轨道232的延伸方向在轨道232上移动。这样，机械手222可以到达集装箱22内的深处。平台230可以在其内部容纳驱动部240的至少一部分。平台230可以在其内部容纳驱动控制部250的至少一部分。
在本实施例中，驱动部240驱动操作器220。在本实施例中，驱动部240驱动机械手222。例如，驱动部240向机械手222供给空气并从机械手222吸引空气。驱动部240可以是泵。驱动部240可以包括一个以上的泵。在另一实施例中，驱动部240驱动机械臂224。例如，驱动部240调整机械臂224的各关节的角度。驱动部240可以是马达。驱动部240可以包括一个以上的马达。
在本实施例中，驱动部240驱动平台230。例如，驱动部240调整集装箱22和平台230的相对位置。驱动部240可以是马达。驱动部240可以包括一个以上的马达。
驱动控制部250控制驱动部240。例如，驱动控制部250从系统控制部210接收用于控制装载/卸载系统122的操作的命令。驱动控制部250基于来自系统控制部210的命令来控制驱动部240。
用于控制装载/卸载系统122的操作的命令可以是指示机械手222的轨迹的信息。指示机械手222的轨迹的信息可以由以下的信息例示：(i)指示机械手222的初始布置、过渡布置、最终布置和移动时间的信息；(ii)指示初始布置、过渡布置、最终布置中的机械手222的各关节的角度、以及各关节的移动时间的信息；(iii)指示移动期间的各时刻的机械手222的布置的信息；以及(iv)指示移动期间的各时刻的机械手222的各关节的角度的信息。机械手222的布置例如由机械手222的位置和取向来指定。
图3示意性示出拆箱系统140的内部结构的示例。在本实施例中，拆箱系统140包括装载/卸载系统142和用于控制装载/卸载系统142的系统控制部210。拆箱系统140可以包括用于运输包裹20的输送机270。拆箱系统140可以包括用于对输送机270所运输的包裹20进行摄像或扫描的三维照相机280。
在本实施例中，装载/卸载系统142包括操作器220、平台230、轨道232、驱动部240和驱动控制部250。在本实施例中，操作器220包括机械手222和机械臂224。
系统控制部210可以是形状识别设备和控制设备的示例。驱动控制部250可以是形状识别设备和控制设备的示例。
在本实施例中，装载/卸载系统142从卡车12的集装箱22的内部所堆放的多个包裹20中卸载至少一个包裹20。装载/卸载系统142例如将从集装箱22卸载的包裹20布置在输送机270上。
装载/卸载系统142可以包括单个操作器220，或者可以包括多个操作器220。装载/卸载系统142可以使用单个操作器220来卸载单个包裹20，或者可以使用多个操作器220来卸载单个包裹20。装载/卸载系统142可以使用单个操作器220来一次卸载多个包裹20。
装载/卸载系统142的各部可以具有与装载/卸载系统122的相应部相同的结构。以下进一步说明装载/卸载系统142的详情。装载/卸载系统122的各部可以具有与装载/卸载系统142的相应部相同的结构，只要这不会引起技术矛盾即可。
在本实施例中，系统控制部210控制装载/卸载系统142。以下进一步说明系统控制部210的详情。装载/卸载系统122的系统控制部210可以具有与装载/卸载系统142的系统控制部210相同的结构，只要这不会引起技术矛盾即可。
使用图4和图5来说明装载/卸载系统142的系统结构的示例。图4示意性示出装载/卸载系统142的侧视图的示例。图5示意性示出装载/卸载系统142的俯视图。
根据关于图4和图5所述的实施例，装载/卸载系统142包括三维照相机462、三维照相机464、三维照相机466和三维照相机468作为三维照相机260。在本实施例中，三维照相机462、三维照相机464、三维照相机466和三维照相机468布置在支架430上的不同位置。
三维照相机462、三维照相机464、三维照相机466和三维照相机468中的一个三维照相机可以是第一信息获取部的示例。三维照相机462、三维照相机464、三维照相机466和三维照相机468中的另一三维照相机可以是第二信息获取部的示例。照相机布置在支架430上的各位置可以是第一地点或第二地点的示例。
三维照相机462从该照相机的安装位置对集装箱22的内部进行摄像或扫描。这样，获取到与集装箱22的内部所堆放的包裹20的表面的部分区域有关的三维信息。三维信息由点群数据或深度图像等来例示。点群数据可以是测量点的三维坐标值的集合。三维照相机462可以使用多个摄像元件来获取三维信息。三维照相机462可以具有激光发射功能。
同样，三维照相机464从该照相机的安装位置对集装箱22的内部进行摄像或扫描。三维照相机466从该照相机的安装位置对集装箱22的内部进行摄像或扫描。三维照相机468从该照相机的安装位置对集装箱22的内部进行摄像或扫描。三维照相机464、三维照相机466和三维照相机468各自可以具有与三维照相机462相同的结构。
图6示意性示出系统控制部210的内部结构的示例。在本实施例中，系统控制部210包括点群信息获取部620、合成分布图生成部630、卸载操作确定部640、机器人控制部650和存储部660。
点群信息获取部620可以是第一信息获取部和第二信息获取部的示例。合成分布图生成部630可以是组合部的示例。卸载操作确定部640可以是卸载对象确定部和卸载方向确定部的示例。
在本实施例中，点群信息获取部620获取通过三维照相机462、三维照相机464、三维照相机466和三维照相机468各自对集装箱22的内部进行摄像或扫描所获取到的信息。例如，点群信息获取部620获取三维照相机462、三维照相机464、三维照相机466和三维照相机468各自所获取到的集装箱22的内部的点群数据。
这样，点群信息获取部620可以获取与集装箱22的内部所堆放的多个包裹20的表面有关的多组点群数据。可以通过从不同地点分别对多个包裹20的表面的一部分进行摄像或扫描来获取这多组点群数据中的各点群数据。
利用小型工件拾取设备主要从上方对集装箱中所容纳的工件进行摄像或扫描。此外，拾取设备的机械手从上方接近该工件。与此相反，根据本实施例，主要从侧面对沿上下方向堆放的多个包裹20进行摄像或扫描。此外，机械手222从侧面接近包裹20。
在本实施例中，合成分布图生成部630基于点群信息获取部620所获取到的指示集装箱22的内部的状态的多组点群数据，来生成指示集装箱22的内部的状态的一个点群数据(有时称为合成点群数据)。合成分布图生成部630可以通过用多组点群数据中的一组点群数据补充其它组点群数据来生成合成点群数据。合成分布图生成部630可以基于通过将与操作器220的表面有关的点群数据从多组点群数据中去除所获得的多组点群数据来生成合成点群数据。
利用合成点群数据来示出集装箱22的内部的多个包裹20的表面的至少一部分的三维形状。例如，合成点群数据示出(i)包裹20的上面的一部分的三维形状和(ii)多个包裹20的在进行卸载的一侧的侧面的三维形状。
合成分布图生成部630可以基于(i)多组点群数据或(ii)使用这多组点群数据所生成的合成点群数据，来生成示出多个包裹20的表面形状的一部分或集装箱22的内部的表面形状的一部分的三维分布图。例如，合成分布图生成部630生成如下的分布图信息(也称为合成深度分布图)，其中在该分布图信息中，(a)“占用”信息、(b)“空”信息或(c)“未知”信息与集装箱22内虚拟地设置的多个体素中的各体素相关联。
(a)“占用”信息可以是指示在该体素内存在与包裹20的表面的一部分相对应的点群的信息。这样，示出在该体素位置处存在包裹20的表面的一部分。(b)“空”信息可以是指示在该体素内不存在与包裹20的表面的一部分相对应的点群的信息。“空”信息可以是指示在该体素内不存在点群的信息。这样，示出在该体素位置处不存在包裹20的表面的一部分。(c)“未知”信息是指示在该体素内是否不存在与包裹20的表面的一部分相对应的点群是未知的信息。这样，示出如下：在该体素位置处是否存在包裹20的表面的一部分是未知的。
在集装箱22的内部所堆放的多个包裹20中包括具有不同大小的包裹。因此，由于多个包裹20的表面的凹凸，因而在多个包裹20的表面中可能存在利用单个三维照相机不能获得点群数据的区域。此外，装载/卸载系统122的各三维照相机不仅在操作器220位于集装箱22的外部的情况下，而且在操作器220正进行卸载集装箱22的内部所布置的包裹20的操作期间，对集装箱22的内部进行摄像或扫描。因此，由于操作器220出现在各三维照相机的视角中，因此在多个包裹20的表面中可能存在利用单个三维照相机不能获取到点群数据的区域。
根据本实施例，合成分布图生成部630对通过从不同地点摄像或扫描所获得的多组点群数据进行组合，以生成指示多个包裹20的表面的至少一部分的三维形状的合成点群数据。这样，系统控制部210例如可以基于与多个包裹20的表面的更宽区域有关的点群数据来控制装载/卸载系统142。
在本实施例中，为了简化说明，使用以下示例来说明合成分布图生成部630的详情：合成分布图生成部630基于三维照相机462所获得的点群数据和三维照相机466所获取到的点群数据来生成合成点群数据。然而，合成分布图生成部630不限于本实施例。在另一实施例中，合成分布图生成部630可以基于由四个三维照相机中的其它组合的三维照相机所获得的多组点群数据来生成合成点群数据。合成分布图生成部630可以基于三组以上的点群数据来生成合成点群数据。
[多个点群数据的组合]
作为示例，合成分布图生成部630获取三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据。在一个实施例中，合成分布图生成部630通过用三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据中的一方补充另一方来生成合成点群数据。
在另一实施例中，合成分布图生成部630将与操作器220的表面有关的点群数据从三维照相机462所获取到的点群数据中去除。合成分布图生成部630将与操作器220的表面有关的点群数据从三维照相机466所获取到的点群数据中去除。在一个实施例中，合成分布图生成部630通过删除、擦除或排除所指定的点群数据来去除该所指定的点群数据。在另一实施例中，合成分布图生成部630通过将所指定的点群数据中所包括的距离信息用表示距离未知的信息覆盖来去除该点群数据。
接着，合成分布图生成部630通过用以下的点群数据中的一方补充另一方来生成合成点群数据：(i)三维照相机462所获取到的与操作器220的表面有关的点群已被去除的点群数据；以及(ii)三维照相机466所获取到的与操作器220的表面有关的点群已被去除的点群数据。例如，根据以下所述的过程来进行补充处理。
根据本实施例，合成分布图生成部630从存储部660获取如下的信息，该信息指示三维照相机462和三维照相机466在三维空间中相对于装载/卸载系统142的任意位置(有时称为基准位置)的相对位置的信息。三维照相机462所获取到的点群数据例如指示集装箱22的内部的物品的表面上的各点相对于三维照相机462的角度和距离。三维照相机466所获取到的点群数据例如指示集装箱22的内部的物品的表面上的各点相对于三维照相机466的角度和距离。
合成分布图生成部630基于三维照相机462所获取到的点群数据、三维照相机466所获取到的点群数据、以及上述的指示三维照相机462和三维照相机466的相对位置的信息，来计算由三维照相机462获取到的各点群数据指示的点的位置和由三维照相机466获取到的各点群数据指示的点的位置。合成分布图生成部630将由三维照相机462获取到的各点群数据指示的点的位置和由三维照相机466获取到的各点群数据指示的点的位置进行比较。合成分布图生成部630基于这些比较结果，通过组合或合并以下的点群数据来生成合成点群数据：(i)三维照相机462所获取到的与操作器220的表面有关的点群已被去除的点群数据；以及(ii)三维照相机466所获取到的与操作器220的表面有关的点群已被去除的点群数据，其是指示与由三维照相机462获取到的点群数据所指示的点不同的点的点群数据。
[合成深度分布图的生成]
作为示例，合成分布图生成部630获取三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据。合成分布图生成部630可以基于三维照相机462所获取到的点群数据来生成第一深度分布图，其中在该第一深度分布图中，(a)“占用”信息、(b)“空”信息和(c)“未知”信息与集装箱22内虚拟地设置的多个体素中的各体素相关联。合成分布图生成部630可以基于三维照相机466所获取到的点群数据来生成第二深度分布图，其中在该第二深度分布图中，(a)“占用”信息、(b)“空”信息和(c)“未知”信息与集装箱22内虚拟地设置的多个体素中的各体素相关联。
合成分布图生成部630可以通过用第一深度分布图和第二深度分布图中的一方补充另一方来生成合成深度分布图，其中在该合成深度分布图中，(a)“占用”信息、(b)“空”信息和(c)“未知”信息与多个体素中的各体素相关联。例如，合成分布图生成部630针对集装箱22内虚拟地设置的多个体素中的各体素，通过将第一深度分布图的信息与第二深度分布图的信息进行组合或合并来生成合成深度分布图。
集装箱22的内部可以是装载/卸载系统142的作业空间的示例。第一深度分布图可以是第一分布图信息的示例。第二深度分布图可以是第二分布图信息的示例。合成深度分布图可以是合成分布图信息的示例。
在另一实施例中，合成分布图生成部630可以在从三维照相机462所获取到的点群数据中去除了与操作器220的表面有关的点群之后，生成第一深度分布图。合成分布图生成部630可以在从三维照相机466所获取到的点群数据中去除了与操作器220的表面有关的点群之后，生成第二深度分布图。
在另一实施例中，合成分布图生成部630可以基于三维照相机462所获取到的多个时间点处的点群数据来生成第一深度分布图。合成分布图生成部630可以基于三维照相机466所获取到的多个时间点处的点群数据来生成第二深度分布图。
作为示例，存在如下的情况：在从三维照相机462在时刻t2获取到的点群数据中去除与操作器220的表面有关的点群时，与包裹20的表面有关的点群的数量显著减少。因此，合成分布图生成部630使用三维照相机462在时刻t2之前的时刻t1获取到的点群数据来补充三维照相机462在时刻t2获取到的点群数据。作为具体示例，合成分布图生成部630基于三维照相机462在时刻t1获取到的点群数据，利用“占用”信息或“空”信息来替换基于三维照相机462在时刻t2获取到的点群数据所生成的第一深度分布图的“未知”信息的至少一部分。
在另一实施例中，合成分布图生成部630可以基于三维照相机462所获取到的一个以上的时间点处的点群数据来生成第一深度分布图。合成分布图生成部630可以基于三维照相机466所获取到的一个以上的时间点处的点群数据来生成第二深度分布图。
在合成分布图生成部630基于第一深度分布图和第二深度分布图来生成合成深度分布图的情况下，对于同一体素，有可能第一深度分布图的数据和第二深度分布图的数据将不同。此外，对于同一体素，有可能第一时刻处的第一深度分布图的数据和第二时刻处的第一深度分布图的数据将不同。同样，对于同一体素，有可能第三时刻处的第二深度分布图的数据和第四时刻处的第二深度分布图的数据将不同。
因此，根据一个实施例，合成分布图生成部630使用时间上更加新的信息来生成合成深度分布图。在另一实施例中，合成分布图生成部630可以使用由离操作器220的安装位置更近的三维照相机所获得的信息来生成合成深度分布图。
在本实施例中，说明了基于第一深度分布图和第二深度分布图来生成合成深度分布图的情况。然而，用于生成合成深度分布图的方法不限于此。在另一实施例中，合成分布图生成部630获取三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据。然后，合成分布图生成部630基于三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据来生成合成点群数据。合成分布图生成部630可以基于合成点群数据来生成合成深度分布图。
在本实施例中，卸载操作确定部640确定操作器220所进行的操作的内容。例如，卸载操作确定部640确定用作操作器220的卸载操作的对象的包裹20。卸载操作确定部640可以确定要卸载被确定为卸载操作的对象的包裹20的卸载方向。在不能确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一的情况下，卸载操作确定部640可以将指示该事实的信息发送至物流管理系统100的管理者或终端的用户。
通常，包裹20布置得离集装箱22中的操作器220的安装位置越近(有时称为集装箱22的卸载口侧)，经由三维照相机260可以获得的信息量越大。此外，包裹20被定位得越向上方，经由三维照相机260可以获得的信息量越大。因此，卸载操作确定部640例如选择位于最上面上且离集装箱22的卸载口侧最近的包裹20作为卸载操作的对象，并且将所选择的包裹20从集装箱22的卸载口侧卸载。然而，卸载对象的确定和卸载方向的确定不限于本实施例。
在一个示例中，卸载操作确定部640基于所堆放的多个包裹20的位置关系来确定要作为卸载操作的对象的包裹20。卸载操作确定部640可以基于所堆放的多个包裹20在上下方向上的位置关系来确定要作为卸载操作的对象的包裹20。例如，卸载操作确定部640以优先将布置在更上方的包裹20作为卸载操作的对象的方式，确定要作为卸载操作的对象的包裹20。卸载操作确定部640可以比较位于中心附近的包裹，并且在优先将布置在中心下方的包裹20作为卸载操作的对象的状态下，确定要作为卸载操作的对象的包裹20。优先顺序可被设置成向布置在最上面的包裹20赋予最高优先级，或者可被设置成向布置在除最上面以外的位置的包裹20赋予最高优先级。
卸载操作确定部640可以基于所堆放的多个包裹20在集装箱22的深度方向上的位置关系，来确定要作为卸载操作的对象的包裹20。例如，卸载操作确定部640以优先将布置得离集装箱22的卸载口侧更近的包裹20作为卸载操作的对象的方式，确定要作为卸载操作对象的包裹20。优先顺序可被设置成向布置得离集装箱22的卸载口侧最近的包裹20赋予最高优先级，或者被设置成向集装箱22中的指定区域中所布置的包裹20赋予最高优先级。
接着，卸载操作确定部640确定被设置为卸载操作的对象的包裹20的卸载方向。包裹20的卸载方向不受特别限制。
包裹20的卸载方向可以是垂直方向的向上，或者可以是与水平方向基本上平行的方向。包裹20的卸载方向可以相对于垂直方向或水平方向倾斜。包裹20的卸载方向可以与集装箱22的深度方向(图3的左右方向)基本上平行，或者可以与集装箱22的宽度方向(与图3的纸面垂直的方向)基本上平行。包裹20的卸载方向可以相对于集装箱22的深度方向或宽度方向倾斜。包裹20的卸载方向可以与包裹20的纵向方向基本上平行，或者可以与包裹20的横向方向基本上平行。包裹20的卸载方向可以与包裹20的纵向方向或横向方向基本上平行。
将卸载方向称为“向上”不仅包括卸载方向是垂直的情况，而且还包括在卸载方向和垂直方向之间形成的角度小于90度的情况。在卸载方向和垂直方向之间形成的角度可以小于或等于60度，或者可以小于或等于45度。此外，卸载方向是“深度方向”或“宽度方向”、或者沿着“深度方向”或“宽度方向”，这不仅包括卸载方向平行于水平方向的情况，而且还包括卸载方向和水平方向之间形成的角度小于90度的情况。在卸载方向和水平方向之间形成的角度可以小于或等于60度，或者可以小于或等于45度。
在存在包裹20的卸载方向的多个候选的情况下，卸载操作确定部640可以在作为卸载操作的对象的包裹20和操作器220不会撞到其它包裹20或集装箱22的壁的情况下，判断是否存在可以卸载包裹20的路径(有时被称为卸载路径)。卸载操作确定部640可以计算指示与卸载路径的有无有关的判断结果的确定性的指标。卸载操作确定部640可以在沿着各卸载路径卸载包裹20的情况下估计卸载操作所需的时间。
卸载操作确定部640可以将包裹20的卸载方向的多个候选中的能够建立卸载路径的候选确定为卸载方向。如果存在能够建立卸载路径的两个或更多个候选，则卸载操作确定部640可以基于指示上述的判断结果的确定性的指标，来将与确定性更高的卸载路径相对应的候选确定为卸载方向。卸载操作确定部640可以将与包裹20的卸载方向有关的多个候选中的、卸载操作所需的时间最短并且能够建立卸载路径的候选确定为卸载方向。
卸载操作确定部640例如基于所堆放的多个包裹20的位置关系来确定包裹20的卸载方向。卸载操作确定部640可以基于所堆放的多个包裹20在上下方向上的位置关系来确定包裹20的卸载方向。例如，在卸载布置在最上面的包裹20时，卸载操作确定部640通过向上取出包裹20来确定卸载包裹20。在卸载布置在中心的下方的位置的包裹20时，卸载操作确定部640可以通过将包裹20向着操作器220侧取出、或者通过沿着集装箱22的宽度方向取出包裹20，来确定卸载该包裹20。
卸载操作确定部640可以基于所堆放的多个包裹20在集装箱22的深度方向上的位置关系来确定包裹20的卸载方向。例如，在卸载位于离集装箱22的卸载口侧最近的包裹20时，卸载操作确定部640通过向着卸载口侧取出包裹20来确定卸载包裹20。在作为卸载操作的对象的包裹20和集装箱22的卸载口侧之间存在其它包裹20的情况下，卸载操作确定部640通过向上取出包裹20或者沿着集装箱22的宽度方向取出包裹20来确定卸载包裹20。
在本实施例中，使用基于所堆放的多个包裹20的位置关系来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一的示例说明了卸载操作确定部640的详情。然而，卸载操作确定部640不限于本实施例。
在另一实施例中，卸载操作确定部640可以基于包裹20的大小来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一。例如，卸载操作确定部640以如下方式确定要作为卸载操作的对象的包裹20：优先将位于多个行或列各自的最上面的多个包裹20中的大小较小的包裹20作为卸载操作的对象。卸载操作确定部640可以以如下方式确定要作为卸载操作的对象的包裹20：优先将位于多个行或列各自的最上面的多个包裹20中的具有指定范围内的大小的包裹20作为卸载操作的对象。
卸载操作确定部640可以基于特定包裹20的大小和位于比该包裹20离卸载口更近的其它包裹20的大小来确定是否选择该特定包裹20作为卸载对象。其它包裹20可以是布置在与该特定包裹20相同的列中的包裹20，或者可以是布置在与该特定包裹20不同的列中的包裹20。
例如，在大的包裹20位于集装箱22的卸载口附近时，可以设想该大的包裹20干扰操作器220卸载其它包裹20的操作或者三维照相机260对集装箱22的内部进行摄像或扫描的操作的情况。因此，在特定包裹20的大小大于其它包裹20的大小的情况下，卸载操作确定部640确定选择该特定包裹20作为卸载对象。这样，首先卸载较大的包裹20。结果，卸载集装箱22中所装载的多个包裹20所需的时间缩短。此外，消除了由上述的包裹20引起的三维照相机260的死角，并且改善了合成深度分布图或合成点群数据的内容。
在另一实施例中，卸载操作确定部640从管理服务器160获取与集装箱22中所装载的多个包裹20各自的大小有关的信息。卸载操作确定部640可以基于多个包裹20的合成深度分布图或合成点群数据以及与多个包裹20各自的大小有关的信息，来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一。
例如，卸载操作确定部640分析多个包裹20的合成深度分布图或合成点群数据，并且检测特定包裹20和其它包裹20之间的至少一个交界。卸载操作确定部640基于所检测到的交界信息来估计该特定包裹20的至少一边的长度。卸载操作确定部640基于与所估计的至少一边的长度有关的信息和与多个包裹20各自的大小有关的信息来估计该特定包裹20的大小。
这样，即使在利用三维照相机260不能对特定包裹20的一部分进行摄像或扫描的情况下，卸载操作确定部640也可以通过使用与多个包裹20的大小有关的信息来缩减该特定包裹20的大小的候选。结果，卸载操作确定部640可以基于指示特定包裹20的大小的估计值的信息以及合成点群数据或合成深度分布图，来估计该特定包裹20和其它包裹20之间的重叠状态。
该重叠状态可以由通过缩减特定包裹20的大小的候选所获得的统计值来指示。该统计值由最大值、最小值、平均值、中间值或众数值等例示。作为示例，该重叠状态由特定包裹20和其它包裹20之间的重叠部分的长度的估计值的最小值和最大值至少之一来指示。
作为示例，卸载操作确定部640估计基于由三维照相机260获取到的信息所识别的一个或多个包裹20中的各包裹20与位于该包裹20上方的其它包裹20之间的重叠状态。卸载操作确定部640可以基于与其它包裹20的重叠状态来确定要作为卸载操作的对象的包裹20。例如，卸载操作确定部640以优先将与其它包裹20的重叠较少的包裹20作为卸载操作的对象的方式，确定要作为卸载操作的对象的包裹20。
在包裹B装载在包裹A的上方的情况下，在包裹A和包裹B之间的重叠状态小于预定量时，卸载操作确定部640可以确定在包裹B之前卸载包裹A、或者在包裹A之前卸载包裹B。另一方面，在包裹A和包裹B之间的重叠状态大于预定量时，卸载操作确定部640确定在包裹A之前卸载包裹B。
卸载操作确定部640可以基于指示特定包裹20和位于该包裹20上方的其它包裹20之间的重叠状态的信息来确定该特定包裹20的卸载方向。在该重叠状态小于预定量时，卸载操作确定部640可以将任何方向确定为特定包裹20的卸载方向。另一方面，在该重叠状态大于预定量时，卸载操作确定部640可以将特定包裹20的卸载方向确定为除向上以外的方向。
卸载操作确定部640可以基于上述的重叠状态来确定在卸载方向和垂直方向之间形成的角度的容许范围或容许值。卸载操作确定部640可以基于指示上述的重叠状态的信息，来判断是否存在沿指定方向撤出特定包裹20的情况下的卸载路径。
在另一实施例中，卸载操作确定部640评价在特定包裹20和其它包裹20之间的交界处的阴影。卸载操作确定部640可以基于阴影的形状、阴影的大小和阴影的暗度至少之一来评价阴影。卸载操作确定部640可以基于与上述的阴影有关的评价，来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一。
例如，卸载操作确定部640分析三维照相机260所拍摄到的图像，并且识别在特定包裹20和其它包裹20之间的交界或间隙处出现的阴影。该阴影的形状、大小和暗度根据光源的数量和位置、特定包裹20的大小、其它包裹20的大小、以及特定包裹20和其它包裹20之间的位置关系而改变。
因此，卸载操作确定部640可以基于阴影的形状、阴影的大小和阴影的暗度至少之一来估计特定包裹20或其它包裹20的至少一边的长度。卸载操作确定部640可以基于与所估计的至少一边的长度有关的信息和与多个包裹20的大小有关的信息来估计特定包裹20的大小。此外，卸载操作确定部640可以基于阴影的形状、阴影的大小和阴影的暗度至少之一来估计特定包裹20和其它包裹20之间的重叠状态。卸载操作确定部640可以使用与上述过程相同的过程来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一。
如上所述，在确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一时所考虑的要素由以下来例示：(i)所堆放的多个包裹20之间的位置关系；(ii)多个包裹20的大小；(iii)通过利用三维照相机260对集装箱22的内部进行摄像或扫描所获得的信息的分析结果(例如，点群数据或合成深度分布图)；(iv)通过利用三维照相机260对集装箱22的内部进行摄像所获得的图像的分析结果(例如，阴影的评价结果)；(v)特定包裹20和其它包裹20之间的重叠状态；(vi)与卸载路径的有无有关的判断结果的确定性；以及(vii)卸载操作所需的时间。卸载操作确定部640可以基于这些考虑要素中的两个或更多个的组合来确定要作为卸载操作的对象的包裹20和包裹20的卸载方向至少之一。
在本实施例中，机器人控制部650控制操作器220。例如，机器人控制部650控制操作器220以将卸载操作确定部640所确定的包裹20从多个包裹20中卸载，并将该包裹20布置在输送机270上。机器人控制部650可以确定机械手222的轨迹以实现上述操作。机器人控制部650可以生成指示机械手222的轨迹的命令，并且将该命令发送至驱动控制部250。
在本实施例中，存储部660存储各种信息。例如，存储部660可以从管理服务器160获取与集装箱22中所装载的多个包裹20的大小有关的信息，并存储该信息。存储部660可以从管理服务器160获取与集装箱22中所装载的多个包裹20的特征点有关的信息，并存储该信息。
使用图7、图8和图9来说明点群数据。图7和图8示意性示出指定高度位置处的点群数据的示例。图7示出操作器220不在照相机的视角中的情况的示例。图8示出操作器220在照相机的视角中的示例。图9示意性示出多个时间点处的点群数据的示例。
图7将三维照相机466所获取到的点群数据702连同集装箱22的内部所布置的包裹72、包裹74和包裹76一起示出。同样，图7还将三维照相机462所获取到的点群数据704连同集装箱22的内部所布置的包裹72、包裹74和包裹76一起示出。在图7中，小圆710指示形成点群的点。如图7所示，由于多个包裹的凹凸，因此存在利用单个三维照相机不能获取到点群的区域。
图8将三维照相机466所获取到的点群数据802连同集装箱22的内部所布置的包裹72、包裹74和包裹76以及操作器220一起示出。同样，图8还将三维照相机462所获取到的点群数据804连同集装箱22的内部所布置的包裹72、包裹74和包裹76以及操作器220一起示出。如图8所示，由于操作器220侵入三维照相机的视角，因此存在利用单个三维照相机不能获取到点群的区域。
图9示出在时刻t1、三维照相机466获取到点群数据702并且三维照相机462获取到点群数据704。同样，图9还示出在时刻t2、三维照相机466获取到点群数据802并且三维照相机462获取到点群数据804。在图9中，粗线指示点群。在图9中，由虚线包围的区域指示是否存在与包裹20的表面的一部分相对应的点群是未知的区域。
图10示意性示出合成分布图生成部630中的信息的示例。如上所述，合成分布图生成部630从三维照相机462获取三维照相机462所获取到的点群数据。同样，合成分布图生成部630从三维照相机466获取三维照相机466所获取到的点群数据。
合成分布图生成部630基于三维照相机462所获取到的点群数据和三维照相机466所获取到的点群数据来生成合成深度分布图1000。合成分布图生成部630可以基于三维照相机462在一个以上的时间点获取到的点群数据和三维照相机466在一个以上的时间点获取到的点群数据来生成合成深度分布图1000。通过在合成深度分布图1000中将包含“占用”信息的多个体素连接在一起来获得多个包裹20的表面形状1010。
图11示意性示出数据表1100的示例。在本实施例中，数据表1100可以是第一深度分布图、第二深度分布图和合成深度分布图的示例。在本实施例中，数据表1100将用于识别各体素的体素ID 1120、关于与各体素有关的点群的信息1140、以及指示合并结果的信息1160彼此关联地存储。
在本实施例中，关于与各体素有关的点群的信息1140可以包括用于识别拍摄到该点群的三维照相机的照相机ID、指示获取到该点群的时刻的信息、以及指示基于该点群所确定的体素的评价的信息。指示体素的评价的信息由“占用”信息、“空”信息和“未知”信息例示。
合成深度分布图的数据表可以将体素ID 1120和指示合并结果的信息1160彼此关联地存储。第一深度分布图和第二深度分布图的数据表可以将体素ID 1120和点群信息1140彼此关联地存储。
图12示意性示出管理服务器160的内部结构的示例。在本实施例中，管理服务器160包括通信控制部1210和包裹信息管理部1220。
在本实施例中，通信控制部1210控制装箱系统120和拆箱系统140至少之一与管理服务器160之间的通信。通信控制部1210可以是通信接口。
在本实施例中，包裹信息管理部1220管理与卡车12中所装载的多个包裹20中的各包裹有关的信息。例如，包裹信息管理部1220从装箱系统120获取与卡车12中所装载的多个包裹20中的各包裹的大小有关的信息。包裹信息管理部1220可以从装箱系统120获取与卡车12中所装载的多个包裹20中的各包裹的特征点有关的信息。包裹信息管理部1220可以从装箱系统120获取与卡车12中所装载的多个包裹20中的各包裹的质量有关的信息。包裹信息管理部1220可以将与卡车12的货物有关的各种信息存储在存储设备中。包裹信息管理部1220例如可以响应于来自拆箱系统140的请求，将与卡车12的货物有关的信息发送至拆箱系统140。
图13示意性示出数据表1300的示例。在本实施例中，数据表1300可以是与卡车12的货物有关的信息的示例。在本实施例中，数据表1300将用于识别各包裹装载到的集装箱的集装箱ID 1320、用于识别各包裹的包裹ID 1330、与各包裹的大小有关的信息1340、与各包裹的形状有关的信息1350、以及与各包裹的特征点有关的信息1360彼此关联地存储。与各包裹的特征点有关的信息1360可以是指示各包裹的特征点的电子数据的URI。
尽管已经说明了本发明的实施例，但本发明的技术范围不限于上述实施例。本领域技术人员显而易见，可以对上述实施例添加各种改变和改进。也可以将针对特定实施例所述的思想应用于其它实施例，只要这不会引起技术矛盾即可。各结构元件可以具有与名称相同但附图标记不同的其它结构元件相同的特征。从权利要求书的范围还显而易见，添加有这样的改变或改进的实施例可以包括在本发明的技术范围中。
由权利要求书、实施例或附图所示的设备、系统、程序和方法进行的各处理的操作、过程、步骤和阶段可以按任何顺序进行，只要该顺序没有由“先于”或“之前”等指示即可、并且只要来自先前处理的输出不用在随后处理中即可。即使在权利要求书、实施例或附图中使用诸如“首先”或“接着”等的短语来说明处理流程，也不一定意味着必须按该顺序进行处理。
[附图标记列表]
10：通信网络
12：卡车
20：包裹
22：集装箱
72：包裹
74：包裹
76：包裹
100：物流管理系统
120：装箱系统
122：装载/卸载系统
140：拆箱系统
142：装载/卸载系统
160：管理服务器
210：系统控制部
220：操作器
222：机械手
224：机械臂
230：平台
232：轨道
240：驱动部
250：驱动控制部
260：三维照相机
270：输送机
280：三维照相机
430：支架
462：三维照相机
464：三维照相机
466：三维照相机
468：三维照相机
620：点群信息获取部
630：合成分布图生成部
640：卸载操作确定部
650：机器人控制部
660：存储部
702：点群数据
704：点群数据
710：圆
802：点群数据
804：点群数据
1000：合成深度分布图
1010：表面形状
1100：数据表
1120：体素ID
1140：信息
1160：信息
1210：通信控制部
1220：包裹信息管理部
1300：数据表
1320：集装箱ID
1330：包裹ID
1340：信息
1350：信息
1360：信息

Claims (13)

1.一种形状信息生成设备，包括：
第一信息获取部，用于获取所堆放的多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的；
第二信息获取部，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的；以及
组合部，用于基于所述第一信息获取部所获取到的所述第一区域的三维信息和所述第二信息获取部所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息，
其中，所述第一地点的位置和所述第二地点的位置彼此不同，以及
所述组合部通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
2.一种控制设备，用于控制机器人，所述机器人用于使用操作器来从所堆放的多个物品中卸载至少一个物品，所述控制设备包括：
第一信息获取部，用于获取所述多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的；
第二信息获取部，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的；以及
组合部，用于基于所述第一信息获取部所获取到的所述第一区域的三维信息和所述第二信息获取部所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息，
其中，所述第一地点的位置和所述第二地点的位置彼此不同，以及
所述组合部通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
3.根据权利要求2所述的控制设备，其中，所述组合部进行以下操作：
将与所述操作器的表面有关的信息从所述第一信息获取部所获取到的所述第一区域的三维信息中去除，
将与所述操作器的表面有关的信息从所述第二信息获取部所获取到的所述第二区域的三维信息中去除，以及
通过用与所述操作器的表面有关的信息已被去除的、所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
4.根据权利要求2或3所述的控制设备，其中，所述组合部进行以下操作：
基于所述第一信息获取部所获取到的所述第一区域的三维信息来生成第一分布图信息，在所述第一分布图信息中，针对在所述机器人的作业空间中虚拟地设置的多个体素中的各体素，(a)占用信息、(b)空信息或(c)未知信息与该体素相关联，所述占用信息指示在该体素中存在所述多个物品中的物品的表面的一部分，所述空信息指示在该体素中不存在所述多个物品的表面，以及所述未知信息指示在该体素中是否存在所述多个物品中的物品的表面的一部分是未知的，
基于所述第二信息获取部所获取到的所述第二区域的三维信息来生成第二分布图信息，在所述第二分布图信息中，针对所述多个体素中的各体素，(a)所述占用信息、(b)所述空信息或(c)所述未知信息与该体素相关联，以及
通过用所述第一分布图信息和所述第二分布图信息中的一方补充另一方来生成合成分布图信息，在所述合成分布图信息中，针对所述多个体素中的各体素，(a)所述占用信息、(b)所述空信息或(c)所述未知信息与该体素相关联。
5.根据权利要求4所述的控制设备，其中，
所述组合部基于所述第一信息获取部所获取到的多个时间点处的所述第一区域的三维信息来生成所述第一分布图信息。
6.根据权利要求4或5所述的控制设备，其中，
所述组合部基于所述第二信息获取部所获取到的多个时间点处的所述第二区域的三维信息来生成所述第二分布图信息。
7.根据权利要求4至6中任一项所述的控制设备，其中，所述组合部进行以下操作：
基于所述第一信息获取部所获取到的一个或多个时间点处的所述第一区域的三维信息来生成所述第一分布图信息，
基于所述第二信息获取部所获取到的一个或多个时间点处的所述第二区域的三维信息来生成所述第二分布图信息，以及
在所述第一分布图信息和所述第二分布图信息针对同一体素而不同的情况下，(i)使用在时间上更加新的信息来生成所述合成分布图信息，或者(ii)使用由离所述操作器的安装位置更近的信息获取部所获得的信息来生成所述合成分布图信息。
8.根据权利要求2至6中任一项所述的控制设备，还包括：
卸载对象确定部，用于确定要作为所述操作器的卸载操作的对象的物品。
9.根据权利要求8所述的控制设备，还包括：
卸载方向确定部，用于确定所述卸载对象确定部所确定的物品的卸载方向。
10.一种装卸设备，包括：
根据权利要求2至9中任一项所述的控制设备；以及
所述操作器。
11.一种物流系统，包括：
根据权利要求2至9中任一项所述的控制设备；
所述操作器；以及
运输设备，用于运输所述多个物品至少之一。
12.一种程序，用于使得计算机用作根据权利要求2至9中任一项所述的控制设备。
13.一种控制方法，用于控制机器人，所述机器人用于使用操作器来从所堆放的多个物品中卸载至少一个物品，所述控制方法包括：
第一信息获取步骤，用于获取所述多个物品的表面的第一区域的三维信息，该三维信息是通过从第一地点对所述多个物品进行摄像或扫描所获得的；
第二信息获取步骤，用于获取所述多个物品的表面的第二区域的三维信息，该三维信息是通过从第二地点对所述多个物品进行摄像或扫描所获得的；以及
组合步骤，用于基于所述第一信息获取步骤中所获取到的所述第一区域的三维信息和所述第二信息获取步骤中所获取到的所述第二区域的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息，
其中，所述第一地点的位置和所述第二地点的位置彼此不同，以及
所述组合步骤包括：通过用所述第一区域的三维信息和所述第二区域的三维信息中一方的三维信息补充另一方的三维信息，来生成指示所述多个物品的表面的至少一部分的三维形状的信息。
CN201980002082.4A 2018-10-15 2019-06-14 形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法 Active CN111328408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111128484.4A CN113989341A (zh) 2018-10-15 2019-06-14 生成设备、装卸设备、物流系统、程序、控制设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-194064 2018-10-15
JP2018194064A JP6511681B1 (ja) 2018-10-15 2018-10-15 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
PCT/JP2019/023739 WO2020079885A1 (en) 2018-10-15 2019-06-14 Shape information generation apparatus, control apparatus, loading/unloading apparatus, logistics system, program, and control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111128484.4A Division CN113989341A (zh) 2018-10-15 2019-06-14 生成设备、装卸设备、物流系统、程序、控制设备和方法

Publications (2)

Publication Number Publication Date
CN111328408A true CN111328408A (zh) 2020-06-23
CN111328408B CN111328408B (zh) 2021-10-08

Family

ID=66530768

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980002082.4A Active CN111328408B (zh) 2018-10-15 2019-06-14 形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法
CN202111128484.4A Pending CN113989341A (zh) 2018-10-15 2019-06-14 生成设备、装卸设备、物流系统、程序、控制设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111128484.4A Pending CN113989341A (zh) 2018-10-15 2019-06-14 生成设备、装卸设备、物流系统、程序、控制设备和方法

Country Status (5)

Country Link
US (3) US10970866B2 (zh)
JP (1) JP6511681B1 (zh)
CN (2) CN111328408B (zh)
DE (1) DE112019000119T5 (zh)
WO (1) WO2020079885A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO344464B1 (en) * 2017-10-19 2019-12-23 Autostore Tech As Vehicle for an automated storage and retrieval system and method of operating an automated storage and retrieval system
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
JP6511681B1 (ja) * 2018-10-15 2019-05-15 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
CN112093507B (zh) * 2019-06-18 2022-04-22 深圳顺丰泰森控股(集团)有限公司 物流中转站及物流中转车辆的卸货方法
JP7393184B2 (ja) * 2019-11-07 2023-12-06 東芝テック株式会社 点群データ処理装置
WO2021118702A1 (en) 2019-12-12 2021-06-17 Mujin, Inc. Method and computing system for performing motion planning based on image information generated by a camera
US11772833B1 (en) * 2020-03-30 2023-10-03 Amazon Technologies, Inc. Systems and methods for automated custom shipping containers
CN111532599A (zh) * 2020-06-01 2020-08-14 印玉英 一种用于货物装载的机械爪
WO2023085039A1 (ja) * 2021-11-11 2023-05-19 シャープ株式会社 積載管理システム及び積載管理方法
CN114419150A (zh) * 2021-12-21 2022-04-29 未来机器人（深圳）有限公司 叉车取货方法、装置、计算机设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150352721A1 (en) * 2014-06-04 2015-12-10 Intelligrated Headquarters Llc Truck Unloader Visualization
CN107871185A (zh) * 2017-11-28 2018-04-03 上海量科电子科技有限公司 智能装载货箱、运输车、系统及其实现方法
US20180290845A1 (en) * 2014-10-03 2018-10-11 Wynright Corporation Perception-Based Robotic Manipulation System and Method for Automated Truck Unloader that Unloads/Unpacks Product from Trailers and Containers

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06345270A (ja) * 1993-06-08 1994-12-20 Mitsubishi Electric Corp 荷卸し装置
JPH0797058A (ja) 1993-09-27 1995-04-11 Murata Mach Ltd ピッキング装置
JP3516067B2 (ja) 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
US20050151734A1 (en) * 2004-01-14 2005-07-14 Gubkin Andrew A. Method and apparatus for rendering, storing and editing voxel objects
JP4506685B2 (ja) 2006-02-17 2010-07-21 トヨタ自動車株式会社 移動型ロボット
JP5580164B2 (ja) * 2010-10-18 2014-08-27 株式会社トプコン 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20210390772A1 (en) * 2012-09-20 2021-12-16 Brown University System and method to reconstruct a surface from partially oriented 3-d points
EP2945894B1 (en) 2013-01-20 2018-08-29 Wynright Corporation Automated truck unloader for unloading/unpacking product from trailers and containers
DE102013002554A1 (de) * 2013-02-15 2014-08-21 Jungheinrich Aktiengesellschaft Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
JP2016091053A (ja) * 2014-10-29 2016-05-23 キヤノン株式会社 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム
JP2016147330A (ja) * 2015-02-10 2016-08-18 株式会社三次元メディア 物体認識に基づく制御装置
US9754413B1 (en) * 2015-03-26 2017-09-05 Google Inc. Method and system for navigating in panoramic images using voxel maps
JP6703812B2 (ja) * 2015-08-05 2020-06-03 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 ３次元物体検査装置
US20170116779A1 (en) * 2015-10-26 2017-04-27 Microsoft Technology Licensing, Llc Volumetric representation of objects
JP6407927B2 (ja) 2015-11-12 2018-10-17 株式会社東芝 搬送装置、搬送システム、搬送方法、制御装置、およびプログラム
EP3398168B1 (en) * 2015-12-31 2022-04-13 ML Netherlands C.V. A method and device for real-time 3d capture and live feedback with monocular cameras
EP3223235A1 (en) * 2016-03-24 2017-09-27 Ecole Nationale de l'Aviation Civile Object definition in virtual 3d environment
JP2017206318A (ja) * 2016-05-16 2017-11-24 株式会社メイキコウ 荷卸し装置
WO2018090250A1 (zh) * 2016-11-16 2018-05-24 深圳市大疆创新科技有限公司 生成三维点云的方法、装置、计算机系统和移动设备
EP3545497B1 (en) * 2016-11-22 2021-04-21 Lego A/S System for acquiring a 3d digital representation of a physical object
JP6762913B2 (ja) * 2017-07-11 2020-09-30 キヤノン株式会社 情報処理装置、情報処理方法
JP6425780B1 (ja) * 2017-09-22 2018-11-21 キヤノン株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP6511681B1 (ja) * 2018-10-15 2019-05-15 株式会社Ｍｕｊｉｎ 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150352721A1 (en) * 2014-06-04 2015-12-10 Intelligrated Headquarters Llc Truck Unloader Visualization
US20180290845A1 (en) * 2014-10-03 2018-10-11 Wynright Corporation Perception-Based Robotic Manipulation System and Method for Automated Truck Unloader that Unloads/Unpacks Product from Trailers and Containers
CN107871185A (zh) * 2017-11-28 2018-04-03 上海量科电子科技有限公司 智能装载货箱、运输车、系统及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAKOTOVAO TIANA ET AL: "Multi-sensor fusion of occupancy grids based on integer arithmetic", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *

Also Published As

Publication number Publication date
US11836939B2 (en) 2023-12-05
US20200148489A1 (en) 2020-05-14
CN111328408B (zh) 2021-10-08
US20240095941A1 (en) 2024-03-21
US10970866B2 (en) 2021-04-06
CN113989341A (zh) 2022-01-28
JP2020064335A (ja) 2020-04-23
JP6511681B1 (ja) 2019-05-15
WO2020079885A1 (en) 2020-04-23
DE112019000119T5 (de) 2020-08-06
US20210209781A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN111328408B (zh) 形状信息生成设备、控制设备、装卸设备、物流系统、程序和控制方法
JP6577687B1 (ja) 形状情報生成装置、制御装置、積み降ろし装置、物流システム、プログラム、及び、制御方法
CN107597600B (zh) 分拣系统和分拣方法
US10451405B2 (en) Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
KR102400028B1 (ko) 비순서적으로 도착하는 패키지를 처리하기 위한 로봇 시스템
WO2021249568A1 (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
US20160347558A1 (en) Article handling apparatus and method of operating the same
US11257033B2 (en) Inventory verification device
JP2018162122A (ja) 搬送装置、プログラム及び搬送システム
JP5510841B2 (ja) ロボットシステム及び仕分け済み物品の製造方法
JP6496333B2 (ja) 少なくとも１つのセンサを用いた物品搬送装置
JP6367171B2 (ja) 配達支援システム、配達支援装置、及び配達支援プログラム
US20220097243A1 (en) Closed loop solution for loading/unloading cartons by truck unloader
US20150019006A1 (en) Robot system and robot controller
CN115703232A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法
TW202346187A (zh) 緊湊的不可折疊負載的包裝和規劃
CN111498212B (zh) 用于处理失序到达的包裹的机器人系统
JP7021620B2 (ja) マニピュレータおよび移動ロボット
US20220153541A1 (en) Arrangement position determination method of object, control device, non-transitory computer-readable storage medium, cargo handling device, and cargo handling system
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
WO2023182369A1 (ja) 指示装置、ハンドリングシステム、ハンドリング方法、プログラム、及び記憶媒体
WO2024053150A1 (ja) ピッキングシステム
CN115383737A (zh) 用于智能移动机器人的调度系统和方法
JP2024126967A (ja) ワーク積み付けシステム
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant