CN111776762A - 具有自动化包裹扫描和登记机构的机器人系统及其操作方法 - Google Patents

具有自动化包裹扫描和登记机构的机器人系统及其操作方法 Download PDF

Info

Publication number
CN111776762A
CN111776762A CN202010482364.3A CN202010482364A CN111776762A CN 111776762 A CN111776762 A CN 111776762A CN 202010482364 A CN202010482364 A CN 202010482364A CN 111776762 A CN111776762 A CN 111776762A
Authority
CN
China
Prior art keywords
scanning
robotic system
scan
sensor
unidentified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010482364.3A
Other languages
English (en)
Other versions
CN111776762B (zh
Inventor
鲁仙·出杏光
欢·刘
旭涛·叶
何塞·赫罗尼莫·莫雷拉·罗德里格斯
良树·金本
锦泽·余
罗素·伊斯兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mujin Inc filed Critical Mujin Inc
Publication of CN111776762A publication Critical patent/CN111776762A/zh
Application granted granted Critical
Publication of CN111776762B publication Critical patent/CN111776762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
    • B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
    • B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
    • G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0308—Destacking devices
    • B65G2814/031—Removing from the top
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • De-Stacking Of Articles (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Processing (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Control Of Conveyors (AREA)

Abstract

公开了一种用于操作机器人系统以扫描并登记未识别物体的系统和方法。所述机器人系统可使用表示定位在起始位置处的未识别物体的图像数据来实施用于从所述起始位置搬运所述未识别物体的操作。在实施所述操作时，所述机器人系统可获得另外数据，所述另外数据包括所述未识别物体的未包括在所述图像数据中的一个或多个部分的扫描结果。所述机器人系统可使用所述另外数据来登记所述未识别物体。

Description

具有自动化包裹扫描和登记机构的机器人系统及其操作方法
本申请是中国申请CN201980005658.2的分案申请，该申请日期为2019年10月29日，发明名称为“具有自动化包裹扫描和登记机构的机器人系统及其操作方法”。
相关申请的交叉引用
本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，并且进一步要求2019年5月24日提交的美国临时专利申请序列号62/852,963的权益，所述临时专利申请均以引用的方式整体并入本文。本申请还与2019年3月1日提交的美国专利申请序列号16/290,741，现在为美国专利号10,369,701、2019年1月25日提交的美国专利申请序列号16/258,120以及2019年8月13日提交的美国专利申请序列号16/539,790有关，所述专利申请三者均以引用的方式整体并入本文。
技术领域
本技术总体涉及机器人系统，并且更具体地，涉及用于扫描和登记物体的系统、过程和技术。
背景技术
通常情况下，将包裹码垛以便装运到目的地，在目的地处将所述包裹卸垛。虽然可由人工来进行卸垛，但这样做会增加成本并且有造成人身伤害的危险。当卸垛由工业机器人执行时，可采用成像装置来捕获装载到货盘上的包裹堆叠的图像。系统可诸如通过将所捕获图像与存储在登记数据源中的所登记图像进行比较来处理图像以确保机器人臂有效地处理了包裹。当包裹的所捕获图像与登记图像匹配时，系统知道所成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)。然而，无法正确地标识物理特性导致多种有害的后果。例如，这种失败可能导致停止，这可能需要手动登记包裹。另外，这种失败可能导致误处理包裹，特别在包裹相对较重和/或不平衡的情况下。
附图说明
图1是具有包裹扫描登记机构的机器人系统可在其中操作的示例性环境的图示。
图2是示出根据此处所引入的一个或多个实施方案的机器人系统的框图。
图3是根据此处所引入的一个或多个实施方案的机器人系统的图示。
图4A至图4D示出根据此处所引入的一个或多个实施方案的扫描顺序。
图5是根据此处所引入的一个或多个实施方案的机器人系统的图示。
图6A至图6F示出根据此处所引入的一个或多个实施方案的扫描顺序。
图7是根据此处所引入的一个或多个实施方案的用于操作图1的机器人系统的方法的流程图。
具体实施方式
本文描述用于具有自动化包裹扫描和登记机构的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，装置的执行一个或多个指定任务的集成系统)通过自主地(例如，自动地利用很少的人类操作员输入或不利用人类操作员输入)扫描并登记先前未知的或未识别物体(例如，包裹、盒、箱等)提供了增强的可用性与柔韧性。
为了执行各种任务，机器人系统可获得关于在起始位置处的物体的数据(例如，物体的暴露表面的一个或多个图像)并将所述数据与已知或预期物体的登记数据进行比较。在一些实例中，诸如由于预期物体的信息集不完整和/或由于计算机视觉相关的误差，比较可能不会产生匹配结果。当所比较数据的部分无法与已知或预期物体的登记数据匹配时，机器人系统可将对应位置处的物体确定为未识别的。
本文所述的机器人系统的实施方案自主地标识、操纵和登记未识别物体。一旦机器人系统确定传感器输出的部分对应于一个或多个未识别物体，则机器人系统可标识与其他物体分开或不相邻的未识别物体的暴露边缘和/或暴露外拐角。基于暴露边缘和/或暴露外拐角，机器人系统可导出在暴露表面上的最小可行区域(MVR)。MVR可与用于接触并提升对应物体的区域相关联。因此，机器人系统可使用MVR抓持未识别物体，并且操纵它们以完成与未识别物体相关联的任务(例如，将它们从一个位置搬运到另一位置)。
在执行任务时，机器人系统可获得并利用关于未识别物体的另外的信息。例如，机器人系统可获得另外信息，诸如未识别物体在其搬运期间的高度和/或深度。在完成任务时，机器人系统可使未识别物体穿过越过基准(例如，与越过传感器相对应的感测线/平面)上升或下降。越过基准可跨需要所搬运物体占据的位置横向延伸，所述位置诸如起始位置正上方和/或任务位置正上方。诸如当下降的物体首次越过越过基准时和/或当上升的物体跳过越过基准时，机器人系统可检测到传感器事件。机器人系统可在事件发生时确定与所操纵物体接触的端部执行器(例如，抓持器)的竖直位置(例如，高度)。因此，机器人系统可基于将事件发生时端部执行器的高度与越过传感器的已知竖直位置进行比较来确定物体的高度(例如，物体高度)。
此外，机器人系统可自主地获得未知物体的轮廓/侧视图图像和/或关于标识标记的信息(例如，条形码、快速响应(QR)码和/或用于标识物体的其他机构)。在完成任务时，机器人系统可在执行任务时将未识别物体放置在扫描传感器(例如，条形码传感器、快速响应(QR)代码传感器、视觉摄像机和/或其他标识符传感器)前面的一个或多个所导出位置。放置位置可基于未识别物体的其他所获得特性导出，诸如在执行任务期间/时还获得的长度、宽度、高度/深度测量值。机器人系统可类似地导出用于将未识别物体的多个表面呈现给扫描成像器的扫描操纵(例如，水平线性、竖直线性和/或旋转移动)。机器人系统还可根据扫描操纵导出用于操作扫描传感器的定时。
机器人系统可使用露出(例如先前不确定的)边缘和/或拐角、相关联测量值(例如，物体的尺寸)、所更新表面图像/深度图、标识标记的位置和/或值，或它们的组合来登记未识别物体。换句话讲，机器人系统可将新信息存储在主数据中以自主地登记(“自动登记”)先前未识别物体。因此，机器人系统可使用自动登记数据来标识、处理和/或操纵相同类型物体的后续实例。
此外，如下所述获得并导出未识别物体的特性使得机器人系统甚至在没有操作员协助的情况下也能够处理(例如，搬运、打包、拆包等)未识别物体。因此，机器人系统的整体操作即使在存在未识别物体时依然可不间断继续。同样，所导出扫描位置和对应操纵提供了在不中断搬运/物体操纵的情况下成功扫描未识别物体上的标识标记的可能性。因此，机器人系统可在不偏离基于任务的运动计划的情况下以3D方式扫描物体。
在以下描述中，阐述许多具体细节来提供对当前所公开技术的透彻理解。在其他实施方案中，此处所引入的技术可在没有这些具体细节的情况下实践。在其他情况下，不详细描述诸如具体函数或例程的公知特征，以便避免不必要地使本公开晦涩难懂。此说明中对“实施方案”、“一个实施方案”或类似用语的引用意指所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，本说明书中此类短语的出现不一定都指代同一实施方案。另一方面，此类引用也不一定相互排斥。此外，特定特征、结构、材料或特性可以任何合适的方式在一个或多个实施方案中加以组合。应理解，图中所示的各种实施方案仅是说明性表示并且不一定按比例绘制。
出于简洁的目的，在以下描述中年未阐述描述公知且往往与机器人系统和子系统相关联并且可能不必要地使所公开技术的一些重要方面晦涩难懂的结构或过程的若干细节。此外，虽然以下公开内容阐述此处所引入的不同方面的若干实施方案，但若干其他实施方案可具有不同于此章节中所述的那些的配置或部件。因此，所公开的技术可具有带有附加元件或没有下文所述元件中的若干的其他实施方案。
下文所述的本公开的许多实施方案或方面可呈计算机或处理器可执行指令(包括由可编程计算机或处理器执行的例程)的形式。相关领域技术人员应理解，所公开的技术可在下文所示和所述的那些之外的计算机或处理器系统上实践。本文所述的技术可在专门编程、配置或构造为执行下文所述的计算机可执行指令中的一者或多者的专用计算机或数据处理器中体现。因此，如本文一般所用的术语“计算机”和“处理器”指代任何数据处理器并且可包括互联网用具和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程消费者电子器件、网络计算机、迷你计算机等)。由这些计算机和处理器处理的信息可在任何合适的显示介质(包括液晶显示器(LCD))处呈现。用于执行计算机或处理器可执行任务的指令可存储在任何合适的计算机可读介质(包括硬件、固件，或硬件和固件的组合)中或上。指令可包含在任何合适的存储器装置(包括例如闪存驱动器和/或其他合适的介质)中。
术语“联接”和“连接”以及它们的派生词可在本文中用来描述部件之间的结构关系。应理解，这些术语并不意图作为彼此的同义词。而是，在特定实施方案中，“连接”可用于指示两个或更多个元件彼此直接接触。除非在上下文中另外阐明，否则术语“联接”可用于指示两个或更多个元件彼此直接或间接(在其间具有其他干预元件)接触，或者两个或更多个元件彼此配合或交互(例如，如呈因果关系，诸如用于信号传输/接收或用于函数调用)，或两者。
合适的环境
图１是具有包裹扫描登记机构的机器人系统100可在其中操作的示例性环境的图示。机器人系统100可包括被配置来执行一个或多个任务的一个或多个单元(例如，机器人)和/或与所述一个或多个单元通信。打包机构的各方面可由各种单元来实践或实现。
对于图1所示的实例，机器人系统100可包括位于仓库或分配/装运枢纽中的卸载单元102、搬运单元104(例如，码垛机器人和/或拾件机器人)、运输单元106、装载单元108、或它们的组合。机器人系统100中的单元中的每一个可被配置来执行一个或多个任务。任务可按顺序组合以执行实现目标(诸如从卡车或货车卸载物体并将它们存储在仓库中，或者从存储位置卸载物体并将它们准备用于装运)的操作。再如，任务可包括将物体放置在目标位置上(例如，放置在货盘顶部上和/或仓/笼/盒/箱内部)。如下文所述，机器人系统可导出用于放置和/或堆叠物体的计划(例如，放置位置/取向、用于搬运物体的顺序和/或对应运动计划)。单元中的每一个被配置来执行一系列动作(例如，操作其中的一个或多个部件)以执行任务。
在一些实施方案中，任务可包括将目标物体112(例如，对应于正在执行的任务的包裹、盒、箱、笼、货盘等中的一者)从起始位置114操纵(例如，移动和/或重新定向)到任务位置116。例如，卸载单元102(例如，拆箱机器人)可被配置来将目标物体112从载具(例如，卡车)中的位置搬运到输送带上的位置。另外，搬运单元104可被配置来将目标物体112从一个位置(例如，输送带、货盘或仓)搬运到另一位置(例如，货盘、仓等)。再如，搬运单元104(例如，码垛机器人)可被配置来将目标物体112从源位置(例如，货盘、拾取区域和/或输送机)搬运到目的地货盘。在完成操作时，运输单元106可将目标物体112从与搬运单元104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可将目标物体112(通过例如移动承载目标物体112的货盘)从搬运单元104搬运到存储位置(例如，架子上的位置)。下文描述关于任务和相关联动作的细节。
出于说明性目的，机器人系统100是在装运中心的上下文中描述的；然而，应理解，机器人系统100可被配置来在其他环境中/出于其他目的(诸如用于制造、组装、包装、健康护理和/或其他类型的自动化)执行任务。还应理解，机器人系统100可包括图１未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施方案中，机器人系统100可包括用于将物体从笼车或货盘搬运到输送机或其他货盘上的去码垛单元、用于将物体从一个容器搬运到另一个的容器交换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特性对它们进行分组的分类单元、用于根据物体的一个或多个特性以不同方式对物体进行操纵(例如，分类、分组和/或搬运)的拾件单元、或它们的组合。此外，应当理解，机器人系统100可被配置来以不同顺序执行任务，诸如以用于打包/布置物体以及装载用于出境货物运输的物体和/或用于处理和储存来自入境货物运输的物体。
合适的系统
图2是示出根据此处所引入的一个或多个实施方案的机器人系统100的框图。在一些实施方案中，例如，机器人系统100(例如，在上文所述的单元和/或机器人中的一者或多者处)可包括电子/电气装置，诸如一个或多个处理器202、一个或多个存储装置204、一个或多个通信装置206、一个或多个输入-输出装置208、一个或多个致动装置212、一个或多个运输马达214、一个或多个传感器216、或它们的组合。各种装置可通过有线连接和/或无线连接彼此联接。例如，机器人系统100可包括总线，诸如系统总线、外围部件互连(PCI)总线或PCI快速总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(12C)总线，或电子电器工程师协会(IEEE)标准1394总线(也称为“火线”)。另外，例如，机器人系统100可包括桥接器、适配器、处理器，或用于在装置之间提供有线连接的其他信号相关的装置。无线连接可基于例如蜂窝通信协议(例如，3G、4G、LTE、5G等)、无线局域网(LAN)协议(例如，无线保真(WIFI))、对等或装置间通信协议(例如，蓝牙、近场通信(NFC)等)、物联网(IoT)协议(例如，NB-IoT、LTE-M等)和/或其他无线通信协议。
处理器202可包括被配置来执行存储在存储装置204(例如，计算机存储器)上的指令(例如，软件指令)的数据处理器(例如，中央处理单元(CPU)、专用计算机和/或机载服务器)。在在一些实施方案中，处理器202可包括在可操作地耦接到图2所示的其他电子/电气装置和/或图1所示的机器人单元的单独/独立控制器中。处理器202可实施控制其他装置/与其交互的程序指令，从而致使机器人系统100执行动作、任务和/或操作。
存储装置204可包括其上存储有程序指令(例如，软件)的非暂时性计算机可读介质。存储装置204的一些实例可包括易失性存储器(例如，高速缓存和/或随机存取存储器(RAM))和/或非易失性存储器(例如，闪速存储器和/或磁盘驱动器)。存储装置204的其他实例可包括便携式存储器驱动器和/或云存储装置。
在一些实施方案中，存储装置204可用于进一步存储处理结果和/或预定数据/阈值并提供对它们的访问。例如，存储装置204可存储包括对可由机器人系统100操纵的物体(例如，盒、箱和/或产品)的描述的主数据252。在一个或多个实施方案中，主数据252可包括针对每个这种物体的登记数据254。登记数据254可包括预期由机器人系统100操纵的物体的尺寸、形状(例如，潜在姿势的模板和/或用于识别呈不同姿势的物体的计算机生成的模型)、颜色方案、图像、标识信息(例如，条形码、快速响应(QR)码、标志等和/或其预期位置)、预期重量、其他物理/视觉特性、或它们的组合。在一些实施方案中，主数据252可包括关于物体的操纵相关的信息，诸如物体中的每一个上的质心(CoM)位置或其估计、对应于一个或多个动作/操纵的预期传感器测量值(例如，针对力、扭矩、压力和/或接触测量)、或它们的组合。
通信装置206可包括被配置来通过网络与外部或远程装置通信的电路。例如，通信装置206可包括接收器、发射器、调制器/解调器(调制解调器)、信号检测器、信号编码器/解码器、连接器端口、网卡等。通信装置206可被配置来根据一种或多种通信协议(例如，互联网协议(IP)、无线通信协议等)发送、接收和/或处理电信号。在一些实施方案中，机器人系统100可使用通信装置206来在机器人系统100的单元之间交换信息和/或与在机器人系统100外部的系统或装置交换信息(例如，出于报告、数据采集、分析和/或故障排除目的)。
输入-输出装置208可包括被配置来将信息传达给人类操作员和/或从人类操作员接收信息的用户接口装置。例如，输入-输出装置208可包括显示器210和/或用于将信息传达给人类操作员的其他输出装置(例如，扬声器、触觉电路、或触觉反馈装置等)。另外，输入-输出装置208可包括控制或接收装置，诸如键盘、鼠标、触摸屏、传声器、用户接口(UI)传感器(例如，用于接收运动命令的摄像机)、可穿戴输入装置等。在一些实施方案中，机器人系统100可使用输入-输出装置208来在执行动作、任务、操作或它们的组合时与人类操作员交互。
机器人系统100可包括在关节处连接以用于运动(例r，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)。结构构件和关节可形成被配置来操纵端部执行器(例如，夹持器)的动力链，所述端部执行器被配置来根据机器人系统100的用途/操作来执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置来关于对应关节或在对应关节处对结构构件进行驱动或操纵(例如，移位和/或重新定向)的致动装置212(例如，马达、致动器、线材、人工肌肉、电活性聚合物等)。在一些实施方案中，机器人系统100可包括被配置来到处运输对应单元/底架的运输马达214。
机器人系统100可包括被配置来获得用于实施任务(诸如操纵结构构件和/或运输机器人单元)的信息的传感器216。传感器216可包括被配置来检测或测量机器人系统100的一个或多个物理特性(例如，其一个或多个结构构件/关节的状态、状况和/或位置)和/或周围环境的一个或多个物理特性的装置。传感器216的一些实例可包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。
在一些实施方案中，例如，传感器216可包括被配置来检测周围环境的一个或多个成像装置222(例如，视觉和/或红外摄像机、2D和/或3D成像摄像机、诸如激光雷达或雷达的距离测量装置等)。成像装置222可生成所检测环境的可通过机器/计算机视觉来处理(例如，用于自动化检查、机器人引导或其他机器人应用)的表示，诸如数字图像和/或点云。如下文更详细描述，机器人系统100(通过例如处理器202)可处理数字图像和/或点云，以标识图1的目标物体112、图1的起始位置114、图1的任务位置116、目标物体112的姿势、关于起始位置114和/或姿势的置信度量度、或它们的组合。
对于操纵目标物体112，机器人系统100(通过例如上文所述的各种电路/装置)可捕获并分析指定区域(例如，拾取位置，诸如卡车内部或输送带上)的图像，以标识目标物体112及其起始位置114。类似地，机器人系统100可捕获并分析另一指定区域(例如，用于将物体放置在输送机上的投放位置、用于将物体放置在容器内部的位置，或货盘上用于堆叠目的的位置)的图像，以标识任务位置116。例如，成像装置222可包括被配置来生成拾取区域的图像的一个或多个摄像机和/或被配置来生成任务区域(例如，投放区域)的图像的一个或多个摄像机。如下文所述，基于所捕获图像，机器人系统100可确定起始位置114、任务位置116、相关联姿势、打包/放置计划、搬运/打包顺序和/或其他处理结果。下文描述关于打包算法的细节。
在一些实施方案中，例如，传感器216可包括被配置来检测机器人系统100的结构构件(例如，机器人臂和/或端部执行器)和/或对应关节的位置的位置传感器224。机器人系统100可使用位置传感器224来在任务的执行期间跟踪结构构件和/或关节的位置和/或取向。
物体搬运、扫描以及向基于目的地的传感器登记
图3是根据此处所引入的一个或多个实施方案的图1的机器人系统100的图示。机器人系统100可包括机器人臂302(例如，图１的搬运单元104的实例)，所述机器人臂302包括端部执行器304(例如，抓持器)。机器人臂302可被配置来在图１的起始位置114与图１的任务位置116之间搬运目标物体112。如图3所示，起始位置114可具有在其上带有目标堆叠310(例如，一组物体)的货盘308。机器人臂302的任务位置116可以是输送机306(例如，图1的运输单元106的实例)上的放置位置(例如，起始/出口点)。例如，机器人臂302可被配置来从目标堆叠310拾取物体并将它们放置在输送机306上以便运输到另一目的地/任务。
机器人系统100可在利用机器人臂302执行搬运操作时使用图2的传感器216中的一个或多个。在一些实施方案中，机器人系统100可包括第一成像传感器312和/或第二成像传感器314。第一成像传感器312可包括被配置来对起始位置114进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。第二成像传感器314可包括被配置来对任务位置116进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。例如，第一成像传感器312可包括定位在起始位置114上方的已知位置处且面向起始位置114的一个或多个摄像机和/或深度传感器。第一成像传感器312可生成与起始位置114的一个或多个顶视图(诸如目标堆叠310的顶视图)相对应的成像数据。另外，第二成像传感器314可包括定位在一个或多个已知位置处且面向任务位置116或相关联空间的一个或多个摄像机和/或深度传感器，所述已知位置在任务位置116上方。因此，第二成像传感器314可生成与在任务位置116处或在距任务位置116阈值距离内的目标物体112的一个或多个顶视图相对应的成像数据。
在一些实施方案中，机器人系统100可包括一个或多个越过传感器(例如，目的地越过传感器316和/或释放点传感器318)，所述一个或多个越过传感器被配置来检测物体越过/离开对应感测线/平面的越过事件。例如，越过传感器可包括基于所发射和/或所反射信号(例如，光信号、激光等)的连续/中断来检测越过事件的线或平面传感器。在一些实施方案中，越过传感器可沿着感测线发射光信号，并且可在感测线的末端检测和/或反射所发射信号。因此，越过传感器可在接收所发射光信号时检测中断(例如，间断)，所述中断可对应于表示物体越过/进入感测线的进入事件。类似地，越过传感器可在中断时段之后重新检测所发射信号，所述中断时段可对应于表示物体退出感测线的退出事件。越过传感器可基于检测到中断、重新检测到光信号和/或其顺序来生成和/或传达事件数据(例如，标志、状态确定、越过方向和/或时间戳)。
在一些实施方案中，释放点传感器318可用于释放所抓持物体。释放点传感器318可定位在任务位置116上方和/或在预定高度处建立感测线。感测线/平面的高度(例如，释放高度)可用于安全地释放/投放物体而不会损坏物体。例如，感测线的高度可在输送机306上的放置位置上方10cm或更小。因此，机器人系统100可将释放点传感器318所检测到的越过事件用作从端部执行器304释放所承载物体的触发项。在一些实施方案中，释放高度可与目的地越过传感器316的感测线/平面重叠或重合。在其他实施方案中，释放高度可在目的地越过传感器316的感测线/平面和任务位置116的放置表面(例如，输送机306上的放置表面)的竖直位置之间。换句话讲，目的地越过传感器316的感测线/平面可定位在对应于释放点传感器318的释放高度上方。
在一些实施方案中，目的地越过传感器316可用于在搬运期间测量目标物体112的高度。例如，机器人系统100可在如目的地越过传感器316所检测到的进入事件发生时确定抓持器高度322(例如，端部执行器304相对于基准点(诸如地面)的竖直定位/位置/坐标)。机器人系统100可将抓持器高度322与越过基准高度324(例如，目的地越过传感器316的已知竖直位置和/或其基准线/平面)进行比较以计算正在搬运的目标物体112的物体高度320。换句话讲，目的地越过传感器316可充当指示目标物体112的底部部分越过感测线的时间的触发项。因此，机器人系统100可使用在此时的抓持器高度322和感测线的已知高度来计算目标物体112的物体高度320。
在一些实施方案中，机器人系统100可包括被配置来在搬运期间扫描物体的一个或多个扫描传感器330。扫描传感器330的一些示例可包括条形码扫描器、QR码扫描器、成像(2D)摄像机、射频标识(RFID)扫描器和/或其他类型的标识扫描装置。扫描传感器330可被放置在扫描需要所搬运物体占据的位置，所述位置诸如起始位置114正上方和/或任务位置116正上方的空间。此外，扫描传感器330可被放置在相对于目的地越过传感器316和/或其他基准位置(例如，地面)的已知位置处。
基于目的地越过传感器316和扫描传感器330的相对位置/布置，机器人系统100可根据来自目的地越过传感器316或与目的地越过传感器316相关联的信息来操作扫描传感器330。对于图3中所示的示例，扫描传感器330可以已知高度定位在目的地越过传感器316上方，并且可被放置在扫描任务位置116上方的区域。在一些实施方案中，目的地越过传感器316的状态(例如，越过/退出事件)可触发扫描传感器330(例如，指向任务位置116上方的空间的水平面向摄像机)的一个或多个实例以扫描并收集数据。在其他实施方案中，机器人系统100可基于所计算物体高度320或其处理结果来导出扫描位置和/或扫描操纵。因此，机器人系统100可从不同的视角(例如，侧视或轮廓视图/图像、沿着不同维度的形状测量等)获得关于物体的数据和/或在执行任务时扫描标识信息。
出于说明性目的，目的地越过传感器316和扫描传感器330被示为附接到输送机306。然而，应当理解，目的地越过传感器316和扫描传感器330可被不同地配置。例如，目的地越过传感器316和扫描传感器330可与任务位置116处的任何设备断开连接和/或独立于所述设备。另外，应当理解，扫描传感器330可包括以不同位置和取向布置的一组扫描器，以同时/顺序地扫描物体的多个表面。
目的地越过传感器316和扫描传感器330(例如，水平面向摄像机或ID扫描器)可在搬运期间获得未识别物体的另外数据。如上所述，目的地越过传感器316可用于在搬运物体时没有任何另外操纵/移动的情况下计算所搬运物体的物体高度320。此外，在提升物体之后确定物体高度320可提高高度测量值的准确度，因为某些物体在放置在另一个物体之上时可能会变形。换句话讲，当物体被提升/悬挂时，物体的形状和任何对应尺寸可能改变。例如，当物体被悬挂时，物体轮廓和/或对应高度(例如，从端部执行器304到物体的底部部分的距离)可能由于包裹中缺乏刚度而改变，诸如对于包裹在塑料包装物中的基于布料或基于橡胶的物品而言。通过使用越过传感器(例如，目的地越过传感器316)来在搬运期间确定物体高度，机器人系统100可准确地(通过例如运动计划)解释在搬运期间物体的形状/尺寸的任何变化。因此，机器人系统100可在搬运物体时使用实际物体高度(例如，悬挂时的物体高度而非静止高度)，从而减少/消除由于形状变化而可能发生的任何碰撞。在一些实施方案中，机器人系统100可根据实际物体高度来调整运输速度、运输加速度或它们的组合，以减少所搬运物体的摇摆或摆动运动。在一些实施方案中，机器人系统100可使用静止物体高度和/或所搬运物体高度来登记未识别物体。
此外，机器人系统100可根据所计算物体高度320来操纵物体并操作扫描传感器330，以提供关于可能无法由第一成像传感器312和/或第二成像传感器314检测到的未识别物体的准确的标识信息(例如，一个或多个竖直定向的表面/边缘的2D/3D图像、轮廓形状、标识符值和/或标识符位置)。如下文详细描述，物体高度和/或另外信息可用于生成未识别物体的图2的登记数据254。因此，机器人系统100可获得关于未识别物体的更多信息，所述信息可用于增加后续识别其他类似物体的可能性和/或在进一步操纵物体时提高准确度，而不会干扰搬运任务。
在一些实施方案中，机器人系统100可使用物体高度和/或另外信息诸如通过分析除顶表面之外的物体的其他表面(例如，竖直定向的表面/尺寸)来重新分析并识别物体。因此，机器人系统100可减少未识别盒或假否定结果的数量。
基于目的地的传感器的物体高度计算和扫描顺序
图4A至图4D示出根据此处所引入的一个或多个实施方案的用于高度计算和物体扫描的顺序(例如，各种示例性处理状态)。图4A示出高度未知状态402。对于高度未知状态402，图1的机器人系统100可操作图3的机器人臂302或执行用于操作图3的机器人臂302的指令，以将端部执行器304和目标物体112水平重叠并放置在任务位置116上方。高度未知状态402可先于物体高度320的计算。因此，机器人系统100可使目标物体112朝向任务位置116(即，输送机306)下降。在高度未知状态402期间，机器人系统100可将目标物体112放置在与扫描传感器330相关联的扫描区之外(例如，上方和/或下方)。因此，扫描传感器330可保持不活动。
图4B示出高度计算状态404，其对应于目标物体112的底部部分进入或越过感测线416(例如，由目的地越过传感器316发送/感测到的激光/光学信号所穿过的线)。如上所述，机器人系统100可在越过事件发生时获得抓持器高度322。使用图3的抓持器高度322和越过基准高度324(例如，感测线416的高度)，机器人系统100可计算物体高度320(例如，作为两个参数之间的差)。在高度计算状态404期间，机器人系统100可将目标物体112放置在与扫描传感器330相关联的扫描区之外(例如，上方和/或下方)。因此，扫描传感器330可保持不活动。
图4C示出扫描状态406。基于所计算物体高度320，机器人系统100可导出一个或多个扫描位置412和/或扫描操纵414。扫描位置412可包括用于放置端部执行器304以利用扫描传感器330呈现并扫描目标物体112的一个或多个表面(例如，周边/竖直定向的表面)或其一部分的位置和/或取向(例如，姿势)。换句话讲，扫描位置412可用于将目标物体112放置在扫描传感器330的扫描区内(例如，在所述扫描传感器330前面和/或在预定距离内)。扫描操纵414可包括一系列命令和/或设置(例如，运动计划)，其被配置来使端部执行器304跨用于扫描未识别物体的空间移动。换句话讲，扫描操纵414可对应于未识别物体的竖直位移(例如，沿着z轴)、水平位移(例如，沿着x轴和/或y轴)和/或旋转(例如，围绕z轴旋转)以扫描一个表面的多个部分和/或其多个表面。
作为说明性示例，物体通常可在一个或多个物体表面的拐角和/或端部部分上包括条形码和/或QR码。为了扫描条形码和/或QR码，机器人系统100可使用所计算物体高度320来定位目标物体112(例如，未识别物体)的拐角和/或端部部分。因此，基于物体高度320，机器人系统100可提供准确定位未识别物体上的条形码、QR码和/或其他标识符的增加的可能性。
机器人系统100可使用拐角和/或端部部分位置的估计来导出扫描位置412。机器人系统100可根据扫描位置412操作图3的机器人臂302和/或端部执行器304，从而将目标物体112的多个表面中的一个放置在扫描传感器330的扫描区中。例如，机器人系统100可使目标物体112在其底部部分越过感测线416之后上升，使得竖直定向的表面的底部或顶部部分在扫描区内。另外，机器人系统100可使目标物体112下降，使得竖直定向的表面的顶部部分在扫描区内。机器人系统100还可使目标物体112上升/下降以使目标物体112在扫描区内竖直居中。
机器人系统100可基于拐角和/或端部位置的估计来进一步导出扫描操纵414。例如，机器人系统100可导出用于使目标物体112水平地/竖直地移位以将其多个拐角和/或端部部分呈现给扫描传感器330的扫描操纵414。另外，机器人系统100可导出用于使目标物体112旋转以将其多个表面呈现给扫描传感器330的扫描操纵404。
机器人系统100可基于将端部执行器304放置在扫描位置412处和/或基于实施扫描操纵414来操作扫描传感器330。例如，机器人系统100可在将端部执行器304放置在扫描位置412处之后和/或在实施扫描操纵414时的预定定时处触发扫描传感器330。另外，机器人系统100可在扫描传感器330保持激活时实施扫描操纵414。因此，基于扫描位置412和/或扫描操纵414，机器人系统100可呈现未识别物体的多个表面/部分，并且增加在未识别物体上准确定位和扫描标识符的可能性。
在另选的实施方案中，机器人系统100可移动扫描传感器330(通过例如机器人臂)以扫描目标物体112。因此，机器人系统100可导出扫描位置412和/或扫描操纵414，以使扫描传感器330而非目标物体112移位或重新定位。因此，机器人系统100可在扫描时使目标物体112的移动最小化，从而减少/消除在扫描期间(例如，由于抓持失败或碰撞造成的)物体损失的可能性。
图4D进一步示出扫描状态406。更具体地，图4D从俯视图示出目标物体112。在一些实施方案中，机器人系统100可根据多个扫描传感器330和对应的扫描区来导出扫描位置412和/或扫描操纵414。另外，作为说明性示例，机器人系统100可导出用于沿着x轴和/或y轴移动所识别物体和/或用于使物体围绕z轴旋转的扫描操纵414。
物体搬运、扫描以及向基于源的传感器登记
图5是根据此处所引入的一个或多个实施方案的图１的机器人系统100的图示。图5中所示的机器人系统100的各方面可类似于图3中所示的那些，但是具有定位在不同位置处的一个或多个传感器。
机器人系统100可包括机器人臂502(例如，图1的搬运单元104的实例)，所述机器人臂502包括端部执行器504(例如，抓持器)。机器人臂502可被配置来在图1的起始位置114与图1的任务位置116之间搬运图1的目标物体112。在一些实施方案中，起始位置114可对应于其上具有目标堆叠510(例如，可包括目标物体112的一组物体)的容器508(例如，壁车(walled-cart))。机器人臂502的任务位置116可以是输送机506(例如，图1的运输单元106的实例)上的放置位置(例如，起始/出口点)。例如，机器人臂502可被配置来从目标堆叠510拾取物体并将它们放置在输送机506上以便运输到另一目的地/任务。
机器人系统100可在利用机器人臂502执行搬运操作时使用图2的传感器216中的一个或多个。在一些实施方案中，机器人系统100可包括第一成像传感器512和/或第二成像传感器514。第一成像传感器512可包括被配置来对起始位置114进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。第二成像传感器514可包括被配置来对任务位置116进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。例如，第一成像传感器512可包括定位在起始位置114上方的已知位置处且面向起始位置114的一个或多个摄像机和/或深度传感器。第一成像传感器512可生成与起始位置114的一个或多个顶视图(诸如目标堆叠510的顶视图)相对应的成像数据。另外，第二成像传感器514可包括定位在一个或多个已知位置处且面向任务位置116一个或多个摄像机和/或深度传感器，所述已知位置在任务位置116上方。因此，第二成像传感器514可生成与在任务位置116处或在距任务位置116阈值距离内的目标物体112的一个或多个顶视图相对应的成像数据。
在一些实施方案中，机器人系统100可包括一个或多个越过传感器(例如，目的地越过传感器516和/或释放点传感器518)，所述一个或多个越过传感器被配置来检测物体越过/离开对应感测线/平面(例如，越过基准520)的越过事件。例如，越过传感器可对应于基于所发射和/或所反射信号(例如，光信号、激光等)的连续/中断来检测越过事件的线或平面传感器。在一些实施方案中，越过传感器可沿着感测线发射光信号，并且可在感测线的末端检测和/或反射所发射信号，从而建立越过基准520。因此，越过传感器可在接收所发射光信号时检测中断(例如，间断)，所述中断可对应于表示物体越过/进入越过基准520的进入事件。类似地，越过传感器可在中断时段之后重新检测所发射信号，所述中断时段可对应于表示物体退出越过基准520的退出事件。
在一些实施方案中，释放点传感器518可用于释放所抓持物体。释放点传感器518可定位在任务位置116上方和/或在预定高度处建立感测线。感测线高度可用于安全地投放物体而不会损坏物体。例如，感测线的高度可在输送机506上的放置位置上方10cm或更小。因此，机器人系统100可将释放点传感器518所检测到的越过事件用作从端部执行器304释放所承载物体的触发项。
在一些实施方案中，源越过传感器516可用于在搬运期间测量目标物体112的物体高度。例如，机器人系统100可在如源越过传感器516所检测到越过事件(退出事件)发生时确定抓持器高度522(例如，端部执行器504相对于基准点(诸如地面)的竖直定位/位置)。机器人系统100可将抓持器高度522与越过基准高度524(例如，源越过传感器516的已知竖直位置和/或越过基准520)进行比较以计算正在搬运的目标物体112的物体高度。换句话讲，源越过传感器516可充当指示目标物体112的底部部分退出感测线的时间的触发项。因此，机器人系统100可使用在此时的抓持器高度522和越过基准520的已知高度来计算目标物体112的物体高度。
在一些实施方案中，机器人系统100可包括被配置来在搬运期间扫描物体的一个或多个扫描传感器530。扫描传感器530的一些示例可包括条形码扫描器、QR码扫描器、成像(2D)摄像机、射频标识(RFID)扫描器和/或其他类型的标识扫描装置。扫描传感器530可被定位成扫描需要所搬运物体占据的位置，所述位置诸如起始位置114和/或任务位置116正上方/与其相邻的空间。此外，扫描传感器530可定位在相对于图3的目的地越过传感器316、源越过传感器516和/或其他基准位置(例如，地面)的已知位置处。
基于源越过传感器516和扫描传感器530的相对位置/布置，机器人系统100可根据来自源越过传感器516或与源越过传感器516相关联的信息来操作扫描传感器530。对于图5所示的示例，扫描传感器530可以已知高度定位在源越过传感器516上方，并且可被定位成扫描起始位置114上方的区域。在一些实施方案中，源越过传感器516的状态(例如，越过/退出事件)可触发扫描传感器530的一个或多个实例(例如，指向起始位置114上方的空间的水平面向摄像机)以扫描并收集数据。在其他实施方案中，机器人系统100可基于所计算物体高度或其一个或多个处理结果来导出扫描位置和/或扫描操纵。因此，机器人系统100可从不同的视角(例如，侧视或轮廓视图/图像、底视图/图像、沿着不同维度的形状测量等)获得关于物体的数据和/或在执行任务时扫描标识信息。
出于说明性目的，源越过传感器516和扫描传感器530被示为附接到容器508。然而，应当理解，源越过传感器516和扫描传感器530可被不同地配置。例如，源越过传感器516和扫描传感器530可与起始位置114处的任何设备断开连接和/或独立于所述设备。另外，应当理解，扫描传感器530可包括以不同位置和取向布置的一组扫描器，以同时/顺序地扫描物体的多个表面。
源越过传感器516和扫描传感器530(例如，水平和/或向上面向摄像机或ID扫描器)可在搬运期间获得未识别物体的另外数据。如上所述，源越过传感器516可用于在搬运物体时没有任何另外操纵/移动的情况下计算所搬运物体的物体高度。此外，在提升物体之后确定物体高度可提高高度测量值的准确度，因为某些物体在放置在另一个物体之上时可能会变形。换句话讲，当物体被提升/悬挂时，物体的形状和任何对应尺寸可能改变。例如，当物体被悬挂时，物体轮廓和/或对应高度(例如，从端部执行器504到物体的底部部分的距离)可能由于包裹中缺乏刚度而改变，诸如对于包裹在塑料包装物中的基于布料或基于橡胶的物品而言。通过使用越过传感器(例如，源越过传感器516)来在搬运期间确定物体高度，机器人系统100可准确地(通过例如运动计划)解释在搬运期间物体的形状/尺寸的任何变化。因此，机器人系统100可在搬运物体时使用实际物体高度(例如，悬挂时的物体高度而非静止高度)，从而减少/消除由于形状变化而可能发生的任何碰撞。在一些实施方案中，机器人系统100可根据实际物体高度来调整运输速度、运输加速度或它们的组合，以减少所搬运物体的摇摆或摆动运动。在一些实施方案中，机器人系统100可使用静止物体高度和/或所搬运物体高度来登记未识别物体。
此外，机器人系统100可根据所计算物体高度来操纵物体并操作扫描传感器530，以提供关于可能无法由第一成像传感器512和/或第二成像传感器514检测到的未识别物体的准确的标识信息(例如，一个或多个竖直和/或底表面/边缘的2D/3D图像、轮廓形状、标识符值和/或标识符位置)。如下文详细描述，物体高度和/或另外信息可用于生成未识别物体的图2的登记数据254。因此，机器人系统100可获得关于未识别物体的更多信息，所述信息可用于增加后续识别其他类似物体的可能性和/或在进一步操纵物体时提高准确度，而不会干扰搬运任务。
在一些实施方案中，机器人系统100可使用物体高度和/或另外信息诸如通过分析除顶表面之外的物体的其他表面(例如，竖直定向的表面/尺寸)来重新分析并识别物体。因此，机器人系统100可减少未识别盒或假否定结果的数量。
基于源的传感器的物体高度计算和扫描顺序
图6A至图6D示出根据此处所引入的一个或多个实施方案的用于高度计算和物体扫描的顺序(例如，各种示例性处理状态)。图1的机器人系统100可根据端部执行器504和/或图１的目标物体112的位置/高度来操作源越过传感器516/执行用于源越过传感器516的操作的指令。
图6A表示初始状态602，所述初始状态602对应于图5的机器人臂502和/或端部执行器504位于容器508上方和/或外部。初始状态602可对应于机器人臂502开始伸进容器508以抓持并拾取目标物体112。因此，机器人系统100可在初始状态602期间关闭和/或忽略来自图5的源越过传感器516和/或扫描传感器530的输出。
图6B表示接近状态604，所述接近状态604对应于机器人臂502越过进入容器508并且到其顶部部分以下、接触并抓持目标物体112和/或初始提升目标物体112。例如，接近状态604可表示端部执行器504在目标物体112之方(例如，在与图1的起始位置114相关联的边界内)和/或在图5的越过基准高度524下方。机器人系统100可在接近状态604期间使扫描传感器530保持关闭或忽略其输出。
图6C表示越过状态606，所述越过状态606对应于目标物体112越过或进入越过基准520。机器人系统100可在操作机器人臂502时跟踪抓持器位置(例如，一组坐标值，诸如在图5中示出的x-y-z值)，所述抓持器位置包括图5的抓持器高度522。当抓持器高度522超过图5的越过基准高度524时，机器人系统100可生成激活事件612以打开源越过传感器516。来自源越过传感器516的输出可对应于初始越过状态614，其中目标物体112越过或进入越过基准520。
在一些实施方案中，由于机器人臂502穿过越过基准520，因此机器人系统100可在初始状态602之后(例如，在接近状态604期间)生成激活事件612和/或确定初始越过状态614。换句话讲，当端部执行器504(例如，水平重叠)在容器508之上时并且当抓持器高度522小于越过基准高度524时，机器人系统100可生成激活事件612和/或确定初始越过状态614。在一些实施方案中，机器人系统100可在越过状态606期间使扫描传感器530保持关闭或忽略其输出。在其他实施方案中，机器人系统100可在越过状态606期间基于抓持器高度522来触发或激活扫描传感器530。
图6D表示离开状态608，所述离开状态610对应于目标物体112退出或离开越过基准520。离开状态608可对应于由源越过传感器516检测到的退出事件616。例如，当目标物体112的底部部分在越过基准520上方时，可由源越过传感器516检测到所发射光/激光信号。
机器人系统100可使用退出事件616或其定时(即，对应于退出事件616的时间戳)来计算目标物体112的物体高度620。使用来自源越过传感器516的信息来计算物体高度620的处理可类似于使用来自目的地越过传感器(例如，图3的目的地越过传感器316)的信息来计算高度的处理。例如，机器人系统100可在退出事件616发生时确定抓持器高度522。机器人系统100可基于在退出事件616发生时抓持器高度522与越过基准高度524之间的差(例如，已知/预定值)来计算物体高度620。在一些实施方案中，机器人系统100可在接近状态604期间使扫描传感器530保持关闭或忽略其输出。在其他实施方案中，机器人系统100可基于退出事件616和/或抓持器高度522来激活或触发扫描传感器530。
图6E表示离开状态610，所述离开状态610对应于目标物体112退出或离开越过基准520。基于所计算物体高度620，机器人系统100可导出一个或多个扫描位置652和/或扫描操纵654。扫描位置652可包括用于放置端部执行器504以利用扫描传感器530呈现并扫描目标物体112的一个或多个表面(例如，周边/竖直定向的表面和/或底表面)或其一部分的位置。换句话讲，扫描位置652可用于将目标物体112放置在扫描传感器530的扫描区内(例如，在所述扫描传感器330前面和/或在预定距离内)。扫描操纵654可包括一系列命令和/或设置(例如，运动计划)，其被配置来使端部执行器504跨用于扫描未识别物体的空间移动。换句话讲，扫描操纵654可对应于未识别物体的竖直位移(例如，沿着z轴)、水平位移(例如，沿着x轴和/或y轴)和/或旋转(例如，围绕z轴旋转)以扫描一个表面的多个部分和/或其多个表面。
作为说明性示例，物体通常可在一个或多个物体表面的拐角和/或端部部分上包括条形码和/或QR码。为了扫描条形码和/或QR码，机器人系统100可使用物体高度620来定位目标物体112的底表面。机器人系统100可使用所计算物体高度620和/或水平尺寸来进一步定位目标物体112(例如，未识别物体)的一个或多个表面的拐角和/或端部部分。因此，基于物体高度620，机器人系统100可提供准确定位未识别物体上的条形码、QR码和/或其他标识符的增加的可能性。
机器人系统100可使用拐角和/或端部位置部分的所估计位置来导出扫描位置652。机器人系统100可根据扫描位置562操作机器人臂502和/或端部执行器504，从而将目标物体112的多个表面中的一个放置在扫描传感器530的扫描区中。例如，机器人系统100可使目标物体112在其底部部分退出基准平面620之后上升，使得竖直定向的表面的顶部部分或底表面在扫描区内。另外，机器人系统100可使目标物体112下降，使得竖直定向的表面的顶部部分在扫描区内。机器人系统100还可使目标物体112上升/下降以使目标物体112在扫描区内竖直居中。
机器人系统100可基于拐角和/或端部位置的位置估计来进一步导出扫描操纵654。例如，机器人系统100可导出用于使目标物体112水平地/竖直地移位以将其多个拐角、端部部分和/或表面呈现给扫描传感器530的扫描操纵654。另外，机器人系统100可导出用于使目标物体112旋转以将其多个表面呈现给扫描传感器530的扫描操纵654。
机器人系统100可基于将端部执行器504放置在扫描位置652处和/或基于实施扫描操纵654来操作扫描传感器530/执行用于操作扫描传感器530的指令。例如，机器人系统100可在将端部执行器504放置在扫描位置652处之后和/或在实施扫描操纵654时的预定定时处触发扫描传感器530。另外，机器人系统100可在扫描传感器530保持激活时实施扫描操纵654。因此，基于扫描位置652和/或扫描操纵654，机器人系统100可呈现未识别物体的多个表面/部分，并且增加在未识别物体上准确定位和扫描标识符的可能性。
在另选的实施方案中，机器人系统100可移动扫描传感器530(通过例如机器人臂)以扫描目标物体112。因此，机器人系统100可导出扫描位置652和/或扫描操纵654，以使扫描传感器530而非目标物体112移位或重新定位。因此，机器人系统100可在扫描时使目标物体112的移动最小化，从而减少/消除在扫描期间(例如，由于抓持失败或碰撞造成的)物体损失的可能性。
图6F进一步示出扫描状态610。在一些实施方案中，机器人系统100可根据一个或多个扫描传感器530和对应的扫描区来导出图6E的扫描位置652和/或图6E的扫描操纵654。另外，作为说明性示例，机器人系统100可导出用于沿着x轴和/或y轴移动未识别物体和/或用于使未识别物体围绕z轴(也称为竖直轴线)旋转的扫描操纵654。
出于说明性目的，已经相对于越过传感器与扫描传感器之间的特定布置描述了扫描顺序。然而，应当理解，可在不同的实施方案中不同地应用扫描顺序。例如，机器人系统100可使用源越过传感器516来计算物体高度620(通过例如状态602-608)，并且在图1的任务位置116附近诸如使用图3的扫描传感器330来扫描未识别物体。因此，机器人系统100可导出与使未识别物体朝向任务位置116下降相关联的扫描位置/操纵。
用于在任务执行期间扫描和登记的操作流程
图7是根据本文所引入的一个或多个实施方案的用于操作图1的机器人系统100的方法700的流程图。方法700可用于在执行不同任务时登记未识别物体，诸如用于将未识别物体从图1的起始位置114(例如，货盘和/或容器)搬运到图1的任务位置116(例如，输送机)。方法700可用于使用越过传感器(例如，图3的目的地越过传感器316和/或图5的源越过传感器516)和/或扫描传感器(例如，图3的扫描传感器330和/或图5的扫描传感器530)来获得关于未识别物体的信息。所获得信息可用于登记未识别物体。方法700可基于利用图2的处理器202中的一个或多个执行存储在图2的存储装置204中的一个或多个上的指令来实施。
在框702处，机器人系统100(例如，其中的图2的处理器202和/或传感器216)可获得源数据。例如，机器人系统100可(例如，在操纵/搬运一个或多个物体之前)获得表示在起始位置114处的图3的目标堆叠310的初始2D和/或3D图像数据。在一些实施方案中，机器人系统100可操作图3的第一成像传感器312、图5的512和/或其他传感器以生成表示定位在起始位置114处的(例如，可识别或不可识别)物体的顶表面的图像数据。机器人系统100可在传感器(例如，第一成像传感器312/512)与处理器202之间传达图像数据，以进行进一步处理。
在框704处，机器人系统100可处理所获得源数据以搜索可识别物体。例如，机器人系统100可将源数据或其导出值与图2的主数据252进行比较。在一些实施方案中，机器人系统100可将来自第一成像传感器312/512的一个或多个2D图像数据(例如，对应于目标堆叠310的顶视图)与主数据252中的已知或预期物体的表面图像进行比较。
在框706处，机器人系统100可确定源数据或其任何部分是否与主数据252中所表示的已知或预期物体的各方面匹配。当源数据或其导出值与主数据252中的条目(例如，表示已知物体的登记数据)匹配时，机器人系统100可确定所识别物体。否则，机器人系统100可确定源数据中所表示的物体中的一个或多个包括未识别物体中的一个或多个。
在框708处，当物体被识别时，机器人系统100可进一步处理所识别物体，诸如将所识别物体搬运到任务位置116(例如，输送机306/506)。机器人系统100可导出和/或实施运动计划以将所识别物体搬运到任务位置116。例如，机器人系统100可使用所识别物体的位置来导出的机器人臂302和/或端部执行器304的对应位置。机器人系统100可使用图3的机器人臂302或图5的502和/或图3的端部执行器304/图5的504的所导出位置和当前/投影位置来进一步导出移动和/或对应致动器命令/设置。类似地，机器人系统100可导出机器人臂302/502和/或端部执行器304/504的位置、移动和/或对应致动器命令/设置，所述对应致动器命令/设置对应于使所识别物体提升、水平移位、下降和/或旋转，以供搬运。机器人系统100可基于按顺序组合致动器命令/设置来导出运动计划，以将所识别物体从起始位置114搬运到任务位置116。机器人系统100可进一步基于将搬运命令/设置与预定的移动顺序和/或对应致动器命令/设置组合来导出运动计划，以抓持和/或释放物体。在一些实施方案中，机器人系统100可基于来自图3的释放点传感器318或图5的518的触发信号来导出运动计划以释放物体。释放点传感器318可被配置来在所搬运物体的底部部分越过与放置表面上方的安全释放高度相对应的感测线/平面时生成触发信号。
在一些实施方案中，机器人系统100可基于将通信命令/设置传达到机器人臂302和/或端部执行器304来实施/执行运动计划。因此，机器人系统100可基于根据所导出命令/设置操作机器人臂302/502和/或端部执行器304/502的图2的致动装置212和/或图2的运输马达214来执行所导出运动计划。在一些实施方案中，方法700可在搬运所识别物体中的一个或多个之后返回至框702并获得所更新源数据。所述方法可重复地实施上述过程(例如，框702-808)，直到将所有暴露和/或可触及的所识别物体(例如，目标堆叠310的顶层中的所有识别物体)般运到任务位置116。
当任何剩余的暴露和/或可触及物体均识别不到时(例如，与主数据252中的条目相对应或匹配)，机器人系统100可接收表示定位在起始位置112的未识别物体的图像数据。例如，图像数据可表示剩余未识别物体的一个或多个顶表面。
在框710处，机器人系统100可估计剩余未识别物体的位置。例如，机器人系统100可使用来自第一传感器312/512的成像结果来估计未识别物体的水平尺寸、位置和/或边界。为了定位未识别物体和/或其边界，机器人系统100可在起始位置114处标识物体的周边(暴露)边缘和/或相关联拐角，诸如框712处所示。例如，机器人系统100可通过根据3D成像输出(例如，深度图)确定高度差和/或通过分析图案(例如，连续和/或线性图案)的2D成像输出的像素亮度、像素颜色、高度/深度测量等来标识周边边缘。在一些实施方案中，机器人系统100可利用索贝尔滤波器处理成像输出以标识暴露边缘。机器人系统100可类似地将暴露外拐角标识为具有不同取向/斜率的两个暴露边缘之间的接合部或相交部。使用暴露拐角，机器人系统100可导出最小可行区域(MVR)，所述最小可行区域表示对应于一个目标未识别物体的最小区域。MVR可表示未识别物体的连续表面的初始估计。因此，如框714处所示，机器人系统100可使用MVR来导出抓持位置，以供通过端部执行器304/504接触并抓持未识别物体。
在框720处，机器人系统100可实施与未识别物体相关联的一个或多个任务。例如，机器人系统100可将未识别物体从起始位置114搬运到任务位置116。在一些实施方案中，机器人系统100可基于图像数据来实施任务。机器人系统100可标识图像数据中所表示的一组周边边缘(诸如开放或3D边缘(其可以是在3D点云中标识的边缘，所述边缘指示3D边缘的相对侧上的深度值的阶跃变化))和/或对应于未识别物体的一个或多个顶表面的可视2D边缘。机器人系统100可基于所标识周边边缘来导出MVR。机器人系统100可使用MVR来操作操作机器人臂302/502和/或端部执行器304/504或执行用于操作机器人臂302/502和/或端部执行器304/504的指令，以抓持并搬运未识别物体。
在一些实施方案中，机器人系统100可在任务的实施期间获得关于未识别物体的另外数据。例如，机器人系统100可移动(例如，提升)未识别物体或执行用于移动未识别物体的指令以进一步将未识别物体与相邻物体分开。然后，机器人系统100可对目标堆叠310和所移动物体重新成像或执行对目标堆叠310和所移动物体重新成像的指令以进一步标识所移动物体的其他周边边缘(例如，先前与其他相邻物体相邻或邻接的边缘)。另外，机器人系统100可在实施任务的初始部分期间/时(诸如在将未识别物体从对应的起始位置112初始搬运之后)计算/最终确定未识别物体的顶表面的尺寸(例如宽度和长度)。
为了获得其他另外数据，机器人系统100可计算未识别物体的物体高度(例如，图3的物体高度320和/或图6的物体高度620)，如框732所示。如上所述，机器人系统100可在未识别物体的搬运期间计算物体高度。例如，机器人系统100可在实施操作以执行任务(通过例如生成/发送相关联的运动计划、命令和/或设置)时基于跟踪抓持器位置并检测越过事件来计算物体高度。越过事件可表示未识别物体的底部部分相对于(例如，进入和/或退出)与越过传感器相关联的越过基准(例如，感测线)。在一些实施方案中，机器人系统100可在下降到任务位置116时使用与底部部分进入图3的目的地越过传感器316的感应线/平面相关联的越过事件。在其他实施方案中，机器人系统100可在从起始位置114提升时使用与底部部分进入和/或退出图5的源越过传感器516的感测线/平面相关联的越过事件。
机器人系统100可使用所述事件或其定时来计算物体高度。例如，机器人系统100可使用越过事件的定时来确定抓持器位置(例如，越过事件发生时的抓持器高度)。机器人系统100可将物体高度计算为越过事件发生时的越过基准的已知高度与抓持器位置(例如，抓持器高度)之间的差。
在框734处，机器人系统100可在搬运期间使用所计算物体高度将目标区域定位在未识别物体上。目标区域可表示未识别物体的未在初始成像数据中表示的部分(例如，来自第一成像传感器312的顶视图图像可能不包括未识别物体的侧面/竖直定向的表面或底部的表示)。机器人系统100可估计在初始成像数据中可见的竖直定向的表面和/或其周边边缘的姿势。
作为说明性示例，机器人系统100可基于物体高度和顶表面的周边边缘的尺寸/位置来估计目标区域(例如，竖直定向的表面和/或其部分)的当前位置。在实施任务操作时，机器人系统100可基于所跟踪抓持器位置来导出/跟踪正在搬运的未识别物体的顶表面的当前姿势。根据估计未识别物体(例如，盒、圆筒等)的整体形状的模板方程或过程，机器人系统100可使用顶表面的姿势和物体高度来导出姿势(例如，位置和/或取向)和/或周边边缘的位置，所述边缘限定未识别物体的一个或多个竖直定向的表面。基于所导出的周边边缘的姿势，机器人系统100可将目标区域定位为未识别物体的竖直定向的表面的端部部分(例如，周边边缘附近的区域)和/或拐角部分。在一些实施方案中，机器人系统100可将目标区域定位为在其上可能具有标识符(例如，条形码、QR码等)的整个竖直定向的表面和/或其上的其他部分。
机器人系统100可进一步计算竖直定向的表面的尺寸。例如，机器人系统100可假设未识别物体具有盒或圆柱形状，并且将物体高度设置为竖直定向的表面的公共长度。机器人系统100可将顶表面的对应尺寸设置为竖直定向的表面中的每一个的宽度。另外或替代地，机器人系统100可导出正在搬运的未识别物体的底表面的姿势和/或尺寸。
在框736处，机器人系统100可使用所定位的目标区域来导出扫描位置(例如，图4C的扫描位置412和/或图6E的扫描位置652)。在导出扫描位置时，机器人系统100可确定可用扫描传感器(例如，一个或多个扫描传感器330和/或一个或多个扫描传感器530)的扫描区。扫描区可表示可由对应的扫描传感器检测到的空间，诸如在传感器的检测部分的前面、在距传感器的检测部分的阈值距离内和/或在传感器的检测部分周围的阈值角度范围内的空间。机器人系统100可基于查找或访问定位或限定扫描区的预定数据来确定扫描区。
机器人系统100可导出扫描位置以用于将目标区域(例如，竖直定向的表面和/或其部分)大体放置在扫描区内并且面向传感器。换句话讲，扫描位置可包括将目标区域中的一个或多个呈现给扫描传感器的端部执行器304/504的期望姿势(例如，位置和/或取向)。
作为说明性示例，机器人系统100可通过将竖直定向的表面的尺寸与扫描区的一个或多个预定尺寸阈值进行比较来确定是否可一次扫描整个竖直定向的表面。当尺寸小于预定尺寸阈值时，机器人系统100可导出扫描位置，所述扫描位置将竖直定向的表面的中心部分(例如，包括其所导出边缘之间的中点的目标位置)和/或所导出边缘中的一个(例如，包括顶部边缘的中点的目标位置)定位在相对于扫描传感器的预定位置处。例如，机器人系统100可将竖直定向的表面定位成居中且在扫描传感器前面间隔开预定距离。
当竖直定向的表面的尺寸中的一个或多个大于预定尺寸阈值中的一个或多个时，机器人系统100可确定未识别物体的竖直定向的表面太大而不能被准确地成像或捕获为单个图像。因此，机器人系统100可导出一个或多个扫描位置，所述一个或多个扫描位置将目标位置(例如，分开的拐角/端部部分)呈现给扫描传感器。换句话讲，机器人系统100可导出端部执行器304/504的扫描位置，所述端部执行器304/504将竖直定向的表面的目标部分放置在扫描区中并且面向扫描传感器。例如，机器人系统100可根据超过阈值的竖直定向的表面的一个或多个尺寸来选择一组目标区域，所述目标区域被配置来完全覆盖或捕获竖直定向的表面。所述组中的各个目标区域可各自被配置来覆盖不同的部分，使得总而言之，所述组捕获整个竖直定向的表面。机器人系统100可根据竖直定向的表面的一个或多个周边边缘和/或其对应尺寸来为所选择目标区域中的每一个导出基准位置。机器人系统100可在相对于扫描传感器的已知位置处针对对应的基准位置导出与所选择目标区域中的每一个相对应的扫描位置。例如，机器人系统100可导出第一扫描位置，所述第一扫描位置对应于将竖直定向的表面的第一拐角或第一端部部分呈现给扫描传感器。机器人系统100可类似地导出第二扫描位置，所述第二扫描位置对应于呈现第二拐角或第二端部部分。
机器人系统100可进一步导出与未识别物体的底表面相关联的扫描位置。例如，机器人系统100可导出扫描位置以将底表面放置在面向上的扫描传感器之上。在一些实施方案中，机器人系统100可确定表面和/或一个或多个表面内的部分的扫描顺序。例如，机器人系统100可计算置信度值，所述置信度值表示标识符在对应的目标部分上的可能性。在一些实施方案中，机器人系统100可根据顶表面的一个或多个视觉特性来计算置信度值。例如，当视觉特性(诸如不存在文字/徽标和/或存在折痕或分离矩形盖板的线)指示未识别物体的顶表面显示在初始图像中时，机器人系统100可增大置信度值。机器人系统100可根据可能性值对扫描位置进行定序。
在一些实施方案中，机器人系统100可导出扫描操纵(例如，图4C的扫描操纵414和/或图6E的扫描操纵654)，如框738处所示。机器人系统100可基于扫描位置来导出扫描操纵。例如，机器人系统100可导出用于水平地和/或竖直地搬运端部执行器304以从一个扫描位置到另一个扫描位置的扫描操纵。另外，机器人系统100可在将端部执行器放置在扫描位置处之后导出用于使端部执行器并由此使未识别物体围绕竖直轴线(例如，z轴)旋转的扫描操纵。通过实施扫描操纵，机器人系统100可搬运未识别物体以将表面上的多个部分和/或多个表面呈现给扫描传感器。
在框740处，机器人系统100可诸如通过将命令、设置和/或运动计划传达给其中的对应的机器人单元或部件来实施扫描操作。机器人系统100可在实施任务时或在实施任务期间实施扫描操作。在一些实施方案中，例如，机器人系统100可暂停任务的实施，实施扫描操作，然后恢复任务。在其他实施方案中，机器人系统100可分阶段生成并实施任务。初始地，机器人系统100可实施任务的第一部分，以搬运未识别物体，直到越过事件发生为止。根据越过事件，机器人系统100可基于上述处理结果来实施扫描操作。在实施扫描操作之后，机器人系统100可生成并实施任务的其余部分。此外，任务和/或实施任务的其余部分可包括进一步提升未识别物体、将未识别物体水平地搬运到任务位置116之上、使未识别物体下降到任务位置116和/或将未识别物体释放到任务位置116处或之上。
机器人系统100可通过生成/发送命令、设置和/或运动计划来实施扫描操作，所述命令、设置和/或运动计划根据一个或多个扫描位置来操作机器人臂302/502和/或端部执行器304/504。例如，图2的一个或多个处理器202可确定并传达命令、设置和/或运动计划，所述命令、设置和/或运动计划在由机械手302/502和/或端部执行器304/504执行时将端部执行器304/504放置在扫描位置处。因此，机器人系统100可在一个或多个扫描传感器前面呈现未识别物体的目标部分。另外，机器人系统100可在将端部执行器304/504放置在扫描位置处之后实施扫描操纵。
机器人系统100可进一步根据机器人臂302/502和/或端部执行器304/504的操作来操作扫描传感器。例如，机器人系统100可在将端部执行器304/504放置在扫描位置中的每一个处之后激活扫描传感器。另外，机器人系统100可在将端部执行器304/504放置在一个扫描位置处之后(例如，通过生成激活命令)激活扫描传感器，并且在实施扫描操纵时使扫描传感器保持活动状态。因此，机器人系统100可扫描未识别物体的在初始成像数据中不可见/不可访问的一个或多个部分。
在框742处，机器人系统100可接收与扫描操作相关联的一个或多个结果。例如，机器人系统100可从扫描传感器接收状态、扫描值和/或时间戳。所述状态可表示扫描成功或扫描错误，诸如由于标识符不在扫描区内。扫描值可包括由标识符表示的值和/或由扫描传感器捕获的图像。时间戳可对应于扫描传感器生成扫描值和/或一个或多个处理器202接收到扫描值的时间。
机器人系统100可使用所获得结果来生成扫描结果。扫描结果可包括值、图像、时间戳和/或其处理结果。例如，扫描结果可包括由条形码、QR码、RF标识符发射器等表示的值。另外，扫描结果可包括标识符的所估计位置，所述所估计位置可基于端部执行器304/504对应于时间戳的当前位置来导出。在一些实施方案中，机器人系统100可(通过例如预定视觉模式识别过程)视觉地处理来自扫描传感器的扫描图像，以定位标识符及其表示的值。另外或替代地，机器人系统100可标识扫描图像中的周边边缘，然后在周边边缘之外裁剪出其一部分。机器人系统100可生成扫描结果，所述扫描结果包括视觉上表示被扫描表面的所裁剪图像。
在框724处，机器人系统100可诸如基于创建和/或填充与之相对应的登记数据254的新实例来登记所搬运物体(例如，未识别物体)。新登记数据254可表示正在搬运的未识别物体的新记录。在一些实施方案中，机器人系统100可另外将所获得信息(包括所裁剪图像或标识符值)与主数据252中的条目进行比较。当比较结果匹配时，机器人系统100可相应地调整正在搬运的物体的识别状态。否则，机器人系统100可继续登记未识别物体。
在登记未识别物体时，机器人系统100可将与标识符和/或其他物理性状相关联的信息存储在主数据252中。例如，机器人系统100可在搬运期间或之前为登记数据254创建条目。机器人系统100可将所获得数据(诸如顶视图、边缘长度、物体高度或其组合)存储在所创建条目中。另外，机器人系统100可将扫描结果存储在登记数据254中。当将未识别物体放置在任务位置116上和/或从端部执行器304/504释放时，机器人系统１00可最终确定和/或存储登记数据254。
在登记物体时或之后，机器人系统100可完成任务。例如，当扫描传感器成功返回标识符值或扫描图像时，机器人系统100可停止扫描操作。然后，机器人系统100可继续实施任务的其余部分，并且将未识别物体放置在任务位置116处。在一些实施方案中，机器人系统100可在完成任务的同时获得扫描结果和/或登记所搬运物体。
在一些实施方案中，方法700可重复地搬运并登记来自一个图像的一组未识别物体。因此，在搬运并登记一个未知物体之后，方法700可从剩余的未识别物体中确定新登记目标，如到框710的反馈路径所示。在一些实施方案中，如到框702的反馈路径所示，方法700可包括在搬运并登记未知物体之后对起始位置114重新成像。
实施例
一种用于操作机器人系统的方法可包括：接收表示定位在起始位置处的未识别物体的顶表面的图像数据；标识所述图像数据中所表示的所述顶表面的第一组周边边缘；至少部分地基于所述第一组周边边缘实施用于将所述未识别物体搬运到任务位置的操作；在实施用于搬运所述未识别物体的所述操作时检测事件，其中所述事件表示所述未识别物体相对于定位在越过基准高度处的横向定向的越过基准的进入或退出；基于所述事件计算所述未识别物体的物体高度；基于所述物体高度和所述第一组周边边缘导出所述未识别物体的竖直定向的表面或其一部分的位置；基于所述竖直定向的表面的所导出位置来导出扫描位置，其中所述扫描位置表示用于将所述竖直定向的表面呈现给扫描传感器的姿势；基于所述扫描位置实施用于搬运所述未识别物体以将所述竖直定向的表面暴露于扫描传感器的操作；生成表示来自所述扫描传感器的输出的扫描结果，所述扫描传感器扫描所述竖直定向的表面或其所述一部分；以及创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。
所述方法可进一步包括：基于实施用于搬运所述未识别物体以将所述竖直定向的表面暴露于所述扫描传感器的所述操作生成用于操作所述扫描传感器的一个或多个命令；其中所述扫描结果是由所述竖直定向的表面上的条形码和/或快速响应(QR)码表示的值。所述方法还可包括：基于所述扫描位置导出扫描操纵，其中所述扫描操纵是用于搬运所述未识别物体以将其多个部分呈现给所述扫描传感器；在实施用于搬运所述竖直定向的表面的操作之后，根据所述扫描操纵实施用于将所述竖直定向的表面的多个部分和/或所述未识别物体的多个表面呈现给所述扫描传感器的操作；以及基于根据所述扫描操纵实施用于扫描所述竖直定向的表面的所述多个部分和/或所述多个表面的所述操作来生成用于操作所述扫描传感器的一个或多个命令。另外，所述方法可基于与使所述未识别物体绕围绕竖直轴线旋转相对应的所述扫描操纵。所述方法还可包括：基于所述物体高度和/或所述第一组周边边缘计算所述竖直定向的表面的尺寸；当所述尺寸超过阈值时，基于所述竖直定向的表面的所导出位置来导出第二扫描位置，其中所述扫描位置和所述第二扫描位置用于将所述竖直定向的表面的不同端部部分或拐角呈现给所述扫描传感器；其中：所述扫描操纵是用于将所述未识别物体从所述扫描位置搬运到所述第二扫描位置；并且用于操作所述扫描传感器的所述一个或多个命令表示在根据所述扫描操纵实施操作时使所述扫描传感器保持活动状态。
一种机器人系统可包括：至少一个处理器；以及至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：接收表示定位在起始位置处的未识别物体的图像数据；基于所述图像数据实施任务，其中所述任务包括用于将所述未识别物体搬运到任务位置的操作；在实施用于搬运所述未识别物体的所述操作时，实施用于扫描所述未识别物体的在所述图像数据中未表示的至少一部分的操作；基于实施用于扫描所述未识别物体的所述至少一部分的所述操作生成扫描结果；并且创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。所述指令还可用于：在实施所述任务时获得对应于所述未识别物体的另外数据；基于所述另外数据计算所述未识别物体的物体高度；基于所述物体高度导出扫描位置，其中所述扫描位置表示用于将所述未识别物体的在所述图像数据中未表示的所述至少一部分呈现给扫描传感器的姿势；基于以下实施用于扫描所述未识别物体的至少一部分的操作：用于根据所述扫描位置定位所述未识别物体的命令和/或设置；以及用于在根据所述扫描位置定位所述未识别物体时和/或之后操作所述扫描传感器的激活命令。
在一些实施方案中，所述图像数据表示所述未识别物体的顶表面。所述指令可对应于标识所述图像数据中所表示的所述顶表面的一个或多个周边边缘的位置；基于所述一个或多个周边边缘和所述物体高度导出所述未识别物体的目标位置，其中所述目标位置表示所述未识别物体的在所述图像数据中未表示的所述至少一部分的位置；确定所述扫描传感器的扫描区，其中所述扫描区表示能够由所述扫描传感器检测到的空间；以及基于所述目标位置和所述扫描区导出所述扫描位置。在一些实施方案中，所述未识别物体的在所述图像数据中未表示的所述至少一部分包括所述未识别物体的竖直定向的表面或其周边部分。在一些实施方案中，所述扫描位置可对应于所述竖直定向的表面的第一拐角。所述指令可对应于基于以下实施用于扫描的操作：基于所述物体高度导出的第二扫描位置，其中所述第二扫描位置表示用于将所述竖直定向的表面的第二拐角呈现给所述扫描传感器的姿势；以及根据所述扫描位置和所述第二扫描位置导出的用于竖直地和/或水平地移动所述竖直定向的表面的扫描操纵。在一些实施方案中，所述指令可用于基于以下生成包括标识符位置的扫描结果：接收通过扫描在所述竖直定向的表面上能访问的标识符而得到的标识符值；在接收所述标识符值时确定抓持器位置；基于所述抓持器位置导出标识符位置，所述标识符位置表示所述标识符在所述竖直定向的表面上的位置；以及生成包括所述标识符值和所述标识符位置的所述扫描结果。所述指令还可用于：基于进一步生成命令和/或设置来实施用于扫描所述未识别物体的至少一部分的操作，所述命令和/或设置用于使所述未识别物体围绕竖直轴线旋转以将多个表面呈现给所述扫描传感器。
在一个或多个实施方案中，所述指令可用于：接收扫描图像，其中所述扫描图像是所述未识别物体的所述至少一部分的视觉表示；以及基于所述扫描图像生成所述扫描结果。另外，所述指令可用于：基于对所述扫描图像进行视觉处理来确定标识符值，其中所述标识符值对应于在所述竖直定向的表面上能访问的标识符；基于对所述扫描图像进行视觉处理来导出标识符位置，其中所述标识符位置表示所述标识符在所述竖直定向的表面上的位置；以及生成包括所述标识符值和所述标识符位置的所述扫描结果。另外，所述指令可用于：标识所述扫描图像中所述未识别物体的周边边缘；以及生成包括所述扫描图像在所标识周边边缘内的所裁剪部分的所述扫描结果。
一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由机器人系统通过其一个或多个处理器执行时致使所述机器人系统执行方法，所述方法可包括：接收表示定位在起始位置处的未识别物体的图像数据；基于所述图像数据定位所述未识别物体的至少一部分；至少部分地基于所定位部分实施任务，其中所述任务是用于将所述未识别物体搬运到任务位置；在实施所述任务时获得另外信息；基于所获得另外信息导出用于将所述未识别物体的在所述图像数据中未表示的至少一部分呈现给扫描传感器的一个或多个扫描位置；在实施所述任务时，基于所述一个或多个扫描位置实施用于扫描所述未识别物体的在所述图像数据中未表示的所述至少一部分的操作；基于实施用于扫描所述未识别物体的所述至少一部分的所述操作生成扫描结果；以及创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。
获得所述另外信息可包括：在实施所述任务期间，在实施用于使所述未识别物体朝向所述任务位置下降的操作时检测越过事件，其中所述越过事件表示所述未识别物体相对于定位在已知高度处的横向定向的越过基准的进入和/或退出；基于所述越过事件计算物体高度，其中所述物体高度用于导出所述一个或多个扫描位置。获得所述另外信息还可包括：在实施所述任务期间，在实施用于从所述起始位置提升所述未识别物体的操作时检测越过事件，其中所述越过事件表示所述未识别物体相对于定位在已知高度处的横向定向的越过基准的进入和/或退出；以及基于所述越过事件计算物体高度，其中所述物体高度用于导出所述一个或多个扫描位置。
在实施所述任务时实施用于扫描所述未识别物体的所述至少一部分的所述操作可包括：至少暂时停止所述任务的所述实施，在暂时停止所述任务的实施时，实施用于扫描所述未识别物体的所述至少一部分的所述操作，以及在生成所述扫描结果之后，使所述未识别物体朝向所述任务位置下降，以便完成所述任务。在实施所述任务时实施用于扫描所述未识别物体的所述至少一部分的所述操作还可包括：至少暂时停止所述任务的所述实施，在暂时停止所述任务的实施时，实施用于扫描所述未识别物体的所述至少一部分的所述操作，以及在生成所述扫描结果之后，使所述未识别物体朝向所述任务位置下降，以便完成所述任务。
在一些实施方案中，所述未识别物体的所述至少一部分可包括竖直定向的表面。因此，实施用于扫描所述未识别物体的所述至少一部分的所述操作可包括：在检测到所述越过事件之后，实施用于将所述未识别物体的所述竖直定向的表面呈现给所述扫描传感器的水平面向实例的所述操作；以及生成所述扫描结果包括：基于实施用于扫描所述未识别物体的所述竖直定向的表面的所述操作生成所述扫描结果。在一些实施方案中，所述未识别物体的所述至少一部分可包括底表面。因此，实施用于扫描所述未识别物体的所述至少一部分的所述操作可包括：在检测到所述越过事件之后，实施用于将所述未识别物体的所述底表面呈现给所述扫描传感器的面向上实例的所述操作；以及生成所述扫描结果包括：基于实施用于扫描所述未识别物体的所述底表面的所述操作生成所述扫描结果。
结论
所公开技术的实例的上文具体实施方式并不意图是详尽的或将所公开技术限于所公开的确切形式。虽然出于说明性目的描述了所公开技术的具体实例，但如相关领域技术人员应认识到，在所公开技术的范围内各种等效修改也是可能的。例如，虽然过程或框是以给定次序呈现的，但替代实现方式可以不同次序执行具有步骤的例程或采用具有框的系统，并且可删除、移动、添加、细分、组合和/或修改一些过程或框来提供替代方案或子组合。这些过程或框中的每一个可以各种不同方式来实现。另外，虽然过程或框有时被示出为串联执行，但这些过程或框可替代地并行执行或实现，或者可在不同时间执行。此外，本文所指出的任何具体数目仅是实例；替代实现方式可采用不同的值或范围。
根据上文具体实施方式，可对所公开技术进行这些和其他改变。虽然具体实施方式描述了所公开技术的某些实例以及所设想的最佳模式，但所公开技术可以许多方式来实践，而无论文中上文描述呈现的如何详细。系统的细节可在其具体实现方式中相差甚大，但仍由本文所公开的技术涵盖。如上文所指出，在描述所公开技术的某些特征或方面时所用的特定术语不应被视为暗示本文中将术语重新定义为限于所公开技术的与所述技术相关联的任何具体特性、特征或方面。因此，除所附权利要求之外，本发明不受限制。一般来说，以下权利要求中所用的术语不应被视为将所公开技术限于说明书中所公开的具体实例，除非上文具体实施方式章节明确地限定了此类术语。
虽然本发明的某些方面在下文是以某些权利要求的形式呈现的，但本申请人可设想了呈任何数目的权利要求形式的本发明的各种方面。因此，本申请人保留在提交本申请之后追加附加权利要求以在本申请中或在接续申请中追加此类附加权利要求形式的权利。

Claims (10)

1.一种用于操作机器人系统的方法，所述方法包括：
接收表示定位在起始位置处的未识别物体的顶表面的图像数据；
标识所述图像数据中所表示的所述顶表面的第一组周边边缘；
至少部分地基于所述第一组周边边缘实施用于将所述未识别物体搬运到任务位置的操作；
在实施用于搬运所述未识别物体的所述操作时检测事件，其中所述事件表示所述未识别物体相对于定位在越过基准高度处的横向定向的越过基准的进入或退出；
基于所述事件计算所述未识别物体的物体高度；
基于所述物体高度和所述第一组周边边缘导出所述未识别物体的竖直定向的表面或其一部分的位置；
基于所述竖直定向的表面的所导出位置来导出扫描位置，其中所述扫描位置表示用于将所述竖直定向的表面呈现给扫描传感器的姿势；
基于所述扫描位置实施用于搬运所述未识别物体以将所述竖直定向的表面暴露于扫描传感器的操作；
生成表示来自所述扫描传感器的输出的扫描结果，所述扫描传感器扫描所述竖直定向的表面或其所述一部分；以及
创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。
2.如权利要求1所述的方法，其还包括：
基于实施用于搬运所述未识别物体以将所述竖直定向的表面暴露于所述扫描传感器的所述操作生成用于操作所述扫描传感器的一个或多个命令；并且
其中：
所述扫描结果是由所述竖直定向的表面上的条形码和/或快速响应(QR)码表示的值。
3.如权利要求1所述的方法，其还包括：
基于所述扫描位置导出扫描操纵，其中所述扫描操纵是用于搬运所述未识别物体以将其多个部分呈现给所述扫描传感器；
在实施用于搬运所述竖直定向的表面的操作之后，根据所述扫描操纵实施用于将所述竖直定向的表面的多个部分和/或所述未识别物体的多个表面呈现给所述扫描传感器的操作；以及
基于根据所述扫描操纵实施用于扫描所述竖直定向的表面的所述多个部分和/或所述多个表面的所述操作来生成用于操作所述扫描传感器的一个或多个命令。
4.如权利要求3所述的方法，其中所述扫描操纵对应于使所述未识别物体围绕竖直轴线旋转。
5.如权利要求3所述的方法，其还包括：
基于所述物体高度和/或所述第一组周边边缘计算所述竖直定向的表面的尺寸；
当所述尺寸超过阈值时，基于所述竖直定向的表面的所导出位置来导出第二扫描位置，其中所述扫描位置和所述第二扫描位置用于将所述竖直定向的表面的不同端部部分或拐角呈现给所述扫描传感器；
其中：
所述扫描操纵是用于将所述未识别物体从所述扫描位置搬运到所述第二扫描位置；并且
用于操作所述扫描传感器的所述一个或多个命令表示在根据所述扫描操纵实施操作时使所述扫描传感器保持活动状态。
6.一种机器人系统，其包括：
至少一个处理器；以及
至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以：
接收表示定位在起始位置处的未识别物体的图像数据；
基于所述图像数据实施任务，其中所述任务包括用于将所述未识别物体搬运到任务位置的操作；
在实施用于搬运所述未识别物体的所述操作时，实施用于扫描所述未识别物体的在所述图像数据中未表示的至少一部分的操作；
基于实施用于扫描所述未识别物体的所述至少一部分的所述操作生成扫描结果；并且
创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。
7.如权利要求6所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：
在实施所述任务时获得对应于所述未识别物体的另外数据；
基于所述另外数据计算所述未识别物体的物体高度；
基于所述物体高度导出扫描位置，其中所述扫描位置表示用于将所述未识别物体的在所述图像数据中未表示的所述至少一部分呈现给扫描传感器的姿势；
基于以下实施用于扫描所述未识别物体的至少一部分的操作：
用于根据所述扫描位置放置所述未识别物体的命令和/或设置；以及
用于在根据所述扫描位置放置所述未识别物体时和/或之后操作所述扫描传感器的激活命令。
8.如权利要求7所述的机器人系统，其中：
所述图像数据表示所述未识别物体的顶表面；
所述至少一个存储器装置包括用于以下的指令：
标识所述图像数据中所表示的所述顶表面的一个或多个周边边缘的位置；
基于所述一个或多个周边边缘和所述物体高度导出所述未识别物体的目标位置，其中所述目标位置表示所述未识别物体的在所述图像数据中未表示的所述至少一部分的位置；
确定所述扫描传感器的扫描区，其中所述扫描区表示能够由所述扫描传感器检测到的空间；以及
基于所述目标位置和所述扫描区导出所述扫描位置。
9.如权利要求7所述的机器人系统，其中所述未识别物体的在所述图像数据中未表示的所述至少一部分包括所述未识别物体的竖直定向的表面或其周边部分。
10.一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由机器人系统通过其一个或多个处理器执行时致使所述机器人系统执行方法，所述方法包括：
接收表示定位在起始位置处的未识别物体的图像数据；
基于所述图像数据定位所述未识别物体的至少一部分；
至少部分地基于所定位部分实施任务，其中所述任务是用于将所述未识别物体搬运到任务位置；
在实施所述任务时获得另外信息；
基于所获得另外信息导出用于将所述未识别物体的在所述图像数据中未表示的至少一部分呈现给扫描传感器的一个或多个扫描位置；
在实施所述任务时，基于所述一个或多个扫描位置实施用于扫描所述未识别物体的在所述图像数据中未表示的所述至少一部分的操作；
基于实施用于扫描所述未识别物体的所述至少一部分的所述操作生成扫描结果；以及
创建表示所述未识别物体的新记录的新登记数据，其中所述新登记数据包括所述扫描结果。
CN202010482364.3A 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法 Active CN111776762B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30
US201962852963P 2019-05-24 2019-05-24
US62/852,963 2019-05-24
CN201980005658.2A CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980005658.2A Division CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法

Publications (2)

Publication Number Publication Date
CN111776762A true CN111776762A (zh) 2020-10-16
CN111776762B CN111776762B (zh) 2021-07-23

Family

ID=70327497

Family Applications (11)

Application Number Title Priority Date Filing Date
CN201910582988.XA Pending CN111113492A (zh) 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法
CN202010482376.6A Active CN111776759B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN201980005938.3A Pending CN111566028A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005658.2A Pending CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN202010416747.0A Active CN111633633B (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN202010539927.8A Active CN111861306B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005659.7A Pending CN111566027A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN202010539908.5A Active CN111861305B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980005929.4A Pending CN111491878A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980003163.6A Pending CN111629868A (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN202010482364.3A Active CN111776762B (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法

Family Applications Before (10)

Application Number Title Priority Date Filing Date
CN201910582988.XA Pending CN111113492A (zh) 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法
CN202010482376.6A Active CN111776759B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN201980005938.3A Pending CN111566028A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005658.2A Pending CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN202010416747.0A Active CN111633633B (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN202010539927.8A Active CN111861306B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005659.7A Pending CN111566027A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN202010539908.5A Active CN111861305B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980005929.4A Pending CN111491878A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980003163.6A Pending CN111629868A (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法

Country Status (6)

Country Link
US (11) US10703584B2 (zh)
JP (15) JP6704154B2 (zh)
KR (3) KR20240042157A (zh)
CN (11) CN111113492A (zh)
DE (6) DE112019000125B4 (zh)
WO (6) WO2020091846A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
CN114161426A (zh) * 2021-12-29 2022-03-11 海澜智云科技有限公司 一种工业机器人的控制系统

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
DE112019000125B4 (de) 2018-10-30 2021-07-01 Mujin, Inc. Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US11224951B2 (en) * 2018-12-21 2022-01-18 The Boeing Company Method and apparatus for single-sided clamp-up
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
EP3702985A1 (en) * 2019-02-28 2020-09-02 Accenture Global Solutions Limited Augmented reality enabled cargo loading optimization
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US11069073B2 (en) * 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
US10954081B1 (en) 2019-10-25 2021-03-23 Dexterity, Inc. Coordinating multiple robots to meet workflow and avoid conflict
SG10201913056VA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Method and apparatus for obtaining sample images, and electronic device
US11040836B1 (en) * 2020-01-24 2021-06-22 Becton Dickinson Rowa Germany Gmbh Device and method for separating piece goods
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US11443449B2 (en) * 2020-02-26 2022-09-13 Zebra Technologies Corporation Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
US11922253B2 (en) 2020-04-20 2024-03-05 Rehrig Pacific Company Camera enabled portal
CN113658205B (zh) * 2020-06-04 2022-08-12 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
JP7118382B2 (ja) * 2020-06-04 2022-08-16 株式会社Mujin 物理的エッジ検出を実行または促進するための方法および計算システム
AT524101A1 (de) * 2020-07-27 2022-02-15 Tgw Logistics Group Gmbh System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
CN112157671A (zh) * 2020-09-24 2021-01-01 中国标准化研究院 一种用于电子商务产品质量抽检的包裹取料机械手及方法
CN111928790B (zh) * 2020-10-16 2020-12-29 成都裕鸢航空零部件制造有限公司 一种基于互联网的航空零部件厚度计量装置及计量方法
CN112276956B (zh) * 2020-10-30 2022-05-17 北京市商汤科技开发有限公司 一种物品配送方法、装置、设备以及存储介质
CN113058238B (zh) * 2020-12-05 2021-12-17 林周容 篮球内胎自动贴片系统及方法
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
US20240150139A1 (en) * 2021-03-10 2024-05-09 Aquabot Ltd. System and method for identifying or acquiring data corresponding to a handled item
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
US20220289502A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Adaptive robotic singulation system
WO2022203980A1 (en) * 2021-03-26 2022-09-29 Boston Dynamics, Inc. Dynamic mass estimation methods for an integrated mobile manipulator robot
JP2022157884A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 ロボットの制御方法、ロボットシステムおよびロボット制御プログラム
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
US20220362936A1 (en) * 2021-05-14 2022-11-17 Intelligrated Headquarters, Llc Object height detection for palletizing and depalletizing operations
WO2022245842A1 (en) * 2021-05-18 2022-11-24 Mujin, Inc A robotic system for object size measurement
US20220388171A1 (en) * 2021-06-03 2022-12-08 Intrinsic Innovation Llc Robotic workspace introspection via force feedback
US20230027984A1 (en) 2021-07-21 2023-01-26 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP6964917B1 (ja) * 2021-08-10 2021-11-10 リンクウィズ株式会社 計測システム、計測方法、プログラム
US11787585B2 (en) * 2021-08-19 2023-10-17 Rehrig Pacific Company Pallet wrapper and imaging system
US11823440B2 (en) 2021-08-19 2023-11-21 Rehrig Pacific Company Imaging system with unsupervised learning
US20230070495A1 (en) * 2021-09-07 2023-03-09 Mujin, Inc. Robotic gripper assemblies for openable object(s) and methods for picking objects
AT525383A1 (de) * 2021-09-07 2023-03-15 Knapp Ag System zur Vereinzelung und Identifizierung von Artikeln
WO2023054539A1 (ja) * 2021-09-28 2023-04-06 京セラ株式会社 情報処理装置、ロボットコントローラ、情報処理システム、及び情報処理方法
IT202100025490A1 (it) * 2021-10-07 2023-04-07 Bosso S R L Magazzino automatico
US20230115849A1 (en) * 2021-10-11 2023-04-13 Mazor Robotics Ltd. Systems and methods for defining object geometry using robotic arms
CN115246547B (zh) * 2021-10-21 2023-09-12 梅卡曼德（北京）机器人科技有限公司 垛型续码方法、装置、计算设备及计算机存储介质
US20230137715A1 (en) * 2021-10-28 2023-05-04 Ubtech North America Research And Development Center Corp Vision-guided picking and placing method, mobile robot and computer-readable storage medium
MX2022013771A (es) 2021-11-01 2023-05-02 Rehrig Pacific Co Sistemas de entrega.
AT525778B1 (de) * 2021-11-09 2023-11-15 Tgw Logistics Group Gmbh Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
CN113816137A (zh) * 2021-11-19 2021-12-21 佛山隆深机器人有限公司 一种基于机械臂的箱体分拣运输装置及控制方法
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
KR102486009B1 (ko) * 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
CN115009845B (zh) * 2022-08-04 2022-10-25 江苏安纳金机械有限公司 一种新型翘板机及其方法
KR102491429B1 (ko) * 2022-08-24 2023-01-27 주식회사 한성시스코 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법
DE102022121538A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ablegen eines Objekts vermittels eines Roboters
JP7488311B2 (ja) 2022-10-27 2024-05-21 アリー ロジスティック プロパティ カンパニー，リミテッド 物流作業を実行するための施設及び方法
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117532644B (zh) * 2023-12-26 2024-04-12 广东亚数智能科技股份有限公司 一种三维视觉引导机械手抓取装置及其控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03234491A (ja) * 1990-02-09 1991-10-18 Daifuku Co Ltd ロボット使用の自動移載装置
JPH0797057A (ja) * 1993-09-27 1995-04-11 Murata Mach Ltd パレタイズパターン認識装置
CN1135201C (zh) * 1998-10-22 2004-01-21 Abb股份有限公司 堆放集装箱的方法和实现在堆放目标上选择所需位置的方法的装置
CN103043359A (zh) * 2011-10-17 2013-04-17 株式会社安川电机 机器人系统、机器人以及已分拣物品的制造方法
CN103822594A (zh) * 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
US20150203304A1 (en) * 2014-01-22 2015-07-23 Axium Inc. Vision-Assisted Robotized Depalletizer
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
CN106660207A (zh) * 2014-07-16 2017-05-10 X开发有限责任公司 用于轨迹规划的物体度量的实时确定
CN106945035A (zh) * 2015-11-06 2017-07-14 佳能株式会社 机器人控制设备及其控制方法和机器人系统
WO2017146895A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2894449B2 (ja) * 1989-04-07 1999-05-24 株式会社ダイフク カメラ使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高ｒ値複合鋼板およびその製造方法
US5290454A (en) 1992-11-12 1994-03-01 Pump And Paper Research Institute Of Canada Process for removal of suspended solids from pulp and paper mill effluents
JPH06171760A (ja) * 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JPH07291450A (ja) * 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JP3277739B2 (ja) * 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JPH09251544A (ja) * 1996-03-14 1997-09-22 Toshiba Corp ワークエッジ検出画像処理装置
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US6272230B1 (en) 1998-02-11 2001-08-07 Analogic Corporation Apparatus and method for optimizing detection of objects in computed tomography data
JPH11333770A (ja) 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
JPH10323491A (ja) 1998-07-06 1998-12-08 Hitachi Ltd 脱水洗濯機
JP3525896B2 (ja) 1999-03-19 2004-05-10 松下電工株式会社 ３次元物体認識方法および同方法を使用したビンピッキングシステム
JP2001058723A (ja) * 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3596434B2 (ja) * 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
JP3849514B2 (ja) * 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) * 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) * 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
WO2004085121A1 (ja) * 2003-03-27 2004-10-07 Sony Corporation ロボット装置及びロボット装置の制御方法
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2005333824A (ja) 2004-05-24 2005-12-08 Olympus Corp 検体導入装置および培養処理装置
KR100657915B1 (ko) 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の３次元位置認識装置およびデパレタイズシステム
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
US20090028686A1 (en) 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101003654B1 (ko) 2008-08-27 2010-12-23 삼성전기주식회사 반도체 패키지용 트랜스포머
US8489232B2 (en) 2008-09-30 2013-07-16 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) * 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
DE112011103794B4 (de) * 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
JP5510841B2 (ja) 2011-12-22 2014-06-04 株式会社安川電機 ロボットシステム及び仕分け済み物品の製造方法
CN102616578A (zh) 2011-11-18 2012-08-01 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
JP2013145525A (ja) 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN202539084U (zh) 2012-03-01 2012-11-21 成都三茁科技有限公司 多位扫描识别系统
JP2013246589A (ja) 2012-05-24 2013-12-09 Sharp Corp 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP5945968B2 (ja) * 2013-09-03 2016-07-05 株式会社安川電機 ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) * 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
US20170057148A1 (en) * 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
US11010816B2 (en) * 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
JP6466297B2 (ja) * 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6710622B2 (ja) * 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
US10370201B2 (en) * 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
CN108349083B (zh) 2015-11-13 2021-09-21 伯克希尔格雷股份有限公司 用于提供各种物体的分拣的分拣系统和方法
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6690300B2 (ja) * 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
CN105817430B (zh) 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) * 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
US20180198983A1 (en) * 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
WO2018131237A1 (ja) * 2017-01-13 2018-07-19 三菱電機株式会社 協働ロボットシステム、及びその制御方法
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) * 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
CN110520259B (zh) 2017-04-04 2021-09-21 牧今科技 控制装置、拾取系统、物流系统、存储介质以及控制方法
US10328578B2 (en) 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
US10471597B1 (en) * 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP7065632B2 (ja) 2018-02-13 2022-05-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法
JP2018158439A (ja) 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
CN110737399B (zh) 2018-07-20 2023-09-05 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
DE112019000125B4 (de) 2018-10-30 2021-07-01 Mujin, Inc. Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11023763B2 (en) 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US11798273B2 (en) 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03234491A (ja) * 1990-02-09 1991-10-18 Daifuku Co Ltd ロボット使用の自動移載装置
JPH0797057A (ja) * 1993-09-27 1995-04-11 Murata Mach Ltd パレタイズパターン認識装置
CN1135201C (zh) * 1998-10-22 2004-01-21 Abb股份有限公司 堆放集装箱的方法和实现在堆放目标上选择所需位置的方法的装置
CN103043359A (zh) * 2011-10-17 2013-04-17 株式会社安川电机 机器人系统、机器人以及已分拣物品的制造方法
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
US20150203304A1 (en) * 2014-01-22 2015-07-23 Axium Inc. Vision-Assisted Robotized Depalletizer
CN103822594A (zh) * 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
CN106660207A (zh) * 2014-07-16 2017-05-10 X开发有限责任公司 用于轨迹规划的物体度量的实时确定
CN106945035A (zh) * 2015-11-06 2017-07-14 佳能株式会社 机器人控制设备及其控制方法和机器人系统
WO2017146895A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
CN114161426A (zh) * 2021-12-29 2022-03-11 海澜智云科技有限公司 一种工业机器人的控制系统
CN114161426B (zh) * 2021-12-29 2024-02-06 海澜智云科技有限公司 一种工业机器人的控制系统

Also Published As

Publication number Publication date
WO2020092447A1 (en) 2020-05-07
JP2020537775A (ja) 2020-12-24
JP6820634B2 (ja) 2021-01-27
US11288810B2 (en) 2022-03-29
US20200130962A1 (en) 2020-04-30
DE112019000125B4 (de) 2021-07-01
US11797926B2 (en) 2023-10-24
CN111601761A (zh) 2020-08-28
JP2020069636A (ja) 2020-05-07
JP2021054660A (ja) 2021-04-08
JP2021507857A (ja) 2021-02-25
DE112019000177T5 (de) 2020-09-03
KR20210096615A (ko) 2021-08-05
DE112019000247T5 (de) 2020-09-03
US20200294244A1 (en) 2020-09-17
CN111566027A (zh) 2020-08-21
US11062457B2 (en) 2021-07-13
DE112019000217T5 (de) 2020-08-06
CN111633633A (zh) 2020-09-08
JP6820044B1 (ja) 2021-01-27
WO2020092433A1 (en) 2020-05-07
JP6704154B2 (ja) 2020-06-03
CN111776762B (zh) 2021-07-23
CN111633633B (zh) 2021-05-07
CN111491878A (zh) 2020-08-04
JP2024023692A (ja) 2024-02-21
JP7466150B2 (ja) 2024-04-12
DE112019000125T5 (de) 2020-07-02
KR20240042157A (ko) 2024-04-01
JP7411932B2 (ja) 2024-01-12
JP2021062978A (ja) 2021-04-22
JP6822719B2 (ja) 2021-01-27
WO2020092452A1 (en) 2020-05-07
CN111861305A (zh) 2020-10-30
CN111113492A (zh) 2020-05-08
US11176674B2 (en) 2021-11-16
US20200130961A1 (en) 2020-04-30
JP2021501102A (ja) 2021-01-14
DE112019000127T5 (de) 2020-06-18
US20220051411A1 (en) 2022-02-17
US20240078512A1 (en) 2024-03-07
US11189033B2 (en) 2021-11-30
US11961042B2 (en) 2024-04-16
CN111776759A (zh) 2020-10-16
JP2021503374A (ja) 2021-02-12
CN111566028A (zh) 2020-08-21
US20200134830A1 (en) 2020-04-30
JP2021039795A (ja) 2021-03-11
US10703584B2 (en) 2020-07-07
WO2020092442A1 (en) 2020-05-07
JP2021051797A (ja) 2021-04-01
US11636605B2 (en) 2023-04-25
JP2021050100A (ja) 2021-04-01
CN111861306A (zh) 2020-10-30
US11501445B2 (en) 2022-11-15
US20230008540A1 (en) 2023-01-12
CN111629868A (zh) 2020-09-04
KR102650494B1 (ko) 2024-03-22
JP7352260B2 (ja) 2023-09-28
US20200130963A1 (en) 2020-04-30
US20220076425A1 (en) 2022-03-10
JP6822718B1 (ja) 2021-01-27
JP2023160842A (ja) 2023-11-02
KR102650492B1 (ko) 2024-03-22
US20200134828A1 (en) 2020-04-30
JP2023174652A (ja) 2023-12-08
JP2020110918A (ja) 2020-07-27
WO2020092428A1 (en) 2020-05-07
DE112019000172T5 (de) 2020-07-16
DE112019000217B4 (de) 2023-09-14
CN111861306B (zh) 2021-06-15
KR20210087065A (ko) 2021-07-09
WO2020091846A1 (en) 2020-05-07
JP7340203B2 (ja) 2023-09-07
US20210304416A1 (en) 2021-09-30
JP6813229B1 (ja) 2021-01-13
JP2021505980A (ja) 2021-02-18
CN111776759B (zh) 2021-07-23
US20240020637A1 (en) 2024-01-18
CN111861305B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN111776762B (zh) 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN111906773A (zh) 具有协调转移机构的机器人系统
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP2023154055A (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP7126667B1 (ja) 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法
CN111618852B (zh) 具有协调转移机构的机器人系统
US12002007B2 (en) Robotic system with automated package scan and registration mechanism and methods of operating the same
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
US20230071488A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant