DE112019000125T5 - Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung - Google Patents

Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung Download PDF

Info

Publication number
DE112019000125T5
DE112019000125T5 DE112019000125.6T DE112019000125T DE112019000125T5 DE 112019000125 T5 DE112019000125 T5 DE 112019000125T5 DE 112019000125 T DE112019000125 T DE 112019000125T DE 112019000125 T5 DE112019000125 T5 DE 112019000125T5
Authority
DE
Germany
Prior art keywords
package
image data
edges
packet
unclear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112019000125.6T
Other languages
English (en)
Other versions
DE112019000125B4 (de
Inventor
Rosen Nikolaev Diankov
Huan Liu
Xutao Ye
Jose Jeronimo Moreira Rodrigues
Yoshiki Kanemoto
Jinze Yu
Russell Islam
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/290,741 external-priority patent/US10369701B1/en
Application filed by Mujin Inc filed Critical Mujin Inc
Publication of DE112019000125T5 publication Critical patent/DE112019000125T5/de
Application granted granted Critical
Publication of DE112019000125B4 publication Critical patent/DE112019000125B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
    • B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
    • B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
    • G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0308—Destacking devices
    • B65G2814/031—Removing from the top
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • De-Stacking Of Articles (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Processing (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Control Of Conveyors (AREA)

Abstract

Ein Verfahren zum Betreiben eines Pakethandhabungssystems beinhaltet: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Identifizieren eines Paares von sich schneidenden Kanten für die Paketoberfläche basierend auf dem ersten Bild; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich dem Greifen und Hochheben des Pakets dient; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; und Erzeugen von Registrierungsdaten basierend auf den dritten Bilddaten.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNG
  • Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung mit der Seriennummer 62/752,756 , eingereicht am 30. Oktober 2018, deren Offenbarung durch Bezugnahme in ihrer Gesamtheit in diese Schrift aufgenommen ist.
  • STAND DER TECHNIK
  • Oft werden Pakete palettiert, um sie zum einem Ziel zu transportieren, an dem sie depalettiert werden. Manchmal werden sie von menschlichen Arbeitern depalettiert, was teuer sein kann und wobei ein Verletzungsrisiko besteht. In industriellen Umgebungen werden Depalettierungsvorgänge oft von Industrierobotern wie zum Beispiel einem Roboterarm durchgeführt, der das Paket greift, hochhebt, transportiert und zu einem Freigabepunkt liefert. Auch kann eine Bildgebungsvorrichtung eingesetzt werden, um ein Bild eines Stapels an Paketen, die auf die Palette geladen sind, zu erfassen. Ein System kann das Bild verarbeiten, um sicherzustellen, dass das Paket durch den Roboterarm effizient gehandhabt wird, wie zum Beispiel, indem das erfasste Bild mit einem registrierten Bild verglichen wird, das in einer Registrierungsdatenquelle gespeichert ist.
  • Gelegentlich kann das erfasste Bild eines Pakets mit einem registrierten Bild übereinstimmen. Folglich können physische Eigenschaften (z. B. Messungen der Abmessungen eines Pakets, seines Gewichts und/oder Massenmittelpunkts) der abgebildeten Objekte unbekannt sein. Werden die physischen Eigenschaften nicht korrekt identifiziert, kann dies zu einer Vielfalt an unerwünschten Ergebnissen führen. Zum Beispiel könnte ein solches Versagen einen Stillstand verursachen, der eine manuelle Registrierung des Pakets erfordern kann. Auch könnte ein solches Versagen dazu führen, dass ein Paket falsch behandelt wird, insbesondere, wenn das Paket relativ schwer und/oder einseitig gewichtet ist.
  • Figurenliste
    • 1A veranschaulicht ein Robotersystem, das mit einem Paketregistrierungsmechanismus konfiguriert ist, gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 1B ist ein funktionales Blockdiagramm des Robotersystems gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 2A veranschaulicht einen Kraft-Drehmoment-Sensor gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 2B veranschaulicht einen Greifer gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 3A veranschaulicht eine perspektivische Ansicht eines beispielhaften Stapels an Paketen.
    • 3B veranschaulicht eine Draufsicht auf den beispielhaften Stapel an Paketen.
    • 3C veranschaulicht beispielhafte Symbologien von registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4A veranschaulicht eine perspektivische Ansicht eines zweiten beispielhaften Stapels an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4B veranschaulicht eine Draufsicht auf den zweiten Stapel an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4C veranschaulicht beispielhafte Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4D veranschaulicht Beispiele von unklaren Kanten und geeigneten Mindestbereichen (minimum viable regions - MVRs) gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4E veranschaulicht einen zweiten Satz an beispielhaften Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4F veranschaulicht ein zweites Beispiel von unklaren Kanten und eines MVR gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4G veranschaulicht einen dritten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4H veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen ersten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 41 veranschaulicht einen vierten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4J veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4K veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4F gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4L veranschaulicht einen fünften Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4M veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4N veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4M gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4O veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4J gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4P veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen zweiten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 4Q veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen dritten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
    • 5 veranschaulicht eine Ablaufsteuerung für ein beispielhaftes Verfahren zum Betreiben des Robotersystems 100 aus 1A gemäß einigen Ausführungsformen der vorliegenden Technologie.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung sind mehrere spezifische Details präsentiert, um ein umfassendes Verständnis von Ausführungsformen der hier offenbarten erfinderischen Konzepte bereitzustellen. Ein Fachmann auf dem relevanten Fachgebiet erkennt jedoch, dass Ausführungsformen der hier offenbarten vorliegenden Technologie ohne eines oder mehrere der spezifischen Details oder in Kombination mit anderen Komponenten usw. praktiziert werden können. In anderen Fällen sind hinreichend bekannte Implementierungen oder Vorgänge nicht gezeigt oder im Detail beschrieben, um die Verschleierung von Aspekten von verschiedenen Ausführungsformen der hier offenbarten vorliegenden Technologie zu vermeiden.
  • 1A und 1B veranschaulichen ein Robotersystem 100, das mit einem Paketregistrierungsmechanismus konfiguriert ist, gemäß einigen Ausführungsformen der vorliegenden Technologie. In einigen Ausführungsformen kann das Robotersystem eine Depalettierplattform 110, eine Aufnahmeplattform 120, ein Roboterarmsystem 130, einen Endeffektor 140, eine Verarbeitungseinheit (PU) 150, ein Bildsystem 160, eine Registrierungsdatenquelle (RDS) 170, einen Höhenbestimmungssensor (HDS) 180 und/oder einen Freigabepunktsensor (RPS) 190 beinhalten.
  • Die Depalettierplattform 110 kann eine beliebige Plattform, Oberfläche und/oder Struktur beinhalten, auf der eine Vielzahl von Paketen 112 (einzeln „Paket 112“) gestapelt und/oder organisiert werden kann und für den Transport zu der Aufnahmeplattform 120 bereit ist. Es ist anzumerken, dass, obwohl hier der Begriff „Paket“ und „Pakete“ verwendet wird, der Begriff ein beliebiges anderes Wort für einen Behälter einschließt, der, wie nachfolgend detailliert erörtert, gegriffen, angehoben, transportiert und geliefert werden kann, wie zum Beispiel unter anderem „Kiste“, „Box“, „Karton“ oder eine beliebige Kombination davon. Außerdem sind, obwohl in den hier offenbarten Zeichnungen rechteckige Boxen veranschaulicht sind, die Formen der Boxen nicht auf eine solche Form beschränkt, sondern schließen jede beliebige regelmäßige oder unregelmäßige Form ein, die, wie nachfolgend detailliert erörtert, gegriffen, angehoben, transportiert und geliefert werden kann.
  • Wie die Depalettierplattform 110 kann die Aufnahmeplattform 120 eine beliebige Plattform, Oberfläche und/oder Struktur beinhalten, die dazu gedacht ist, die Pakete 112 für weitere Aufgaben/Vorgänge aufzunehmen. In einigen Ausführungsformen kann die Aufnahmeplattform 120 ein Fördersystem beinhalten, um das Paket 112 von einer Stelle (z. B. einem Freigabepunkt wie nachfolgend erörtert) zu einer anderen Stelle für weitere Vorgänge (z. B. Sortieren und/oder Lagern) zu transportieren.
  • Das Roboterarmsystem 130 kann einen Satz an Verbindungsstrukturen, Gelenken, Motoren/Aktoren, Sensoren oder eine Kombination davon beinhalten, die konfiguriert ist, um die Pakete 112 zu manipulieren (z. B. übertragen und/oder drehen oder neuausrichten). Das Roboterarmsystem 130 kann einen Roboterarm 132 beinhalten, der hier zum Zwecke der Veranschaulichung und nicht zur Einschränkung eine artikulierte Roboterarmstruktur mit sechs Achsen sein könnte. Obwohl sich die Erörterung hier auf das Roboterarmsystem 130 bezieht, sind die hier offenbarten Ausführungsformen nicht auf ein solches System beschränkt, sondern beinhalten ein beliebiges Robotersystem, das konfiguriert sein kann, um die hier offenbarten Handlungen durchzuführen.
  • Der Endeffektor 140 kann eine beliebige Komponente oder Komponenten gekoppelt an ein distales Ende des Roboterarms 132 beinhalten, der/die konfiguriert ist/sind, um mit der Vielzahl von Paketen 112 zu interagieren. Zum Beispiel kann der Endeffektor 140 Strukturen (z. B. vakuumbasierte Greifer) beinhalten, die konfiguriert sind, um die Pakete 112 zu greifen und zu halten. In einigen Ausführungsformen könnte der Endeffektor 140 einen Kraft-Drehmoment-(F-T-)Sensor 142, eine Armschnittstelle 144, ein Greifersystem 146 und/oder eine Greiferschnittstelle 148 (wie in 2A und 2B gezeigt) beinhalten.
  • Die PU 150 aus 1B kann/können (eine) beliebige Einheit(en) oder Schaltungen sein, die programmiert und/oder konfiguriert ist/sind, um nicht nur die Bewegungen und/oder andere Handlungen des Roboterarmsystems 130 (darunter des Endeffektors 140) zu lenken und zu steuern, sondern auch andere verwandte Daten zu verarbeiten. Zum Beispiel kann die PU 150 Bilddaten, die ein Oberflächenbild (SI) des Pakets 112 darstellen, von dem Bildsystem 160 empfangen und einen Registrierungsstatus des SI gemäß einer Registrierungsaufzeichnung 172 bestimmen, die durch die RDS 170 bereitgestellt wird (nachfolgend erörtert), d. h., ob das Paket 112 eine registrierte Instanz des Pakets 112 oder eine nicht registrierte Instanz des Pakets 112 ist (z. B. ohne oder mit einer unvollständigen Instanz der Registrierungsaufzeichnung 172 des Pakets 112). Auch kann die PU 150 zum Beispiel das Roboterarmsystem 130 zu einer registrierten Instanz des Pakets 112 lenken. Zusätzlich kann die PU 150 ein Greifsteuersignal auf das Greifersystem 146 anwenden, den Arm zu der Aufnahmeplattform 120 lenken und/oder die registrierte Instanz des Pakets 112 an der Aufnahmeplattform 120 bei Empfang eines Freigabesignals von dem RPS 190 freigeben.
  • Die PU 150 kann eine beliebige elektronische Datenverarbeitungseinheit beinhalten, die Software oder Computeranweisungscodes ausführt, die/der permanent oder temporär in einer digitalen Speichervorrichtung oder einem nichtflüchtigen computerlesbaren Medium (im Allgemeinen ein Speicher 152 aus 1B) gespeichert werden könnte, darunter unter anderem Direktzugriffsspeicher (RAM), Plattenlaufwerke, Magnetspeicher, Nurlesespeicher (ROM), Compact Disc (CD), Festspeicher, Secure-Digital-Karten und/oder Compact-Flash-Karten. Die PU 150 kann durch die Ausführung von Software oder eines Computeranweisungscodes, die/der Algorithmen enthält, die für die hier ausgeführten spezifischen Funktionen entwickelt wurden, angetrieben werden. In einigen Ausführungsformen kann die PU 150 eine anwendungsspezifische integrierte Schaltung (ASIC) sein, die für die hier offenbarten Ausführungsformen angepasst ist. In einigen Ausführungsformen kann die PU 150 eines oder mehrere von Mikroprozessoren, Digitalsignalprozessoren (DSPs), programmierbaren Logikvorrichtungen (PLDs), programmierbaren Gate Arrays (PGAs) und Signalgeneratoren beinhalten; jedoch ist hier für die Ausführungsformen der Begriff „Prozessor“ nicht auf solche beispielhaften Verarbeitungseinheiten beschränkt und seine Bedeutung ist nicht eng auszulegen. Zum Beispiel kann die PU 150 auch mehr als eine elektronische Datenverarbeitungseinheit beinhalten. In einigen Ausführungsformen könnte die PU 150 (ein) Prozessor(en) sein, der/die durch oder in Verbindung mit einem beliebigen anderen System des Robotersystems 100 verwendet wird/werden, darunter unter anderem dem Roboterarmsystem 130, dem Endeffektor 140 und/oder dem Bildsystem 160.
  • Die PU 150 kann (z. B. über Drähte, Busse und/oder Drahtlosverbindungen) elektronisch an Systeme und/oder Quellen gekoppelt sein, um den Empfang von Eingangsdaten zu vereinfachen. In einigen Ausführungsformen kann wirkgekoppelt als austauschbar mit elektronisch gekoppelt angesehen werden. Es ist nicht erforderlich, dass eine direkte Verbindung erfolgt; stattdessen könnte ein solcher Empfang von Eingangsdaten und das Bereitstellen von Ausgangsdaten durch einen Bus, durch ein Drahtlosnetzwerk oder als ein Signal, das durch die PU 150 über einen physischen oder einen virtuellen Computeranschluss empfangen und/oder übertragen wird, bereitgestellt werden. Die PU 150 kann programmiert oder konfiguriert sein, um das nachfolgend detailliert erörterte Verfahren auszuführen. In einigen Ausführungsformen kann die PU 150 programmiert oder konfiguriert sein, um Daten von verschiedenen Systemen und/oder Einheiten zu empfangen, darunter unter anderem dem Bildsystem 160, der RDS 170, dem HDS 180 und/oder dem RPS 190. In einigen Ausführungsformen kann die PU 150 programmiert oder konfiguriert sein, um verschiedenen Systemen und/oder Einheiten, darunter unter anderem dem Roboterarmsystem 130, dem Endeffektor 140 und der RDS 170, Ausgangsdaten bereitzustellen.
  • Das Bildsystem 160 könnte einen oder mehrere Sensoren 162 beinhalten, die konfiguriert sind, um Bilddaten zu erfassen, die ein oder mehrere SIs der Pakete 112 darstellen, die sich an der Depalettierplattform 110 befinden. In einigen Ausführungsformen können die Bilddaten visuelle Designs und/oder Markierungen darstellen, die an einer oder mehreren Oberflächen des Pakets 112 erscheinen, anhand derer eine Bestimmung eines Registrierungsstatus des Pakets 112 gemacht werden kann. In einigen Ausführungsformen kann das Bildsystem 160 eine oder mehrere Kameras beinhalten, die gestaltet sind, um innerhalb gezielter (z. B. sichtbarer und/oder infraroter) elektromagnetischer Spektrumsbandbreite zu arbeiten und verwendet werden, um Licht/Energie innerhalb des entsprechenden Spektrums zu erfassen. In einigen Ausführungsformen könnten die Bilddaten ein Satz an Datenpunkten, die eine Punktwolke bilden, die Tiefenkarte oder eine Kombination davon sein, der von einer oder mehreren dreidimensionalen (3D) Kameras und/oder einer oder mehreren zweidimensionalen (2D) Kameras erfasst wird. Anhand dieser Kameras können Abstände oder Tiefen zwischen dem Bildsystem 160 und einer oder mehreren exponierten (z. B. relativ zu einer Sichtlinie für das Bildsystem 160) Oberflächen der Pakete 112 bestimmt werden. In einigen Ausführungsformen können die Abstände oder Tiefen durch die Verwendung eines/mehrerer Bilderkennungsalgorithmen, wie zum Beispiel eines/mehrerer kontextueller Bildklassifizierungsalgorithmen und/oder Randerfassungsalgorithmen bestimmt werden. Sobald sie bestimmt sind, können die Abstands-/Tiefenwerte verwendet werden, um die Pakete 112 über das Roboterarmsystem 130 zu manipulieren. Zum Beispiel kann die PU 150 und/oder das Roboterarmsystem 130 die Abstands-/Tiefenwerte verwenden, um die Position zu berechnen, von der das Paket 112 angehoben und/oder gegriffen werden kann. Es ist anzumerken, dass hier beschriebene Daten, wie zum Beispiel die Bilddaten, ein beliebiges analoges oder digitales Signal beinhalten können, entweder einzeln oder durchgehend, das Informationen enthalten oder Informationen angeben könnte.
  • Das Bildsystem 160 kann zumindest eine Anzeigeeinheit 164 beinhalten, die konfiguriert ist, um ein Bild des Pakets/der Pakete 112 zu präsentieren, das/die durch die Sensoren 162 erfasst wurde(n), das von einem oder mehreren Betreibern des Robotersystems 100 betrachtet werden kann, wie nachfolgend detailliert erörtert. Zusätzlich können die Anzeigeeinheiten 164 konfiguriert sein, um andere Informationen zu präsentieren, wie zum Beispiel Symbologie, die registrierte und/oder nicht registrierte Instanzen der Pakete 112 darstellt, wie nachfolgend detailliert erörtert.
  • Die RDS 170 könnte eine beliebige Datenbank und/oder Speichervorrichtung (z. B. ein nichtflüchtiges computerlesbares Medium) beinhalten, die konfiguriert ist, um die Registrierungsaufzeichnungen 172 für eine Vielzahl der Pakete 112 zu speichern. Zum Beispiel kann die RDS 170 Nurlesespeicher (ROM), Compact Disc (CD), Festspeicher, Secure-Digital-Karten, Compact-Flash-Karten und/oder Datenspeicherserver oder entfernte Speichervorrichtungen beinhalten.
  • In einigen Ausführungsformen können die Registrierungsaufzeichnungen 172 jeweils physische Eigenschaften oder Attribute für ein entsprechendes Paket 112 beinhalten. Zum Beispiel kann jede Registrierungsaufzeichnung 172 unter anderem ein oder mehrere Vorlagen-SIs, 2D- oder 3D-Größenmessungen, ein Gewicht und/oder Massenmittelpunkts-(CoM-)Informationen beinhalten. Die Vorlagen-SIs können bekannte oder zuvor bestimmte sichtbare Eigenschaften des Pakets 112 darstellen, darunter das Design, die Markierung, das Aussehen, die Außenform/Außenlinie oder eine Kombination davon des Pakets 112. Die 2D- oder 3D-Größenmessungen können Längen, Breiten, Höhen oder eine Kombination davon für die bekannten/erwarteten Pakete beinhalten.
  • In einigen Ausführungsformen kann die RDS 170 konfiguriert sein, um eine neue Instanz der Registrierungsaufzeichnung 172 (z. B. für ein zuvor unbekanntes Paket und/oder einen zuvor unbekannten Aspekt eines Pakets) zu empfangen, die gemäß den nachfolgend offenbarten Ausführungsformen erstellt wird. Entsprechend kann das Robotersystem 100 den Prozess zum Registrieren der Pakete 112 automatisieren, indem die Anzahl an Registrierungsaufzeichnungen 172, die in der RDS 170 gespeichert ist, vergrößert wird, wodurch ein Depalettierungsvorgang effizienter gemacht wird, mit weniger nicht registrierten Instanzen der Pakete 112. Durch dynamisches (z. B. während des Betriebs/Einsatzes) Aktualisieren der Registrierungsaufzeichnungen 172 in der RDS 170 unter Verwendung von Live-/Betriebsdaten kann das Robotersystem 100 einen Computerlernprozess, der zuvor unbekannte oder unerwartete Bedingungen (z. B. Beleuchtungsbedingungen, unbekannte Ausrichtungen und/oder Stapelinkonsistenzen) und/oder neu eingetroffene Pakete berücksichtigen kann, effizient implementieren. Entsprechend kann das Robotersystem 100 die Fehler reduzieren, die sich aus „unbekannten“ Bedingungen/Paketen, verbundenen Interventionen eines menschlichen Betreibers und/oder verbundenen Aufgabenfehlern (z. B. verlorene Pakete und/oder Kollisionen) ergeben.
  • Der HDS 180 kann Komponenten beinhalten, die konfiguriert sind, um eine vertikale Messung eines Objekts (z. B. des Pakets 112) relativ zu einem Referenzpunkt (z. B. einer Oberfläche in Verbindung mit dem HDS 180) bereitzustellen. Für das Beispiel, das in 1A veranschaulicht ist, kann der HDS 180 ein Signal an die PU 150 aus 1 senden, wenn ein unterer Abschnitt/Rand des Pakets 112 eine horizontale Oberfläche (z. B. eine Scanebene) in Verbindung mit dem HDS 180 kreuzt. Die PU 150 kann das Signal von dem HDS 180 verwenden, um die Höhe (z. B. gemäß einer Platzierung/Ansatzausrichtung) des Pakets 112 zu bestimmen, wie zum Beispiel gemäß einem Abstand zwischen der Scanebene des HDS 180 (d. h. zuvor bekannt) und einer Stelle des Greifersystems 146 zu der Zeit, zu der das Signal erzeugt wird. Wie nachfolgend offenbart, kann die Höhe des Pakets 112 als Messung der dritten Dimension 2D-Messungen hinzugefügt werden, die bereits in der Registrierungsaufzeichnung 172 registriert sind. In einigen Ausführungsformen kann der HDS 180 an der Aufnahmeplattform 120 wie in 1A gezeigt installiert sein.
  • Der RPS 190 kann Komponenten/Schaltungen beinhalten, die konfiguriert sind, um ein Signal auszulösen, das der PU 150 bereitgestellt wird, wenn das Paket 112 eine horizontale Ebene in Verbindung mit dem RPS 190 durchläuft oder kontaktiert. In einigen Ausführungsformen kann ein durch den RPS 190 ausgelöstes Signal verwendet werden, um die Position zu bestimmen, an der das Greifersystem 146 das Paket 112 auf die Aufnahmeplattform 120 freigibt. In einigen Ausführungsformen könnte der RPS 190 an der Aufnahmeplattform 120 wie in 1A gezeigt installiert sein.
  • Nun unter Bezugnahme auf 2A kann der F-T-Sensor 142 ein beliebiger Sensor sein, der konfiguriert ist, um lineare und/oder Momentkräfte entlang einer Achse und/oder Achsen eines Koordinatensystems zu erfassen. In einigen Ausführungsformen könnte der F-T-Sensor 142 eine Komponente mit Sechsachsenkraftsensoren beinhalten, die konfiguriert ist, um bis zu dreiachsige Kräfte (z. B. Kräfte, die entlang x-, y- und z-Achsen eines kartesischen Koordinatensystems erfasst werden) eingesetzt durch das Robotersystem 100 aus 1A und 1B und/oder dreiachsige Momente (z. B. Momente, die um x-, y- und z-Achsen des kartesischen Koordinatensystems erfasst werden) zu erfassen. In einigen Ausführungsformen könnte der F-T-Sensor 142 einen eingebauten Verstärker und Mikrocomputer für die Signalverarbeitung, eine Fähigkeit, statische und dynamische Messungen zu machen, und/oder eine Fähigkeit, sofortige Veränderungen basierend auf einem Probenahmeintervall zu erfassen, beinhalten. In einigen Ausführungsformen könnte der F-T-Sensor 142 über verdrahtete und/oder drahtlose Kommunikation kommunikativ mit der PU 150 aus 1B gekoppelt sein.
  • Die Armschnittstelle 144 könnte eine beliebige Vorrichtung sein, die konfiguriert ist, um das distale Ende des Roboterarms 132 aus 1A an den F-T-Sensor 142 zu koppeln. In einigen Ausführungsformen kann sich ein Hersteller des Roboterarmsystems 130 von einem Hersteller des F-T-Sensors 142 unterscheiden. In einem solchen Fall können Enden der Armschnittstelle 144 unterschiedliche Konfigurationen aufweisen: Ein Ende ist konfiguriert, um das distale Ende zu koppeln, und das andere Ende ist konfiguriert, um den F-T-Sensor 142 zu koppeln.
  • Nun unter Bezugnahme auf 2B kann das Greifersystem 146 ein(e) beliebige(s) System oder Baugruppe sein, das/die konfiguriert ist, um das Paket 112 aus 1A aus seiner stationären Position an der Depalettierplattform 110 aus 1A zu greifen und den Griff beizubehalten, während das Paket 112 durch das Roboterarmsystem 130 aus 1B transportiert und zu der Aufnahmeplattform 120 aus 1A geliefert wird. In einigen Ausführungsformen könnte das Greifersystem 146 aus einem Vakuumgreifersystem bestehen, das eine Vakuumquelle einsetzt, um das Paket 112 an der Aufnahmeplattform 120 zu greifen und es an der Depalettierplattform 110 freizugeben. In einigen Ausführungsformen könnte das Vakuumgreifersystem einen Saugnapf/Saugnäpfe als Schnittstelle mit dem Paket 112 einsetzen.
  • Die Greiferschnittstelle 148 aus 2B könnte eine beliebige Vorrichtung sein, die konfiguriert ist, um den F-T-Sensor 142 an das Greifersystem 146 zu koppeln. In einigen Ausführungsformen kann sich ein Hersteller des F-T-Sensors 142 von einem Hersteller des Greifersystems 146 unterscheiden. In einem solchen Fall können gegenüberliegende Seiten der Greiferschnittstelle 148 unterschiedliche Konfigurationen aufweisen: Eine Seite ist konfiguriert, um den F-T-Sensor 142 zu koppeln, und die gegenüberliegende Seite ist konfiguriert, um das Greifersystem 146 zu koppeln.
  • 3A bis 4Q veranschaulichen, wie das Robotersystem 100 aus 1A und 1B eingesetzt werden kann, um die Registrierungsaufzeichnung 172 aus 1B der nicht registrierten Instanz des Pakets 112 aus 1A zu erstellen. 3A veranschaulicht eine perspektivische Ansicht eines beispielhaften Stapels an Paketen 112-1 bis 112-24. 3B veranschaulicht eine Draufsicht auf den beispielhaften Stapel dieser Pakete 112. 3B kann einem Bild und/oder Punktwolkendaten der Szene entsprechen, die auf diese Pakete 112 herabschaut, wie durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst. Lediglich zum Zwecke der Veranschaulichung und nicht zur Einschränkung können die Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 registrierte Instanzen der Pakete 112 darstellen, wobei jede die Registrierungsaufzeichnung 172 aufweist, die in der RDS 170 aus 1B gespeichert ist. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 als rechteckig gezeigt, und jedes weist ein SI (gezeigt als diagonale Linien) auf, das in einer jeweiligen Registrierungsaufzeichnung 172 registriert ist.
  • 3C veranschaulicht beispielhafte Symbologien von registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 3C veranschaulicht die Paketsymbologien (z. B. visuelle Markierungen und/oder Überlagerungen, um den Registrierungsstatus von angezeigten Objekten darzustellen) 112-1a bis 112-3a, 112-13a bis 112-14a und 112-21a bis 112-24a wie durch die Anzeigeeinheit 164 aus 1B gezeigt. Um diese Symbologien und den entsprechenden Registrierungsstatus zu erzeugen, können die erfassten SIs der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 aus 3B durch einen/mehrere Bilderkennungsalgorithmen mit den SIs der Registrierungsaufzeichnungen 172 verglichen werden, die in der RDS 170 gespeichert sind, und bei Registrierung als Symbologie angezeigt werden. In einigen Ausführungsformen könnte die Symbologie durch einen Hersteller und/oder Endnutzer mit einem visuellen Format konfiguriert sein, das angibt, dass das SI registriert ist, wobei ein solches Format eine Reihe an Formen und/oder Farben einsetzen könnte. Zum Zwecke der Veranschaulichung und nicht zur Einschränkung hat ein Hersteller und/oder Endnutzer die Symbologien 112-1a bis 112-3a, 112-13a bis 112-14a und 112-21a bis 112-24a in der Form und Größe von Paketaußenlinien (d. h. hier als rechteckig angenommen) konfiguriert. Obwohl nicht gezeigt, könnte die Symbologie durch die Farbe (z. B. grün) einen günstigen Registrierungsstatus (d. h. vorhandene Instanz der Registrierungsaufzeichnungen 172) für jedes der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 angeben. Obwohl nicht gezeigt, könnte das Bild der Szene, die in 3B gezeigt ist, an der Anzeigeeinheit 164 präsentiert werden, über die die Symbologie aus 3C überlagert sein kann. In einigen Ausführungsformen können alphanumerische Zeichen, die über die Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 informieren (z. B. eine oder mehrere physische Eigenschaften, die in der Registrierungsaufzeichnung 172 aufgelistet sind), anstelle oder zusätzlich zu der Symbologie präsentiert werden.
  • In einigen Ausführungsformen kann das Robotersystem 100 2D-Messungen (z. B. Längen und Breiten) von Paketen anhand der Bilddaten machen (durch einen/mehrere Bilderkennungsalgorithmen, die einen/mehrere Randerkennungsalgorithmen beinhalten könnten). Zum Beispiel kann das Robotersystem 100 einen/mehrere Bilderkennungsalgorithmen (z. B. einen/mehrere Randerkennungsalgorithmen und/oder einen/mehrere Zuordnungsalgorithmen) verwenden, um die 2D-Messungen der Pakete 112 an der Depalettierplattform 110 zu machen, wie zum Beispiel der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24. Das Robotersystem 100 kann die 2D-Messungen basierend auf Tiefe zu der gemessenen Oberfläche machen. Das Robotersystem 100 kann die 2D-Messungen des entsprechenden Pakets 112 mit ihren Registrierungsaufzeichnungen 172 vergleichen (z. B., sobald das gemessene Paket identifiziert ist, wie zum Beispiel über Bilderkennung seiner exponierten Oberfläche), um die Genauigkeit der Registrierungsaufzeichnungen 172 zu bestätigen.
  • In einigen Ausführungsformen können der PU 150 zum Zwecke der Positionierung des Endeffektors 140 und/oder des Greifersystems 146 aus 1A und 1B CoM-Informationen bereitgestellt werden, die in der Registrierungsaufzeichnung 172 gespeichert sind. Das Robotersystem 100 kann den Endeffektor 140 und/oder das Greifersystem 146 über dem CoM des Pakets 112 platzieren, um das Paket 112 zu greifen und hochzuheben, wodurch Vorgänge vereinfacht werden, die ausgeglichenes Paketgreifen und waagerechtes Paketheben beinhalten, wenn das Paket 112 gegriffen und von seiner Position an der Depalettierplattform 110 aus 1A hochgehoben wird. Die Pakete 112 können gegriffen, hochgehoben, zu der Aufnahmeplattform 120 aus 1A transportiert und dort freigegeben werden.
  • 4A veranschaulicht eine perspektivische Ansicht eines zweiten beispielhaften Stapels an Paketen (z. B. Pakete 112-31 bis 112-54) gemäß einigen Ausführungsformen der vorliegenden Technologie. 4B veranschaulicht eine Draufsicht auf den zweiten beispielhaften Stapel an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 3B kann einem Bild und/oder Punktwolkendaten der Szene entsprechen, die auf diese Pakete herabschaut, wie durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst. Lediglich zum Zwecke der Veranschaulichung und nicht zur Einschränkung können die Pakete 112-33, 112-43 und 112-51 registrierte Instanzen der Pakete 112 darstellen, wobei jede Instanz das SI aufweist, das in der jeweiligen Instanz der Registrierungsaufzeichnung 172 aus 1B enthalten ist, die in der RDS 170 aus 1B gespeichert ist. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 rechteckig.
  • Zusätzlich können die Pakete 112-31, 112-32, 112-44 und 112-52 bis 112-54 nicht registrierte und/oder fehlerhaft verarbeitete/zugeordnete Instanzen der Pakete 112 darstellen, die gegebenenfalls nicht der Registrierungsaufzeichnung 172 entsprechen, die in der RDS 170 aus 1B gespeichert ist. Das Robotersystem 100 kann die erfassten Bilddaten, die diese nicht registrierten/nicht zugeordneten SIs darstellen, als erste Bilddaten und ein registrierbares SI verwenden, wie nachfolgend erörtert. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 rechteckig und kann jedes ein SI aufweisen, das durch vertikale, horizontale und/oder schraffierte Linien gezeigt ist.
  • 4C, 4E, 4G, 4I und 4L können Draufsichten auf den Stapel veranschaulichen, während ein oder mehrere Pakete entfernt werden. 4C veranschaulicht beispielhafte Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4C veranschaulicht die Symbologien von Rechtecken 112-33a, 112-43a und 112-51a wie durch die Anzeigeeinheit 164 aus 1B gezeigt. Wie vorstehend angemerkt, können SIs für die Pakete 112 durch das Bildsystem 160 aus 1B erfasst und mit den SIs der Registrierungsaufzeichnungen 172 aus 1B verglichen werden, die in der RDS 170 aus 1B gespeichert sind. Bei Registrierung kann das Robotersystem Symbologien zuweisen und/oder anzeigen, die das registrierte SI angeben. Wie veranschaulicht, können die Symbologien 112-33a, 112-43a und 112-51a rechteckige Außenlinien beinhalten, die durch die Anzeigeeinheit 164 angezeigt werden.
  • Wie in 4C gezeigt, kann eine Kombination aus inneren Rechtecken 112-61a bis einschließlich 112-61d, innerhalb äußerer Rechtecke 112-62a bis einschließlich 112-62d als die Symbologien 112-31a, 112-44a und 112-53a für die nicht registrierten SIs der Pakete 112-31, 112-44 und 112-53 an der Anzeigeeinheit 164 angezeigt werden. In einigen Ausführungsformen kann die Größe und Platzierung der inneren Rechtecke 112-61a bis 112-61d mit einem geeigneten Mindestbereich (MVR) zusammenfallen, der nachfolgend detailliert erörtert wird. Das Vorhandensein der Symbologien 112-31a, 112-44a und 112-53a könnte darauf hinweisen, dass die SIs der Pakete 112-31, 112-44 und 112-53 keine Registrierungsaufzeichnungen 172 aufweisen und/oder nicht damit übereinstimmen. In einem solchen Fall kann/können ein/mehrere Bilderkennungsalgorithmen (z. B. ein/mehrere Randerkennungsalgorithmen) eingesetzt werden, um ein Vorhandensein von zumindest zwei eindeutigen Kanten zu bestimmen, die eine Ecke bilden.
  • 4D veranschaulicht Beispiele von unklaren Kanten und MVRs gemäß einigen Ausführungsformen der vorliegenden Technologie. 4D veranschaulicht zwei eindeutige Kanten 112-31b, 112-44b und 112-53b (z. B. Kanten, die Außenkanten des Stapels bilden/damit zusammenfallen), die jeweils Ecken 112-31c, 112-44c und 112-53c für die nicht registrierten/nicht zugeordneten Pakete bilden. Auch können zwei unklare Kanten 112-31d, 112-44d und 112-53d durch die PU 150 identifiziert/geschätzt werden, um jeweils Ecken 112-31e, 112-44e und 112-53e zu bilden. In einigen Ausführungsformen können die zwei unklaren Kanten 112-31d des Pakets 112-31 aus 4A verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-31ba und 112-31bb erstrecken, bis sie sich an der Ecke 112-31e schneiden. Ähnlich können die zwei unklaren Kanten 112-44d des Pakets 112-44 verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-44ba und 112-44bb erstrecken, bis sie sich an der Ecke 112-44e schneiden. Ebenso können die zwei unklaren Kanten 112-53d des Pakets 112-53 verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-53ba und 112-53bb erstrecken, bis sie sich an der Ecke 112-53e schneiden. In einigen Ausführungsformen kann das Robotersystem 100 den zuvor festgelegten Winkel gemäß einer Tiefenmessung, einer Position/Stelle, einer bestimmten Pose oder einer Kombination davon in Verbindung mit dem entsprechenden Paket auswählen oder anpassen.
  • Zusätzlich sind beispielhafte MVRs 112-31f, 112-44f und 112-53f in 4D veranschaulicht. In einigen Ausführungsformen können die MVRs für jede nicht registrierte Instanz des Pakets 112 berechnet werden, die verwendet werden kann, um die Registrierungsaufzeichnung 172 aus 1B zu erstellen. Das Robotersystem 100 kann die Registrierungsaufzeichnung 172 in Abhängigkeit ihres jeweiligen MVR erstellen. MVR 112-31f kann so berechnet werden, dass seine Seiten kollinear mit den zwei eindeutigen Kanten 112-31b oder Abschnitten davon sind. Anders gesagt kann die Größe des MVR 112-31f kleiner als die Oberfläche des Pakets 112-31 sein. In einigen Ausführungsformen kann der MVR 112-31f in Abhängigkeit der Größe des Greifersystems 146, das in 2B gezeigt ist, oder anderer Eigenschaften entsprechend der Fähigkeit, zu greifen, und das Greifen sicher beizubehalten, während das Paket 112 hochgehoben wird, größenbemessen werden. Beim Verarbeiten des MVR kann das Robotersystem 100 einen standardmäßigen CoM für das Paket 112 annehmen und verwenden. Entsprechend kann unter Verwendung des standardmäßigen CoM und der berechneten Größe das Robotersystem 100 den MVR 112-31f berechnen, der Fehler/Versagen bei verbundenen Manipulationen (z. B. Greifen, Hochheben und/oder Transportieren) der Pakete 112 verhindert. Wenn zum Beispiel der MVR zu klein ist, kann das Greifersystem 146 fehlplatziert werden, und ein anhaltendes Greifen durch das Greifersystem 146 ist unter Umständen nicht möglich, wenn das Paket 112 hochgehoben wird. In einigen Ausführungsformen kann der MVR 112-31f in seiner Größe so bemessen sein, dass er gerade Linien, die Teil der Oberflächendesigns sind, und/oder Markierungen, die in dem SI erscheinen, wie durch einen/mehrere Bilderkennungsalgorithmen bestimmt, ausschließt. In einigen Ausführungsformen kann der MVR 112-31f in seiner Größe so bemessen sein, dass er Kanten ausschließt, die einem geringeren Konfidenzmaß entsprechen. Es ist anzumerken, dass, obwohl die vorstehende Erörterung auf MVR 112-31f bezogen war, die Funktion zum Berechnen des MVR 112-31f für einen beliebigen hier erörterten MVR gilt.
  • 4E veranschaulicht einen zweiten Satz an beispielhaften Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4E kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4C gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-33a aus 4C kann angeben, dass das registrierte Paket 112-33 gegriffen, hochgehoben und weg von der Depalettierplattform 110 aus 1A transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-32a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten angibt (z. B. Kanten, die nun freiliegen und nicht mehr benachbart zu anstoßenden Kanten/Paketen sind), die eine Ecke für das Paket 112-32 bilden, das in 4B gezeigt ist.
  • 4F veranschaulicht ein zweites Beispiel von unklaren Kanten und eines MVR gemäß einigen Ausführungsformen der vorliegenden Technologie. 4F veranschaulicht die eindeutigen Kanten 112-32b, die eine Ecke 112-32c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-32d und eine entsprechende Ecke 112-32e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-32f auf die vorstehend erörterte Weise berechnet werden.
  • 4G veranschaulicht einen dritten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4G kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4E gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologien 112-43a und 112-51a aus 4C und 4E kann angeben, dass die registrierten Pakete 112-43 und 112-51 gegriffen, hochgehoben und weg von der Depalettierplattform 110 aus 1 transportiert worden sind. Es ist anzumerken, dass nun zwar rechte und linke Kanten für das Paket 112-52 aus 4B erkannt werden können (z. B. da sie freiliegen und nicht mehr benachbart zu anstoßenden Kanten/Paketen sind), diese Kanten aber parallel zueinander sind und sich nicht schneiden, um eine Ecke zu bilden; somit wird in einigen Ausführungsformen durch die Anzeigeeinheit 164 gegebenenfalls keine Hinzufügung der Symbologie entsprechend dem Paket 112-52 angezeigt.
  • 4H veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem MVR (z. B. den MVR 112-44f aus 4D) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-44f platziert ist, ohne die Sicht auf die unklaren Kanten 112-44d aus 4D für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann könnte das Paket 112-44 gegriffen und vertikal für einen Hubprüfabstand in eine angehobene Position hochgehoben werden. Zum Beispiel kann der Hubprüfabstand einen Abstand darstellen, der ausreichend für den F-T-Sensor 142 aus 1B und 2A ist, um Messungen von einer/einem oder mehreren Achsenkräften und/oder Achsenmomenten des Pakets 112-44 zu erfassen. Zum Beispiel kann der Hubprüfabstand einen vertikalen Abstand oder einen Abstand entlang der z-Achse darstellen, der größer als null Millimeter ist. Als spezifisches Beispiel kann der Hubprüfabstand 50 Millimeter darstellen.
  • In einigen Ausführungsformen, in denen Bezug auf das kartesische Koordinatensystem genommen wird, können (eine) Kraftmessung(en) entlang einer oder mehrerer Achsen (d. h. F(x-Achse), F(y-Achse) und/oder F(z-Achse)) und/oder (eine) Momentmessung(en) um eine oder mehrere Achsen (d. h. M(x-Achse), M(y-Achse) und/oder M(z-Achse)) über den F-T-Sensor 142 erfasst werden. Durch Anwenden von CoM-Berechnungsalgorithmen kann das Gewicht des Pakets in Abhängigkeit der Kraftmessung(en) berechnet werden und kann der CoM des Pakets in Abhängigkeit der Kraftmessung(en) und der Momentmessung(en) berechnet werden. Diese Messungen können einer neuen Instanz der Registrierungsaufzeichnung 172 aus 1B hinzugefügt werden, die für das Paket 112-44 erstellt wird. In einigen Ausführungsformen kann das Paket 112-44, wenn der berechnete CoM aus dem MVR 112-44f fällt, von dem Greifersystem 146 freigegeben werden. Dann kann das Greifersystem 146 über dem berechneten CoM positioniert werden, wobei zu diesem Zeitpunkt das Paket 112-44 wieder sicher gegriffen und in die angehobene Position hochgehoben werden kann.
  • Während es sich in der angehobenen Position befindet, kann das Robotersystem das hochgehobene Paket neu abbilden, um die zuvor unklaren Kanten zu klären. Zweite Bilddaten, die ein partielles SI von 112-44 darstellen (d. h. den Abschnitt des gesamten SI, der nicht durch das Greifersystem 146 blockiert wird), können durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst werden, um eindeutige Kanten 112-44g der unklaren Kanten 112-44d aus 4D zu erfassen. In einigen Ausführungsformen können Tiefeninformationen, die in den ersten Bilddaten dargestellt sind, die aus ersten Punktwolkendaten bestehen, mit Tiefeninformationen verglichen werden, die in den zweiten Bilddaten dargestellt sind, die aus zweiten Punktwolkendaten bestehen, um eine Änderung von Tiefeninformationen zu bestimmen, anhand der eindeutige Kanten und 2D-Messungen bestimmt werden können. Sobald sie erfasst sind, können dritte Bilddaten, die ein registrierbares SI darstellen, aus dem SI der ersten Bilddaten und den eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Die 2D-Messungen, die anhand der zweiten Bilddaten bestimmt werden, und das registrierbare SI der dritten Bilddaten können nun der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-44 erstellt wurde. Als ein weiteres Beispiel können die dritten Bilddaten Vorlagebilddaten für das Robotersystem 100 aus 1A darstellen. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-44 besteht, in der RDS 170 aus 1B gespeichert werden. Das Robotersystem 100 kann bestimmen, ob das Paket 112 registriert ist oder nicht, indem das SI des Pakets 112 mit den Vorlagebilddaten verglichen wird.
  • 41 veranschaulicht einen vierten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 41 kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4G gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-44a aus 4C, 4E und 4G kann angeben, dass, nachdem eine neue Instanz der Registrierungsaufzeichnung 172 hergestellt wurde, die zuvor nicht registrierte Instanz des Pakets 112-44 weg von der Depalettierplattform 110 transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-54a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten (z. B. neu freiliegenden Kanten nach Entfernung/Transport des/der zuvor benachbarten Pakets/Pakete) angibt, die eine Ecke für das Paket 112-54 bilden, das in 4B gezeigt ist.
  • 4J veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket (z. B. das Paket 112-54). 4J veranschaulicht eindeutige Kanten 112-54b, die eine Ecke 112-54c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-54d und eine entsprechende Ecke 112-54e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-54f auf die vorstehend erörterte Weise berechnet werden.
  • 4K veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4F (z. B. dem MVR 112-32f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-32f platziert ist, ohne die Sicht auf die unklaren Kanten 112-32d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-32 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-32 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-32 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-32g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-32 besteht, in der RDS 170 aus 1B gespeichert werden.
  • 4L veranschaulicht einen fünften Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4L kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 41 gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-32a aus 4E, 4G und 4I kann angeben, dass, nachdem eine neue Instanz der Registrierungsaufzeichnung 172 hergestellt wurde, die zuvor nicht registrierte Instanz des Pakets 112-32 weg von der Depalettierplattform 110 transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-52a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten (z. B. neu freiliegenden Kanten nach Entfernung/Transport des/der zuvor benachbarten Pakets/Pakete) angibt, die eine Ecke für das Paket 112-52 bilden, das in 4B gezeigt ist.
  • 4M veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket (z. B. das Paket 112-52). 4M veranschaulicht die eindeutigen Kanten 112-52b, die eine Ecke 112-52c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-52d und eine entsprechende Ecke 112-52e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-52f auf die vorstehend erörterte Weise berechnet werden.
  • 4N veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4M (z. B. dem MVR 112-52f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-52f platziert ist, ohne die Sicht auf die unklaren Kanten 112-52d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-52 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-52 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-52 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-52g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-52 besteht, in der RDS 170 aus 1B gespeichert werden.
  • 4O veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4J (z. B. dem MVR 112-54f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-54f platziert ist, ohne die Sicht auf die unklaren Kanten 112-54d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-54 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-54 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-54 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-54g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-54 besteht, in der RDS 170 aus 1B gespeichert werden.
  • 4P veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem zweiten MVR aus 4D (z. B. dem MVR 112-31f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-31f platziert ist, ohne die Sicht auf die unklaren Kanten 112-31d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-31 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-31 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-31 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-31g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für das nicht registrierte Paket 112-31 besteht, in der RDS 170 aus 1B gespeichert werden.
  • 4Q veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem dritten MVR aus 4D (z. B. dem MVR 112-53) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-53f platziert ist, ohne die Sicht auf die unklaren Kanten 112-53d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-53 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-53 erzeugt wird; können zweite Bilddaten, die ein partielles SI des Pakets 112-53 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-53g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-53 besteht, in der RDS 170 aus 1B gespeichert werden.
  • 5 veranschaulicht eine Ablaufsteuerung 200 für ein beispielhaftes Verfahren zum Betreiben des Robotersystems 100 aus 1A. Die Ablaufsteuerung 200 kann das Registrieren eines nicht registrierten der Pakete 112 während eines Pakethandhabungsvorgangs beinhalten, wobei die PU 150 aus 1B mit Anweisungen entsprechend den Modulen (z. B. Schaltungen, Funktionen computer-/vorrichtungsausführbare Anweisungen oder eine Kombination davon), die in der Ablaufsteuerung 200 ausgeführt sind, programmiert oder konfiguriert sein kann. In einigen Ausführungsformen kann die PU 150 ein Prozessor oder eine Kombination aus Prozessoren sein, die in dem Roboterarmsystem 130 aus 1B, dem Endeffektor 140 aus 1B, dem Bildsystem 160 aus 1B, der RDS 170 aus 1B, einer eigenständigen Steuerung und/oder einem beliebigen anderen System, das geeignet ist, um die Aufgabe durchzuführen, zu finden sind. Auch kann die PU 150 ein Prozessor eines Moduls sein, wie zum Beispiel unter anderem eine Leiterplatte mit einer oder mehreren Eingangsschnittstellen, um die zweiwegige Datenkommunikation der PU 130, d. h. das Empfangen und Bereitstellen von Daten, zu erleichtern. Wie erforderlich zur Vollendung der folgenden Module, die in der Ablaufsteuerung 200 ausgeführt sind, ist das Empfangen von Daten synonym und/oder austauschbar mit dem Erwerben und/oder Abrufen von Daten, und ist das Bereitstellen von Daten synonym und/oder austauschbar mit dem Zurverfügungstellen oder Liefern von Daten.
  • Das Robotersystem 100 kann ein Erfassungsmodul 202 beinhalten. Das Erfassungsmodul 202 erfasst das SI als die ersten Bilddaten. Zum Beispiel kann das Erfassungsmodul 202 die ersten Bilddaten mit dem/den Sensor(en) 162 aus 1B erfassen. Konkreter als Beispiel kann das Erfassungsmodul 202 das Bildsystem 160 betreiben und/oder mit dem Bildsystem 160 interagieren, um die Bilddaten entsprechend einer Draufsicht auf einen Stapel wie in 3B und/oder 4B veranschaulicht zu erfassen und/oder von dem Bildsystem 160 zu empfangen. Das Erfassungsmodul 202 kann die resultierenden Bilddaten verarbeiten, um die Oberseite des Pakets 112 aus 1A als die ersten Bilddaten zu erfassen. In einigen Ausführungsformen kann das Erfassungsmodul 202 einen oder mehrere Bilderkennungsalgorithmen (z. B. die kontextuelle Bildklassifizierung, Mustererkennung und/oder Randerfassung) einsetzen, um die Bildgebungsdaten zu analysieren und Kanten und/oder Oberflächen der Pakete 112 darin zu identifizieren. Basierend auf den Verarbeitungsergebnissen (z. B. den identifizierten Kanten und/oder durchgehenden Oberflächen) kann das Erfassungsmodul 202 Abschnitte (z. B. Sätze von Pixelwerten und/oder Tiefenablesungen) der Bildgebungsdaten als Oberseiten einzelner Pakete darstellend identifizieren. Das Erfassungsmodul 202 kann die ersten Bilddaten entsprechend der/den Oberseite(n) von einem oder mehreren der einzelnen Pakete an ein Bereichsmodul 204 übertragen.
  • Das Robotersystem 100 kann das Bereichsmodul 204 beinhalten, das an das Erfassungsmodul 202 gekoppelt sein kann. Das Bereichsmodul 204 berechnet den MVR. Zum Beispiel kann das Bereichsmodul 204 den MVR basierend auf dem Paket 112, der Registrierungsaufzeichnung 172 aus 1B oder einer Kombination davon berechnen.
  • In einigen Ausführungsformen kann das Erfassungsmodul 202 die empfangenen Bilddaten (z. B. die ersten Bilddaten) mit der Registrierungsaufzeichnung 172 vergleichen. Zum Beispiel kann das Erfassungsmodul 202 die ersten Bilddaten und/oder beliebige Verarbeitungsergebnisse davon (z. B. Abmessungs-/Größenschätzungen und/oder visuelle Markierungen abgeleitet von den Bilddaten) mit vorhandenen Beschreibungen/Vorlagen von bekannten oder zuvor eingetroffenen Paketen vergleichen. Basierend auf dem Vergleich kann das Bereichsmodul 204 bestimmen, ob die ersten Bilddaten mit entsprechenden Informationen eines bekannten oder zuvor eingetroffenen Pakets wie in den Registrierungsaufzeichnungen 172 gespeichert übereinstimmen.
  • Das Bereichsmodul 204 kann den MVR auf verschiedene Arten berechnen, darunter zum Beispiel Berechnen des MVR basierend darauf, ob das Paket 112 als die Registrierungsaufzeichnung 172 registriert ist (z. B., ob ein Vergleich der ersten Bilddaten mit den Registrierungsaufzeichnungen 172 eine Übereinstimmung zurückgibt). Konkreter als Beispiel kann das Bereichsmodul 204 das Berechnen des MVR vermeiden, wenn die ersten Bilddaten mit einer der Registrierungsaufzeichnungen 172 übereinstimmen (z. B. das Paket 112 als eine oder mehrere der Registrierungsaufzeichnungen 172 registriert ist). Im Gegensatz dazu kann das Bereichsmodul 204 den MVR berechnen, wenn erste Bilddaten mit keiner der Registrierungsaufzeichnungen 172 übereinstimmen. Zum Beispiel können die erfassten ersten Bilddaten die Oberseite der nicht registrierten Instanz des Pakets 112 darstellen. Da das Paket 112 nicht registriert ist, können einige Instanzen des Randes des Pakets 112 unklar sein. Konkreter als Beispiel kann das nicht registrierte Paket 112-31 aus 4B unklare Kanten 112-31d aus 4D beinhalten. Das Bereichsmodul 204 kann einen Satz an eindeutigen und/oder unklaren Kanten identifizieren. In einigen Ausführungsformen kann das Bereichsmodul 204 die eindeutigen Kanten (z. B. Kanten, die periphere Ränder des Stapels bilden/damit zusammenfallen und an keine anderen Pakete anstoßen) identifizieren und sie als Referenzen verwenden. Entsprechend kann das Bereichsmodul 204 die eindeutigen Kanten verwenden, um den MVR wie vorstehend beschrieben (z. B. gemäß einer Größe/Eigenschaft des Greifersystems 146) zu bestimmen. Das Bereichsmodul 204 kann den MVR bestimmen, der kleiner als der Bereich der Oberfläche des Pakets 112 ist, das in den ersten Bilddaten erfasst wird.
  • Als spezifisches Beispiel können die ersten Bilddaten des Pakets 112-31 zwei eindeutige Kanten 112-31b aus 4D beinhalten. Das Bereichsmodul 204 kann die Grenze des Oberflächenbereichs des Pakets 112-31 vorhersagen, indem die zwei eindeutigen Kanten 112-31b und die zwei unklaren Kanten 112-31d verlängert werden, sodass sich die zwei eindeutigen Kanten 112-31b mit den zwei unklaren Kanten 112-31d schneiden. Das Bereichsmodul 204 kann den MVR basierend auf der Grenze des Oberflächenbereichs berechnen, indem bestimmt wird, dass der MVR kleiner als die Grenze des Oberflächenbereichs ist. In einigen Ausführungsformen kann das Bereichsmodul 204 (z. B. basierend auf den Bilddaten) ein Paar von Kanten (z. B. eindeutige und/oder unklare Kanten) für die Paketoberfläche identifizieren, die einander schneiden, um eine erste Ecke zu bilden. Das Bereichsmodul 204 kann das Paar von Kanten verwenden, um den MVR zu bestimmen, indem zum Beispiel unklare Kanten geschätzt werden, indem ein Paar von Linien senkrecht zu dem Paar von Kanten und in Richtung zueinander verlängert wird. Entsprechend kann das Bereichsmodul 204 eine gegenüberliegende Ecke als einen Schnittpunkt des Paares von unklaren/verlängerten Paarlinien schätzen. Das Bereichsmodul 204 kann die unklaren/senkrechten Linien von Punkten an dem ersten Paar von Kanten verlängern, die einer oder mehreren Größen/Eigenschaften des Greifersystems 146 entsprechen.
  • Als ein weiteres Beispiel können Design und/oder Markierungen, die an dem SI des Pakets 112 erscheinen, eine gerade Linie beinhalten. Die gerade Linie kann fälschlicherweise als Rand der Oberfläche des Pakets 112 angesehen werden. Um potentielle Fehlidentifizierung des Randes zu reduzieren, kann das Bereichsmodul 204 den MVR ohne den Abschnitt der Oberfläche mit der geraden Linie berechnen. Konkreter als Beispiel kann das Bereichsmodul 204 den MVR kleiner als die Grenze des Oberflächenbereichs, der mit der geraden Linie enthalten ist, berechnen.
  • Als ein anderes Beispiel kann das Bereichsmodul 204 den MVR basierend auf der Stelledes Pakets 112 berechnen. Zum Beispiel kann die Palette mehr als ein Paket 112 (registriert und/oder nicht registriert) wie in 3A/4B an der Depalettierplattform 110 aus 1A gezeigt beinhalten. Anhand der Gruppe an Paketen kann das Bereichsmodul 204 den MVR basierend auf einer Stelle einer Instanz des Pakets 112 relativ zu einer anderen Instanz des Pakets 112 berechnen. Wie erörtert, können alle Kanten der registrierten Instanz des Pakets 112 bekannt sein, wie zum Beispiel basierend auf einer positiven Übereinstimmung der exponierten Oberfläche des Pakets mit registrierten Daten und Verwenden von zuvor gespeicherten Größen-/Abmessungsmessungen, die den registrierten Daten entsprechen.
  • Im Gegensatz dazu können einige der Kanten für die nicht registrierte Instanz des Pakets 112 unbekannt sein, wie zum Beispiel aufgrund dessen, dass das Paket 112-52 nicht registriert ist. Ferner kann ein unbekanntes Paket (z. B. das Paket 112-52) von anderen Paketen umgeben sein, wie zum Beispiel den Paketen 112-31, 112-32, 112-33, 112-43, 112-44, 112-51, 112-53 und/oder 112-54, wie in 4B veranschaulicht. Da die Kanten der 112-52 unbekannt sind, können SI der 112-52 mit Oberflächenbildern von anderen Paketen 112 überlappen.
  • In einigen Fällen kann eines oder können mehrere der umliegenden Pakete (z. B. das Paket 112-32) auch gemäß den Registrierungsaufzeichnungen 172 nicht registriert/nicht zugeordnet sein, wodurch weitere Unklarheiten in Bezug auf die übrigen/unbekannten Kanten des Pakets 112-52 entstehen können. Ohne eine klare Grenze, die zwischen dem Paket 112-52 und dem Paket 112-32 gezogen wird, können das SI für das Paket 112-52 und das SI für das Paket 112-32 einander überlappen.
  • Im Gegensatz dazu können, während das Paket 112-31 auch nicht registriert/nicht zugeordnet sein kann, die Sensoren 162 eine(n) einmalige(n) Stelle/Zustand des Pakets 112-31 relativ zu der Depalettierplattform 110 und/oder anderen Paketen erfassen. Zum Beispiel kann das Bereichsmodul 204 bestimmen, dass das Paket 112-31 eine(n) zuvor festgelegte(n) Stelle/Zustand erfüllt, wenn zumindest eine Kante des Pakets 112-31 nicht benachbart zu einem anderen Paket 112 ist/nicht daran anstößt. Konkreter als Beispiel können die zwei Kanten 112-31b aus 4B und die Ecke 112-31c aus 4B in dem ersten Bild eindeutig sichtbar sein und/oder einer Tiefenmessung (z. B. für eine durchgehende Oberfläche) entsprechen, die sich von denjenigen an umliegenden/benachbarten horizontalen Stellen unterscheidet (z. B. sich darüber befindet). Auch kann zum Beispiel das Bereichsmodul 204 bestimmen, dass das Paket 112-31 und/oder seine Außenränder einer Ecke und/oder einem Außenabschnitt der Depalettierplattform 110 entsprechen.
  • Entsprechend kann das Bereichsmodul 204 basierend auf der Sichtbarkeit der Kante(n), der Ecke oder einer Kombination davon des Pakets 112 bestimmen, dass sich die nicht registrierte Instanz des Pakets 112 an oder nahe dem Außenumfang der Depalettierplattform 110 befindet. In einigen Ausführungsformen kann das Bereichsmodul 204 ferner bestimmen, dass die nicht registrierte Instanz des Pakets 112 entlang einer oder mehreren horizontalen Richtungen freiliegt (z. B. nicht benachbart zu anderen Paketen, wie zum Beispiel aufgrund von Entfernung von zuvor benachbartem Paket). Das Bereichsmodul 204 kann die Berechnung des MVR für die nicht registrierte Instanz des Pakets 112, die freiliegen und/oder sich an der Außenseite befinden, gegenüber anderen nicht registrierten Paketen (z. B. dem nicht registrierten Paket 112-52 112, das sich an dem horizontal inneren Abschnitt des Stapels/der Schicht befindet) priorisieren.
  • In einigen Ausführungsformen kann das Bereichsmodul 204 die Berechnung des MVR für das Paket mit der größeren Anzahl an Kanten, die deutlich sichtbar und/oder freiliegend sind, gegenüber dem Paket mit weniger solchen Kanten priorisieren. Entsprechend kann das Robotersystem 100 das Risiko reduzieren, das Paket mit SI zu greifen, das ein anderes Paket 112 überlappt, und die entsprechenden Greif-/Hubfehler reduzieren. Für das Beispiel, das in 4B veranschaulicht ist, kann das Bereichsmodul 204 den MVR für das Paket 112-31, 112-53 und/oder 112-44 vor den Paketen 112-32, 112-54 112-52 bestimmen. Das Bereichsmodul 204 kann den MVR an ein Hubmodul 206 übertragen.
  • Das Bereichsmodul 204 kann den MVR basierend auf zwei unklaren Ecken berechnen. Konkreter als Beispiel können die zwei unklaren Ecken aus einer Kombination aus zumindest drei unklaren Kanten, zwei eindeutigen Kanten und einer unklaren Kante oder zwei unklaren Kanten und einer eindeutigen Kante bestehen. Wie vorstehend erörtert, kann das Bereichsmodul 204 die Grenze der Oberfläche des Pakets 112 vorhersagen, indem jede Kante so verlängert wird, dass sie die andere Kante schneidet, um eine Ecke zu bilden. Das Bereichsmodul 204 kann den MVR basierend auf der Grenze des Oberflächenbereichs, der durch die drei Kanten/zwei Ecken gebildet wird, berechnen, indem bestimmt wird, dass der MVR kleiner als die Grenze ist, die durch die zwei unklaren Ecken erzeugt wird.
  • Das Robotersystem 100, das den MVR dynamisch und in Echtzeit berechnet, stellt eine verbesserte Genauigkeit und Leistung beim Greifen der nicht registrierten Instanz des Pakets 112 bereit. Durch Berechnen des MVR kann das Robotersystem 100 den Oberflächenbereich (z. B. die entsprechenden Kanten/Grenzen) des Pakets 112 schätzen, an denen das Greifersystem 146 aus 4H das Paket 112 sicher greifen kann. Folglich kann das Robotersystem 100 das Paket 112 unregistriert an das Robotersystem 100 übertragen, ohne den Arbeitsfluss anzuhalten, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
  • Das Robotersystem 100 kann das Hubmodul 206 beinhalten, das an das Bereichsmodul 204 gekoppelt sein kann. Das Hubmodul 206 implementiert (z. B. durch Kommunizieren und/oder Ausführen) den Befehl für den Roboterarm 132 aus 1A, um das Paket 112 hochzuheben. Zum Beispiel kann das Hubmodul 206 den Roboterarm 132 betätigen, um die nicht registrierte Instanz des Pakets 112 für den Hubprüfabstand wie vorstehend erörtert hochzuheben. Konkreter als Beispiel kann der Roboterarm 132 das Paket 112 durch Greifen innerhalb des MVR des Pakets 112 mit dem Greifersystem 146, wo zumindest eine der Kanten, die unklar ist, für die Sensoren 162 sichtbar ist, hochheben. Anders gesagt kann das Hubmodul 206 für nicht registrierte/nicht identifizierte Pakete den Roboterarm 132 betätigen, um das Greifersystem 146 direkt an dem/über dem/den MVR kontaktierend zu platzieren. Folglich kann das Hubmodul 206 das entsprechende Paket greifen und hochheben, während eine oder mehrere unklare Kanten durch das Greifersystem 146 unbedeckt und freiliegend/für die Sensoren 162 sichtbar bleiben.
  • Das Hubmodul 206 kann auf eine Reihe von Arten arbeiten. Zum Beispiel kann das Hubmodul 206 den Hubbefehl für den Roboterarm 132 ausführen, um das Paket 112 innerhalb des MVR zu greifen, wo die unklare Kante für die Sensoren 162 sichtbar ist. Als konkretes Beispiel, wie in 4D gezeigt, kann der Roboterarm 132 das Paket 112-44 aus 4D innerhalb von 112-44f aus 4D hochheben. Das SI des Pakets 112-44 kann zwei eindeutige Kanten 112-44b und die Ecke 112-44c beinhalten. Das SI des Pakets 112-44 kann auch zwei unklare Kanten 112-44d beinhalten. Wie in 4H gezeigt, kann der Roboterarm 132 das Paket 112-44 hochheben, indem das Paket 112-44 gegriffen wird, wo die zwei unklaren Kanten 112-44b für die Sensoren 162 sichtbar sind. Ohne den MVR zu verwenden, kann das Greifersystem 146 das Paket an einer Stelle greifen, die das Erfassen der Kante durch die Sensoren 162 blockiert.
  • Als ein anderes Beispiel kann das Hubmodul 206 das Gewicht des Pakets 112 bestimmen. Konkreter als Beispiel kann das Hubmodul 206 das Gewicht der nicht registrierten Instanz des Pakets 112 unter Verwendung des F-T-Sensors 142 aus 1B bestimmen. Das Hubmodul 206 kann das Gewicht des Pakets 112 an ein Registriermodul 212 übertragen.
  • In einigen Ausführungsformen kann das Erfassungsmodul 202 ferner das SI der nicht registrierten Instanz des Pakets 112 nach dem Hochheben und/oder während es durch das Greifen am MVR hochgehoben wird, als die zweiten Bilddaten erfassen. Konkreter als Beispiel kann das Erfassungsmodul 202 die zweiten Bilddaten basierend darauf erfassen, dass das Paket 112 für den Hubprüfabstand hochgehoben wird, um die nun sichtbaren zwei eindeutigen Kanten 112-44g aus 4H zu beinhalten. Anders gesagt kann das Hubmodul 206 die Sichtbarkeit und/oder Klarheit der anfangs unklaren Kanten verbessern, indem das Paket 112 hochgehoben wird. Entsprechend kann das Erfassungsmodul 202 die zweiten Bilddaten (z. B. für das Paket 112 in einem/einer hochgehobenen Zustand/Position) erfassen, die die zuvor unklaren Kanten eindeutig identifizieren/zeigen. Das Erfassungsmodul 202 kann die zweiten Bilddaten an ein Extraktionsmodul 208 übertragen.
  • Das Robotersystem 100 kann das Extraktionsmodul 208 beinhalten, das an das Hubmodul 206 gekoppelt sein kann. Das Extraktionsmodul 208 extrahiert die dritten Bilddaten. Zum Beispiel kann das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder eine Kombination davon extrahieren.
  • Das Extraktionsmodul 208 kann die dritten Bilddaten auf eine Reihe von Arten extrahieren. Zum Beispiel kann das Extraktionsmodul 208 einen Bildunterschied basierend auf dem Vergleichen der ersten Bilddaten und der zweiten Bilddaten bestimmen. Der Bildunterschied kann den Unterschied zwischen den ersten Bilddaten und den zweiten Bilddaten der gleichen Instanz der nicht registrierten Instanz des Pakets 112 darstellen.
  • Konkreter als Beispiel können die ersten Bilddaten SI mit dem Design und/oder den Markierungen des Pakets 112 beinhalten. Da das Paket 112 jedoch nicht registriert ist, können die Kanten des Pakets 112 unklar oder nicht definitiv bestimmt sein. Somit können die ersten Bilddaten das SI des Pakets 112 mit der Kante beinhalten, die unklar ist oder mit dem SI eines anderen Pakets 112 überlappt. Als ein weiteres Beispiel können die zweiten Bilddaten das SI des Pakets 112 beinhalten, nachdem es für den Hubprüfabstand hochgehoben wurde. Konkreter als Beispiel können die zweiten Bilddaten das SI des Pakets 112 mit zuvor unklarem Rand (z. B. Kanten 112-44b) beinhalten, der ein eindeutiger Rand (z. B. Kanten 112-44g) wird, nachdem das Paket 112 hochgehoben ist. Der unklare Rand kann ein eindeutiger Rand werden, nachdem das Paket 112 hochgehoben ist, da das Paket 112 (z. B. bei einer höheren Höhe) von anderen benachbarten Paketen 112 separiert wird. Die Sensoren 162 können zwischen unterschiedlichen Paketen 112 unterscheiden, da sich der Abstand oder die Tiefe zwischen dem Paket 112, das hochgehoben wird, und den benachbarten Paketen 112 von den Sensoren 162 unterscheiden kann.
  • Das Extraktionsmodul 208 kann die dritten Bilddaten basierend auf dem Kombinieren der Bildunterschiede zwischen den ersten Bilddaten und den zweiten Bilddaten extrahieren. Zum Beispiel können die ersten Bilddaten des Pakets 112-44 das Design und/oder die Markierungen, die zwei eindeutigen Kanten 112-44b, die Ecke 112-44c oder eine Kombination davon beinhalten. Als ein weiteres Beispiel können die zweiten Bilddaten des Pakets 112-44 die zwei eindeutigen Kanten 12-44g beinhalten. Das Extraktionsmodul 208 kann die dritten Bilddaten des Pakets 112-44 extrahieren, indem es das Design und/oder die Markierungen, die zwei eindeutigen Kanten 112-44b, die Ecke 112-44c, die zwei eindeutigen Kanten 112-44g oder eine Kombination davon einschließt.
  • Als ein weiteres Beispiel kann das Extraktionsmodul 208 die Länge, Breite oder eine Kombination davon des Pakets 112 basierend auf den dritten Bilddaten bestimmen. Konkreter als Beispiel kann das Extraktionsmodul 208 basierend auf den eindeutigen Kanten die Abmessung einschließlich der Länge, der Breite oder einer Kombination davon bestimmen. Das Extraktionsmodul 208 kann die dritten Bilddaten, die Länge, die Breite oder eine Kombination davon an das Registriermodul 212 übertragen.
  • Die dynamische und in Echtzeit erfolgende Extraktion der dritten Bilddaten stellt eine verbesserte Leistung und die Genauigkeit des Robotersystems 100 bereit, um die nicht registrierte Instanz des Pakets 112 zu identifizieren und zu greifen. Indem die dritten Bilddaten extrahiert werden, kann das Robotersystem 100 die Kanten des Pakets 112 identifizieren, um von einem anderen Paket 112 zu unterscheiden. Indem die Grenzen/Kanten des Pakets 112 eindeutig identifiziert werden, kann das Robotersystem 100 das Greifersystem 146 effizient an dem Paket 112 platzieren, um das Paket 112 sicher zu greifen und zu übertragen. Folglich kann das Robotersystem 100 das nicht im Robotersystem 100 registrierte Paket 112 weiter übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
  • Für veranschaulichende Zwecke ist beschrieben, dass das Hubmodul 206 den Befehl zum Hochheben des Pakets 112 ausführt, aber das Hubmodul 206 kann anders arbeiten. Zum Beispiel kann das Hubmodul 206 den CoM basierend auf dem Hochheben des Pakets 112 bestimmen. Konkreter als Beispiel kann das Hubmodul 206 bestimmen, ob die Stelle innerhalb des MVR, wo das Paket 112 durch das Greifersystem 146 gegriffen und hochgehoben wird, über dem CoM des Pakets 112 liegt. Als ein weiteres Beispiel kann das Hubmodul 206 bestimmen, ob der CoM innerhalb der xy-Achsen liegt, die als der MVR dargestellt sind.
  • Das Hubmodul 206 kann den CoM auf eine Reihe von Arten bestimmen. Zum Beispiel kann das Hubmodul 206 den CoM mit dem F-T-Sensor 142 wie vorstehend beschrieben bestimmen. Als ein weiteres Beispiel kann das Hubmodul 206 mit dem F-T-Sensor 142, dem CoM-Algorithmus oder einer Kombination davon bestimmen, ob der CoM unter dem Oberflächenbereich ist, der als der MVR dargestellt ist.
  • Unter Verwendung des F-T-Sensors 142 und der CoM-Algorithmen kann das Hubmodul 206 auch bestimmen, ob die Stelle/der Abschnitt innerhalb des MVR, die/der den Greifer kontaktiert oder dadurch bedeckt ist, wo das Paket 112 mit dem CoM zusammenfällt oder diesen beinhaltet. Als ein weiteres Beispiel kann das Hubmodul 206 eine neue Stelle innerhalb des MVR für das Greifersystem 146 bestimmen, um das Paket 112 zu greifen, wenn sich die ursprüngliche Greifstelle nicht über dem CoM des Pakets 112 befindet. Konkreter als Beispiel kann das Hubmodul 206 unter Anwendung des vorstehend erörterten CoM-Algorithmus bestimmen, dass die neue Stelle zum Greifen relativ zu der ursprünglichen gegriffenen Stelle über dem CoM ist. Zum Beispiel kann das Hubmodul 206 eine Vektorrichtung basierend auf einem gemessenen Drehmoment und/oder eine Richtung davon bestimmen. Basierend auf dem Drehmoment kann das Hubmodul 206 eine Stelle/Richtung einer Abwärtskraft relativ zu dem F-T-Sensor 142 und/oder dem Greifersystem 146 schätzen. Auch kann das Hubmodul 206 einen Abstand basierend auf einer Größe des gemessenen Drehmoments, einem gemessenen Gewicht des hochgehobenen Pakets 112, einer Beziehung zwischen der Greifstelle und den Grenzen/Kanten des Pakets oder einer Kombination davon berechnen. Das Hubmodul 206 kann prüfen, ob die neue Stelle (z. B. die Vektorrichtung und der Abstand) zum Greifen innerhalb des MVR liegt. Wenn die neue Stelle über dem CoM liegt, kann das Hubmodul 206 verifizieren, dass der CoM des Pakets 112 richtig bestimmt ist.
  • Wenn das Hubmodul 206 bestimmt, dass die gegriffene Stelle innerhalb des MVR nicht der CoM ist, kann das Hubmodul 206 den Befehl ausführen, das Paket 112 dort fallenzulassen oder abzusenken, wo das Greifersystem 146 das Paket 112 hochgehoben hatte. Ferner kann das Hubmodul 206 den Befehl für das Greifersystem 146 ausführen, das Paket 112 an der neuen Stelle innerhalb des MVR zu greifen (z. B. durch Absenken und Freigeben des Pakets 112, Neupositionieren des Greifersystems 146 und dann erneutes Greifen des Pakets 112) und für den Roboterarm 132, das Paket 112 für den Hubprüfabstand hochzuheben. Als zusätzliches Beispiel kann das Greifersystem 146 an der neuen Stelle innerhalb des MVR greifen, ohne das Erfassen des unklaren Randes des Pakets 112 durch die Sensoren 162 zu blockieren. Das Hubmodul 206 kann das Registriermodul 212 übertragen.
  • Das Robotersystem 100, das den CoM des Pakets 112 dynamisch und in Echtzeit bestimmt, stellt eine verbesserte Leistung des Robotersystems 100 bereit, das die nicht registrierte Instanz des Pakets 112 überträgt. Durch genaues Identifizieren des CoM von nicht registrierten/nicht erkannten Paketen verbessert sich die Stabilität des Greifersystems 146, das das Paket 112 greift. Folglich kann das Robotersystem 100 das Paket 112 weiter unregistriert an das Robotersystem 100 übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
  • Für veranschaulichende Zwecke ist beschrieben, dass das Erfassungsmodul 202 die ersten Bilddaten, die zweiten Bilddaten oder eine Kombination davon erfasst, aber das Erfassungsmodul 202 kann anders arbeiten. Zum Beispiel kann das Erfassungsmodul 202 neu gegriffene Bilddaten erfassen, die das SI des Pakets 112 darstellen, nachdem der CoM wie vorstehend erörtert korrekt bestimmt ist. Konkreter als Beispiel kann der Roboterarm 132 das Paket 112 hochheben, nachdem das Greifersystem 146 das Paket 112 an der neuen Stelle innerhalb des MVR greift. Das Erfassungsmodul 202 kann die erneut gegriffenen Bilddaten erfassen, die das SI des Pakets 112 darstellen, das an der neuen Stelle innerhalb des MVR und über dem CoM gegriffen wird. Das Erfassungsmodul 202 kann die erneut gegriffenen Bilddaten an das Extraktionsmodul 208 übertragen.
  • Für veranschaulichende Zwecke ist beschrieben, dass das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder eine Kombination davon extrahiert, aber das Extraktionsmodul 208 kann anders arbeiten. Zum Beispiel kann das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den erneut gegriffenen Bilddaten oder einer Kombination davon extrahieren, ähnlich wie vorstehend für das Extraktionsmodul 208 beschrieben, das die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder einer Kombination davon extrahiert. Das Extraktionsmodul 208 kann die Abmessung, darunter die Länge, die Breite oder eine Kombination davon des Pakets 112 wie vorstehend erörtert bestimmen. Das Extraktionsmodul 208 kann die dritten Bilddaten, die Länge, die Breite oder eine Kombination davon an das Registriermodul 212 übertragen.
  • Das Robotersystem 100 kann ein Übertragungsmodul 210 beinhalten, das an das Extraktionsmodul 208 gekoppelt sein kann. Das Übertragungsmodul 210 führt den Befehl aus, das Paket 112 an die Aufnahmeplattform 120 aus 1A zu übertragen. Zum Beispiel kann das Übertragungsmodul 210 den Befehl für den Roboterarm 132 ausführen, um die registrierte oder nicht registrierte Instanz des Pakets 112 an die Aufnahmeplattform 120 zu übertragen.
  • Das Übertragungsmodul 210 kann den Befehl auf eine Reihe von Arten ausführen. Zum Beispiel kann das Übertragungsmodul 210 den Befehl ausführen, das Paket 112 basierend auf dem Registrierungsstatus des Pakets 112 zu übertragen. Konkreter als Beispiel kann das Übertragungsmodul 210, wenn die Registrierungsaufzeichnung 172 für das Paket 112 vorhanden ist, den Befehl für den Roboterarm 132 ausführen, der die registrierte Instanz des Pakets 112 greift, um das Paket 112 zu übertragen, um es an der Aufnahmeplattform 120 zu platzieren.
  • Als ein anderes Beispiel werden, wenn die Registrierungsaufzeichnung 172 nicht vorhanden ist, die dritten Bilddaten des Pakets 112 wie vorstehend erörtert extrahiert. Außerdem kann das Übertragungsmodul 210 den Befehl für den Roboterarm 132 ausführen, der die nicht registrierte Instanz des Pakets 112 greift, um das Paket 112 an die Aufnahmeplattform 120 zu übertragen. Als ein weiteres Beispiel kann, wenn der Roboterarm 132 das Paket 112 auf die Aufnahmeplattform 120 absenkt, die Bodenerstreckung des Pakets 112 den HDS 180 aus 1A auslösen.
  • Die Höhe des HDS 180 relativ zum Boden kann vordefiniert werden, da die Höhe der Aufnahmeplattform 120 vordefiniert werden kann. Das Übertragungsmodul 210 kann die Höhe des Pakets 112 basierend auf einer Zeit, zu der der Boden des Pakets 112 den HDS 180 durchläuft, und einer Höhe des Greifersystems 146 bestimmen. Konkreter als Beispiel kann das Übertragungsmodul 210 die Höhe des Pakets 112 basierend auf dem Abstand/Unterschied zwischen der Stelle oder Höhe des Greifersystems 146, wenn das Signal (d. h. das Paket 112 darstellend, das den HDS 180 durchläuft) empfangen wird, und der vordefinierten Höhe des HDS 180 bestimmen. Das Übertragungsmodul 210 kann die Höhe des Pakets 112 an das Registriermodul 212 übertragen.
  • Das Robotersystem 100, das die Höhe der nicht registrierten Instanz des Pakets 112 dynamisch und in Echtzeit bestimmt, stellt eine verbesserte Leistung des Robotersystems 100 beim Depalettieren der Pakete 112 bereit. Durch Bestimmen der Höhe von nicht registrierten/nicht erkannten Paketen kann das Robotersystem 100 die Attribute der Pakete 112 genau identifizieren, um das Paket sicher zu greifen. Folglich kann das Robotersystem 100 die Pakete 112 der gleichen Art durchgehend übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
  • Das Robotersystem 100 kann das Registriermodul 212 beinhalten, das an das Übertragungsmodul 210 gekoppelt sein kann. Das Registriermodul 212 registriert das Attribut des Pakets 112. Zum Beispiel kann das Registriermodul 212 die dritten Bilddaten, die Länge, die Breite, die Höhe, das Gewicht, den CoM oder eine Kombination davon der nicht registrierten Instanz des Pakets 112 registrieren (z. B. durch Verbinden oder gemeinsames Aufbewahren). Konkreter als Beispiel kann das Registriermodul 212 die Registrierungsaufzeichnung 172 erzeugen, um die nicht registrierte Instanz des Pakets 112 in die registrierte Instanz des Pakets 112 umzuwandeln.
  • Es ist anzumerken, dass die Schritte des vorstehend beschriebenen Verfahrens in computerlesbaren Medien ausgeführt sein können, die in einem nichtflüchtigen computerlesbaren Medium als Computeranweisungscode gespeichert sind. Das Verfahren kann einen oder mehrere der hier beschriebenen Schritte beinhalten, wobei der eine oder die mehreren Schritte in einer beliebigen gewünschten Reihenfolge durchgeführt werden können, dabei auch simultan ausgeführt werden können. Zum Beispiel können zwei oder mehr der hier offenbarten Schritte in einem einzelnen Schritt kombiniert werden und/oder kann ein oder können mehrere der Schritte als zwei oder mehr Teilschritte durchgeführt werden. Ferner können Schritte, die hier nicht ausdrücklich offenbart oder inhärent vorhanden sind, mit den hier beschriebenen Schritten vermischt oder diesen hinzugefügt werden, oder können durch einen oder mehrere der hier beschriebenen Schritte ersetzt werden, wie ein Fachmann mit dem Vorteil der vorliegenden Offenbarung erkennt.
  • Die vorstehende detaillierte Beschreibung von Beispielen der offenbarten Technologie soll nicht erschöpfend sein oder die offenbarte Technologie auf die genaue vorstehend offenbarte Form beschränken. Während vorstehend zu veranschaulichenden Zwecken konkrete Beispiele für die offenbarte Technologie beschrieben sind, sind im Umfang der offenbarten Technologie verschiedene gleichwertige Änderungen möglich, wie der einschlägige Fachmann erkennen wird. Während zum Beispiel Prozesse oder Module in einer bestimmten Reihenfolge dargestellt sind, können bei alternativen Umsetzungen Routinen mit Schritten ausgeführt werden oder Systeme mit Modulen in einer anderen Reihenfolge verwendet werden, und einige Prozesse oder Module können gelöscht, verschoben, hinzugefügt, unterteilt, kombiniert und/oder verändert werden, um alternative oder Unterkombinationen bereitzustellen. Jeder dieser Prozesse oder jedes dieser Module kann in einer Vielfalt an unterschiedlichen Weisen umgesetzt werden. Obwohl Prozesse oder Module darüber hinaus manchmal als nacheinander ausgeführt gezeigt sind, können diese Prozesse oder Module stattdessen parallel ausgeführt oder umgesetzt werden oder zu unterschiedlichen Zeiten ausgeführt werden. Darüber hinaus sind sämtliche konkreten Zahlen, die in dieser Schrift genannt werden, nur Beispiele; alternative Umsetzungen können abweichende Werte oder Bereiche verwenden.
  • Der Begriff „Ausführungsform“ wie hier verwendet bedeutet eine Ausführungsform, die dazu dient, durch Beispiel, aber nicht Einschränkung zu veranschaulichen. Ein Fachmann versteht, dass die vorstehenden Beispiele und Ausführungsformen beispielhaft sind und den breiten Umfang der hier offenbarten erfinderischen Konzepte nicht einschränken. Es ist beabsichtigt, dass alle Modifikationen, Permutationen, Steigerungen, Äquivalente und Verbesserungen dazu, die einem Fachmann beim Lesen der Patentschrift und einer Studie der Zeichnungen ersichtlich werden, im breiten Umfang der hier offenbarten erfinderischen Konzepte enthalten sind. Es ist daher beabsichtigt, dass die folgenden angehängten Ansprüche alle solche Modifikationen, Permutationen, Steigerungen, Äquivalente und Verbesserungen beinhalten, die in den breiten Umfang der hier offenbarten erfinderischen Konzepte fallen.
  • BEISPIELE
  • In einigen Ausführungsformen beinhaltet ein Verfahren zum Registrieren eines Pakets während eines Roboterpakethandhabungsvorgangs: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Identifizieren eines Paares von sich schneidenden Kanten für die Paketoberfläche basierend auf dem ersten Bild; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich dem Greifen und Hochheben des Pakets dient; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; und Erzeugen von Registrierungsdaten basierend auf den dritten Bilddaten. Zum Beispiel kann das Verfahren beinhalten: Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist, und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Daten darstellen, um anschließend andere Pakete zu identifizieren.
  • Auch kann das Verfahren das Schätzen von unklaren Kanten basierend auf den ersten Bilddaten beinhalten, wobei das Paar von Kanten und die unklaren Kanten Grenzen der Paketoberfläche entsprechen; und wobei der geeignete Mindestbereich die unklaren Kanten zum Greifen des Pakets nicht überlappt, während Abschnitte des Pakets entsprechend den geschätzten unklaren Kanten freiliegend gelassen werden. In einer oder mehreren Ausführungsformen kann das Verfahren das Identifizieren von einer oder mehreren neuen Kanten basierend auf den zweiten Bilddaten beinhalten, wobei die neuen Kanten tatsächliche freiliegende Kanten des Pakets entsprechend den geschätzten unklaren Kanten darstellen; und wobei die dritten Bilddaten die eine oder die mehreren neuen Kanten beinhalten. In einer oder mehreren Ausführungsformen beinhaltet das Identifizieren des einen oder der mehreren neuen Kanten das Identifizieren der einen oder der mehreren neuen Kanten basierend auf Unterschieden in Tiefendaten, die nach dem Hochheben des Pakets gemessen werden.
  • In einigen Ausführungsformen kann die Bestimmung der dritten Bilddaten Folgendes beinhalten: Berechnen eines Unterschieds zwischen den ersten Bilddaten und den zweiten Bilddaten; und Kombinieren der ersten Bilddaten mit dem berechneten Unterschied. Auch kann das Verfahren das Identifizieren einer geraden Linie basierend auf den ersten Bilddaten beinhalten; wobei der geeignete Mindestbereich ein durchgehender Bereich ist, der die gerade Linie ausschließt. In einer oder mehreren Ausführungsformen kann das Verfahren das Berechnen einer Höhe beinhalten, die eine Abmessung des Pakets entlang einer vertikalen Richtung darstellt; und wobei die Registrierungsdaten die berechnete Höhe beinhalten. Das Berechnen der Höhe kann Folgendes beinhalten: Erfassen eines Auslösers, der einen Zeitpunkt darstellt, wenn das Paket eine horizontale Erfassungsebene in Verbindung mit einem Höhenbestimmungssensor durchläuft, der sich in einer bekannten Höhe befindet; Bestimmen einer vertikalen Position in Verbindung mit dem Auslöser, wobei die vertikale Position eine vertikale Stelle des Endeffektors zu dem Zeitpunkt darstellt, wenn das Paket die horizontale Erfassungsebene durchläuft; und Berechnen der Höhe basierend auf einem Unterschied zwischen der bekannten Höhe und der vertikalen Position.
  • In einigen Ausführungsformen kann das Verfahren zum Beispiel Folgendes beinhalten: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Kraftmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen eines Gewichts des Pakets basierend auf den empfangenen Daten; und wobei die Registrierungsdaten das bestimmte Gewicht beinhalten. Auch kann das Verfahren Folgendes beinhalten: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Drehmomentmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen einer Massenmittelpunktsstelle des Pakets basierend auf den empfangenen Daten; und wobei die Registrierungsdaten die Massenmittelpunktsstelle beinhalten.
  • In einigen Ausführungsformen beinhaltet ein System zum Registrieren eines nicht registrierten Pakets während eines Roboterpakethandhabungsvorgangs zumindest einen Prozessor; und zumindest einen Speicher, der an den zumindest einen Prozessor gekoppelt ist. Der Speicher kann Anweisungen beinhalten, die durch den zumindest einen Prozessor ausführbar sind, um einen oder mehrere Aspekte des Verfahrens oder beliebige andere vorstehend beschriebene Aspekte durchzuführen. Zum Beispiel kann der Speicher Anweisungen beinhalten, die für Folgendes durch den zumindest einen Prozessor ausführbar sind: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist; und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten des Pakets, wobei die zweiten Bilddaten das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Bilddaten darstellen, um anschließend andere Pakete zu identifizieren.
  • In einigen Ausführungsformen beinhaltet ein nichtflüchtiges Speichermedium computerausführbare Anweisungen, die, wenn sie durch ein Rechensystem ausgeführt werden, das Rechensystem dazu veranlassen, das Verfahren oder beliebige andere vorstehend beschriebene Aspekte durchzuführen. Zum Beispiel können die Anweisungen Folgendes beinhalten: Anweisungen zum Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Anweisungen zum Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Anweisungen zum Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Anweisungen zum Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Anweisungen zum Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist; und (2) Hochheben des Pakets; Anweisungen zum Empfangen von zweiten Bilddaten des Pakets, wobei die zweiten Bilddaten das Paket nach dem Hochheben darstellen; Anweisungen zum Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Anweisungen zum Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Bilddaten darstellen, um anschließend andere Pakete zu identifizieren.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62/752756 [0001]

Claims (15)

  1. Verfahren zum Registrieren eines Pakets während eines Roboterpakethandhabungsvorgangs, wobei das Verfahren Folgendes umfasst: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich eine oder beide aus dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist, und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets darstellen, basierend auf den dritten Bilddaten zum anschließenden Identifizieren von anderen Paketen.
  2. Verfahren nach Anspruch 1, ferner umfassend: Schätzen von unklaren Kanten basierend auf den ersten Bilddaten, wobei das Paar von Kanten und die unklaren Kanten Grenzen der Paketoberfläche entsprechen; und wobei: der geeignete Mindestbereich die unklaren Kanten nicht überlappt, um das Paket zu greifen, während Abschnitte des Pakets, die den geschätzten unklaren Kanten entsprechen, frei gelassen werden.
  3. Verfahren nach Anspruch 2, ferner umfassend: Identifizieren von einer oder mehreren neuen Kanten basierend auf den zweiten Bilddaten, wobei die neuen Kanten tatsächlich freiliegende Kanten des Pakets entsprechend den geschätzten unklaren Kanten darstellen; und wobei: die dritten Bilddaten die eine oder die mehreren neuen Kanten beinhalten.
  4. Verfahren nach Anspruch 3, wobei das Identifizieren der einen oder der mehreren neuen Kanten das Identifizieren der einen oder der mehreren neuen Kanten basierend auf Unterschieden in Tiefendaten beinhaltet, die nach dem Hochheben des Pakets gemessen werden.
  5. Verfahren nach Anspruch 1, wobei das Bestimmen der dritten Bilddaten Folgendes beinhaltet: Berechnen eines Unterschieds zwischen den ersten Bilddaten und den zweiten Bilddaten; und Kombinieren der ersten Bilddaten mit dem berechneten Unterschied.
  6. Verfahren nach Anspruch 1, ferner umfassend: Identifizieren einer geraden Linie basierend auf den ersten Bilddaten; wobei: der geeignete Mindestbereich ein durchgehender Bereich ist, der die gerade Linie ausschließt.
  7. Verfahren nach Anspruch 1, ferner umfassend: Berechnen einer Höhe, die eine Abmessung des Pakets entlang einer vertikalen Richtung darstellt; und wobei: die Registrierungsdaten die berechnete Höhe beinhalten.
  8. Verfahren nach Anspruch 7, wobei das Berechnen der Höhe Folgendes beinhaltet: Erfassen eines Auslösers, der einen Zeitpunkt darstellt, an dem das Paket eine horizontale Erfassungsebene in Verbindung mit einem Höhenbestimmungssensor, der sich auf einer bekannten Höhe befindet, durchläuft; Bestimmen einer vertikalen Position in Verbindung mit dem Auslöser, wobei die vertikale Position eine vertikale Stelle des Endeffektors zu dem Zeitpunkt darstellt, an dem das Paket die horizontale Erfassungsebene durchläuft; und Berechnen der Höhe basierend auf einem Unterschied zwischen der bekannten Höhe und der vertikalen Position.
  9. Verfahren nach Anspruch 1, ferner umfassend: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Kraftmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen eines Gewichts des Pakets basierend auf den empfangenen Daten; und wobei: die Registrierungsdaten das bestimmte Gewicht beinhalten.
  10. Verfahren nach Anspruch 1, ferner umfassend: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Drehmomentmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen einer Massenmittelpunktsstelle des Pakets basierend auf den empfangenen Daten; und wobei: die Registrierungsdaten die Massenmittelpunktsstelle beinhalten.
  11. System zum Registrieren eines nicht registrierten Pakets während eines Roboterpakethandhabungsvorgangs, wobei das System Folgendes umfasst: zumindest einen Prozessor; und zumindest einen Speicher, der an den zumindest einen Prozessor gekoppelt ist, wobei der Speicher Anweisungen beinhaltet, die für Folgendes durch den zumindest einen Prozessor ausführbar sind: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich eine oder beide aus dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist, und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten des Pakets, wobei die zweiten Bilddaten das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets darstellen, basierend auf den dritten Bilddaten zum anschließenden Identifizieren von anderen Paketen.
  12. System nach Anspruch 11, wobei der zumindest eine Speicher Anweisungen für Folgendes beinhaltet: Schätzen von unklaren Kanten basierend auf den ersten Bilddaten, wobei das Paar von Kanten und die unklaren Kanten Grenzen der Paketoberfläche entsprechen; und wobei: der geeignete Mindestbereich die unklaren Kanten nicht überlappt, um das Paket zu greifen, während Abschnitte des Pakets, die den geschätzten unklaren Kanten entsprechen, frei gelassen werden.
  13. System nach Anspruch 12, wobei der zumindest eine Speicher Anweisungen für Folgendes beinhaltet: Identifizieren von einer oder mehreren neuen Kanten basierend auf den zweiten Bilddaten, wobei die neuen Kanten tatsächlich freiliegende Kanten des Pakets entsprechend den geschätzten unklaren Kanten darstellen; und wobei: die dritten Bilddaten die eine oder die mehreren neuen Kanten beinhalten.
  14. System nach Anspruch 13, wobei der zumindest eine Speicher Anweisungen beinhaltet, um die eine oder die mehreren neuen Kanten basierend auf Unterschieden in Tiefendaten, die nach dem Hochheben des Pakets gemessen werden, zu identifizieren.
  15. System nach Anspruch 11, wobei der zumindest eine Speicher Anweisungen beinhaltet, um die dritten Bilddaten basierend auf Folgendem zu bestimmen: Berechnen eines Unterschieds zwischen den ersten Bilddaten und den zweiten Bilddaten; und Kombinieren der ersten Bilddaten mit dem berechneten Unterschied.
DE112019000125.6T 2018-10-30 2019-06-05 Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung Active DE112019000125B4 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30
US16/290,741 2019-03-01
US16/290,741 US10369701B1 (en) 2018-10-30 2019-03-01 Automated package registration systems, devices, and methods
US201962852963P 2019-05-24 2019-05-24
US62/852,963 2019-05-24
PCT/US2019/035608 WO2020091846A1 (en) 2018-10-30 2019-06-05 Automated package registration systems, devices, and methods

Publications (2)

Publication Number Publication Date
DE112019000125T5 true DE112019000125T5 (de) 2020-07-02
DE112019000125B4 DE112019000125B4 (de) 2021-07-01

Family

ID=70327497

Family Applications (6)

Application Number Title Priority Date Filing Date
DE112019000125.6T Active DE112019000125B4 (de) 2018-10-30 2019-06-05 Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
DE112019000172.8T Pending DE112019000172T5 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketabtast- und Registrierungsmechanismus und Verfahren zum Betreiben dieses Systems
DE112019000217.1T Active DE112019000217B4 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketregistrierungsmechanismus und Leitung zur automatischen Erkennung
DE112019000177.9T Pending DE112019000177T5 (de) 2018-10-30 2019-10-29 Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
DE112019000127.2T Pending DE112019000127T5 (de) 2018-10-30 2019-10-29 Ein robotersystem mit automatisiertem objekterkennungsmechanismus und verfahren zum betreiben dieses systems
DE112019000247.3T Pending DE112019000247T5 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketregistrierungsmechanismus und Erkennung geeigneter Mindestbereiche

Family Applications After (5)

Application Number Title Priority Date Filing Date
DE112019000172.8T Pending DE112019000172T5 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketabtast- und Registrierungsmechanismus und Verfahren zum Betreiben dieses Systems
DE112019000217.1T Active DE112019000217B4 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketregistrierungsmechanismus und Leitung zur automatischen Erkennung
DE112019000177.9T Pending DE112019000177T5 (de) 2018-10-30 2019-10-29 Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
DE112019000127.2T Pending DE112019000127T5 (de) 2018-10-30 2019-10-29 Ein robotersystem mit automatisiertem objekterkennungsmechanismus und verfahren zum betreiben dieses systems
DE112019000247.3T Pending DE112019000247T5 (de) 2018-10-30 2019-10-29 Ein Robotersystem mit automatisiertem Paketregistrierungsmechanismus und Erkennung geeigneter Mindestbereiche

Country Status (6)

Country Link
US (12) US10703584B2 (de)
JP (15) JP6704154B2 (de)
KR (3) KR102650494B1 (de)
CN (11) CN111113492A (de)
DE (6) DE112019000125B4 (de)
WO (6) WO2020091846A1 (de)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11224951B2 (en) * 2018-12-21 2022-01-18 The Boeing Company Method and apparatus for single-sided clamp-up
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
EP3702985A1 (de) * 2019-02-28 2020-09-02 Accenture Global Solutions Limited Frachtladeoptimierung mit erweiterter realität
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US11069073B2 (en) * 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
US10906188B1 (en) 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
SG10201913056VA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Method and apparatus for obtaining sample images, and electronic device
US11040836B1 (en) 2020-01-24 2021-06-22 Becton Dickinson Rowa Germany Gmbh Device and method for separating piece goods
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US11443449B2 (en) * 2020-02-26 2022-09-13 Zebra Technologies Corporation Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
CA3115442A1 (en) 2020-04-20 2021-10-20 Rehrig Pacific Company Camera enabled portal
CN114096331A (zh) * 2020-06-04 2022-02-25 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
CN113658205B (zh) * 2020-06-04 2022-08-12 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
AT524101A1 (de) * 2020-07-27 2022-02-15 Tgw Logistics Group Gmbh System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
CN112157671A (zh) * 2020-09-24 2021-01-01 中国标准化研究院 一种用于电子商务产品质量抽检的包裹取料机械手及方法
CN111928790B (zh) * 2020-10-16 2020-12-29 成都裕鸢航空零部件制造有限公司 一种基于互联网的航空零部件厚度计量装置及计量方法
CN112276956B (zh) * 2020-10-30 2022-05-17 北京市商汤科技开发有限公司 一种物品配送方法、装置、设备以及存储介质
CN113058238B (zh) * 2020-12-05 2021-12-17 林周容 篮球内胎自动贴片系统及方法
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
EP4304818A1 (de) * 2021-03-10 2024-01-17 Aquabot Ltd. System und verfahren zur identifizierung oder erfassung von daten entsprechend einem tragbaren artikel
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
US20220289502A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Adaptive robotic singulation system
KR20230162961A (ko) * 2021-03-26 2023-11-29 보스턴 다이나믹스, 인크. 통합 모바일 조작기 로봇을 위한 동적 질량 추정 방법들
JP2022157884A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 ロボットの制御方法、ロボットシステムおよびロボット制御プログラム
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
US20220362936A1 (en) * 2021-05-14 2022-11-17 Intelligrated Headquarters, Llc Object height detection for palletizing and depalletizing operations
US20220375097A1 (en) * 2021-05-18 2022-11-24 Mujin, Inc. Robotic system for object size detection
US20220388171A1 (en) * 2021-06-03 2022-12-08 Intrinsic Innovation Llc Robotic workspace introspection via force feedback
US20230027984A1 (en) 2021-07-21 2023-01-26 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP6964917B1 (ja) * 2021-08-10 2021-11-10 リンクウィズ株式会社 計測システム、計測方法、プログラム
WO2023023369A2 (en) * 2021-08-19 2023-02-23 Rehrig Pacific Company Pallet wrapper and imaging system
WO2023023366A1 (en) 2021-08-19 2023-02-23 Rehrig Pacific Company Imaging system with unsupervised learning
AT525383A1 (de) * 2021-09-07 2023-03-15 Knapp Ag System zur Vereinzelung und Identifizierung von Artikeln
US20230070495A1 (en) * 2021-09-07 2023-03-09 Mujin, Inc. Robotic gripper assemblies for openable object(s) and methods for picking objects
JPWO2023054539A1 (de) * 2021-09-28 2023-04-06
IT202100025490A1 (it) * 2021-10-07 2023-04-07 Bosso S R L Magazzino automatico
US20230115849A1 (en) * 2021-10-11 2023-04-13 Mazor Robotics Ltd. Systems and methods for defining object geometry using robotic arms
CN115246547B (zh) * 2021-10-21 2023-09-12 梅卡曼德（北京）机器人科技有限公司 垛型续码方法、装置、计算设备及计算机存储介质
US20230137715A1 (en) * 2021-10-28 2023-05-04 Ubtech North America Research And Development Center Corp Vision-guided picking and placing method, mobile robot and computer-readable storage medium
MX2022013771A (es) 2021-11-01 2023-05-02 Rehrig Pacific Co Sistemas de entrega.
AT525778B1 (de) * 2021-11-09 2023-11-15 Tgw Logistics Group Gmbh Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
CN113816137A (zh) * 2021-11-19 2021-12-21 佛山隆深机器人有限公司 一种基于机械臂的箱体分拣运输装置及控制方法
CN114161426B (zh) * 2021-12-29 2024-02-06 海澜智云科技有限公司 一种工业机器人的控制系统
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
KR102486009B1 (ko) * 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
CN115009845B (zh) * 2022-08-04 2022-10-25 江苏安纳金机械有限公司 一种新型翘板机及其方法
KR102491429B1 (ko) * 2022-08-24 2023-01-27 주식회사 한성시스코 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법
DE102022121538A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ablegen eines Objekts vermittels eines Roboters
JP7488311B2 (ja) 2022-10-27 2024-05-21 アリー ロジスティック プロパティ カンパニー，リミテッド 物流作業を実行するための施設及び方法
WO2024115532A1 (de) * 2022-11-30 2024-06-06 Voith Patent Gmbh Vorrichtung und anordnung und verfahren zum umsetzen von ballen
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117532644B (zh) * 2023-12-26 2024-04-12 广东亚数智能科技股份有限公司 一种三维视觉引导机械手抓取装置及其控制方法

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2894449B2 (ja) * 1989-04-07 1999-05-24 株式会社ダイフク カメラ使用の自動移載装置
JP2687030B2 (ja) 1990-02-09 1997-12-08 株式会社ダイフク ロボット使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高ｒ値複合鋼板およびその製造方法
US5290454A (en) 1992-11-12 1994-03-01 Pump And Paper Research Institute Of Canada Process for removal of suspended solids from pulp and paper mill effluents
JPH06171760A (ja) 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3063487B2 (ja) 1993-09-27 2000-07-12 村田機械株式会社 パレタイズパターン認識装置
JPH07291450A (ja) * 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JP3277739B2 (ja) * 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JPH09251544A (ja) * 1996-03-14 1997-09-22 Toshiba Corp ワークエッジ検出画像処理装置
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US6272230B1 (en) 1998-02-11 2001-08-07 Analogic Corporation Apparatus and method for optimizing detection of objects in computed tomography data
JPH11333770A (ja) * 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
JPH10323491A (ja) 1998-07-06 1998-12-08 Hitachi Ltd 脱水洗濯機
SE513174C2 (sv) * 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
CN1162681C (zh) 1999-03-19 2004-08-18 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
JP2001058723A (ja) 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3596434B2 (ja) 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
JP3849514B2 (ja) 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) * 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
EP1607195B1 (de) 2003-03-27 2011-01-05 Sony Corporation Robotervorrichtung und verfahren zur steuerung derselben
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2005333824A (ja) * 2004-05-24 2005-12-08 Olympus Corp 検体導入装置および培養処理装置
KR100657915B1 (ko) 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の３次元位置認識装置およびデパレタイズシステム
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
US20090028686A1 (en) 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101003654B1 (ko) 2008-08-27 2010-12-23 삼성전기주식회사 반도체 패키지용 트랜스포머
US8489232B2 (en) 2008-09-30 2013-07-16 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) * 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
US9089966B2 (en) * 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
JP5510841B2 (ja) 2011-12-22 2014-06-04 株式会社安川電機 ロボットシステム及び仕分け済み物品の製造方法
US9067744B2 (en) * 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
CN202717371U (zh) 2011-11-18 2013-02-06 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
JP2013145525A (ja) 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN202539084U (zh) * 2012-03-01 2012-11-21 成都三茁科技有限公司 多位扫描识别系统
JP2013246589A (ja) 2012-05-24 2013-12-09 Sharp Corp 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
US9238304B1 (en) 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP5945968B2 (ja) * 2013-09-03 2016-07-05 株式会社安川電機 ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法
JP5897532B2 (ja) 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
CA2879277C (en) 2014-01-22 2021-05-04 Axium Inc. Vision-assisted robotized depalletizer
CN103822594A (zh) 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) * 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
US20170057148A1 (en) 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
US11010816B2 (en) 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
JP6466297B2 (ja) * 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6711591B2 (ja) 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP6710622B2 (ja) * 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
CA3004711C (en) 2015-11-13 2022-01-11 Berkshire Grey, Inc. Sortation systems and methods for providing sortation of a variety of objects
US10370201B2 (en) * 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6690300B2 (ja) 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
US10124489B2 (en) 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
CN105817430B (zh) * 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
US20180198983A1 (en) * 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
JP6479264B2 (ja) 2017-01-13 2019-03-06 三菱電機株式会社 協働ロボットシステム、及びその制御方法
JP6495355B2 (ja) 2017-02-15 2019-04-03 昭 宮田 給液装置
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) * 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
US10471597B1 (en) * 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP6489243B2 (ja) 2018-01-17 2019-03-27 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP7065632B2 (ja) 2018-02-13 2022-05-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法
JP2018158439A (ja) * 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
CN110737399B (zh) 2018-07-20 2023-09-05 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) * 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) * 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US11798273B2 (en) 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Also Published As

Publication number Publication date
US20200130963A1 (en) 2020-04-30
US11288810B2 (en) 2022-03-29
JP7340203B2 (ja) 2023-09-07
KR20240042157A (ko) 2024-04-01
JP2021507857A (ja) 2021-02-25
US11189033B2 (en) 2021-11-30
WO2020092428A1 (en) 2020-05-07
WO2020092447A1 (en) 2020-05-07
CN111491878A (zh) 2020-08-04
CN111861305B (zh) 2021-08-03
JP2020069636A (ja) 2020-05-07
KR102650494B1 (ko) 2024-03-22
JP2021039795A (ja) 2021-03-11
US11062457B2 (en) 2021-07-13
JP7411932B2 (ja) 2024-01-12
WO2020092442A1 (en) 2020-05-07
CN111566028A (zh) 2020-08-21
DE112019000127T5 (de) 2020-06-18
CN111629868A (zh) 2020-09-04
US10703584B2 (en) 2020-07-07
JP2023174652A (ja) 2023-12-08
US12002007B2 (en) 2024-06-04
KR20210087065A (ko) 2021-07-09
US11176674B2 (en) 2021-11-16
CN111776762A (zh) 2020-10-16
CN111861305A (zh) 2020-10-30
DE112019000177T5 (de) 2020-09-03
JP2020110918A (ja) 2020-07-27
DE112019000217T5 (de) 2020-08-06
JP2023160842A (ja) 2023-11-02
CN111633633A (zh) 2020-09-08
US20200134830A1 (en) 2020-04-30
DE112019000217B4 (de) 2023-09-14
JP2021501102A (ja) 2021-01-14
US11797926B2 (en) 2023-10-24
US20200130962A1 (en) 2020-04-30
JP2024023692A (ja) 2024-02-21
JP2021505980A (ja) 2021-02-18
JP2020537775A (ja) 2020-12-24
WO2020092452A1 (en) 2020-05-07
US11636605B2 (en) 2023-04-25
US20220076425A1 (en) 2022-03-10
CN111861306B (zh) 2021-06-15
JP7466150B2 (ja) 2024-04-12
JP6813229B1 (ja) 2021-01-13
DE112019000125B4 (de) 2021-07-01
CN111776759B (zh) 2021-07-23
CN111776759A (zh) 2020-10-16
JP2021503374A (ja) 2021-02-12
US20200134828A1 (en) 2020-04-30
US20220051411A1 (en) 2022-02-17
JP2021062978A (ja) 2021-04-22
CN111601761A (zh) 2020-08-28
US20210304416A1 (en) 2021-09-30
US11961042B2 (en) 2024-04-16
KR102650492B1 (ko) 2024-03-22
KR20210096615A (ko) 2021-08-05
CN111861306A (zh) 2020-10-30
JP2021050100A (ja) 2021-04-01
JP6820634B2 (ja) 2021-01-27
US11501445B2 (en) 2022-11-15
CN111633633B (zh) 2021-05-07
JP7352260B2 (ja) 2023-09-28
CN111113492A (zh) 2020-05-08
WO2020092433A1 (en) 2020-05-07
JP6704154B2 (ja) 2020-06-03
JP2021051797A (ja) 2021-04-01
JP2021054660A (ja) 2021-04-08
CN111776762B (zh) 2021-07-23
DE112019000247T5 (de) 2020-09-03
US20240020637A1 (en) 2024-01-18
JP6822718B1 (ja) 2021-01-27
WO2020091846A1 (en) 2020-05-07
CN111566027A (zh) 2020-08-21
US20200294244A1 (en) 2020-09-17
US20230008540A1 (en) 2023-01-12
US20240078512A1 (en) 2024-03-07
DE112019000172T5 (de) 2020-07-16
JP6820044B1 (ja) 2021-01-27
US20200130961A1 (en) 2020-04-30
JP6822719B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
DE112019000125B4 (de) Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US10369701B1 (en) Automated package registration systems, devices, and methods
DE102016000995B4 (de) Förderrobotersystem mit dreidimensionalem Sensor
DE102019130046B4 (de) Robotersytem mit verbessertem Abtastmechanismus
DE102020207368B4 (de) Objekthandhabungssteuervorrichtung, Objekthandhabungsvorrichtung, Objekthandhabungsverfahren und Computerprogrammprodukt
DE102014102943B4 (de) Robotersystem mit Funktionalität zur Ortsbestimmung einer 3D- Kiste
DE102014016072B4 (de) Vorrichtung und Verfahren zum Aufheben eines willkürlich aufgestapelten Gegenstands mittels eines Roboters
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
DE102013109220B4 (de) Robotervorrichtung und Verfahren zum Herausnehmen von Bulk-Ware aus einem Lager
DE112020000067T5 (de) Roboter-mehrfachgreiferbaugruppen und -verfahren zum greifen und halten von objekten
DE102013012068B4 (de) Vorrichtung und Verfahren zum Entnehmen von lose gelagerten Objekten durch einen Roboter
DE102020119866A1 (de) Roboter-mehrfachgreiferbaugruppen und -verfahren zum greifen und halten von objekten
DE102014016032B4 (de) Vorrichtung und Verfahren zum Aufnehmen von wahllos gehäuften Gegenständen mit einem Roboter
DE102020101767B4 (de) Steuerverfahren und steuerung für ein robotersystem
DE102018111370B4 (de) Werkstückaufnahmesystem
DE112017007392B4 (de) Steuervorrichtung, Greifsystem, Verteilersystem, Programm, Steuerverfahren und Herstellungsverfahren
DE102020111139A1 (de) Verfeinerung nach Erfassung basierend auf Kanten und mehrdimensionalen Ecken
DE102018126310B3 (de) Verfahren zum Erstellen eines Objektmodells zum Greifen eines Objekts, computerlesbares Speichermedium und Robotersystem
DE102021114265A1 (de) Robotervorrichtung eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts und Verfahren
DE102022101825B3 (de) Verfahren und System für automatisierte Materialhandhabung einschließlich einer 100%-Verifikation
DE112021007401T5 (de) Vorrichtung zur berechnung der werkstück-anzahl beim aufnehmen, handsystem und anzeigegerät
CN110405810B (zh) 自动包裹配准系统、装置和方法
DE112022000335T5 (de) Robotersystem und Steuervorrichtung
EP2497065B1 (de) Verfahren zur bestimmung der ausrichtung eines oberen teils eines stückgutstapels

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE

Representative=s name: BOEHMERT & BOEHMERT ANWALTSPARTNERSCHAFT MBB -, DE

R082 Change of representative

Representative=s name: BOEHMERT & BOEHMERT ANWALTSPARTNERSCHAFT MBB -, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final