-
QUERVERWEIS AUF VERWANDTE ANMELDUNG
-
Diese Anmeldung beansprucht die Priorität der vorläufigen
US-Patentanmeldung mit der Seriennummer 62/752,756 , eingereicht am 30. Oktober 2018, deren Offenbarung durch Bezugnahme in ihrer Gesamtheit in diese Schrift aufgenommen ist.
-
STAND DER TECHNIK
-
Oft werden Pakete palettiert, um sie zum einem Ziel zu transportieren, an dem sie depalettiert werden. Manchmal werden sie von menschlichen Arbeitern depalettiert, was teuer sein kann und wobei ein Verletzungsrisiko besteht. In industriellen Umgebungen werden Depalettierungsvorgänge oft von Industrierobotern wie zum Beispiel einem Roboterarm durchgeführt, der das Paket greift, hochhebt, transportiert und zu einem Freigabepunkt liefert. Auch kann eine Bildgebungsvorrichtung eingesetzt werden, um ein Bild eines Stapels an Paketen, die auf die Palette geladen sind, zu erfassen. Ein System kann das Bild verarbeiten, um sicherzustellen, dass das Paket durch den Roboterarm effizient gehandhabt wird, wie zum Beispiel, indem das erfasste Bild mit einem registrierten Bild verglichen wird, das in einer Registrierungsdatenquelle gespeichert ist.
-
Gelegentlich kann das erfasste Bild eines Pakets mit einem registrierten Bild übereinstimmen. Folglich können physische Eigenschaften (z. B. Messungen der Abmessungen eines Pakets, seines Gewichts und/oder Massenmittelpunkts) der abgebildeten Objekte unbekannt sein. Werden die physischen Eigenschaften nicht korrekt identifiziert, kann dies zu einer Vielfalt an unerwünschten Ergebnissen führen. Zum Beispiel könnte ein solches Versagen einen Stillstand verursachen, der eine manuelle Registrierung des Pakets erfordern kann. Auch könnte ein solches Versagen dazu führen, dass ein Paket falsch behandelt wird, insbesondere, wenn das Paket relativ schwer und/oder einseitig gewichtet ist.
-
Figurenliste
-
- 1A veranschaulicht ein Robotersystem, das mit einem Paketregistrierungsmechanismus konfiguriert ist, gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 1B ist ein funktionales Blockdiagramm des Robotersystems gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 2A veranschaulicht einen Kraft-Drehmoment-Sensor gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 2B veranschaulicht einen Greifer gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 3A veranschaulicht eine perspektivische Ansicht eines beispielhaften Stapels an Paketen.
- 3B veranschaulicht eine Draufsicht auf den beispielhaften Stapel an Paketen.
- 3C veranschaulicht beispielhafte Symbologien von registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4A veranschaulicht eine perspektivische Ansicht eines zweiten beispielhaften Stapels an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4B veranschaulicht eine Draufsicht auf den zweiten Stapel an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4C veranschaulicht beispielhafte Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4D veranschaulicht Beispiele von unklaren Kanten und geeigneten Mindestbereichen (minimum viable regions - MVRs) gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4E veranschaulicht einen zweiten Satz an beispielhaften Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4F veranschaulicht ein zweites Beispiel von unklaren Kanten und eines MVR gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4G veranschaulicht einen dritten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4H veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen ersten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 41 veranschaulicht einen vierten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4J veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4K veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4F gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4L veranschaulicht einen fünften Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4M veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4N veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4M gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4O veranschaulicht eine beispielhafte Platzierung eines Greifersystems über den MVR aus 4J gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4P veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen zweiten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 4Q veranschaulicht eine beispielhafte Platzierung eines Greifersystems über einen dritten MVR aus 4D gemäß einigen Ausführungsformen der vorliegenden Technologie.
- 5 veranschaulicht eine Ablaufsteuerung für ein beispielhaftes Verfahren zum Betreiben des Robotersystems 100 aus 1A gemäß einigen Ausführungsformen der vorliegenden Technologie.
-
DETAILLIERTE BESCHREIBUNG
-
In der folgenden Beschreibung sind mehrere spezifische Details präsentiert, um ein umfassendes Verständnis von Ausführungsformen der hier offenbarten erfinderischen Konzepte bereitzustellen. Ein Fachmann auf dem relevanten Fachgebiet erkennt jedoch, dass Ausführungsformen der hier offenbarten vorliegenden Technologie ohne eines oder mehrere der spezifischen Details oder in Kombination mit anderen Komponenten usw. praktiziert werden können. In anderen Fällen sind hinreichend bekannte Implementierungen oder Vorgänge nicht gezeigt oder im Detail beschrieben, um die Verschleierung von Aspekten von verschiedenen Ausführungsformen der hier offenbarten vorliegenden Technologie zu vermeiden.
-
1A und 1B veranschaulichen ein Robotersystem 100, das mit einem Paketregistrierungsmechanismus konfiguriert ist, gemäß einigen Ausführungsformen der vorliegenden Technologie. In einigen Ausführungsformen kann das Robotersystem eine Depalettierplattform 110, eine Aufnahmeplattform 120, ein Roboterarmsystem 130, einen Endeffektor 140, eine Verarbeitungseinheit (PU) 150, ein Bildsystem 160, eine Registrierungsdatenquelle (RDS) 170, einen Höhenbestimmungssensor (HDS) 180 und/oder einen Freigabepunktsensor (RPS) 190 beinhalten.
-
Die Depalettierplattform 110 kann eine beliebige Plattform, Oberfläche und/oder Struktur beinhalten, auf der eine Vielzahl von Paketen 112 (einzeln „Paket 112“) gestapelt und/oder organisiert werden kann und für den Transport zu der Aufnahmeplattform 120 bereit ist. Es ist anzumerken, dass, obwohl hier der Begriff „Paket“ und „Pakete“ verwendet wird, der Begriff ein beliebiges anderes Wort für einen Behälter einschließt, der, wie nachfolgend detailliert erörtert, gegriffen, angehoben, transportiert und geliefert werden kann, wie zum Beispiel unter anderem „Kiste“, „Box“, „Karton“ oder eine beliebige Kombination davon. Außerdem sind, obwohl in den hier offenbarten Zeichnungen rechteckige Boxen veranschaulicht sind, die Formen der Boxen nicht auf eine solche Form beschränkt, sondern schließen jede beliebige regelmäßige oder unregelmäßige Form ein, die, wie nachfolgend detailliert erörtert, gegriffen, angehoben, transportiert und geliefert werden kann.
-
Wie die Depalettierplattform 110 kann die Aufnahmeplattform 120 eine beliebige Plattform, Oberfläche und/oder Struktur beinhalten, die dazu gedacht ist, die Pakete 112 für weitere Aufgaben/Vorgänge aufzunehmen. In einigen Ausführungsformen kann die Aufnahmeplattform 120 ein Fördersystem beinhalten, um das Paket 112 von einer Stelle (z. B. einem Freigabepunkt wie nachfolgend erörtert) zu einer anderen Stelle für weitere Vorgänge (z. B. Sortieren und/oder Lagern) zu transportieren.
-
Das Roboterarmsystem 130 kann einen Satz an Verbindungsstrukturen, Gelenken, Motoren/Aktoren, Sensoren oder eine Kombination davon beinhalten, die konfiguriert ist, um die Pakete 112 zu manipulieren (z. B. übertragen und/oder drehen oder neuausrichten). Das Roboterarmsystem 130 kann einen Roboterarm 132 beinhalten, der hier zum Zwecke der Veranschaulichung und nicht zur Einschränkung eine artikulierte Roboterarmstruktur mit sechs Achsen sein könnte. Obwohl sich die Erörterung hier auf das Roboterarmsystem 130 bezieht, sind die hier offenbarten Ausführungsformen nicht auf ein solches System beschränkt, sondern beinhalten ein beliebiges Robotersystem, das konfiguriert sein kann, um die hier offenbarten Handlungen durchzuführen.
-
Der Endeffektor 140 kann eine beliebige Komponente oder Komponenten gekoppelt an ein distales Ende des Roboterarms 132 beinhalten, der/die konfiguriert ist/sind, um mit der Vielzahl von Paketen 112 zu interagieren. Zum Beispiel kann der Endeffektor 140 Strukturen (z. B. vakuumbasierte Greifer) beinhalten, die konfiguriert sind, um die Pakete 112 zu greifen und zu halten. In einigen Ausführungsformen könnte der Endeffektor 140 einen Kraft-Drehmoment-(F-T-)Sensor 142, eine Armschnittstelle 144, ein Greifersystem 146 und/oder eine Greiferschnittstelle 148 (wie in 2A und 2B gezeigt) beinhalten.
-
Die PU 150 aus 1B kann/können (eine) beliebige Einheit(en) oder Schaltungen sein, die programmiert und/oder konfiguriert ist/sind, um nicht nur die Bewegungen und/oder andere Handlungen des Roboterarmsystems 130 (darunter des Endeffektors 140) zu lenken und zu steuern, sondern auch andere verwandte Daten zu verarbeiten. Zum Beispiel kann die PU 150 Bilddaten, die ein Oberflächenbild (SI) des Pakets 112 darstellen, von dem Bildsystem 160 empfangen und einen Registrierungsstatus des SI gemäß einer Registrierungsaufzeichnung 172 bestimmen, die durch die RDS 170 bereitgestellt wird (nachfolgend erörtert), d. h., ob das Paket 112 eine registrierte Instanz des Pakets 112 oder eine nicht registrierte Instanz des Pakets 112 ist (z. B. ohne oder mit einer unvollständigen Instanz der Registrierungsaufzeichnung 172 des Pakets 112). Auch kann die PU 150 zum Beispiel das Roboterarmsystem 130 zu einer registrierten Instanz des Pakets 112 lenken. Zusätzlich kann die PU 150 ein Greifsteuersignal auf das Greifersystem 146 anwenden, den Arm zu der Aufnahmeplattform 120 lenken und/oder die registrierte Instanz des Pakets 112 an der Aufnahmeplattform 120 bei Empfang eines Freigabesignals von dem RPS 190 freigeben.
-
Die PU 150 kann eine beliebige elektronische Datenverarbeitungseinheit beinhalten, die Software oder Computeranweisungscodes ausführt, die/der permanent oder temporär in einer digitalen Speichervorrichtung oder einem nichtflüchtigen computerlesbaren Medium (im Allgemeinen ein Speicher 152 aus 1B) gespeichert werden könnte, darunter unter anderem Direktzugriffsspeicher (RAM), Plattenlaufwerke, Magnetspeicher, Nurlesespeicher (ROM), Compact Disc (CD), Festspeicher, Secure-Digital-Karten und/oder Compact-Flash-Karten. Die PU 150 kann durch die Ausführung von Software oder eines Computeranweisungscodes, die/der Algorithmen enthält, die für die hier ausgeführten spezifischen Funktionen entwickelt wurden, angetrieben werden. In einigen Ausführungsformen kann die PU 150 eine anwendungsspezifische integrierte Schaltung (ASIC) sein, die für die hier offenbarten Ausführungsformen angepasst ist. In einigen Ausführungsformen kann die PU 150 eines oder mehrere von Mikroprozessoren, Digitalsignalprozessoren (DSPs), programmierbaren Logikvorrichtungen (PLDs), programmierbaren Gate Arrays (PGAs) und Signalgeneratoren beinhalten; jedoch ist hier für die Ausführungsformen der Begriff „Prozessor“ nicht auf solche beispielhaften Verarbeitungseinheiten beschränkt und seine Bedeutung ist nicht eng auszulegen. Zum Beispiel kann die PU 150 auch mehr als eine elektronische Datenverarbeitungseinheit beinhalten. In einigen Ausführungsformen könnte die PU 150 (ein) Prozessor(en) sein, der/die durch oder in Verbindung mit einem beliebigen anderen System des Robotersystems 100 verwendet wird/werden, darunter unter anderem dem Roboterarmsystem 130, dem Endeffektor 140 und/oder dem Bildsystem 160.
-
Die PU 150 kann (z. B. über Drähte, Busse und/oder Drahtlosverbindungen) elektronisch an Systeme und/oder Quellen gekoppelt sein, um den Empfang von Eingangsdaten zu vereinfachen. In einigen Ausführungsformen kann wirkgekoppelt als austauschbar mit elektronisch gekoppelt angesehen werden. Es ist nicht erforderlich, dass eine direkte Verbindung erfolgt; stattdessen könnte ein solcher Empfang von Eingangsdaten und das Bereitstellen von Ausgangsdaten durch einen Bus, durch ein Drahtlosnetzwerk oder als ein Signal, das durch die PU 150 über einen physischen oder einen virtuellen Computeranschluss empfangen und/oder übertragen wird, bereitgestellt werden. Die PU 150 kann programmiert oder konfiguriert sein, um das nachfolgend detailliert erörterte Verfahren auszuführen. In einigen Ausführungsformen kann die PU 150 programmiert oder konfiguriert sein, um Daten von verschiedenen Systemen und/oder Einheiten zu empfangen, darunter unter anderem dem Bildsystem 160, der RDS 170, dem HDS 180 und/oder dem RPS 190. In einigen Ausführungsformen kann die PU 150 programmiert oder konfiguriert sein, um verschiedenen Systemen und/oder Einheiten, darunter unter anderem dem Roboterarmsystem 130, dem Endeffektor 140 und der RDS 170, Ausgangsdaten bereitzustellen.
-
Das Bildsystem 160 könnte einen oder mehrere Sensoren 162 beinhalten, die konfiguriert sind, um Bilddaten zu erfassen, die ein oder mehrere SIs der Pakete 112 darstellen, die sich an der Depalettierplattform 110 befinden. In einigen Ausführungsformen können die Bilddaten visuelle Designs und/oder Markierungen darstellen, die an einer oder mehreren Oberflächen des Pakets 112 erscheinen, anhand derer eine Bestimmung eines Registrierungsstatus des Pakets 112 gemacht werden kann. In einigen Ausführungsformen kann das Bildsystem 160 eine oder mehrere Kameras beinhalten, die gestaltet sind, um innerhalb gezielter (z. B. sichtbarer und/oder infraroter) elektromagnetischer Spektrumsbandbreite zu arbeiten und verwendet werden, um Licht/Energie innerhalb des entsprechenden Spektrums zu erfassen. In einigen Ausführungsformen könnten die Bilddaten ein Satz an Datenpunkten, die eine Punktwolke bilden, die Tiefenkarte oder eine Kombination davon sein, der von einer oder mehreren dreidimensionalen (3D) Kameras und/oder einer oder mehreren zweidimensionalen (2D) Kameras erfasst wird. Anhand dieser Kameras können Abstände oder Tiefen zwischen dem Bildsystem 160 und einer oder mehreren exponierten (z. B. relativ zu einer Sichtlinie für das Bildsystem 160) Oberflächen der Pakete 112 bestimmt werden. In einigen Ausführungsformen können die Abstände oder Tiefen durch die Verwendung eines/mehrerer Bilderkennungsalgorithmen, wie zum Beispiel eines/mehrerer kontextueller Bildklassifizierungsalgorithmen und/oder Randerfassungsalgorithmen bestimmt werden. Sobald sie bestimmt sind, können die Abstands-/Tiefenwerte verwendet werden, um die Pakete 112 über das Roboterarmsystem 130 zu manipulieren. Zum Beispiel kann die PU 150 und/oder das Roboterarmsystem 130 die Abstands-/Tiefenwerte verwenden, um die Position zu berechnen, von der das Paket 112 angehoben und/oder gegriffen werden kann. Es ist anzumerken, dass hier beschriebene Daten, wie zum Beispiel die Bilddaten, ein beliebiges analoges oder digitales Signal beinhalten können, entweder einzeln oder durchgehend, das Informationen enthalten oder Informationen angeben könnte.
-
Das Bildsystem 160 kann zumindest eine Anzeigeeinheit 164 beinhalten, die konfiguriert ist, um ein Bild des Pakets/der Pakete 112 zu präsentieren, das/die durch die Sensoren 162 erfasst wurde(n), das von einem oder mehreren Betreibern des Robotersystems 100 betrachtet werden kann, wie nachfolgend detailliert erörtert. Zusätzlich können die Anzeigeeinheiten 164 konfiguriert sein, um andere Informationen zu präsentieren, wie zum Beispiel Symbologie, die registrierte und/oder nicht registrierte Instanzen der Pakete 112 darstellt, wie nachfolgend detailliert erörtert.
-
Die RDS 170 könnte eine beliebige Datenbank und/oder Speichervorrichtung (z. B. ein nichtflüchtiges computerlesbares Medium) beinhalten, die konfiguriert ist, um die Registrierungsaufzeichnungen 172 für eine Vielzahl der Pakete 112 zu speichern. Zum Beispiel kann die RDS 170 Nurlesespeicher (ROM), Compact Disc (CD), Festspeicher, Secure-Digital-Karten, Compact-Flash-Karten und/oder Datenspeicherserver oder entfernte Speichervorrichtungen beinhalten.
-
In einigen Ausführungsformen können die Registrierungsaufzeichnungen 172 jeweils physische Eigenschaften oder Attribute für ein entsprechendes Paket 112 beinhalten. Zum Beispiel kann jede Registrierungsaufzeichnung 172 unter anderem ein oder mehrere Vorlagen-SIs, 2D- oder 3D-Größenmessungen, ein Gewicht und/oder Massenmittelpunkts-(CoM-)Informationen beinhalten. Die Vorlagen-SIs können bekannte oder zuvor bestimmte sichtbare Eigenschaften des Pakets 112 darstellen, darunter das Design, die Markierung, das Aussehen, die Außenform/Außenlinie oder eine Kombination davon des Pakets 112. Die 2D- oder 3D-Größenmessungen können Längen, Breiten, Höhen oder eine Kombination davon für die bekannten/erwarteten Pakete beinhalten.
-
In einigen Ausführungsformen kann die RDS 170 konfiguriert sein, um eine neue Instanz der Registrierungsaufzeichnung 172 (z. B. für ein zuvor unbekanntes Paket und/oder einen zuvor unbekannten Aspekt eines Pakets) zu empfangen, die gemäß den nachfolgend offenbarten Ausführungsformen erstellt wird. Entsprechend kann das Robotersystem 100 den Prozess zum Registrieren der Pakete 112 automatisieren, indem die Anzahl an Registrierungsaufzeichnungen 172, die in der RDS 170 gespeichert ist, vergrößert wird, wodurch ein Depalettierungsvorgang effizienter gemacht wird, mit weniger nicht registrierten Instanzen der Pakete 112. Durch dynamisches (z. B. während des Betriebs/Einsatzes) Aktualisieren der Registrierungsaufzeichnungen 172 in der RDS 170 unter Verwendung von Live-/Betriebsdaten kann das Robotersystem 100 einen Computerlernprozess, der zuvor unbekannte oder unerwartete Bedingungen (z. B. Beleuchtungsbedingungen, unbekannte Ausrichtungen und/oder Stapelinkonsistenzen) und/oder neu eingetroffene Pakete berücksichtigen kann, effizient implementieren. Entsprechend kann das Robotersystem 100 die Fehler reduzieren, die sich aus „unbekannten“ Bedingungen/Paketen, verbundenen Interventionen eines menschlichen Betreibers und/oder verbundenen Aufgabenfehlern (z. B. verlorene Pakete und/oder Kollisionen) ergeben.
-
Der HDS 180 kann Komponenten beinhalten, die konfiguriert sind, um eine vertikale Messung eines Objekts (z. B. des Pakets 112) relativ zu einem Referenzpunkt (z. B. einer Oberfläche in Verbindung mit dem HDS 180) bereitzustellen. Für das Beispiel, das in 1A veranschaulicht ist, kann der HDS 180 ein Signal an die PU 150 aus 1 senden, wenn ein unterer Abschnitt/Rand des Pakets 112 eine horizontale Oberfläche (z. B. eine Scanebene) in Verbindung mit dem HDS 180 kreuzt. Die PU 150 kann das Signal von dem HDS 180 verwenden, um die Höhe (z. B. gemäß einer Platzierung/Ansatzausrichtung) des Pakets 112 zu bestimmen, wie zum Beispiel gemäß einem Abstand zwischen der Scanebene des HDS 180 (d. h. zuvor bekannt) und einer Stelle des Greifersystems 146 zu der Zeit, zu der das Signal erzeugt wird. Wie nachfolgend offenbart, kann die Höhe des Pakets 112 als Messung der dritten Dimension 2D-Messungen hinzugefügt werden, die bereits in der Registrierungsaufzeichnung 172 registriert sind. In einigen Ausführungsformen kann der HDS 180 an der Aufnahmeplattform 120 wie in 1A gezeigt installiert sein.
-
Der RPS 190 kann Komponenten/Schaltungen beinhalten, die konfiguriert sind, um ein Signal auszulösen, das der PU 150 bereitgestellt wird, wenn das Paket 112 eine horizontale Ebene in Verbindung mit dem RPS 190 durchläuft oder kontaktiert. In einigen Ausführungsformen kann ein durch den RPS 190 ausgelöstes Signal verwendet werden, um die Position zu bestimmen, an der das Greifersystem 146 das Paket 112 auf die Aufnahmeplattform 120 freigibt. In einigen Ausführungsformen könnte der RPS 190 an der Aufnahmeplattform 120 wie in 1A gezeigt installiert sein.
-
Nun unter Bezugnahme auf 2A kann der F-T-Sensor 142 ein beliebiger Sensor sein, der konfiguriert ist, um lineare und/oder Momentkräfte entlang einer Achse und/oder Achsen eines Koordinatensystems zu erfassen. In einigen Ausführungsformen könnte der F-T-Sensor 142 eine Komponente mit Sechsachsenkraftsensoren beinhalten, die konfiguriert ist, um bis zu dreiachsige Kräfte (z. B. Kräfte, die entlang x-, y- und z-Achsen eines kartesischen Koordinatensystems erfasst werden) eingesetzt durch das Robotersystem 100 aus 1A und 1B und/oder dreiachsige Momente (z. B. Momente, die um x-, y- und z-Achsen des kartesischen Koordinatensystems erfasst werden) zu erfassen. In einigen Ausführungsformen könnte der F-T-Sensor 142 einen eingebauten Verstärker und Mikrocomputer für die Signalverarbeitung, eine Fähigkeit, statische und dynamische Messungen zu machen, und/oder eine Fähigkeit, sofortige Veränderungen basierend auf einem Probenahmeintervall zu erfassen, beinhalten. In einigen Ausführungsformen könnte der F-T-Sensor 142 über verdrahtete und/oder drahtlose Kommunikation kommunikativ mit der PU 150 aus 1B gekoppelt sein.
-
Die Armschnittstelle 144 könnte eine beliebige Vorrichtung sein, die konfiguriert ist, um das distale Ende des Roboterarms 132 aus 1A an den F-T-Sensor 142 zu koppeln. In einigen Ausführungsformen kann sich ein Hersteller des Roboterarmsystems 130 von einem Hersteller des F-T-Sensors 142 unterscheiden. In einem solchen Fall können Enden der Armschnittstelle 144 unterschiedliche Konfigurationen aufweisen: Ein Ende ist konfiguriert, um das distale Ende zu koppeln, und das andere Ende ist konfiguriert, um den F-T-Sensor 142 zu koppeln.
-
Nun unter Bezugnahme auf 2B kann das Greifersystem 146 ein(e) beliebige(s) System oder Baugruppe sein, das/die konfiguriert ist, um das Paket 112 aus 1A aus seiner stationären Position an der Depalettierplattform 110 aus 1A zu greifen und den Griff beizubehalten, während das Paket 112 durch das Roboterarmsystem 130 aus 1B transportiert und zu der Aufnahmeplattform 120 aus 1A geliefert wird. In einigen Ausführungsformen könnte das Greifersystem 146 aus einem Vakuumgreifersystem bestehen, das eine Vakuumquelle einsetzt, um das Paket 112 an der Aufnahmeplattform 120 zu greifen und es an der Depalettierplattform 110 freizugeben. In einigen Ausführungsformen könnte das Vakuumgreifersystem einen Saugnapf/Saugnäpfe als Schnittstelle mit dem Paket 112 einsetzen.
-
Die Greiferschnittstelle 148 aus 2B könnte eine beliebige Vorrichtung sein, die konfiguriert ist, um den F-T-Sensor 142 an das Greifersystem 146 zu koppeln. In einigen Ausführungsformen kann sich ein Hersteller des F-T-Sensors 142 von einem Hersteller des Greifersystems 146 unterscheiden. In einem solchen Fall können gegenüberliegende Seiten der Greiferschnittstelle 148 unterschiedliche Konfigurationen aufweisen: Eine Seite ist konfiguriert, um den F-T-Sensor 142 zu koppeln, und die gegenüberliegende Seite ist konfiguriert, um das Greifersystem 146 zu koppeln.
-
3A bis 4Q veranschaulichen, wie das Robotersystem 100 aus 1A und 1B eingesetzt werden kann, um die Registrierungsaufzeichnung 172 aus 1B der nicht registrierten Instanz des Pakets 112 aus 1A zu erstellen. 3A veranschaulicht eine perspektivische Ansicht eines beispielhaften Stapels an Paketen 112-1 bis 112-24. 3B veranschaulicht eine Draufsicht auf den beispielhaften Stapel dieser Pakete 112. 3B kann einem Bild und/oder Punktwolkendaten der Szene entsprechen, die auf diese Pakete 112 herabschaut, wie durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst. Lediglich zum Zwecke der Veranschaulichung und nicht zur Einschränkung können die Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 registrierte Instanzen der Pakete 112 darstellen, wobei jede die Registrierungsaufzeichnung 172 aufweist, die in der RDS 170 aus 1B gespeichert ist. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 als rechteckig gezeigt, und jedes weist ein SI (gezeigt als diagonale Linien) auf, das in einer jeweiligen Registrierungsaufzeichnung 172 registriert ist.
-
3C veranschaulicht beispielhafte Symbologien von registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 3C veranschaulicht die Paketsymbologien (z. B. visuelle Markierungen und/oder Überlagerungen, um den Registrierungsstatus von angezeigten Objekten darzustellen) 112-1a bis 112-3a, 112-13a bis 112-14a und 112-21a bis 112-24a wie durch die Anzeigeeinheit 164 aus 1B gezeigt. Um diese Symbologien und den entsprechenden Registrierungsstatus zu erzeugen, können die erfassten SIs der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 aus 3B durch einen/mehrere Bilderkennungsalgorithmen mit den SIs der Registrierungsaufzeichnungen 172 verglichen werden, die in der RDS 170 gespeichert sind, und bei Registrierung als Symbologie angezeigt werden. In einigen Ausführungsformen könnte die Symbologie durch einen Hersteller und/oder Endnutzer mit einem visuellen Format konfiguriert sein, das angibt, dass das SI registriert ist, wobei ein solches Format eine Reihe an Formen und/oder Farben einsetzen könnte. Zum Zwecke der Veranschaulichung und nicht zur Einschränkung hat ein Hersteller und/oder Endnutzer die Symbologien 112-1a bis 112-3a, 112-13a bis 112-14a und 112-21a bis 112-24a in der Form und Größe von Paketaußenlinien (d. h. hier als rechteckig angenommen) konfiguriert. Obwohl nicht gezeigt, könnte die Symbologie durch die Farbe (z. B. grün) einen günstigen Registrierungsstatus (d. h. vorhandene Instanz der Registrierungsaufzeichnungen 172) für jedes der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 angeben. Obwohl nicht gezeigt, könnte das Bild der Szene, die in 3B gezeigt ist, an der Anzeigeeinheit 164 präsentiert werden, über die die Symbologie aus 3C überlagert sein kann. In einigen Ausführungsformen können alphanumerische Zeichen, die über die Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24 informieren (z. B. eine oder mehrere physische Eigenschaften, die in der Registrierungsaufzeichnung 172 aufgelistet sind), anstelle oder zusätzlich zu der Symbologie präsentiert werden.
-
In einigen Ausführungsformen kann das Robotersystem 100 2D-Messungen (z. B. Längen und Breiten) von Paketen anhand der Bilddaten machen (durch einen/mehrere Bilderkennungsalgorithmen, die einen/mehrere Randerkennungsalgorithmen beinhalten könnten). Zum Beispiel kann das Robotersystem 100 einen/mehrere Bilderkennungsalgorithmen (z. B. einen/mehrere Randerkennungsalgorithmen und/oder einen/mehrere Zuordnungsalgorithmen) verwenden, um die 2D-Messungen der Pakete 112 an der Depalettierplattform 110 zu machen, wie zum Beispiel der Pakete 112-1 bis 112-3, 112-13 bis 112-14 und 112-21 bis 112-24. Das Robotersystem 100 kann die 2D-Messungen basierend auf Tiefe zu der gemessenen Oberfläche machen. Das Robotersystem 100 kann die 2D-Messungen des entsprechenden Pakets 112 mit ihren Registrierungsaufzeichnungen 172 vergleichen (z. B., sobald das gemessene Paket identifiziert ist, wie zum Beispiel über Bilderkennung seiner exponierten Oberfläche), um die Genauigkeit der Registrierungsaufzeichnungen 172 zu bestätigen.
-
In einigen Ausführungsformen können der PU 150 zum Zwecke der Positionierung des Endeffektors 140 und/oder des Greifersystems 146 aus 1A und 1B CoM-Informationen bereitgestellt werden, die in der Registrierungsaufzeichnung 172 gespeichert sind. Das Robotersystem 100 kann den Endeffektor 140 und/oder das Greifersystem 146 über dem CoM des Pakets 112 platzieren, um das Paket 112 zu greifen und hochzuheben, wodurch Vorgänge vereinfacht werden, die ausgeglichenes Paketgreifen und waagerechtes Paketheben beinhalten, wenn das Paket 112 gegriffen und von seiner Position an der Depalettierplattform 110 aus 1A hochgehoben wird. Die Pakete 112 können gegriffen, hochgehoben, zu der Aufnahmeplattform 120 aus 1A transportiert und dort freigegeben werden.
-
4A veranschaulicht eine perspektivische Ansicht eines zweiten beispielhaften Stapels an Paketen (z. B. Pakete 112-31 bis 112-54) gemäß einigen Ausführungsformen der vorliegenden Technologie. 4B veranschaulicht eine Draufsicht auf den zweiten beispielhaften Stapel an Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 3B kann einem Bild und/oder Punktwolkendaten der Szene entsprechen, die auf diese Pakete herabschaut, wie durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst. Lediglich zum Zwecke der Veranschaulichung und nicht zur Einschränkung können die Pakete 112-33, 112-43 und 112-51 registrierte Instanzen der Pakete 112 darstellen, wobei jede Instanz das SI aufweist, das in der jeweiligen Instanz der Registrierungsaufzeichnung 172 aus 1B enthalten ist, die in der RDS 170 aus 1B gespeichert ist. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 rechteckig.
-
Zusätzlich können die Pakete 112-31, 112-32, 112-44 und 112-52 bis 112-54 nicht registrierte und/oder fehlerhaft verarbeitete/zugeordnete Instanzen der Pakete 112 darstellen, die gegebenenfalls nicht der Registrierungsaufzeichnung 172 entsprechen, die in der RDS 170 aus 1B gespeichert ist. Das Robotersystem 100 kann die erfassten Bilddaten, die diese nicht registrierten/nicht zugeordneten SIs darstellen, als erste Bilddaten und ein registrierbares SI verwenden, wie nachfolgend erörtert. Lediglich zur Erörterung und der Kürze wegen sind die Pakete 112 rechteckig und kann jedes ein SI aufweisen, das durch vertikale, horizontale und/oder schraffierte Linien gezeigt ist.
-
4C, 4E, 4G, 4I und 4L können Draufsichten auf den Stapel veranschaulichen, während ein oder mehrere Pakete entfernt werden. 4C veranschaulicht beispielhafte Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4C veranschaulicht die Symbologien von Rechtecken 112-33a, 112-43a und 112-51a wie durch die Anzeigeeinheit 164 aus 1B gezeigt. Wie vorstehend angemerkt, können SIs für die Pakete 112 durch das Bildsystem 160 aus 1B erfasst und mit den SIs der Registrierungsaufzeichnungen 172 aus 1B verglichen werden, die in der RDS 170 aus 1B gespeichert sind. Bei Registrierung kann das Robotersystem Symbologien zuweisen und/oder anzeigen, die das registrierte SI angeben. Wie veranschaulicht, können die Symbologien 112-33a, 112-43a und 112-51a rechteckige Außenlinien beinhalten, die durch die Anzeigeeinheit 164 angezeigt werden.
-
Wie in 4C gezeigt, kann eine Kombination aus inneren Rechtecken 112-61a bis einschließlich 112-61d, innerhalb äußerer Rechtecke 112-62a bis einschließlich 112-62d als die Symbologien 112-31a, 112-44a und 112-53a für die nicht registrierten SIs der Pakete 112-31, 112-44 und 112-53 an der Anzeigeeinheit 164 angezeigt werden. In einigen Ausführungsformen kann die Größe und Platzierung der inneren Rechtecke 112-61a bis 112-61d mit einem geeigneten Mindestbereich (MVR) zusammenfallen, der nachfolgend detailliert erörtert wird. Das Vorhandensein der Symbologien 112-31a, 112-44a und 112-53a könnte darauf hinweisen, dass die SIs der Pakete 112-31, 112-44 und 112-53 keine Registrierungsaufzeichnungen 172 aufweisen und/oder nicht damit übereinstimmen. In einem solchen Fall kann/können ein/mehrere Bilderkennungsalgorithmen (z. B. ein/mehrere Randerkennungsalgorithmen) eingesetzt werden, um ein Vorhandensein von zumindest zwei eindeutigen Kanten zu bestimmen, die eine Ecke bilden.
-
4D veranschaulicht Beispiele von unklaren Kanten und MVRs gemäß einigen Ausführungsformen der vorliegenden Technologie. 4D veranschaulicht zwei eindeutige Kanten 112-31b, 112-44b und 112-53b (z. B. Kanten, die Außenkanten des Stapels bilden/damit zusammenfallen), die jeweils Ecken 112-31c, 112-44c und 112-53c für die nicht registrierten/nicht zugeordneten Pakete bilden. Auch können zwei unklare Kanten 112-31d, 112-44d und 112-53d durch die PU 150 identifiziert/geschätzt werden, um jeweils Ecken 112-31e, 112-44e und 112-53e zu bilden. In einigen Ausführungsformen können die zwei unklaren Kanten 112-31d des Pakets 112-31 aus 4A verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-31ba und 112-31bb erstrecken, bis sie sich an der Ecke 112-31e schneiden. Ähnlich können die zwei unklaren Kanten 112-44d des Pakets 112-44 verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-44ba und 112-44bb erstrecken, bis sie sich an der Ecke 112-44e schneiden. Ebenso können die zwei unklaren Kanten 112-53d des Pakets 112-53 verarbeitet werden, indem angenommen wird, dass sie sich in einem zuvor festgelegten Winkel (z. B. senkrecht) jeweils von den Enden 112-53ba und 112-53bb erstrecken, bis sie sich an der Ecke 112-53e schneiden. In einigen Ausführungsformen kann das Robotersystem 100 den zuvor festgelegten Winkel gemäß einer Tiefenmessung, einer Position/Stelle, einer bestimmten Pose oder einer Kombination davon in Verbindung mit dem entsprechenden Paket auswählen oder anpassen.
-
Zusätzlich sind beispielhafte MVRs 112-31f, 112-44f und 112-53f in 4D veranschaulicht. In einigen Ausführungsformen können die MVRs für jede nicht registrierte Instanz des Pakets 112 berechnet werden, die verwendet werden kann, um die Registrierungsaufzeichnung 172 aus 1B zu erstellen. Das Robotersystem 100 kann die Registrierungsaufzeichnung 172 in Abhängigkeit ihres jeweiligen MVR erstellen. MVR 112-31f kann so berechnet werden, dass seine Seiten kollinear mit den zwei eindeutigen Kanten 112-31b oder Abschnitten davon sind. Anders gesagt kann die Größe des MVR 112-31f kleiner als die Oberfläche des Pakets 112-31 sein. In einigen Ausführungsformen kann der MVR 112-31f in Abhängigkeit der Größe des Greifersystems 146, das in 2B gezeigt ist, oder anderer Eigenschaften entsprechend der Fähigkeit, zu greifen, und das Greifen sicher beizubehalten, während das Paket 112 hochgehoben wird, größenbemessen werden. Beim Verarbeiten des MVR kann das Robotersystem 100 einen standardmäßigen CoM für das Paket 112 annehmen und verwenden. Entsprechend kann unter Verwendung des standardmäßigen CoM und der berechneten Größe das Robotersystem 100 den MVR 112-31f berechnen, der Fehler/Versagen bei verbundenen Manipulationen (z. B. Greifen, Hochheben und/oder Transportieren) der Pakete 112 verhindert. Wenn zum Beispiel der MVR zu klein ist, kann das Greifersystem 146 fehlplatziert werden, und ein anhaltendes Greifen durch das Greifersystem 146 ist unter Umständen nicht möglich, wenn das Paket 112 hochgehoben wird. In einigen Ausführungsformen kann der MVR 112-31f in seiner Größe so bemessen sein, dass er gerade Linien, die Teil der Oberflächendesigns sind, und/oder Markierungen, die in dem SI erscheinen, wie durch einen/mehrere Bilderkennungsalgorithmen bestimmt, ausschließt. In einigen Ausführungsformen kann der MVR 112-31f in seiner Größe so bemessen sein, dass er Kanten ausschließt, die einem geringeren Konfidenzmaß entsprechen. Es ist anzumerken, dass, obwohl die vorstehende Erörterung auf MVR 112-31f bezogen war, die Funktion zum Berechnen des MVR 112-31f für einen beliebigen hier erörterten MVR gilt.
-
4E veranschaulicht einen zweiten Satz an beispielhaften Symbologien von registrierten und nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4E kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4C gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-33a aus 4C kann angeben, dass das registrierte Paket 112-33 gegriffen, hochgehoben und weg von der Depalettierplattform 110 aus 1A transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-32a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten angibt (z. B. Kanten, die nun freiliegen und nicht mehr benachbart zu anstoßenden Kanten/Paketen sind), die eine Ecke für das Paket 112-32 bilden, das in 4B gezeigt ist.
-
4F veranschaulicht ein zweites Beispiel von unklaren Kanten und eines MVR gemäß einigen Ausführungsformen der vorliegenden Technologie. 4F veranschaulicht die eindeutigen Kanten 112-32b, die eine Ecke 112-32c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-32d und eine entsprechende Ecke 112-32e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-32f auf die vorstehend erörterte Weise berechnet werden.
-
4G veranschaulicht einen dritten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4G kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4E gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologien 112-43a und 112-51a aus 4C und 4E kann angeben, dass die registrierten Pakete 112-43 und 112-51 gegriffen, hochgehoben und weg von der Depalettierplattform 110 aus 1 transportiert worden sind. Es ist anzumerken, dass nun zwar rechte und linke Kanten für das Paket 112-52 aus 4B erkannt werden können (z. B. da sie freiliegen und nicht mehr benachbart zu anstoßenden Kanten/Paketen sind), diese Kanten aber parallel zueinander sind und sich nicht schneiden, um eine Ecke zu bilden; somit wird in einigen Ausführungsformen durch die Anzeigeeinheit 164 gegebenenfalls keine Hinzufügung der Symbologie entsprechend dem Paket 112-52 angezeigt.
-
4H veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem MVR (z. B. den MVR 112-44f aus 4D) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-44f platziert ist, ohne die Sicht auf die unklaren Kanten 112-44d aus 4D für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann könnte das Paket 112-44 gegriffen und vertikal für einen Hubprüfabstand in eine angehobene Position hochgehoben werden. Zum Beispiel kann der Hubprüfabstand einen Abstand darstellen, der ausreichend für den F-T-Sensor 142 aus 1B und 2A ist, um Messungen von einer/einem oder mehreren Achsenkräften und/oder Achsenmomenten des Pakets 112-44 zu erfassen. Zum Beispiel kann der Hubprüfabstand einen vertikalen Abstand oder einen Abstand entlang der z-Achse darstellen, der größer als null Millimeter ist. Als spezifisches Beispiel kann der Hubprüfabstand 50 Millimeter darstellen.
-
In einigen Ausführungsformen, in denen Bezug auf das kartesische Koordinatensystem genommen wird, können (eine) Kraftmessung(en) entlang einer oder mehrerer Achsen (d. h. F(x-Achse), F(y-Achse) und/oder F(z-Achse)) und/oder (eine) Momentmessung(en) um eine oder mehrere Achsen (d. h. M(x-Achse), M(y-Achse) und/oder M(z-Achse)) über den F-T-Sensor 142 erfasst werden. Durch Anwenden von CoM-Berechnungsalgorithmen kann das Gewicht des Pakets in Abhängigkeit der Kraftmessung(en) berechnet werden und kann der CoM des Pakets in Abhängigkeit der Kraftmessung(en) und der Momentmessung(en) berechnet werden. Diese Messungen können einer neuen Instanz der Registrierungsaufzeichnung 172 aus 1B hinzugefügt werden, die für das Paket 112-44 erstellt wird. In einigen Ausführungsformen kann das Paket 112-44, wenn der berechnete CoM aus dem MVR 112-44f fällt, von dem Greifersystem 146 freigegeben werden. Dann kann das Greifersystem 146 über dem berechneten CoM positioniert werden, wobei zu diesem Zeitpunkt das Paket 112-44 wieder sicher gegriffen und in die angehobene Position hochgehoben werden kann.
-
Während es sich in der angehobenen Position befindet, kann das Robotersystem das hochgehobene Paket neu abbilden, um die zuvor unklaren Kanten zu klären. Zweite Bilddaten, die ein partielles SI von 112-44 darstellen (d. h. den Abschnitt des gesamten SI, der nicht durch das Greifersystem 146 blockiert wird), können durch die Sensoren 162 des Bildsystems 160 aus 1A und 1B erfasst werden, um eindeutige Kanten 112-44g der unklaren Kanten 112-44d aus 4D zu erfassen. In einigen Ausführungsformen können Tiefeninformationen, die in den ersten Bilddaten dargestellt sind, die aus ersten Punktwolkendaten bestehen, mit Tiefeninformationen verglichen werden, die in den zweiten Bilddaten dargestellt sind, die aus zweiten Punktwolkendaten bestehen, um eine Änderung von Tiefeninformationen zu bestimmen, anhand der eindeutige Kanten und 2D-Messungen bestimmt werden können. Sobald sie erfasst sind, können dritte Bilddaten, die ein registrierbares SI darstellen, aus dem SI der ersten Bilddaten und den eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Die 2D-Messungen, die anhand der zweiten Bilddaten bestimmt werden, und das registrierbare SI der dritten Bilddaten können nun der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-44 erstellt wurde. Als ein weiteres Beispiel können die dritten Bilddaten Vorlagebilddaten für das Robotersystem 100 aus 1A darstellen. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-44 besteht, in der RDS 170 aus 1B gespeichert werden. Das Robotersystem 100 kann bestimmen, ob das Paket 112 registriert ist oder nicht, indem das SI des Pakets 112 mit den Vorlagebilddaten verglichen wird.
-
41 veranschaulicht einen vierten Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 41 kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 4G gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-44a aus 4C, 4E und 4G kann angeben, dass, nachdem eine neue Instanz der Registrierungsaufzeichnung 172 hergestellt wurde, die zuvor nicht registrierte Instanz des Pakets 112-44 weg von der Depalettierplattform 110 transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-54a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten (z. B. neu freiliegenden Kanten nach Entfernung/Transport des/der zuvor benachbarten Pakets/Pakete) angibt, die eine Ecke für das Paket 112-54 bilden, das in 4B gezeigt ist.
-
4J veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket (z. B. das Paket 112-54). 4J veranschaulicht eindeutige Kanten 112-54b, die eine Ecke 112-54c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-54d und eine entsprechende Ecke 112-54e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-54f auf die vorstehend erörterte Weise berechnet werden.
-
4K veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4F (z. B. dem MVR 112-32f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-32f platziert ist, ohne die Sicht auf die unklaren Kanten 112-32d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-32 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-32 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-32 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-32g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-32 besteht, in der RDS 170 aus 1B gespeichert werden.
-
4L veranschaulicht einen fünften Satz an beispielhaften Symbologien von nicht registrierten Paketen gemäß einigen Ausführungsformen der vorliegenden Technologie. 4L kann einen Zustand des Stapels von Paketen darstellen, nachdem ein oder mehrere Pakete von dem Stapel, der in 41 gezeigt ist, entfernt/transportiert worden sind. Das Fehlen der Symbologie 112-32a aus 4E, 4G und 4I kann angeben, dass, nachdem eine neue Instanz der Registrierungsaufzeichnung 172 hergestellt wurde, die zuvor nicht registrierte Instanz des Pakets 112-32 weg von der Depalettierplattform 110 transportiert worden ist. Auch kann das Robotersystem 100 die Symbologie 112-52a an der Anzeigeeinheit 164 erzeugen/anzeigen, die eine neue Erkennung von zwei eindeutigen Kanten (z. B. neu freiliegenden Kanten nach Entfernung/Transport des/der zuvor benachbarten Pakets/Pakete) angibt, die eine Ecke für das Paket 112-52 bilden, das in 4B gezeigt ist.
-
4M veranschaulicht ein Beispiel von unklaren Kanten und eines MVR für ein neu verarbeitetes Paket (z. B. das Paket 112-52). 4M veranschaulicht die eindeutigen Kanten 112-52b, die eine Ecke 112-52c bilden, die unter Anwendung von einem oder mehreren vorstehend beschriebenen Prozessen erkannt worden sind. Anhand dieser Erkennung können zwei unklare Kanten 112-52d und eine entsprechende Ecke 112-52e durch das Robotersystem 100 (z. B. die PU 150) auf die vorstehend erörterte Weise geschätzt werden, und kann ein MVR 112-52f auf die vorstehend erörterte Weise berechnet werden.
-
4N veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4M (z. B. dem MVR 112-52f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-52f platziert ist, ohne die Sicht auf die unklaren Kanten 112-52d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-52 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-52 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-52 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-52g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-52 besteht, in der RDS 170 aus 1B gespeichert werden.
-
4O veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über dem MVR aus 4J (z. B. dem MVR 112-54f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-54f platziert ist, ohne die Sicht auf die unklaren Kanten 112-54d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-54 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-54 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-54 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-54g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-54 besteht, in der RDS 170 aus 1B gespeichert werden.
-
4P veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem zweiten MVR aus 4D (z. B. dem MVR 112-31f) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-31f platziert ist, ohne die Sicht auf die unklaren Kanten 112-31d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-31 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-31 erzeugt wurde; können zweite Bilddaten, die ein partielles SI des Pakets 112-31 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-31g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für das nicht registrierte Paket 112-31 besteht, in der RDS 170 aus 1B gespeichert werden.
-
4Q veranschaulicht eine beispielhafte Platzierung eines Greifersystems (z. B. des Greifersystems 146) über einem dritten MVR aus 4D (z. B. dem MVR 112-53) gemäß einigen Ausführungsformen der vorliegenden Technologie. Der F-T-Sensor 142 und das Greifersystem 146, das den Endeffektor 140 umfasst, aus 1A und 1B können so positioniert sein, dass das Greifersystem 146 über dem MVR 112-53f platziert ist, ohne die Sicht auf die unklaren Kanten 112-53d für die Sensoren 162 des Bildsystems 160 aus 1 zu blockieren. Dann, wenn sich das Paket 112-53 in einer angehobenen Position befindet und auf die vorstehend erörterte Weise, können Gewichts- und CoM-Messungen bestimmt und einer neuen Instanz der Registrierungsaufzeichnung 172 hinzugefügt werden, die für das Paket 112-53 erzeugt wird; können zweite Bilddaten, die ein partielles SI des Pakets 112-53 darstellen, erfasst werden, anhand derer 2D-Messungen und eindeutige Kanten 112-53g bestimmt werden können; und können dritte Bilddaten, die ein registrierbares SI darstellen, anhand des SI der ersten Bilddaten und der eindeutigen Kanten der zweiten Bilddaten erzeugt werden. Von hier kann nun eine neue Instanz der Registrierungsaufzeichnung 172, die aus dem registrierbaren SI, den 2D-Messungen und den Messungen von Gewicht und CoM für die nicht registrierte Instanz des Pakets 112-53 besteht, in der RDS 170 aus 1B gespeichert werden.
-
5 veranschaulicht eine Ablaufsteuerung 200 für ein beispielhaftes Verfahren zum Betreiben des Robotersystems 100 aus 1A. Die Ablaufsteuerung 200 kann das Registrieren eines nicht registrierten der Pakete 112 während eines Pakethandhabungsvorgangs beinhalten, wobei die PU 150 aus 1B mit Anweisungen entsprechend den Modulen (z. B. Schaltungen, Funktionen computer-/vorrichtungsausführbare Anweisungen oder eine Kombination davon), die in der Ablaufsteuerung 200 ausgeführt sind, programmiert oder konfiguriert sein kann. In einigen Ausführungsformen kann die PU 150 ein Prozessor oder eine Kombination aus Prozessoren sein, die in dem Roboterarmsystem 130 aus 1B, dem Endeffektor 140 aus 1B, dem Bildsystem 160 aus 1B, der RDS 170 aus 1B, einer eigenständigen Steuerung und/oder einem beliebigen anderen System, das geeignet ist, um die Aufgabe durchzuführen, zu finden sind. Auch kann die PU 150 ein Prozessor eines Moduls sein, wie zum Beispiel unter anderem eine Leiterplatte mit einer oder mehreren Eingangsschnittstellen, um die zweiwegige Datenkommunikation der PU 130, d. h. das Empfangen und Bereitstellen von Daten, zu erleichtern. Wie erforderlich zur Vollendung der folgenden Module, die in der Ablaufsteuerung 200 ausgeführt sind, ist das Empfangen von Daten synonym und/oder austauschbar mit dem Erwerben und/oder Abrufen von Daten, und ist das Bereitstellen von Daten synonym und/oder austauschbar mit dem Zurverfügungstellen oder Liefern von Daten.
-
Das Robotersystem 100 kann ein Erfassungsmodul 202 beinhalten. Das Erfassungsmodul 202 erfasst das SI als die ersten Bilddaten. Zum Beispiel kann das Erfassungsmodul 202 die ersten Bilddaten mit dem/den Sensor(en) 162 aus 1B erfassen. Konkreter als Beispiel kann das Erfassungsmodul 202 das Bildsystem 160 betreiben und/oder mit dem Bildsystem 160 interagieren, um die Bilddaten entsprechend einer Draufsicht auf einen Stapel wie in 3B und/oder 4B veranschaulicht zu erfassen und/oder von dem Bildsystem 160 zu empfangen. Das Erfassungsmodul 202 kann die resultierenden Bilddaten verarbeiten, um die Oberseite des Pakets 112 aus 1A als die ersten Bilddaten zu erfassen. In einigen Ausführungsformen kann das Erfassungsmodul 202 einen oder mehrere Bilderkennungsalgorithmen (z. B. die kontextuelle Bildklassifizierung, Mustererkennung und/oder Randerfassung) einsetzen, um die Bildgebungsdaten zu analysieren und Kanten und/oder Oberflächen der Pakete 112 darin zu identifizieren. Basierend auf den Verarbeitungsergebnissen (z. B. den identifizierten Kanten und/oder durchgehenden Oberflächen) kann das Erfassungsmodul 202 Abschnitte (z. B. Sätze von Pixelwerten und/oder Tiefenablesungen) der Bildgebungsdaten als Oberseiten einzelner Pakete darstellend identifizieren. Das Erfassungsmodul 202 kann die ersten Bilddaten entsprechend der/den Oberseite(n) von einem oder mehreren der einzelnen Pakete an ein Bereichsmodul 204 übertragen.
-
Das Robotersystem 100 kann das Bereichsmodul 204 beinhalten, das an das Erfassungsmodul 202 gekoppelt sein kann. Das Bereichsmodul 204 berechnet den MVR. Zum Beispiel kann das Bereichsmodul 204 den MVR basierend auf dem Paket 112, der Registrierungsaufzeichnung 172 aus 1B oder einer Kombination davon berechnen.
-
In einigen Ausführungsformen kann das Erfassungsmodul 202 die empfangenen Bilddaten (z. B. die ersten Bilddaten) mit der Registrierungsaufzeichnung 172 vergleichen. Zum Beispiel kann das Erfassungsmodul 202 die ersten Bilddaten und/oder beliebige Verarbeitungsergebnisse davon (z. B. Abmessungs-/Größenschätzungen und/oder visuelle Markierungen abgeleitet von den Bilddaten) mit vorhandenen Beschreibungen/Vorlagen von bekannten oder zuvor eingetroffenen Paketen vergleichen. Basierend auf dem Vergleich kann das Bereichsmodul 204 bestimmen, ob die ersten Bilddaten mit entsprechenden Informationen eines bekannten oder zuvor eingetroffenen Pakets wie in den Registrierungsaufzeichnungen 172 gespeichert übereinstimmen.
-
Das Bereichsmodul 204 kann den MVR auf verschiedene Arten berechnen, darunter zum Beispiel Berechnen des MVR basierend darauf, ob das Paket 112 als die Registrierungsaufzeichnung 172 registriert ist (z. B., ob ein Vergleich der ersten Bilddaten mit den Registrierungsaufzeichnungen 172 eine Übereinstimmung zurückgibt). Konkreter als Beispiel kann das Bereichsmodul 204 das Berechnen des MVR vermeiden, wenn die ersten Bilddaten mit einer der Registrierungsaufzeichnungen 172 übereinstimmen (z. B. das Paket 112 als eine oder mehrere der Registrierungsaufzeichnungen 172 registriert ist). Im Gegensatz dazu kann das Bereichsmodul 204 den MVR berechnen, wenn erste Bilddaten mit keiner der Registrierungsaufzeichnungen 172 übereinstimmen. Zum Beispiel können die erfassten ersten Bilddaten die Oberseite der nicht registrierten Instanz des Pakets 112 darstellen. Da das Paket 112 nicht registriert ist, können einige Instanzen des Randes des Pakets 112 unklar sein. Konkreter als Beispiel kann das nicht registrierte Paket 112-31 aus 4B unklare Kanten 112-31d aus 4D beinhalten. Das Bereichsmodul 204 kann einen Satz an eindeutigen und/oder unklaren Kanten identifizieren. In einigen Ausführungsformen kann das Bereichsmodul 204 die eindeutigen Kanten (z. B. Kanten, die periphere Ränder des Stapels bilden/damit zusammenfallen und an keine anderen Pakete anstoßen) identifizieren und sie als Referenzen verwenden. Entsprechend kann das Bereichsmodul 204 die eindeutigen Kanten verwenden, um den MVR wie vorstehend beschrieben (z. B. gemäß einer Größe/Eigenschaft des Greifersystems 146) zu bestimmen. Das Bereichsmodul 204 kann den MVR bestimmen, der kleiner als der Bereich der Oberfläche des Pakets 112 ist, das in den ersten Bilddaten erfasst wird.
-
Als spezifisches Beispiel können die ersten Bilddaten des Pakets 112-31 zwei eindeutige Kanten 112-31b aus 4D beinhalten. Das Bereichsmodul 204 kann die Grenze des Oberflächenbereichs des Pakets 112-31 vorhersagen, indem die zwei eindeutigen Kanten 112-31b und die zwei unklaren Kanten 112-31d verlängert werden, sodass sich die zwei eindeutigen Kanten 112-31b mit den zwei unklaren Kanten 112-31d schneiden. Das Bereichsmodul 204 kann den MVR basierend auf der Grenze des Oberflächenbereichs berechnen, indem bestimmt wird, dass der MVR kleiner als die Grenze des Oberflächenbereichs ist. In einigen Ausführungsformen kann das Bereichsmodul 204 (z. B. basierend auf den Bilddaten) ein Paar von Kanten (z. B. eindeutige und/oder unklare Kanten) für die Paketoberfläche identifizieren, die einander schneiden, um eine erste Ecke zu bilden. Das Bereichsmodul 204 kann das Paar von Kanten verwenden, um den MVR zu bestimmen, indem zum Beispiel unklare Kanten geschätzt werden, indem ein Paar von Linien senkrecht zu dem Paar von Kanten und in Richtung zueinander verlängert wird. Entsprechend kann das Bereichsmodul 204 eine gegenüberliegende Ecke als einen Schnittpunkt des Paares von unklaren/verlängerten Paarlinien schätzen. Das Bereichsmodul 204 kann die unklaren/senkrechten Linien von Punkten an dem ersten Paar von Kanten verlängern, die einer oder mehreren Größen/Eigenschaften des Greifersystems 146 entsprechen.
-
Als ein weiteres Beispiel können Design und/oder Markierungen, die an dem SI des Pakets 112 erscheinen, eine gerade Linie beinhalten. Die gerade Linie kann fälschlicherweise als Rand der Oberfläche des Pakets 112 angesehen werden. Um potentielle Fehlidentifizierung des Randes zu reduzieren, kann das Bereichsmodul 204 den MVR ohne den Abschnitt der Oberfläche mit der geraden Linie berechnen. Konkreter als Beispiel kann das Bereichsmodul 204 den MVR kleiner als die Grenze des Oberflächenbereichs, der mit der geraden Linie enthalten ist, berechnen.
-
Als ein anderes Beispiel kann das Bereichsmodul 204 den MVR basierend auf der Stelledes Pakets 112 berechnen. Zum Beispiel kann die Palette mehr als ein Paket 112 (registriert und/oder nicht registriert) wie in 3A/4B an der Depalettierplattform 110 aus 1A gezeigt beinhalten. Anhand der Gruppe an Paketen kann das Bereichsmodul 204 den MVR basierend auf einer Stelle einer Instanz des Pakets 112 relativ zu einer anderen Instanz des Pakets 112 berechnen. Wie erörtert, können alle Kanten der registrierten Instanz des Pakets 112 bekannt sein, wie zum Beispiel basierend auf einer positiven Übereinstimmung der exponierten Oberfläche des Pakets mit registrierten Daten und Verwenden von zuvor gespeicherten Größen-/Abmessungsmessungen, die den registrierten Daten entsprechen.
-
Im Gegensatz dazu können einige der Kanten für die nicht registrierte Instanz des Pakets 112 unbekannt sein, wie zum Beispiel aufgrund dessen, dass das Paket 112-52 nicht registriert ist. Ferner kann ein unbekanntes Paket (z. B. das Paket 112-52) von anderen Paketen umgeben sein, wie zum Beispiel den Paketen 112-31, 112-32, 112-33, 112-43, 112-44, 112-51, 112-53 und/oder 112-54, wie in 4B veranschaulicht. Da die Kanten der 112-52 unbekannt sind, können SI der 112-52 mit Oberflächenbildern von anderen Paketen 112 überlappen.
-
In einigen Fällen kann eines oder können mehrere der umliegenden Pakete (z. B. das Paket 112-32) auch gemäß den Registrierungsaufzeichnungen 172 nicht registriert/nicht zugeordnet sein, wodurch weitere Unklarheiten in Bezug auf die übrigen/unbekannten Kanten des Pakets 112-52 entstehen können. Ohne eine klare Grenze, die zwischen dem Paket 112-52 und dem Paket 112-32 gezogen wird, können das SI für das Paket 112-52 und das SI für das Paket 112-32 einander überlappen.
-
Im Gegensatz dazu können, während das Paket 112-31 auch nicht registriert/nicht zugeordnet sein kann, die Sensoren 162 eine(n) einmalige(n) Stelle/Zustand des Pakets 112-31 relativ zu der Depalettierplattform 110 und/oder anderen Paketen erfassen. Zum Beispiel kann das Bereichsmodul 204 bestimmen, dass das Paket 112-31 eine(n) zuvor festgelegte(n) Stelle/Zustand erfüllt, wenn zumindest eine Kante des Pakets 112-31 nicht benachbart zu einem anderen Paket 112 ist/nicht daran anstößt. Konkreter als Beispiel können die zwei Kanten 112-31b aus 4B und die Ecke 112-31c aus 4B in dem ersten Bild eindeutig sichtbar sein und/oder einer Tiefenmessung (z. B. für eine durchgehende Oberfläche) entsprechen, die sich von denjenigen an umliegenden/benachbarten horizontalen Stellen unterscheidet (z. B. sich darüber befindet). Auch kann zum Beispiel das Bereichsmodul 204 bestimmen, dass das Paket 112-31 und/oder seine Außenränder einer Ecke und/oder einem Außenabschnitt der Depalettierplattform 110 entsprechen.
-
Entsprechend kann das Bereichsmodul 204 basierend auf der Sichtbarkeit der Kante(n), der Ecke oder einer Kombination davon des Pakets 112 bestimmen, dass sich die nicht registrierte Instanz des Pakets 112 an oder nahe dem Außenumfang der Depalettierplattform 110 befindet. In einigen Ausführungsformen kann das Bereichsmodul 204 ferner bestimmen, dass die nicht registrierte Instanz des Pakets 112 entlang einer oder mehreren horizontalen Richtungen freiliegt (z. B. nicht benachbart zu anderen Paketen, wie zum Beispiel aufgrund von Entfernung von zuvor benachbartem Paket). Das Bereichsmodul 204 kann die Berechnung des MVR für die nicht registrierte Instanz des Pakets 112, die freiliegen und/oder sich an der Außenseite befinden, gegenüber anderen nicht registrierten Paketen (z. B. dem nicht registrierten Paket 112-52 112, das sich an dem horizontal inneren Abschnitt des Stapels/der Schicht befindet) priorisieren.
-
In einigen Ausführungsformen kann das Bereichsmodul 204 die Berechnung des MVR für das Paket mit der größeren Anzahl an Kanten, die deutlich sichtbar und/oder freiliegend sind, gegenüber dem Paket mit weniger solchen Kanten priorisieren. Entsprechend kann das Robotersystem 100 das Risiko reduzieren, das Paket mit SI zu greifen, das ein anderes Paket 112 überlappt, und die entsprechenden Greif-/Hubfehler reduzieren. Für das Beispiel, das in 4B veranschaulicht ist, kann das Bereichsmodul 204 den MVR für das Paket 112-31, 112-53 und/oder 112-44 vor den Paketen 112-32, 112-54 112-52 bestimmen. Das Bereichsmodul 204 kann den MVR an ein Hubmodul 206 übertragen.
-
Das Bereichsmodul 204 kann den MVR basierend auf zwei unklaren Ecken berechnen. Konkreter als Beispiel können die zwei unklaren Ecken aus einer Kombination aus zumindest drei unklaren Kanten, zwei eindeutigen Kanten und einer unklaren Kante oder zwei unklaren Kanten und einer eindeutigen Kante bestehen. Wie vorstehend erörtert, kann das Bereichsmodul 204 die Grenze der Oberfläche des Pakets 112 vorhersagen, indem jede Kante so verlängert wird, dass sie die andere Kante schneidet, um eine Ecke zu bilden. Das Bereichsmodul 204 kann den MVR basierend auf der Grenze des Oberflächenbereichs, der durch die drei Kanten/zwei Ecken gebildet wird, berechnen, indem bestimmt wird, dass der MVR kleiner als die Grenze ist, die durch die zwei unklaren Ecken erzeugt wird.
-
Das Robotersystem 100, das den MVR dynamisch und in Echtzeit berechnet, stellt eine verbesserte Genauigkeit und Leistung beim Greifen der nicht registrierten Instanz des Pakets 112 bereit. Durch Berechnen des MVR kann das Robotersystem 100 den Oberflächenbereich (z. B. die entsprechenden Kanten/Grenzen) des Pakets 112 schätzen, an denen das Greifersystem 146 aus 4H das Paket 112 sicher greifen kann. Folglich kann das Robotersystem 100 das Paket 112 unregistriert an das Robotersystem 100 übertragen, ohne den Arbeitsfluss anzuhalten, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
-
Das Robotersystem 100 kann das Hubmodul 206 beinhalten, das an das Bereichsmodul 204 gekoppelt sein kann. Das Hubmodul 206 implementiert (z. B. durch Kommunizieren und/oder Ausführen) den Befehl für den Roboterarm 132 aus 1A, um das Paket 112 hochzuheben. Zum Beispiel kann das Hubmodul 206 den Roboterarm 132 betätigen, um die nicht registrierte Instanz des Pakets 112 für den Hubprüfabstand wie vorstehend erörtert hochzuheben. Konkreter als Beispiel kann der Roboterarm 132 das Paket 112 durch Greifen innerhalb des MVR des Pakets 112 mit dem Greifersystem 146, wo zumindest eine der Kanten, die unklar ist, für die Sensoren 162 sichtbar ist, hochheben. Anders gesagt kann das Hubmodul 206 für nicht registrierte/nicht identifizierte Pakete den Roboterarm 132 betätigen, um das Greifersystem 146 direkt an dem/über dem/den MVR kontaktierend zu platzieren. Folglich kann das Hubmodul 206 das entsprechende Paket greifen und hochheben, während eine oder mehrere unklare Kanten durch das Greifersystem 146 unbedeckt und freiliegend/für die Sensoren 162 sichtbar bleiben.
-
Das Hubmodul 206 kann auf eine Reihe von Arten arbeiten. Zum Beispiel kann das Hubmodul 206 den Hubbefehl für den Roboterarm 132 ausführen, um das Paket 112 innerhalb des MVR zu greifen, wo die unklare Kante für die Sensoren 162 sichtbar ist. Als konkretes Beispiel, wie in 4D gezeigt, kann der Roboterarm 132 das Paket 112-44 aus 4D innerhalb von 112-44f aus 4D hochheben. Das SI des Pakets 112-44 kann zwei eindeutige Kanten 112-44b und die Ecke 112-44c beinhalten. Das SI des Pakets 112-44 kann auch zwei unklare Kanten 112-44d beinhalten. Wie in 4H gezeigt, kann der Roboterarm 132 das Paket 112-44 hochheben, indem das Paket 112-44 gegriffen wird, wo die zwei unklaren Kanten 112-44b für die Sensoren 162 sichtbar sind. Ohne den MVR zu verwenden, kann das Greifersystem 146 das Paket an einer Stelle greifen, die das Erfassen der Kante durch die Sensoren 162 blockiert.
-
Als ein anderes Beispiel kann das Hubmodul 206 das Gewicht des Pakets 112 bestimmen. Konkreter als Beispiel kann das Hubmodul 206 das Gewicht der nicht registrierten Instanz des Pakets 112 unter Verwendung des F-T-Sensors 142 aus 1B bestimmen. Das Hubmodul 206 kann das Gewicht des Pakets 112 an ein Registriermodul 212 übertragen.
-
In einigen Ausführungsformen kann das Erfassungsmodul 202 ferner das SI der nicht registrierten Instanz des Pakets 112 nach dem Hochheben und/oder während es durch das Greifen am MVR hochgehoben wird, als die zweiten Bilddaten erfassen. Konkreter als Beispiel kann das Erfassungsmodul 202 die zweiten Bilddaten basierend darauf erfassen, dass das Paket 112 für den Hubprüfabstand hochgehoben wird, um die nun sichtbaren zwei eindeutigen Kanten 112-44g aus 4H zu beinhalten. Anders gesagt kann das Hubmodul 206 die Sichtbarkeit und/oder Klarheit der anfangs unklaren Kanten verbessern, indem das Paket 112 hochgehoben wird. Entsprechend kann das Erfassungsmodul 202 die zweiten Bilddaten (z. B. für das Paket 112 in einem/einer hochgehobenen Zustand/Position) erfassen, die die zuvor unklaren Kanten eindeutig identifizieren/zeigen. Das Erfassungsmodul 202 kann die zweiten Bilddaten an ein Extraktionsmodul 208 übertragen.
-
Das Robotersystem 100 kann das Extraktionsmodul 208 beinhalten, das an das Hubmodul 206 gekoppelt sein kann. Das Extraktionsmodul 208 extrahiert die dritten Bilddaten. Zum Beispiel kann das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder eine Kombination davon extrahieren.
-
Das Extraktionsmodul 208 kann die dritten Bilddaten auf eine Reihe von Arten extrahieren. Zum Beispiel kann das Extraktionsmodul 208 einen Bildunterschied basierend auf dem Vergleichen der ersten Bilddaten und der zweiten Bilddaten bestimmen. Der Bildunterschied kann den Unterschied zwischen den ersten Bilddaten und den zweiten Bilddaten der gleichen Instanz der nicht registrierten Instanz des Pakets 112 darstellen.
-
Konkreter als Beispiel können die ersten Bilddaten SI mit dem Design und/oder den Markierungen des Pakets 112 beinhalten. Da das Paket 112 jedoch nicht registriert ist, können die Kanten des Pakets 112 unklar oder nicht definitiv bestimmt sein. Somit können die ersten Bilddaten das SI des Pakets 112 mit der Kante beinhalten, die unklar ist oder mit dem SI eines anderen Pakets 112 überlappt. Als ein weiteres Beispiel können die zweiten Bilddaten das SI des Pakets 112 beinhalten, nachdem es für den Hubprüfabstand hochgehoben wurde. Konkreter als Beispiel können die zweiten Bilddaten das SI des Pakets 112 mit zuvor unklarem Rand (z. B. Kanten 112-44b) beinhalten, der ein eindeutiger Rand (z. B. Kanten 112-44g) wird, nachdem das Paket 112 hochgehoben ist. Der unklare Rand kann ein eindeutiger Rand werden, nachdem das Paket 112 hochgehoben ist, da das Paket 112 (z. B. bei einer höheren Höhe) von anderen benachbarten Paketen 112 separiert wird. Die Sensoren 162 können zwischen unterschiedlichen Paketen 112 unterscheiden, da sich der Abstand oder die Tiefe zwischen dem Paket 112, das hochgehoben wird, und den benachbarten Paketen 112 von den Sensoren 162 unterscheiden kann.
-
Das Extraktionsmodul 208 kann die dritten Bilddaten basierend auf dem Kombinieren der Bildunterschiede zwischen den ersten Bilddaten und den zweiten Bilddaten extrahieren. Zum Beispiel können die ersten Bilddaten des Pakets 112-44 das Design und/oder die Markierungen, die zwei eindeutigen Kanten 112-44b, die Ecke 112-44c oder eine Kombination davon beinhalten. Als ein weiteres Beispiel können die zweiten Bilddaten des Pakets 112-44 die zwei eindeutigen Kanten 12-44g beinhalten. Das Extraktionsmodul 208 kann die dritten Bilddaten des Pakets 112-44 extrahieren, indem es das Design und/oder die Markierungen, die zwei eindeutigen Kanten 112-44b, die Ecke 112-44c, die zwei eindeutigen Kanten 112-44g oder eine Kombination davon einschließt.
-
Als ein weiteres Beispiel kann das Extraktionsmodul 208 die Länge, Breite oder eine Kombination davon des Pakets 112 basierend auf den dritten Bilddaten bestimmen. Konkreter als Beispiel kann das Extraktionsmodul 208 basierend auf den eindeutigen Kanten die Abmessung einschließlich der Länge, der Breite oder einer Kombination davon bestimmen. Das Extraktionsmodul 208 kann die dritten Bilddaten, die Länge, die Breite oder eine Kombination davon an das Registriermodul 212 übertragen.
-
Die dynamische und in Echtzeit erfolgende Extraktion der dritten Bilddaten stellt eine verbesserte Leistung und die Genauigkeit des Robotersystems 100 bereit, um die nicht registrierte Instanz des Pakets 112 zu identifizieren und zu greifen. Indem die dritten Bilddaten extrahiert werden, kann das Robotersystem 100 die Kanten des Pakets 112 identifizieren, um von einem anderen Paket 112 zu unterscheiden. Indem die Grenzen/Kanten des Pakets 112 eindeutig identifiziert werden, kann das Robotersystem 100 das Greifersystem 146 effizient an dem Paket 112 platzieren, um das Paket 112 sicher zu greifen und zu übertragen. Folglich kann das Robotersystem 100 das nicht im Robotersystem 100 registrierte Paket 112 weiter übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
-
Für veranschaulichende Zwecke ist beschrieben, dass das Hubmodul 206 den Befehl zum Hochheben des Pakets 112 ausführt, aber das Hubmodul 206 kann anders arbeiten. Zum Beispiel kann das Hubmodul 206 den CoM basierend auf dem Hochheben des Pakets 112 bestimmen. Konkreter als Beispiel kann das Hubmodul 206 bestimmen, ob die Stelle innerhalb des MVR, wo das Paket 112 durch das Greifersystem 146 gegriffen und hochgehoben wird, über dem CoM des Pakets 112 liegt. Als ein weiteres Beispiel kann das Hubmodul 206 bestimmen, ob der CoM innerhalb der xy-Achsen liegt, die als der MVR dargestellt sind.
-
Das Hubmodul 206 kann den CoM auf eine Reihe von Arten bestimmen. Zum Beispiel kann das Hubmodul 206 den CoM mit dem F-T-Sensor 142 wie vorstehend beschrieben bestimmen. Als ein weiteres Beispiel kann das Hubmodul 206 mit dem F-T-Sensor 142, dem CoM-Algorithmus oder einer Kombination davon bestimmen, ob der CoM unter dem Oberflächenbereich ist, der als der MVR dargestellt ist.
-
Unter Verwendung des F-T-Sensors 142 und der CoM-Algorithmen kann das Hubmodul 206 auch bestimmen, ob die Stelle/der Abschnitt innerhalb des MVR, die/der den Greifer kontaktiert oder dadurch bedeckt ist, wo das Paket 112 mit dem CoM zusammenfällt oder diesen beinhaltet. Als ein weiteres Beispiel kann das Hubmodul 206 eine neue Stelle innerhalb des MVR für das Greifersystem 146 bestimmen, um das Paket 112 zu greifen, wenn sich die ursprüngliche Greifstelle nicht über dem CoM des Pakets 112 befindet. Konkreter als Beispiel kann das Hubmodul 206 unter Anwendung des vorstehend erörterten CoM-Algorithmus bestimmen, dass die neue Stelle zum Greifen relativ zu der ursprünglichen gegriffenen Stelle über dem CoM ist. Zum Beispiel kann das Hubmodul 206 eine Vektorrichtung basierend auf einem gemessenen Drehmoment und/oder eine Richtung davon bestimmen. Basierend auf dem Drehmoment kann das Hubmodul 206 eine Stelle/Richtung einer Abwärtskraft relativ zu dem F-T-Sensor 142 und/oder dem Greifersystem 146 schätzen. Auch kann das Hubmodul 206 einen Abstand basierend auf einer Größe des gemessenen Drehmoments, einem gemessenen Gewicht des hochgehobenen Pakets 112, einer Beziehung zwischen der Greifstelle und den Grenzen/Kanten des Pakets oder einer Kombination davon berechnen. Das Hubmodul 206 kann prüfen, ob die neue Stelle (z. B. die Vektorrichtung und der Abstand) zum Greifen innerhalb des MVR liegt. Wenn die neue Stelle über dem CoM liegt, kann das Hubmodul 206 verifizieren, dass der CoM des Pakets 112 richtig bestimmt ist.
-
Wenn das Hubmodul 206 bestimmt, dass die gegriffene Stelle innerhalb des MVR nicht der CoM ist, kann das Hubmodul 206 den Befehl ausführen, das Paket 112 dort fallenzulassen oder abzusenken, wo das Greifersystem 146 das Paket 112 hochgehoben hatte. Ferner kann das Hubmodul 206 den Befehl für das Greifersystem 146 ausführen, das Paket 112 an der neuen Stelle innerhalb des MVR zu greifen (z. B. durch Absenken und Freigeben des Pakets 112, Neupositionieren des Greifersystems 146 und dann erneutes Greifen des Pakets 112) und für den Roboterarm 132, das Paket 112 für den Hubprüfabstand hochzuheben. Als zusätzliches Beispiel kann das Greifersystem 146 an der neuen Stelle innerhalb des MVR greifen, ohne das Erfassen des unklaren Randes des Pakets 112 durch die Sensoren 162 zu blockieren. Das Hubmodul 206 kann das Registriermodul 212 übertragen.
-
Das Robotersystem 100, das den CoM des Pakets 112 dynamisch und in Echtzeit bestimmt, stellt eine verbesserte Leistung des Robotersystems 100 bereit, das die nicht registrierte Instanz des Pakets 112 überträgt. Durch genaues Identifizieren des CoM von nicht registrierten/nicht erkannten Paketen verbessert sich die Stabilität des Greifersystems 146, das das Paket 112 greift. Folglich kann das Robotersystem 100 das Paket 112 weiter unregistriert an das Robotersystem 100 übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
-
Für veranschaulichende Zwecke ist beschrieben, dass das Erfassungsmodul 202 die ersten Bilddaten, die zweiten Bilddaten oder eine Kombination davon erfasst, aber das Erfassungsmodul 202 kann anders arbeiten. Zum Beispiel kann das Erfassungsmodul 202 neu gegriffene Bilddaten erfassen, die das SI des Pakets 112 darstellen, nachdem der CoM wie vorstehend erörtert korrekt bestimmt ist. Konkreter als Beispiel kann der Roboterarm 132 das Paket 112 hochheben, nachdem das Greifersystem 146 das Paket 112 an der neuen Stelle innerhalb des MVR greift. Das Erfassungsmodul 202 kann die erneut gegriffenen Bilddaten erfassen, die das SI des Pakets 112 darstellen, das an der neuen Stelle innerhalb des MVR und über dem CoM gegriffen wird. Das Erfassungsmodul 202 kann die erneut gegriffenen Bilddaten an das Extraktionsmodul 208 übertragen.
-
Für veranschaulichende Zwecke ist beschrieben, dass das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder eine Kombination davon extrahiert, aber das Extraktionsmodul 208 kann anders arbeiten. Zum Beispiel kann das Extraktionsmodul 208 die dritten Bilddaten basierend auf den ersten Bilddaten, den erneut gegriffenen Bilddaten oder einer Kombination davon extrahieren, ähnlich wie vorstehend für das Extraktionsmodul 208 beschrieben, das die dritten Bilddaten basierend auf den ersten Bilddaten, den zweiten Bilddaten oder einer Kombination davon extrahiert. Das Extraktionsmodul 208 kann die Abmessung, darunter die Länge, die Breite oder eine Kombination davon des Pakets 112 wie vorstehend erörtert bestimmen. Das Extraktionsmodul 208 kann die dritten Bilddaten, die Länge, die Breite oder eine Kombination davon an das Registriermodul 212 übertragen.
-
Das Robotersystem 100 kann ein Übertragungsmodul 210 beinhalten, das an das Extraktionsmodul 208 gekoppelt sein kann. Das Übertragungsmodul 210 führt den Befehl aus, das Paket 112 an die Aufnahmeplattform 120 aus 1A zu übertragen. Zum Beispiel kann das Übertragungsmodul 210 den Befehl für den Roboterarm 132 ausführen, um die registrierte oder nicht registrierte Instanz des Pakets 112 an die Aufnahmeplattform 120 zu übertragen.
-
Das Übertragungsmodul 210 kann den Befehl auf eine Reihe von Arten ausführen. Zum Beispiel kann das Übertragungsmodul 210 den Befehl ausführen, das Paket 112 basierend auf dem Registrierungsstatus des Pakets 112 zu übertragen. Konkreter als Beispiel kann das Übertragungsmodul 210, wenn die Registrierungsaufzeichnung 172 für das Paket 112 vorhanden ist, den Befehl für den Roboterarm 132 ausführen, der die registrierte Instanz des Pakets 112 greift, um das Paket 112 zu übertragen, um es an der Aufnahmeplattform 120 zu platzieren.
-
Als ein anderes Beispiel werden, wenn die Registrierungsaufzeichnung 172 nicht vorhanden ist, die dritten Bilddaten des Pakets 112 wie vorstehend erörtert extrahiert. Außerdem kann das Übertragungsmodul 210 den Befehl für den Roboterarm 132 ausführen, der die nicht registrierte Instanz des Pakets 112 greift, um das Paket 112 an die Aufnahmeplattform 120 zu übertragen. Als ein weiteres Beispiel kann, wenn der Roboterarm 132 das Paket 112 auf die Aufnahmeplattform 120 absenkt, die Bodenerstreckung des Pakets 112 den HDS 180 aus 1A auslösen.
-
Die Höhe des HDS 180 relativ zum Boden kann vordefiniert werden, da die Höhe der Aufnahmeplattform 120 vordefiniert werden kann. Das Übertragungsmodul 210 kann die Höhe des Pakets 112 basierend auf einer Zeit, zu der der Boden des Pakets 112 den HDS 180 durchläuft, und einer Höhe des Greifersystems 146 bestimmen. Konkreter als Beispiel kann das Übertragungsmodul 210 die Höhe des Pakets 112 basierend auf dem Abstand/Unterschied zwischen der Stelle oder Höhe des Greifersystems 146, wenn das Signal (d. h. das Paket 112 darstellend, das den HDS 180 durchläuft) empfangen wird, und der vordefinierten Höhe des HDS 180 bestimmen. Das Übertragungsmodul 210 kann die Höhe des Pakets 112 an das Registriermodul 212 übertragen.
-
Das Robotersystem 100, das die Höhe der nicht registrierten Instanz des Pakets 112 dynamisch und in Echtzeit bestimmt, stellt eine verbesserte Leistung des Robotersystems 100 beim Depalettieren der Pakete 112 bereit. Durch Bestimmen der Höhe von nicht registrierten/nicht erkannten Paketen kann das Robotersystem 100 die Attribute der Pakete 112 genau identifizieren, um das Paket sicher zu greifen. Folglich kann das Robotersystem 100 die Pakete 112 der gleichen Art durchgehend übertragen, um die Leistung des Arbeitsflusses zum Depalettieren der Pakete 112 zu verbessern.
-
Das Robotersystem 100 kann das Registriermodul 212 beinhalten, das an das Übertragungsmodul 210 gekoppelt sein kann. Das Registriermodul 212 registriert das Attribut des Pakets 112. Zum Beispiel kann das Registriermodul 212 die dritten Bilddaten, die Länge, die Breite, die Höhe, das Gewicht, den CoM oder eine Kombination davon der nicht registrierten Instanz des Pakets 112 registrieren (z. B. durch Verbinden oder gemeinsames Aufbewahren). Konkreter als Beispiel kann das Registriermodul 212 die Registrierungsaufzeichnung 172 erzeugen, um die nicht registrierte Instanz des Pakets 112 in die registrierte Instanz des Pakets 112 umzuwandeln.
-
Es ist anzumerken, dass die Schritte des vorstehend beschriebenen Verfahrens in computerlesbaren Medien ausgeführt sein können, die in einem nichtflüchtigen computerlesbaren Medium als Computeranweisungscode gespeichert sind. Das Verfahren kann einen oder mehrere der hier beschriebenen Schritte beinhalten, wobei der eine oder die mehreren Schritte in einer beliebigen gewünschten Reihenfolge durchgeführt werden können, dabei auch simultan ausgeführt werden können. Zum Beispiel können zwei oder mehr der hier offenbarten Schritte in einem einzelnen Schritt kombiniert werden und/oder kann ein oder können mehrere der Schritte als zwei oder mehr Teilschritte durchgeführt werden. Ferner können Schritte, die hier nicht ausdrücklich offenbart oder inhärent vorhanden sind, mit den hier beschriebenen Schritten vermischt oder diesen hinzugefügt werden, oder können durch einen oder mehrere der hier beschriebenen Schritte ersetzt werden, wie ein Fachmann mit dem Vorteil der vorliegenden Offenbarung erkennt.
-
Die vorstehende detaillierte Beschreibung von Beispielen der offenbarten Technologie soll nicht erschöpfend sein oder die offenbarte Technologie auf die genaue vorstehend offenbarte Form beschränken. Während vorstehend zu veranschaulichenden Zwecken konkrete Beispiele für die offenbarte Technologie beschrieben sind, sind im Umfang der offenbarten Technologie verschiedene gleichwertige Änderungen möglich, wie der einschlägige Fachmann erkennen wird. Während zum Beispiel Prozesse oder Module in einer bestimmten Reihenfolge dargestellt sind, können bei alternativen Umsetzungen Routinen mit Schritten ausgeführt werden oder Systeme mit Modulen in einer anderen Reihenfolge verwendet werden, und einige Prozesse oder Module können gelöscht, verschoben, hinzugefügt, unterteilt, kombiniert und/oder verändert werden, um alternative oder Unterkombinationen bereitzustellen. Jeder dieser Prozesse oder jedes dieser Module kann in einer Vielfalt an unterschiedlichen Weisen umgesetzt werden. Obwohl Prozesse oder Module darüber hinaus manchmal als nacheinander ausgeführt gezeigt sind, können diese Prozesse oder Module stattdessen parallel ausgeführt oder umgesetzt werden oder zu unterschiedlichen Zeiten ausgeführt werden. Darüber hinaus sind sämtliche konkreten Zahlen, die in dieser Schrift genannt werden, nur Beispiele; alternative Umsetzungen können abweichende Werte oder Bereiche verwenden.
-
Der Begriff „Ausführungsform“ wie hier verwendet bedeutet eine Ausführungsform, die dazu dient, durch Beispiel, aber nicht Einschränkung zu veranschaulichen. Ein Fachmann versteht, dass die vorstehenden Beispiele und Ausführungsformen beispielhaft sind und den breiten Umfang der hier offenbarten erfinderischen Konzepte nicht einschränken. Es ist beabsichtigt, dass alle Modifikationen, Permutationen, Steigerungen, Äquivalente und Verbesserungen dazu, die einem Fachmann beim Lesen der Patentschrift und einer Studie der Zeichnungen ersichtlich werden, im breiten Umfang der hier offenbarten erfinderischen Konzepte enthalten sind. Es ist daher beabsichtigt, dass die folgenden angehängten Ansprüche alle solche Modifikationen, Permutationen, Steigerungen, Äquivalente und Verbesserungen beinhalten, die in den breiten Umfang der hier offenbarten erfinderischen Konzepte fallen.
-
BEISPIELE
-
In einigen Ausführungsformen beinhaltet ein Verfahren zum Registrieren eines Pakets während eines Roboterpakethandhabungsvorgangs: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Identifizieren eines Paares von sich schneidenden Kanten für die Paketoberfläche basierend auf dem ersten Bild; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich dem Greifen und Hochheben des Pakets dient; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; und Erzeugen von Registrierungsdaten basierend auf den dritten Bilddaten. Zum Beispiel kann das Verfahren beinhalten: Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist, und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten, die das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Daten darstellen, um anschließend andere Pakete zu identifizieren.
-
Auch kann das Verfahren das Schätzen von unklaren Kanten basierend auf den ersten Bilddaten beinhalten, wobei das Paar von Kanten und die unklaren Kanten Grenzen der Paketoberfläche entsprechen; und wobei der geeignete Mindestbereich die unklaren Kanten zum Greifen des Pakets nicht überlappt, während Abschnitte des Pakets entsprechend den geschätzten unklaren Kanten freiliegend gelassen werden. In einer oder mehreren Ausführungsformen kann das Verfahren das Identifizieren von einer oder mehreren neuen Kanten basierend auf den zweiten Bilddaten beinhalten, wobei die neuen Kanten tatsächliche freiliegende Kanten des Pakets entsprechend den geschätzten unklaren Kanten darstellen; und wobei die dritten Bilddaten die eine oder die mehreren neuen Kanten beinhalten. In einer oder mehreren Ausführungsformen beinhaltet das Identifizieren des einen oder der mehreren neuen Kanten das Identifizieren der einen oder der mehreren neuen Kanten basierend auf Unterschieden in Tiefendaten, die nach dem Hochheben des Pakets gemessen werden.
-
In einigen Ausführungsformen kann die Bestimmung der dritten Bilddaten Folgendes beinhalten: Berechnen eines Unterschieds zwischen den ersten Bilddaten und den zweiten Bilddaten; und Kombinieren der ersten Bilddaten mit dem berechneten Unterschied. Auch kann das Verfahren das Identifizieren einer geraden Linie basierend auf den ersten Bilddaten beinhalten; wobei der geeignete Mindestbereich ein durchgehender Bereich ist, der die gerade Linie ausschließt. In einer oder mehreren Ausführungsformen kann das Verfahren das Berechnen einer Höhe beinhalten, die eine Abmessung des Pakets entlang einer vertikalen Richtung darstellt; und wobei die Registrierungsdaten die berechnete Höhe beinhalten. Das Berechnen der Höhe kann Folgendes beinhalten: Erfassen eines Auslösers, der einen Zeitpunkt darstellt, wenn das Paket eine horizontale Erfassungsebene in Verbindung mit einem Höhenbestimmungssensor durchläuft, der sich in einer bekannten Höhe befindet; Bestimmen einer vertikalen Position in Verbindung mit dem Auslöser, wobei die vertikale Position eine vertikale Stelle des Endeffektors zu dem Zeitpunkt darstellt, wenn das Paket die horizontale Erfassungsebene durchläuft; und Berechnen der Höhe basierend auf einem Unterschied zwischen der bekannten Höhe und der vertikalen Position.
-
In einigen Ausführungsformen kann das Verfahren zum Beispiel Folgendes beinhalten: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Kraftmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen eines Gewichts des Pakets basierend auf den empfangenen Daten; und wobei die Registrierungsdaten das bestimmte Gewicht beinhalten. Auch kann das Verfahren Folgendes beinhalten: Empfangen von Daten nach dem Hochheben des Pakets, wobei die Daten eine Drehmomentmessung von einem F-T-Sensor darstellen, der mit dem Endeffektor verbunden oder in diesen integriert ist; Bestimmen einer Massenmittelpunktsstelle des Pakets basierend auf den empfangenen Daten; und wobei die Registrierungsdaten die Massenmittelpunktsstelle beinhalten.
-
In einigen Ausführungsformen beinhaltet ein System zum Registrieren eines nicht registrierten Pakets während eines Roboterpakethandhabungsvorgangs zumindest einen Prozessor; und zumindest einen Speicher, der an den zumindest einen Prozessor gekoppelt ist. Der Speicher kann Anweisungen beinhalten, die durch den zumindest einen Prozessor ausführbar sind, um einen oder mehrere Aspekte des Verfahrens oder beliebige andere vorstehend beschriebene Aspekte durchzuführen. Zum Beispiel kann der Speicher Anweisungen beinhalten, die für Folgendes durch den zumindest einen Prozessor ausführbar sind: Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist; und (2) Hochheben des Pakets; Empfangen von zweiten Bilddaten des Pakets, wobei die zweiten Bilddaten das Paket nach dem Hochheben darstellen; Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Bilddaten darstellen, um anschließend andere Pakete zu identifizieren.
-
In einigen Ausführungsformen beinhaltet ein nichtflüchtiges Speichermedium computerausführbare Anweisungen, die, wenn sie durch ein Rechensystem ausgeführt werden, das Rechensystem dazu veranlassen, das Verfahren oder beliebige andere vorstehend beschriebene Aspekte durchzuführen. Zum Beispiel können die Anweisungen Folgendes beinhalten: Anweisungen zum Empfangen von ersten Bilddaten, die ein erstes Oberflächenbild einer Paketoberfläche darstellen; Anweisungen zum Bestimmen, dass das Paket nicht registriert ist, basierend auf dem Vergleichen des ersten Oberflächenbildes mit einer Registrierungsaufzeichnung; Anweisungen zum Identifizieren eines Paares von Kanten für die Paketoberfläche basierend auf den ersten Bilddaten, wobei das Paar von Kanten entlang horizontaler Richtungen freiliegt und einander schneidet, um eine Ecke der Paketoberfläche zu bilden; Anweisungen zum Bestimmen eines geeigneten Mindestbereichs basierend auf dem Paar von Kanten, wobei der geeignete Mindestbereich einen oder beide von dem Paar von Kanten überlappt und/oder damit zusammenfällt; Anweisungen zum Erzeugen von einem oder mehreren Befehlen zum (1) Greifen des Pakets mit einem Endeffektor, der über dem geeigneten Mindestbereich positioniert ist; und (2) Hochheben des Pakets; Anweisungen zum Empfangen von zweiten Bilddaten des Pakets, wobei die zweiten Bilddaten das Paket nach dem Hochheben darstellen; Anweisungen zum Bestimmen von dritten Bilddaten in Abhängigkeit der ersten Bilddaten und der zweiten Bilddaten; und Anweisungen zum Erzeugen von Registrierungsdaten, die eine neue Registrierungsaufzeichnung des Pakets basierend auf den dritten Bilddaten darstellen, um anschließend andere Pakete zu identifizieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-