DE102018208080B3

DE102018208080B3 - Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters

Info

Publication number: DE102018208080B3
Application number: DE102018208080.1A
Authority: DE
Inventors: Daniel Braun
Original assignee: KUKA Deutschland GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2018-05-23
Filing date: 2018-05-23
Publication date: 2019-09-19
Anticipated expiration: 2038-05-24
Also published as: WO2019224225A1

Abstract

Ein erfindungsgemäßes Verfahren zum Lokalisieren eines Objekts (40) in einer Umgebung eines Roboters (10) weist die Schritte auf:
a) Aufnehmen eines Bilds der Umgebung;
b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines Projektionsmittels (13);
c) Überführen eines Abbilds (L') der Lichtmarke auf ein Abbild (P') eines Referenzpunktes (P_k) des Objekts auf einer Anzeige (22) des Bildes durch Verstellen des Projektionsmittels; und
d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung.

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.
Die Kenntnis der Posen von Objekten in einer Umgebung eines Roboters bzw. relativ zum Roboter kann aus verschiedenen Gründen vorteilhaft sein, insbesondere zur kollisionsfreien Bahnplanung oder dergleichen, insbesondere bei der (autonomen) Navigation mobiler Roboter oder dergleichen.
Die DE 10 2007 042 963 A1 betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Digitalisierung von Objekten mit einem 3-D-Sensor, welcher einen Projektor und eine oder mehrere Kameras umfasst, bei dem mit dem Projektor ein Muster aus das Objekt projiziert wird und das Muster mit der einen oder den mehreren Kameras erfaßt wird. Das Verfahren und die Vorrichtung zeichnen sich dadurch aus, dass mit dem 3-D-Sensor mindestens drei Referenzmarken und/oder ein Referenzraster auf das Objekt projiziert werden und mit zwei oder mehreren externen, kalibrierten digitalen Kameras erfasst werden.
Die DE 698 02 980 T2 betrifft ein Verfahren zum räumlichen Lokalisieren eines Marken tragenden Objekts, das darin besteht, Positionen von Spuren der Marken auf einem durch eine Bildaufnahmeeinrichtung erstellten Bild zu bestimmen und dann die Positionen der Marken in Bezug auf die Bildaufnahmeeinrichtung ausgehend von den Positionen der Spuren auf dem Bild zu berechnen, wobei es einen Schritt bzw. eine Phase der Verbesserung der Bestimmung der Positionen der Spuren auf dem Bild umfasst, indem ein Modell für die Spuren durch vorbestimmte Funktionen geometrischer Form erstellt wird und die Positionen der Formfunktion, welche die beste Übereinstimmung mit den Spuren ergeben, berechnet werden, wobei die Übereinstimmung berechnet wird, indem eine Lichtstärkendifferenz auf dem Bild zwischen der Spur und der Funktion geometrischer Form, die eine Gauss-Funktion der Lichtstärke mit variablen Parametern umfaßt, minimiert wird.
Die EP 3 175 202 A1 betrifft ein Trackingverfahren zum Bestimmen der Position einer auf einer Wand markierten Stelle mit den Schritten: Aufzeichnen der markierten Stelle in einem ersten Bild mit einer in einer Blickrichtung ausgerichteten Kamera einer mobilen Messstation ; Bestimmen der Bildkoordinaten eines ersten Bildpunkts auf den die markierte Stelle in dem ersten Bild abgebildet ist; wiederholtes Drehen oder Schwenken eines Bündels mit wenigstens einem Lichtstrahl um wenigstens eine Achse einer von der mobilen Messstation getrennten, stationären Basisstation in sich gemäß einem vorgegebenen Ablauf ändernde Emissionsrichtungen zum Erzeugen eines wandernden Musters aus Lichtpunkten auf einer Wand; Aufzeichnen einer Serie von Bildern der Wand unter der Blickrichtung, wobei in der Serie auf wenigstens einen zweiten Bildpunkt einer der wandernden Lichtpunkte abgebildet ist; Bestimmen der Bildkoordinaten des wenigstens einen zweiten Bildpunkts; Bestimmen der jeweiligen Emissionsrichtung des wenigstens einen Lichtstrahls, dessen Lichtpunkt zu einem Zeitpunkt in einem der Bilder auf den wenigstens einen zweiten Bildpunkt abgebildet ist, basierend auf den Zeitpunkten, an welchen das jeweilige Bild aufgezeichnet ist, Ermitteln des Abstands der Achse der Basisstation zu der Wand in der jeweiligen Emissionsrichtung basierend auf in einer Referenz-Datenbank hinterlegten Abstandsmessungen zu der Wand in von der Basisstation ausgehenden Messrichtungen; und Bestimmen der Position der markierten Stelle basierend auf den Bildkoordinaten des ersten Bildpunkts, den Bildkoordinaten des wenigstens einen zweiten Bildpunkts, der jeweiligen dem wenigstens einen zweiten Bildpunkt zugehörigen Emissionsrichtung und dem jeweiligen Abstand der Achse der Basisstation zu der Wand in der zugehörigen Emissionsrichtung.
Die EP 2 199 828 A2 betrifft ein Verfahren zum Bestimmen der Relativlage eines Laserscanners , der in einer Abtastebene ein 2D-Profil seiner Umgebung erfaßt und von einem Beförderungsmittel in einer abtastebenen-fremden Fahrtrichtung mitgeführt wird, um ein 3D-Abbild der Umgebung zu erstellen, relativ zu einem Referenzsystem des Beförderungsmittels, mit den Schritten: Verwenden eines Laserscanners , dessen Abtastebene in zumindest zwei Winkelstellungen vorwählbar ist, Erstellen zweier 3D-Abbilder, eines ausgewählten Umgebungsbereichs unter zwei verschiedenen Winkelstellungen des Laserscanners, und Bestimmen der Relativlage aus einem Vergleich der Raumlage eines Objekts im ersten 3D-Abbild mit der Raumlage desselben Objekts im zweiten 3D-Abbild.
Die EP 0 224 237 B1 betrifft ein System zur dreidimensionalen Lagebestimmung eines Objekts, wobei das System aufweist: einen Abstandssensor zur optischen Abtastung des Objekts, der eine Quelle zur Aussendung von Licht in Richtung auf das Objekt, einen Empfänger für das von diesem Objekt reflektierte Licht und ein Verarbeitungsorgan enthält, das mit der Lichtquelle und dem Empfänger verbunden ist, und mehrere passive Meßmarken, die auf einer Fläche dieses Objekts angeordnet sind, wobei es mindestens vier Meßmarken, aufweist, die paarweise je auf Achsen angeordnet sind, die zueinander geneigt sind und durch einen gleichen Punkt verlaufen, jede der Meßmarken eine Reihe von optisch lesbaren Längsbalken aufweist, die miteinander einen Kode bilden, und der Abstandssensor das von den Meßmarken reflektierte Licht empfängt und die Zeit und den Winkel, gesehen vom Sensor, zwischen dem Anfang des Lesens von zwei der Meßmarken durch den Abtaststrahl mißt, um die Lage des Objekts in Bezug auf den Abstandssensor zu bestimmen.
Die US 2005/ 0 201 613 A1 betrifft ein Verfahren und System zum Bestimmen der Position und Orientierung eines Objekts, wobei ein Set von Markern, die an dem Objekt befestigt sind, optisch getracked und eine geometrische Translation durchgeführt wird, um die Koordinaten des Sets von Markern zu verwenden, um die Lokalisierung und Orientierung der zugeordneten Objekte zu bestimmen.
Aufgabe der vorliegenden Erfindung ist es, den Betrieb eines Roboters zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 11, 12 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Lokalisieren eines Objekts in einer Umgebung eines Roboters die Schritte auf:

a) Aufnehmen eines Bilds der Umgebung;
b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines Projektionsmittels;
c) Überführen eines Abbilds dieser Lichtmarke auf ein Abbild eines Referenzpunktes des Objekts auf einer Anzeige des Bildes bzw. in dem Bild durch Verstellen des Projektionsmittels, insbesondere einer Pose des Projektionsmittels; und
d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von dieser Verstellung.

In einer Ausführung umfasst der Schritt d) die (Teil)Schritte:

d1) Ermitteln einer Referenzachse und/oder Referenzposition des Referenzpunktes relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von der Verstellung; und
d2) Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis dieser ermittelten Referenzachse bzw. -position.

Dem liegt die Erkenntnis zugrunde, dass zum Einen auf Basis der Verstellung eine Lage, insbesondere eine Referenzachse und/oder Referenzposition, der Lichtmarke relativ zum Roboter ermittelt werden kann, diese der Lage des Referenzpunktes relativ zum Roboter entspricht, wenn das Abbild der Lichtmarke auf das Abbild des Referenzpunktes überführt (worden) ist, und aus dieser Lage, insbesondere Referenzachse bzw. -position, des Referenzpunktes wiederum eine Pose des Objekts relativ zum Roboter ermittelt werden kann.
Dadurch kann in einer Ausführung die Lokalisierung von Objekten verbessert, insbesondere deren Präzision erhöht und/oder zeitlicher und/oder apparativer Aufwand reduziert werden.
Ein Lokalisieren eines Objekts kann entsprechend das Ermitteln einer Pose des Objekts, insbesondere eines, in einer Ausführung virtuellen, Modells des (realen) Objekts, relativ zu dem Roboter, insbesondere relativ zu bzw. in einem roboterfesten Referenzkoordinatensystem oder einem Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist, insbesondere ermittelt wird, insbesondere relativ zu bzw. in einem Modell der Umgebung des Roboters umfassen, insbesondere sein. In einer Ausführung wird somit eine Pose eines Modells des Objektes in einem Roboterbezugssystem, insbesondere in einem Modell einer Umgebung des Roboters, ermittelt, wobei das Modell des Objekts in einer Ausführung dem Modell der Umgebung auf Basis der ermittelten Pose hinzugefügt werden kann.
Eine Pose kann (jeweils) insbesondere eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung umfassen, insbesondere sein. Eine Referenzachse kann insbesondere eine Achse bzw. Gerade im Raum bzw. Umweltmodell bzw. relativ zu bzw. in dem Referenzkoordinatensystem umfassen, insbesondere sein, auf der die Lichtmarke bzw. der Referenzpunkt liegt. Entsprechend kann eine Referenzposition insbesondere eine ein-, zwei- oder dreidimensionale Position im Raum bzw. Modell bzw. relativ zu bzw. in dem Referenzkoordinatensystem umfassen, insbesondere sein, und/oder auf der Referenzachse liegen.
In einer Ausführung werden die oben genannten Schritte a) bis c), insbesondere mehrfach, für denselben bzw. mit demselben Referenzpunkt wiederholt und in Schritt d) bzw. d2) die Pose des Objekt(modell)s, insbesondere in Schritt d1) die Referenzachse bzw. -position, auf Basis wenigstens einer dabei, insbesondere zuletzt, ermittelten Verstellung ermittelt.
Zusätzlich oder alternativ werden in einer Ausführung die oben genannten Schritte a) bis c) für unterschiedliche Referenzpunkte bzw. mit unterschiedlichen Referenzpunkten durchgeführt, in einer Ausführung für bzw. mit wenigstens zwei, insbesondere wenigstens drei, in einer Ausführung wenigstens vier, unterschiedliche(n) Referenzpunkten, und in Schritt d bzw. d2) die Pose des Objekt(modell)s auf Basis der dabei durchgeführten Verstellungen, insbesondere der dabei in Schritt d1) ermittelten Referenzachsen bzw. -positionen (der unterschiedlichen Referenzpunkte), ermittelt.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden. Insbesondere kann durch eine Mittelung bei einer Überbestimmung die Pose präziser, insbesondere zuverlässiger, ermittelt werden.
In einer Ausführung wird das Bild mithilfe einer mobilen und/oder roboterexternen, insbesondere manuell geführten, Kamera aufgenommen und/oder mithilfe einer, insbesondere damit verbundenen, mobilen und/oder roboterexternen, insbesondere manuell geführten, Anzeige angezeigt.
Zusätzlich oder alternativ wird das Bild in einer Ausführung während wenigstens einem der Schritte b) und c), insbesondere mehrfach bzw. fortlaufend, in einer Ausführung ständig und/oder zyklisch, aktualisiert.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht und/oder der zeitliche und/oder apparative Aufwand (weiter) reduziert werden. Insbesondere kann in einer Ausführung die Kamera nach dem Lokalisieren entfernt und so eine Behinderung des Roboters vermieden und/oder die Kamera anderweitig verwendet werden, beispielsweise für andere Roboterumgebungen oder dergleichen.
In einer Ausführung kann das Projektionsmittel ein(en) Laser aufweisen, insbesondere sein, mit dem die Lichtmarke auf die Umgebung projiziert wird.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden.
Zusätzlich oder alternativ ist bzw. wird das Projektionsmittel, insbesondere (zerstörungsfrei) lösbar, an dem Roboter, insbesondere einem Endeffektor eines, insbesondere mehrgelenkigen, Roboterarms des Roboters, angeordnet.
Hierdurch kann in einer Ausführung eine Pose des Projektionsmittels durch den Roboter selber verstellt werden.
In einer alternativen Ausführung ist bzw. wird das Projektionsmittel roboterextern, insbesondere von dem Roboter unabhängig, insbesondere beabstandet, (angeordnet). In einer Weiterbildung wird zum (Verstellen des Projektionsmittels zum) Überführen des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes eine Pose des Projektionsmittels durch eine roboterexteme Vorrichtung verstellt.
Hierdurch kann in einer Ausführung das Projektionsmittel besser positioniert und/oder nach dem Lokalisieren leichter entfernt und so eine Behinderung des Roboters vermieden und/oder das Projektionsmittel anderweitig verwendet werden, beispielsweise für andere Roboterumgebungen oder dergleichen.
In einer Ausführung wird das Projektionsmittel, insbesondere eine Pose des Projektionsmittels, in einer Ausführung durch den bzw. Verstellen des Roboter(arm)s bzw. die bzw. Verstellen der roboterexterne(n) Vorrichtung, in wenigstens zwei Freiheitsgraden verstellt, in einer Ausführung um wenigstens zwei, insbesondere nicht parallele, in einer Ausführung zueinander senkrechte, Bewegungsachsen. Die Verstellung(en) des Projektionsmittels, auf deren Basis die Pose(n) des Objekt(modell)s, insbesondere Referenzachse(n) bzw. -position(en) des bzw. der Referenzpunkte(s), relativ zu dem Roboter ermittelt wird/werden, hängt/hängen in einer Ausführung von einer Verstellung relativ zum Roboter, insbesondere einem bzw. dem roboterfesten Referenzkoordinatensystem oder einem bzw. dem Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist, ab, sie kann/können insbesondere (eine) solche Verstellung(en) umfassen, insbesondere sein.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden.
In einer Ausführung weist die Lichtmarke eine sicht- bzw. visuell identifizierbare Orientierung, insbesondere eine Asymmetrie, auf.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht, insbesondere eine Identifizierung des Abbilds der Lichtmarke verbessert, und/oder die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes verbessert werden.
In einer Ausführung wird das Abbild der Lichtmarke auf Basis bzw. in Abhängigkeit von einer manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, auf das Abbild des Referenzpunktes überführt, in einer Ausführung (nur) solange das Abbild des Referenzpunktes (fortlaufend) markiert wird.
Hierdurch kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes verbessert, insbesondere deren Präzision erhöht und/oder zeitlicher und/oder apparativer Aufwand reduziert werden.
Zusätzlich oder alternativ kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes in einer Ausführung auf einer, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild basieren bzw. diese umfassen. Diese kann in einer Ausführung durch eine Bildverarbeitung des Bildes, insbesondere eine Muster- und/oder Farberkennung, durchgeführt werden.
Zusätzlich oder alternativ kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes in einer Ausführung auf Basis bzw. mithilfe eines, insbesondere durch eine ein- oder mehrfache Testverstellung ermittelten, Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke durchgeführt werden.
Hierdurch kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes (weiter) verbessert, insbesondere deren Präzision (weiter) erhöht und/oder zeitlicher und/oder apparativer Aufwand (weiter) reduziert werden.
In einer Ausführung wird das Abbild der Lichtmarke geregelt bzw. mithilfe einer Regelung, insbesondere iterativ, auf das Abbild des Referenzpunktes überführt, in einer Ausführung auf Basis der Identifikation des Abbilds der Lichtmarke in dem Bild, der für die Lichtmarke manuell vorgegebenen Verschiebung, insbesondere (Reduzierung, insbesondere Minimierung) einer positionellen Abweichung zwischen den (identifizierten bzw. markierten) Abbildern der Lichtmarke und des Referenzpunktes in dem Bild und des durch die Testverstellung ermittelten Zusammenhangs.
In einer Weiterbildung wird iterativ das Projektionsmittel, insbesondere dessen Pose, in einem oder mehreren Freiheitsgraden verstellt, dabei eine (hierdurch bewirkte) Verschiebung des Abbilds der Lichtmarke in dem Bild ermittelt (Testverstellung), und diese Verstellung gleichsinnig weitergeführt oder wenigstens als Komponente der Verstellung zum Überführen vorgegeben, wenn durch diese Verschiebung das Abbild der Lichtmarke der vorgegebenen Verschiebung folgt bzw. sich auf das markierte Abbild des Referenzpunktes zubewegt, und/oder diese Verstellung beendet und insbesondere gegensinnig weitergeführt oder wenigstens gegensinnig als Komponente der Verstellung zum Überführen vorgegeben, wenn durch diese Verschiebung das Abbild der Lichtmarke von der vorgegebenen Verschiebung abweicht bzw. sich von dem markierten Abbild des Referenzpunktes wegbewegt.
Anschaulich gesprochen werden in einer Ausführung Verstellungen ausprobiert, dabei bzw. dadurch bewirkte Verschiebungen des Abbilds der Lichtmarke ermittelt, und solche Verstellungen eingesetzt, die eine Verschiebung entsprechend der vorgegebenen Verschiebung bzw. zu dem markierten Abbild hin bewirken.
Gleichermaßen kann auch eine ein- oder mehrfache Testverstellung, insbesondere einzelner Bewegungsachsen bzw. Freiheitsgrade, des Projektionsmittels durchgeführt, aus diesen ein Zusammenhang zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke ermittelt und anschließend auf Basis dieses Zusammenhangs und der vorgegebenen Verschiebung, insbesondere der positionellen Abweichung zwischen den (identifizierten bzw. markierten) Abbildern der Lichtmarke und des Referenzpunktes, eine entsprechende Verstellung des Projektionsmittels ermittelt werden.
In einer Ausführung wird die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes durchgeführt, bis eine Abbruchbedingung erreicht ist, die in einer Ausführung durch eine Benutzereingabe, insbesondere mithilfe der Anzeige, erfasst wird.
Hierdurch kann in einer Ausführung der Benutzer das Überführung beenden, wenn eine von ihm gewünschte Genauigkeit erreicht ist. Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden.
In einer Ausführung wird die Verschiebung durch, in einer Ausführung während der Überführung fortlaufendes bzw. ständiges, Berühren der Anzeige vorgegeben, insbesondere das Abbild des Referenzpunktes durch, in einer Ausführung während der Überführung fortlaufendes bzw. ständiges, Berühren der Anzeige markiert. In einer Weiterbildung wird die Abbruchbedingung bzw. das Erreichen der Abbruchbedingung durch Beenden dieser Berührung erfasst bzw. kann die entsprechende Benutzereingabe ein Beenden dieser Berührung umfassen, insbesondere sein. Somit berührt in einer Ausführung der Benutzer die Anzeige an der Stelle des Abbilds des Referenzpunktes in dem Bild oder führt auf der Anzeige eine entsprechende Wischbewegung auf das Abbild des Referenzpunktes zu durch, wobei in einer Weiterbildung die Überführung unterbrochen oder beendet wird, wenn der Benutzer die Anzeige nicht mehr berührt.
In einer Ausführung ist die Anzeige entsprechend berührungssensitiv bzw. zum Erfassen einer Stelle oder Bewegung auf der Anzeige durch einen Menschen, insbesondere mit einem Finger und/oder einem Eingabehilfsmittel wie beispielsweise einem Stift oder dergleichen, eingerichtet.
In einer Ausführung wird die Pose des Objekt(modell)s relativ zu dem Roboter bzw. in dem Umweltmodell, insbesondere die Referenzachse bzw. -position, auf Basis einer vorgegebenen oder ermittelten Pose des Referenzpunktes relativ zu dem Objekt, insbesondere relativ zu bzw. in einem objektfesten Koordinatensystem bzw. auf Basis einer Pose eines (dem Referenzpunkt des realen Objekts entsprechenden virtuellen) Referenzpunktes des Objektmodells ermittelt.
Zusätzlich oder alternativ ist der Referenzpunkt ein Kontaktpunkt mit einer (relativ zum Roboter, insbesondere relativ zu bzw. in dem roboterfesten Referenzkoordinatensystem oder einem bzw. dem Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist) bekannten Fläche der Umgebung, insbesondere einem Fußboden, einer Wand, einer Decke, einer Oberfläche eines (weiteren) Objekts oder dergleichen. Die Fläche kann insbesondere eine im Umweltmodell definierte Fläche sein.
Zusätzlich oder alternativ ist der Referenzpunkt des Objekts in einer Ausführung geometrisch, insbesondere durch eine Ecke, Aussparung, Erhebung oder dergleichen, und/oder durch eine, insbesondere farbige, Markierung bestimmt.
Hierdurch kann in einer Ausführung die Markierung des Abbilds des Referenzpunkts durch den Benutzer verbessert, insbesondere vereinfacht und/oder die Präzision der Lokalisierung erhöht und/oder der zeitliche Aufwand reduziert, werden.
In einer Ausführung weist der Roboter eine mobile Plattform auf. Hierfür ist die vorliegende Erfindung besonders geeignet, insbesondere zur Navigation.
Gleichermaßen kann der Roboter auch umgebungsfest bzw. stationär sein. Auch hierfür ist die vorliegende Erfindung besonders geeignet, insbesondere zur Bahnplanung solcher Roboter.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:

- Mittel zum Aufnehmen eines Bilds der Umgebung;
- Projektionsmittel zum Projizieren einer Lichtmarke auf die Umgebung;
- Mittel zum Überführen eines Abbilds der Lichtmarke auf ein Abbild eines Referenzpunktes des Objekts auf einer Anzeige des Bildes durch Verstellen des Projektionsmittels; und
- Mittel zum Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung

In einer Ausführung weist das System bzw. sein(e) Mittel auf:

- Mittel zum Ermitteln einer Referenzachse und/oder Referenzposition des Referenzpunktes relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von der Verstellung; und
- Mittel zum Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis dieser ermittelten Referenzachse bzw. -position.

Zusätzlich oder alternativ weist das System bzw. sein(e) Mittel in einer Ausführung auf:

- Mittel zum Wiederholen der Schritte a) - c) für denselben Referenzpunkt und/oder Durchführen der Schritte a) - c) für unterschiedliche Referenzpunkte und Ermitteln der Pose auf Basis wenigstens einer der dabei durchgeführten Verstellungen; und/oder
- eine mobile und/oder roboterexterne, insbesondere tragbare, Kamera zum Aufnehmen des Bildes und/oder eine, insbesondere damit verbundene, mobile und/oder roboterexterne, insbesondere tragbare, Anzeige zum Anzeigen des Bildes und/oder Mittel zum Aktualisieren des Bildes während wenigstens einem der Schritte b), c); und/oder
- Mittel zum Überführen des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes auf Basis einer manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, auf Basis einer, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild und/oder auf Basis eines, insbesondere durch eine Testverstellung ermittelten, Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke, insbesondere geregelt und/oder bis eine, insbesondere durch eine Benutzereingabe erfasste, Abbruchbedingung erreicht ist, insbesondere also Mittel zur (Erfassung einer) manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, Mittel zur, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild und/oder Mittel zum Ermitteln eines Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke, insbesondere durch eine Testverstellung; und/oder
- Mittel zum (Erfassen einer) Vorgabe der Verschiebung durch Berühren der Anzeige, insbesondere Markierung des Abbilds des Referenzpunktes durch Berühren der Anzeige; und/oder
- Mittel zum Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis einer vorgegebenen oder ermittelten Pose des Referenzpunktes relativ zu dem Objekt.

Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere ein Objekt lokalisieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nichtflüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
In einer Ausführung weist das System den Roboter auf.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

1: ein System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters nach einer Ausführung der vorliegenden Erfindung;
2: eine Anzeige des Systems; und
3: ein Verfahren zum Lokalisieren des Objekts in der Umgebung des Roboters nach einer Ausführung der vorliegenden Erfindung.

1 zeigt ein System zum Lokalisieren eines Objekts 40 bzw. dessen Modells in einer Umgebung eines Roboters 10 bzw. deren Modell nach einer Ausführung der vorliegenden Erfindung.
Das System weist ein von einem Benutzer manuell geführtes Tablet mit einer Kamera 21, einem Touchscreen 22 und einem damit verbundenen Computer 30 auf, der mit einem Roboterarm 12 des Roboters 10 kommuniziert, welcher auf einer mobilen Plattform 11 des Roboters 10 angeordnet ist und an dessen Endeffektor ein Laser 13 befestigt ist.
In einem Schritt S10 (vgl. 3) projiziert der Laser 13 fortlaufend mittels eines Laserstrahls 130 eine Lichtmarke, die eine sichtbare Orientierung aufweist und deren Abbild L' auf dem Touchscreen 22 in 2 erkennbar ist, auf die Umgebung.
Außerdem wird in Schritt S10 fortlaufend ein Bild der Umgebung mit dem Objekt 40 aufgenommen bzw. aktualisiert.
Der Benutzer markiert in Schritt S10 ein Abbild P' eines Referenzpunktes P_k des Objekts 40 in dem Bild auf dem Touchscreen 22, indem er diesen fortlaufend an der entsprechenden Stelle berührt, wie in 2 durch einen Finger über einem Abbild 40' des Objekts angedeutet.
In einem Schritt S20 überführt der Computer 30 das Abbild L' der Lichtmarke auf das Abbild P' des Referenzpunktes P_k , indem er die Pose des Lasers 13 bzw. den ihn führenden Roboterarm 12 entsprechend verstellt.
Hierzu identifiziert der Computer 30 fortlaufend das Abbild L' der Lichtmarke in dem Bild und ermittelt durch eine Testverstellung eine Zuordnung zwischen einer Verstellung des Laser(strahl)s 13(0) bzw. Roboterarms 12 und einer dadurch bewirkten Verschiebung des Abbilds L' der Lichtmarke. Beispielsweise rotiert er testweise den Roboterarm bzw. Laser(strahl), wie in 1 durch Ω angedeutet. Dabei wandert das Abbild L', wie in 2 durch ω angedeutet. Durch eine testweise Rotation senkrecht hierzu wandert das Abbild L' in 2 vertikal. Auf diese Weise kann der Computer 30 iterativ das Abbild L' der Lichtmarke auf der Anzeige 22 durch Verstellen des Lasers 13 bzw. des ihn führenden Roboterarms 12 auf das Abbild P' des Referenzpunktes P_k überführen, indem er diese kontinuierlich so regelt, dass eine Abweichung zwischen den beiden Abbildern sich verringert.
In einer Abwandlung kann der Benutzer statt das Abbild P' zu markieren die gewünschte Verschiebung Δ des Abbild L' der Lichtmarke auch durch eine entsprechende Wischbewegung auf dem Touchscreen 22 vorgeben. Der Computer 30 kann in der oben erläuterten Weise dieser Wischbewegung mit dem Abbild L' durch entsprechendes Verstellen des Lasers 13 bzw. des ihn führenden Roboterarms 12 geregelt folgen.
Beendet der Benutzer die Berührung des Touchscreens 22, beendet dies das Überführen.
Ist dies der Fall bzw. das Abbild L' der Lichtmarke auf das Abbild P' des Referenzpunktes überführt, kann der Benutzer durch Betätigung einer Schaltfläche auf dem Touchscreen 22, eines Schalters oder dergleichen das Erreichen einer Abbruchbedingung eingeben. Solange diese Abbruchbedingung noch nicht erreicht bzw. eine entsprechende Benutzereingabe noch nicht erfasst wird (S30: „N“), werden die Schritte S10, S20 wiederholt, wobei der Benutzer beispielsweise mit der Kamera 21 bzw. dem Tablet näher an das Objekt herantreten kann, um die Genauigkeit zu erhöhen.
Ist die Abbruchbedingung erreicht bzw. eine entsprechende Benutzereingabe erfasst (S30: „Y“), wird in Schritt S40 aus der Verstellung des Lasers 13 bzw. des ihn führenden Roboterarms 12 gegenüber einem roboterfesten Referenzkoordinatensystem, das in 1 durch seine x- und y-Achse _Rx, _Ry angedeutet ist, eine Referenzachse r_k des Referenzpunktes P_k ermittelt (vgl. 1).
Dann werden die oben beschriebenen Schritte solange wiederholt, bis für eine vorgegebene Anzahl n unterschiedlicher Referenzpunkte Referenzachsen r_k (k=1,...,n) ermittelt worden sind (S50: „Y“).
Aus diesen wird in Schritt S60, wie in 1 angedeutet, die Position O eines objektfesten Koordinatensystems, das in 1 durch seine x- und y-Achse _Ox, _Oy angedeutet ist, und dessen Orientierung relativ zum roboterfesten Referenzkoordinatensystem {_Rx, _Ry}, die durch die Transformation _OT^R vom objektfesten Koordinatensystem {_Ox, _Oy} in das roboterfeste Referenzkoordinatensystem {_RX, _Ry} bestimmt ist, auf Basis eines, gegebenenfalls überbestimmten, Gleichungssystems $λ_{k} \cdot r_{k} = O +_{o} T^{R} \cdot p_{k} (k = 1, \dots, n) b z w . \sum {[λ_{k} \cdot r_{k} - (O +_{o} T^{R} \cdot p_{k})]}^{2} \to Min$
mit den im objektfesten Koordinatensystem {_Ox, _Oy} bekannten Positionen p_k der Referenzpunkte P_k ermittelt, die die Pose des Objekts 40 bzw. seines Modells relativ zum Roboter 10 bzw. dem roboterfesten Referenzkoordinatensystem {_RX, _Ry} angeben bzw. bestimmen.
Wenn eine Fläche der Umgebung, in der die Referenzpunkte liegen, relativ zum roboterfesten Referenzkoordinatensystem {_RX, _Ry} bekannt ist, beispielsweise als Referenzpunkte Aufstandspunkte auf einem Fußboden gewählt werden, können anstelle der Referenzachsen r_k auch deren bzw. die Schnittpunkte des Laserstrahls 130 mit der Fläche bzw. dem Fußboden ermittelt werden, so dass in obigen Gleichungssystem die Unbekannten λ_k entfallen.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So kann der Laser 13 auch roboterextern angeordnet sein bzw. werden, solange seine Pose relativ zum roboterfesten Referenzkoordinatensystem {_Rx, _Ry} bekannt ist.
Zusätzlich oder alternativ kann anstelle des roboterfesten Referenzkoordinatensystems {_Rx, _Ry} auch ein anderes Referenzkoordinatensystem verwendet werden, dessen Pose relativ zum Roboter 10 bekannt ist, was insbesondere dadurch der Fall sein kann, dass die Pose des Roboters 10 relativ zu einem solchen anderen Referenzkoordinatensystem bekannt ist, insbesondere durch (Selbst)Lokalisieren des mobilen Roboters 10 ermittelt wird bzw. worden ist.
Bezugszeichenliste

10: Roboter
11: Plattform
12: Roboterarm
13: Laser/Projektionsmittel
130: Laserstrahl
21: Kamera
22: Touchscreen/Anzeige
30: Computer
40: Objekt
40': Abbild des Objekts
L': Abbild der Lichtmarke
P': Abbild des Referenzpunktes
P_k: Referenzpunkt des Objekts

Claims

Verfahren zum Lokalisieren eines Objekts (40) in einer Umgebung eines Roboters (10), das die Schritte aufweist: a) Aufnehmen eines Bilds der Umgebung; b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines Projektionsmittels (13); c) Überführen eines Abbilds (L') der Lichtmarke auf ein Abbild (P') eines Referenzpunktes (P_k) des Objekts auf einer Anzeige (22) des Bildes durch Verstellen des Projektionsmittels; und d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung wobei das Abbild der Lichtmarke auf das Abbild des Referenzpunktes auf Basis einer manuellen Vorgabe einer Verschiebung, auf Basis einer wenigstens teilweise automatischen Identifikation des Abbilds der Lichtmarke in dem Bild und/oder auf Basis eines Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke überführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schritte a) - c) für denselben Referenzpunkt wiederholt und/oder für unterschiedliche Referenzpunkte durchgeführt werden und in Schritt d) die Pose auf Basis wenigstens einer der dabei durchgeführten Verstellungen ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild mithilfe einer mobilen und/oder roboterexternen Kamera (21) aufgenommen und/oder einer mobilen und/oder roboterexternen Anzeige (22) angezeigt und/oder während wenigstens einem der Schritte b), c) aktualisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Projektionsmittel roboterextern oder an dem Roboterangeordnet ist und/oder in wenigstens zwei Freiheitsgraden verstellt wird und/oder einen Laser (13) aufweist, mit dem die Lichtmarke auf die Umgebung projiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lichtmarke eine sichtbare Orientierung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Abbild der Lichtmarke auf das Abbild des Referenzpunktes auf Basis einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild und/oder auf Basis eines durch eine Testverstellung ermittelten Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke überführt wird und/oder dass das Abbild der Lichtmarke auf das Abbild des Referenzpunktes überführt wird, bis eine Abbruchbedingung erreicht ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verschiebung durch Berühren der Anzeige vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pose des Objekts relativ zu dem Roboter auf Basis einer vorgegebenen oder ermittelten Pose (p_k) des Referenzpunktes relativ zu dem Objekt ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Referenzpunkt ein Kontaktpunkt mit einer bekannten Fläche der Umgebung ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Roboter eine mobile Plattform (11) aufweist oder umgebungsfest ist.
System, das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.