DE102016225310A1

DE102016225310A1 - Mobiler Manipulator und Verfahren zum Steuern eines mobilen Manipulators

Info

Publication number: DE102016225310A1
Application number: DE102016225310.7A
Authority: DE
Inventors: Kirill Safronov; Sarah Gilet; Uwe Zimmermann
Original assignee: KUKA Roboter GmbH
Current assignee: KUKA Deutschland GmbH
Priority date: 2016-12-16
Filing date: 2016-12-16
Publication date: 2018-06-21
Also published as: EP3555722A1; WO2018108867A1

Abstract

Die vorliegende Erfindung betrifft einen mobilen Manipulator 1, aufweisend eine mobile Plattform 10, einen Manipulator 20, der auf der mobilen Plattform 10 angeordnet ist, zumindest eine Kamera 30, 31, die an dem mobilen Manipulator 1 befestigt ist und die zu einem ersten Zeitpunkt t1 ein erstes Bild 61 eines Bereichs einer Umgebung bereitstellt, eine Steuerung 12, die eingerichtet ist zu überprüfen, ob das erste Bild 61 ausreichend Merkmale 40 der Umgebung aufweist, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild 61 durchzuführen, wobei die Steuerung 12 den Blickbereich der Kamera 30, 31 anpasst, wenn das erste Bild 61 nicht ausreichend Merkmale 40 aufweist, um zu einem zweiten Zeitpunkt t2, der nach dem ersten Zeitpunkt t1 liegt, mittels der Kamera 30, 31 ein zweites Bild 62 bereitzustellen, das ausreichend Merkmale 40 aufweist, um ein aktives SLAM-Verfahren durchzuführen, und die Steuerung 12 eingerichtet ist, ein aktives SLAM-Verfahren mittels des ersten 61 oder zweiten Bildes 62 durchzuführen.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft einen mobilen Manipulator, insbesondere einen Manipulator, der auf einer mobilen, d.h. beweglichen, Plattform montiert ist, sowie ein Verfahren zum Steuern eines solchen mobilen Manipulators.
Stand der Technik
Ein Manipulator ist ein frei programmierbares, programmgesteuertes Handhabungsgerät. Ein mobiler Manipulator, d.h. ein Manipulator, der nicht nur seine Ausrichtung, sondern auch seinen Standort verändern kann, kann als ein Manipulator auf einer mobilen Plattform ausgebildet sein. So kann ein handelsüblicher Manipulator auf einer mobilen Plattform angeordnet werden, um insgesamt seinen Standort zu wechseln. Die Bewegung der mobilen Plattform kann über Räder, Schienen, Luftkissen oder ähnliche Bewegungstechniken erfolgen.
Mobile Manipulatoren werden zum Beispiel als Führerlose Transport Systeme (FTS) in Warenhäusern zum Transport von Objekten und Gütern verwendet. Der Manipulator bewegt sich dabei in der Regel selbstständig in dem Warenhaus, greift die entsprechenden Waren und bringt diese Waren an einen anderen Ort, z.B. eine Warenausgabe. Durch die bekannte Umgebung kann der mobile Manipulator weitgehend vorprogrammiert sein, um ein zuverlässiges und sicheres Arbeiten zu gewährleisten.
Andere Einsatzmöglichkeiten für mobile Manipulatoren sind zum Beispiel die Exploration oder das Arbeiten in einem unbekannten oder schwer zugänglichen Gebiet. Solche Gebiete können lebensgefährliche Gebiete sein, wie etwa ein brennendes Haus oder die Umgebung bei einer Bombenentschärfung, oder es können auch Gebiete sein, die für Menschen nur sehr schwer bis unmöglich zu erreichen sind, wie die Oberflächen von fernen Planeten oder der Tiefsee.
Die Umgebung ist in solchen Gebieten meist unbekannt, so dass die Bewegung des mobilen Manipulators nicht vorbestimmt, d.h. vorprogrammiert, werden kann. In diesen Fällen, muss der mobile Manipulator seine Position und Bewegungsrichtung selbstständig bestimmen, damit er die ihm aufgetragenen Aufgaben erfüllen kann.
Zur Positionsbestimmung und Kartierung der Umgebung mittels optischer Sensoren können sogenannte SLAM-(Simultaneous Localization and Mapping)-Verfahren verwendet werden. Diese Verfahren ermitteln aus den aufgenommenen Bilddaten der Umgebung markante Merkmale, anhand derer sie die Position eines sich durch die Umgebung bewegenden Objekts bestimmen und eine Kartierung durchführen können. Fehlen diese Merkmale in einem Bild oder sind sie nur unzureichend vorhanden, so ist eine Positionierung und Kartierung nur sehr ungenau bzw. gar nicht möglich.
Bei diesen SLAM-Verfahren werden große Datenmengen, in der Regel in Echtzeit, verarbeitet. Dies stellt enorme Anforderungen an die Rechenleistung. Die an-Bord Rechenleistung von sich bewegenden Objekten ist aber meist nur sehr begrenzt und hauptsächlich für die Bewegung des Objekts ausgelegt. Ein Bereitstellen von zusätzlichen Computereinheiten auf dem sich bewegenden Objektes würde aber zu einem höheren Stromverbrauch, höherer Wärmeentwicklung, weiterem benötigten Platz usw. führen, was vermieden werden soll.
Es ist daher die Aufgabe der vorliegenden Erfindung einen mobilen Manipulator bereitzustellen, der seine Position zuverlässig bestimmt und eine Kartierung der Umgebung durchführt. Weiterhin soll ein entsprechendes Verfahren zur Steuerung eines mobilen Manipulators bereitgestellt werden.
Zusammenfassung der Erfindung
Die oben genannten Probleme werden erfindungsgemäß durch einen mobilen Manipulator gemäß Anspruch 1 und ein Verfahren zum Steuern eines mobilen Manipulators gemäß Anspruch 10 gelöst.
Insbesondere werden die genannten Probleme gelöst, durch einen mobilen Manipulator, welcher eine mobile Plattform aufweist, einen Manipulator, der auf der mobilen Plattform angeordnet ist, zumindest eine Kamera, die an dem mobilen Manipulator befestigt ist und die zu einem ersten Zeitpunkt ein erstes Bild eines Bereichs einer Umgebung bereitstellt, eine Steuerung, die eingerichtet ist, zu überprüfen, ob das erste Bild ausreichend Merkmale der Umgebung aufweist, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild durchzuführen, wobei die Steuerung den Blickbereich der Kamera anpasst, wenn das erste Bild nicht ausreichend Merkmale aufweist, um zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, mittels der ersten Kamera ein zweites Bild bereitzustellen, das ausreichend Merkmale aufweist, um ein aktives SLAM-Verfahren durchzuführen, und die Steuerung eingerichtet ist, ein aktives SLAM-Verfahren mittels des ersten oder zweiten Bildes durchzuführen.
Da die zumindest eine Kamera bevorzugt schwenkbar am mobilen Manipulator angebracht ist, kann sie unabhängig von der Bewegungsrichtung des mobilen Manipulators ausgerichtet werden. So können für die Bildverarbeitung relevante Bereiche der Umgebung betrachtet werden oder es kann nach ihnen gesucht werden, ohne dass der gesamte mobile Manipulator bewegt bzw. gedreht werden muss. Dies erhöht die Flexibilität des mobilen Manipulators.
Bei einem aktiven SLAM-Verfahren ist die Steuerung des mobilen Manipulators eingerichtet, eigenständig die mindestens eine Kamera hinsichtlich ihres Blickbereichs zu steuern, um zu bewirken, dass immer ein geeignetes Bild zur Durchführung des SLAM-Verfahrens der Steuerung zur Verfügung steht. So kann das SLAM-Verfahren stabil und zuverlässig ablaufen.
Weiterhin wird durch die Überprüfung der aufgenommenen Bilder in der Steuerung überprüft, ob der Blickbereich der mindestens einen Kamera angepasst werden muss, um ein Bild zu erhalten, das zur Durchführung des SLAM-Verfahrens geeignet ist. Wenn das aufgenommene erste Bild ausreichend Merkmale für ein SLAM-Verfahren enthält, wird dieses Bild verwendet. Sollten sich in dem ersten Bild nicht ausreichend Merkmale befinden, so dass das SLAM-Verfahren keine zuverlässigen Ergebnisse liefert, so wird der Blickbereich der Kamera angepasst. Das SLAM-Verfahren wird dann auf dem zweiten Bild durchgeführt, dass ausreichend Merkmale für das SLAM-Verfahren enthält.
Bei der Überprüfung kann die Anzahl an extrahierten Merkmalen oder deren Relevanz als Entscheidungskriterium dienen. Es können für die Entscheidung feste oder dynamische Schwellenwerte gesetzt werden. Relevante Merkmale können Ecken, Kanten, Linien, Kreise, Texturen, Farben oder andere, in der Merkmalserkennung der Bildverarbeitung genutzte Merkmale sein.
Mit Hilfe eines aktiven SLAM-Verfahrens kann die Steuerung des mobilen Manipulators die Position des mobilen Manipulators ermitteln und eine 3D-Karte der Umgebung erstellen. Dies ist insbesondere vorteilhaft, wenn eine Positionierung mittels eines satellitengestützten Positionierungssystems wie GPS, GLONASS oder Galileo nicht möglich ist. In Gebäuden, tiefen Häuser- oder Gebirgsschluchten, der Tiefsee oder auf entfernten Planeten können die Zeitsignale der Positionierungssystem-Satelliten oft nicht oder nur unzureichend empfangen werden, wodurch eine Positionsbestimmung dann nicht möglich ist.
Das SLAM-Verfahren führt eine Positionierung anhand von Bilddaten der Umgebung durch, was auch in Gebieten ohne die oben genannten Zeitsignale ausführbar ist. Eine Positionsbestimmung ist somit durch das SLAM-Verfahren möglich. Daneben ist das Erstellen einer Karte sehr hilfreich für eine weitere, zukünftige „Begehung“ des Gebiets. Die in der erstellten 3D-Karte enthaltenen Höheninformationen geben zudem weitere nützliche Informationen und einen realitätsnahen Eindruck über das Gebiet.
Bevorzugt wird der Blickbereich der Kamera zur Aufnahme des zweiten Bildes auf den Bereich der Umgebung ausgerichtet, den ein nulltes Bild zeigt, das zu einem nullten Zeitpunkt, der vor dem ersten Zeitpunkt liegt, bereitgestellt wurde. Beim nullten Bild ist bekannt, dass es ausreichend Merkmale für ein SLAM-Verfahren aufweist. Somit stellt ein „Zurückblicken“ der Kamera auf diesen Bereich der Umgebung sicher, dass in der folgenden zweiten Aufnahme wieder ausreichend Merkmale für ein SLAM-Verfahren vorhanden sind und das SLAM-Verfahren somit zuverlässige Ergebnisse liefert.
Bevorzugt kann die Steuerung zumindest eine Haupttätigkeit der mobilen Plattform und/oder des Manipulators sowie das aktive SLAM-Verfahren gleichzeitig ausführen. Das gleichzeitige Ausführen der genannten Tätigkeiten ermöglicht es, dass eine Haupttätigkeit, die eine Bestimmung der Position erfordert, ohne Unterbrechungen ausgeführt werden kann, da die Position gleichzeitig mit Hilfe des SLAM-Verfahrens bestimmt wird. Somit kann der mobile Manipulator ununterbrochen und effektiv seine Aufgaben ausführen.
Bevorzugt umfasst die Haupttätigkeit das Bewegen der mobilen Plattform, des Manipulators oder beider. In bestimmten Anwendungsbereichen eines mobilen Manipulators, wie zum Beispiel unter Wasser oder im Weltall, muss permanent eine Steuerung der Bewegung der mobilen Plattform erfolgen, um zum Beispiel einer Drift entgegen zu wirken. Daher ist es vorteilhaft, wenn die Bewegungssteuerung und die Positionsbestimmung gleichzeitig ausgeführt werden.
Ähnlich verhält es sich bei Aufgaben, die eine Bewegung des Manipulators umfassen, und zum richtigen Greifen, Legen, etc., eine aktuelle Positionsbestimmung benötigen.
Gleichzeitiges Ausführen bedeutet hier nicht zwingend absolut mathematisch gleichzeitig, sondern erlaubt eine sogenannte weiche Echtzeit, d.h. eine Ausführung in bestimmten minimalen Zeitspannen, die von einem Betrachter aber als gleichzeitig wahrgenommen werden.
Bevorzugt ist eine Steuerungspriorität der Haupttätigkeit höher, als die Steuerungspriorität des aktiven SLAM-Verfahrens, und die Aufgaben der Haupttätigkeit werden während der Anpassung des Blickbereichs der ersten Kamera und/oder der Ausführung des aktiven SLAM-Verfahrens weiter ausgeführt. Die Höher-Priorisierung der Haupttätigkeit stellt sicher, dass diese Tätigkeit vorrangig ausgeführt wird, da sie in der Regel wichtiger ist, als die Ausführung des SLAM-Verfahrens. Besonders im Fall, dass Computerressourcen knapp sind, wird die Haupttätigkeit vorrangig ausgeführt.
Bevorzugt ist zumindest eine erste Kamera schwenkbar an dem Manipulator befestigt und ist zumindest eine zweite Kamera schwenkbar an der mobilen Plattform befestigt. Durch zwei individuelle Kameras können gleichzeitig zwei verschiedene Blickbereiche aufgenommen und analysiert werden. Das erhöht die Flexibilität des Systems und ermöglicht eine schnelle Positionierung und Kartierung, da die Wahrscheinlichkeit erhöht wird, das zumindest eine Kamera ein Bild mit ausreichend Merkmale für das SLAM-Verfahren bereitstellt. Die Kameras können motorisch sowohl in einer Ebene, als auch mehrdimensional bewegt und eingestellt, d.h. geschwenkt, geneigt oder gezoomt, werden.
Dabei kann eine Kamera nach neuen Bildern mit markanten Merkmalen, z.B. in Bewegungsrichtung des mobilen Manipulators, suchen, während die andere Kamera auf einen Bereich der Umgebung mit vielen Merkmalen ausgerichtet bleibt, um dem SLAM-Verfahren auch bei einer Bewegung des mobilen Manipulators aussagekräftige Bilder zu liefern. Bei Bedarf kann zwischen den Kameras gewechselt werden.
Daneben kann der Blickbereich der ersten Kamera angepasst werden, indem die Bewegungsmöglichkeiten des Manipulators zusätzlich zum Bewegungsraum der Kamera selbst verwendet werden, um die Kamera in eine bestimmte Position zu bringen. Wird der Arm des Manipulators zum Beispiel nach oben bewegt, so ermöglicht eine deutlich erhöhte Kameraposition gegenüber der mobilen Plattform etwa, einen weiteren Blickbereich dieser Kamera im Vergleich zu einer Kamera, die in unmittelbarer Höhe der mobilen Plattform angebracht ist.
Bevorzugt nimmt die erste und die zweite Kamera Bilder im sichtbaren Spektrum als 2D-, ToF-(Time of Flight) oder Stereokamera auf. Kameras im sichtbaren Spektralbereich haben den Vorteil, dass sie sehr kostengünstig, klein und gut verfügbar bzw. austauschbar sind. Außerdem ist eine Überprüfung des aufgenommenen Bildes für einen menschlichen Betrachter leicht möglich. Bei einem Training oder einer nachträglichen Analyse könnte so ein Betrachter sinnvoll in die Steuerung eingreifen, ohne das aufwendige Bildaufbereitungen, d.h. Visualisierungstechniken, notwendig sind.
Bevorzugt stellt die zweite Kamera zu einem dritten Zeitpunkt, ein drittes Bild bereit, das für das SLAM-Verfahren ausreichend Merkmale aufweist, und dann wird durch die Steuerung der Blickbereich der ersten Kamera so angepasst, dass zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, ein viertes Bild von der ersten Kamera bereitgestellt wird, welches den Bereich der Umgebung des dritten Bildes zeigt.
Wie bereits oben beschrieben, kann durch den Einsatz von zwei Kameras eine Kamera eingerichtet sein, Bilder von neuen Bereichen der Umgebung, bevorzugt in Bewegungsrichtung des mobilen Manipulators, mit ausreichend Merkmalen aufzunehmen, woraufhin dann die Steuerung die Kamera, die bisher auf einen Bereich der Umgebung mit ausreichend Merkmalen ausgerichtet war, auf den neuen Bereich ausrichtet. Somit wird erreicht, dass für das SLAM-Verfahren geeignete Bilder von Bereichen der Umgebung möglichst relativ nah und gut sichtbar aufgenommen werden. Bei der Exploration kann sich der mobile Manipulator von einem Bild mit ausreichend Merkmalen zu einem nächsten Bild mit ausreichend Merkmalen „hangeln“, bevorzugt in Richtung der Bewegung des mobilen Manipulators. Hierbei kann zwischen den Kameras gewechselt werden. Eine ununterbrochene zuverlässige Positionsbestimmung und Kartierung während der Fortbewegung des mobilen Manipulators kann so erreicht werden.
Insbesondere werden die oben genannten Probleme auch gelöst durch ein Verfahren zum Steuern eines mobilen Manipulators, wobei der mobile Manipulator eine mobile Plattform, einen auf dieser mobilen Plattform montierten Manipulator und zumindest eine Kamera aufweist, und wobei das Verfahren die folgenden Schritte aufweist:

a. Aufnehmen eines ersten Bildes eines Bereichs einer Umgebung zu einem ersten Zeitpunkt, durch die Kamera; und
b. Extrahieren von Merkmalen aus dem ersten Bild;
c. Ermitteln, ob die aus dem ersten Bild extrahierten Merkmale ausreichend sind, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild durchführen zu können;
d. Anpassen des Blickbereichs der Kamera, durch eine Steuerung des mobilen Manipulators, um zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt liegt, ein zweites Bild bereitzustellen, das ausreichend Merkmale der Umgebung aufweist, um das aktive SLAM-Verfahren basierend auf dem zweiten Bild durchzuführen, wenn die extrahierten Merkmale in dem ersten Bild nicht ausreichend sind.

Indem relevante Merkmale aus einem aufgenommenen Bild extrahiert werden und ermittelt wird, ob die extrahierten Merkmale in ihrer Anzahl und/oder Relevanz und/oder Verteilung auf dem Bild ausreichend sind, um zuverlässige Ergebnisse aus dem SLAM-Verfahren zu erhalten, bevor das SLAM-Verfahren durchgeführt wird, findet eine Vorverarbeitung bzw. Voranalyse statt. Somit kann festgestellt werden, ob der Blickbereich der Kamera verändert werden muss, um aussagekräftige Bilder der Umgebung zu erhalten, oder nicht. Zudem kann die zu verarbeitende Datenmenge signifikant reduziert werden und das Verfahren insgesamt beschleunigt werden, da nicht alle, insbesondere keine ungeeigneten Bilder dem SLAM-Verfahren zugeführt werden.
Die Anpassung des Blickbereichs kann motorisch durch Ansteuern der mindestens einen Kamera durch die Steuerung erfolgen. Die mindestens eine Kamera kann gedreht, geschwenkt oder geneigt werden, um ihren Blickbereich zu verändern. Weiterhin kann der Blickbereich auch durch mechanisches oder digitales Zoomen verändert werden.
Die Anpassung des Blickbereichs kann erfolgen, indem zum Beispiel auf Bereiche der Umgebung „zurückgeblickt“ wird, von denen bekannt ist, dass dort ausreichend Merkmale vorzufinden sind. Weiterhin kann der Blickbereich der Kamera in eine Richtung ausgerichtet werden, in welcher im aktuellen Bild die meisten oder relevantesten Merkmale liegen. Es kann zudem ein freier Suchlauf der Kamera initiiert werden nach Bereichen der Umgebung, die ausreichend Merkmale zeigen. Die Bewegung der Kamera bei dem freien Suchlauf kann vorbestimmt nach einem Suchmuster oder zufällig erfolgen. Es kann auch auf mindestens eine weitere Kamera umgeschaltet werden, und das Verfahren ab dem Ermittlungsschritt auf diesem Kamerabild durchgeführt werden.
Bevorzugt weist das Verfahren weiterhin den folgenden Schritt auf: Anpassen des Blickbereichs der Kamera für das zweite Bild so, dass er auf den Bereich der Umgebung zeigt, den ein nulltes Bild zeigt, das zu einem nullten Zeitpunkt, der vor dem ersten Zeitpunkt liegt, bereitgestellt wurde.
Damit wird erreicht, dass die Kamera einen Bereich der Umgebung aufnimmt, von dem bekannt ist, dass dort ausreichend Merkmale zu finden sind, um Bilder für zuverlässige Ergebnisse aus dem SLAM-Verfahren zu erhalten. Aufgrund der Bewegung des mobilen Manipulators kann der Blickwinkel des zweiten Bildes auf diesen Bereich der Umgebung verschieden sein, verglichen mit dem Blickwinkel des nullten Bildes. Daher werden das zweite und das nullte Bild nicht deckungsgleich sein, werden jedoch in großen Teilen den gleichen Bereich der Umgebung zeigen. Da sich die meisten relevanten Merkmale aber in einem weiten Bereich der Bildmitte befinden sollten, werden die beiden Bilder in etwa in der Anzahl und Relevanz der extrahierten Merkmale übereinstimmen, so dass für das SLAM-Verfahren ein aussagekräftiges Bild bereitgestellt wird.
Bevorzugt weist das Verfahren weiterhin den Schritt des Durchführens eines aktiven SLAM-Verfahrens auf, um die Position des mobilen Manipulators zu ermitteln und um eine 3D-Karte der Umgebung zu erstellen.
Wie bereits oben beschrieben, hat das SLAM-Verfahren durch die Positionierung mittels optischer Sensoren den Vorteil, dass auf satellitengestützte Positionierungsverfahren verzichtet werden kann. Neben den oben genannten Vorteilen kann damit auch eine entsprechende Hardware (z.B. ein GPS-Empfänger) am mobilen Manipulator eingespart werden.
Bevorzugt weist das Verfahren weiterhin ein gleichzeitiges Ausführen einer Haupttätigkeit, der Anpassung des Blickbereichs der Kamera und des aktiven SLAM-Verfahrens durch die Steuerung des mobilen Manipulators auf.
Bevorzugt umfasst die Haupttätigkeit zumindest das Bewegen der mobilen Plattform, des Manipulators oder beider.
Bevorzugt weist der mobile Manipulator zumindest eine erste Kamera und zumindest eine zweite Kamera auf, und das Verfahren weist weiterhin die folgenden Schritte auf:
Bereitstellen eines dritten Bildes zu einem dritten Zeitpunkt, durch die zweite Kamera, wobei das dritte Bild ausreichend Merkmale aufweist, um ein aktives SLAM-Verfahren durchzuführen, und
Anpassen des Blickbereichs der ersten Kamera so, dass ein viertes Bild zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, durch die erste Kamera bereitgestellt wird, wobei das vierte Bild den Bereich der Umgebung des dritten Bildes zeigt.
Figurenliste
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Erfindung anhand der beigefügten Figuren dargestellt. Dabei zeigt:

1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen mobilen Manipulators;
2 ein schematisches Bild, das von einer Kamera am mobilen Manipulator aufgenommen wurde, und das ein Objekt mit vielen Merkmalen aus der Umgebung des mobilen Manipulators zeigt; und
3a - 3c jeweils ein schematisches Bild der 2 zu unterschiedlichen Zeitpunkten mit unterschiedlichen Blickrichtungen.

Detaillierte Beschreibung bevorzugter Ausführungsformen
1 zeigt eine Ausführungsform eines mobilen Manipulators 1, der eine mobile Plattform 10 und einen darauf angeordneten Manipulator 20 aufweist. Der Manipulator 20 ist entlang seiner Achsen frei schwenkbar in alle drei Raumrichtungen unter Berücksichtigung von vorbestimmten Grenzparametern. An der Endeffektor-Aufnahme des Manipulators 20 kann ein Endeffektor und/oder eine Kamera 30 angebracht sein. Der Endeffektor kann zum Beispiel ein Greifwerkzeug, zum Greifen von Objekten, sein.
Weiterhin kann an der mobilen Plattform eine zweite Kamera 31 angebracht sein. Sowohl die erste 30 als auch die zweite Kamera 31 kann in zwei oder drei Dimensionen einstellbar, insbesondere schwenkbar sein und beispielsweise als schwenk- und neigbare und zoom-fähige Kamera ausgebildet sein. Eine Anpassung des Blickbereichs der Kamera 30, 31 kann durch Bewegen, Drehen, Schwenken und/oder Neigen der Kamera oder auch durch Zoomen erfolgen. Die Bewegung der Kamera 30, 31 wird durch die Steuerung 12 zur Laufzeit des Steuerungsprozesses der Haupttätigkeit des mobilen Manipulators berechnet. Das SLAM-Verfahren kann basierend auf Bildern der ersten 30 oder der zweiten Kamera 31 oder beiden durchgeführt werden.
Der in dieser Ausführungsform radgetriebene mobile Manipulator 1 kann sich frei, beispielsweise in eine Richtung V, bewegen. Die Bewegung bildet vor allem bei der Exploration eine Haupttätigkeit des mobilen Manipulators 1 und diese wird vorrangig, wenn es die Computerressourcen zulassen, bevorzugt gleichzeitig, zum SLAM-Verfahren durchgeführt.
2 zeigt ein schematisches Bild, das von einer Kamera 30, 31 aufgenommen wurde und einen Bereich der Umgebung um den mobilen Manipulator 1 herum zeigt. Das Objekt 100, dass deutlich in dem Bild zu erkennen ist und große Bereiche des Bildes ausfüllt, weist viele relevante Merkmale 40 auf. Relevante Merkmale 40 können Kanten, Linien, Kreise, ORB-Merkmale oder andere zur Merkmalsextration in der Bildverarbeitung verwendete Merkmale sein. Für Visualisierungszwecke wurden extrahierte Merkmale und Merkmalsbereiche 40 beispielhaft durch die weißen Quadrate markiert. Es wird beispielhaft angenommen, dass die Anzahl und Relevanz der Merkmale für ein SLAM-Verfahren ausreichend ist. Ein SLAM-Verfahren ist dabei bevorzugt ein DPPTAM (Dense Piecewise Planar Tracking and Mapping) oder ein ORB-SLAM -Verfahren.
Die 3a bis 3c zeigen Bilder 60, 61, 62 einer Kamera 30, 31, beispielsweise der ersten Kamera 30, die zu unterschiedlichen Zeitpunkten t0, t1, t2 in unterschiedlichen Blickrichtungen aufgenommen wurden. 3a repräsentiert das nullte Bild 60, das zu einem nullten Zeitpunkt to aufgenommen wurde. In diesem nullten Bild 60 sind das Objekt 100 und die extrahierten Merkmale 40 deutlich und komplett zu erkennen. Die extrahierten Merkmale 40 sind für das SLAM-Verfahren zur Positionierung und Kartierung aussagekräftig. So kann anhand dem Bild 60 aus 3a die Position des mobilen Manipulators 1 bestimmt werden und eine Kartierung der Umgebung erfolgen.
In der Folge bewegt sich der mobile Manipulator 1 beispielhaft in eine Richtung V. Dabei wird die Blickrichtung der Kamera 30 zunächst unverändert beibehalten. Zu einem späteren ersten Zeitpunkt t1 wird das in 3b dargestellte erste Bild 61 aufgenommen. Das Objekt 100 ist nun nur noch teilweise am Rand des ersten Bildes 61 sichtbar. Daher können auch nur wenige relevante Merkmale 40 aus dem ersten Bild 61 extrahiert werden. Den Großteil des ersten Bildes 61 bildet nun ein Bereich 50 ohne relevante Merkmale 40. Solch ein Bereich 50 kann beispielsweise eine einfarbige, texturlose Wand oder Oberfläche sein. Die extrahierten Merkmale 40 sind nun nicht mehr ausreichend für ein SLAM-Verfahren. Eine zuverlässige Positionierung ist daher anhand des ersten Bildes 61 aus 3b nicht möglich.
Bei der Überprüfung des ersten Bildes 61 stellt die Steuerung 12 anhand von Algorithmen fest, dass der Blickbereich der Kamera 30 geändert werden muss, um ein Bild zu erhalten, das ausreichend Merkmale 40 aufweist. Daraufhin kann die Steuerung 12 den Blickbereich der Kamera 30 verändern oder zum Beispiel auf eine weitere, zweite Kamera 31 wechseln, um ein von dieser zweiten Kamera 31 aufgenommenes Bild zu überprüfen und dieses Bild, wenn es ausreichend Merkmale aufweist, für das SLAM-Verfahren zu benutzen.
Die Algorithmen, die die Steuerung 12 zur Überprüfung der Bilder der Kameras 30, 31 verwendet, können anhand bestimmter Parameter abschätzen, ob sich ein aufgenommenes Bild für das SLAM-Verfahren eignet. Zu den Parametern können beispielsweis zählen, die Anzahl der in einem Bild erkannten Merkmale 40, die räumliche Verteilung der Merkmale 40, die Änderung der Merkmale 40 bezogen auf ein zeitlich früheres Bild, der Abstand der Merkmale 40 untereinander, etc.
Der Blickbereich der entsprechenden Kamera 30, 31 kann dann auch auf den Bereich der Umgebung gerichtet werden, den das nullte Bild 60 bereits zeigte. Das so aufgenommene zweite Bild 62 ist in 3c dargestellt. Wie ersichtlich müssen und werden das nullte 60 und das zweite Bild 62 lediglich zumindest grob übereinstimmen. Dennoch wird eine überwiegende Anzahl an relevanten extrahierten Merkmalen 40 in beiden Bilden 60, 62 übereinstimmen oder zumindest vorhanden sein. Das zweite Bild 62 kann dann dem SLAM-Verfahren zugeführt werden und die Position des mobilen Manipulators 1 kann zuverlässig bestimmt werden.
Dieses „Zurückblicken“ für die jeweils zweite Aufnahme 62 wird solange durchgeführt, bis eine neue erste Aufnahme 61 mit ausreichend Merkmalen 40 zur Verfügung steht. Hierbei kann sich der mobile Manipulator 1 weiterbewegen und die Kamera 30, 31 wird entsprechend bewegt, um einen geeigneten Blickbereich zu erfassen. Dadurch läuft das SLAM-Verfahren stabil.
Bezugszeichenliste

1: mobiler Manipulator
10: mobile Plattform
20: Manipulator
30: erste Kamera
31: zweite Kamera
40: Merkmal/Merkmalspunkt
50: Gebiet mit wenig Merkmalen
100: Objekt mit vielen Merkmalen
V: Bewegungsrichtung des mobilen Manipulators

Claims

Mobiler Manipulator (1) aufweisend: a. eine mobile Plattform (10); b. einen Manipulator (20), der auf der mobilen Plattform (10) angeordnet ist; c. zumindest eine Kamera (30, 31), die an dem mobilen Manipulator (1) befestigt ist und die zu einem ersten Zeitpunkt (t1) ein erstes Bild (61) eines Bereichs einer Umgebung bereitstellt; d. eine Steuerung (12), die eingerichtet ist zu überprüfen, ob das erste Bild (61) ausreichend Merkmale (40) der Umgebung aufweist, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild (61) durchzuführen, wobei e. die Steuerung (12) den Blickbereich der Kamera (30, 31) anpasst, wenn das erste Bild (61) nicht ausreichend Merkmale (40) aufweist, um zu einem zweiten Zeitpunkt (t2), der nach dem ersten Zeitpunkt (t1) liegt, mittels der Kamera (30, 31) ein zweites Bild (62) bereitzustellen, das ausreichend Merkmale (40) aufweist, um ein aktives SLAM-Verfahren durchzuführen, und f. die Steuerung (12) eingerichtet ist, ein aktives SLAM-Verfahren mittels des ersten (61) oder zweiten Bildes (62) durchzuführen.
Mobiler Manipulator gemäß Anspruch 1, wobei der Blickbereich der Kamera (30, 31) zur Aufnahme des zweiten Bildes (62) auf den Bereich der Umgebung ausgerichtet wird, den ein nulltes Bild (60) zeigt, das zu einem nullten Zeitpunkt (t0), der vor dem ersten Zeitpunkt (t1) liegt, bereitgestellt wurde.
Mobiler Manipulator gemäß Anspruch 1 oder 2, wobei die Steuerung (12) zumindest eine Haupttätigkeit der mobilen Plattform (10) und/oder des Manipulators (20) sowie das aktive SLAM-Verfahren gleichzeitig ausführen kann.
Mobiler Manipulator gemäß Anspruch 3, wobei die Haupttätigkeit das Bewegen der mobilen Plattform (10), des Manipulators (20) oder beider umfasst.
Mobiler Manipulator gemäß Anspruch 3 oder 4, wobei eine Steuerungspriorität der Haupttätigkeit höher ist, als die Steuerungspriorität des aktiven SLAM-Verfahrens, und die Aufgaben der Haupttätigkeit während der Anpassung des Blickbereichs der Kamera (30, 31) und/oder der Ausführung des aktiven SLAM-Verfahrens weiter ausgeführt werden.
Mobiler Manipulator gemäß einem der Ansprüche 1 - 5, wobei zumindest eine erste Kamera (30) schwenkbar an dem Manipulator (20) befestigt ist und zumindest eine zweite Kamera (31) schwenkbar an der mobilen Plattform (10) befestigt ist.
Mobiler Manipulator gemäß Anspruch 6, wobei die erste (30) und die zweite Kamera (31) Bilder (60, 61, 62) im sichtbaren Spektrum als 2D-, ToF- oder Stereokamera aufnehmen.
Mobiler Manipulator gemäß Anspruch 6 oder 7, wobei die zweite Kamera (31) zu einem dritten Zeitpunkt, ein drittes Bild bereitstellt, das für das SLAM-Verfahren ausreichend Merkmale (40) aufweist, und dann durch die Steuerung (12) der Blickbereich der ersten Kamera (30) so angepasst wird, dass zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, ein viertes Bild von der ersten Kamera (30) bereitgestellt wird, welches den Bereich der Umgebung des dritten Bildes zeigt.
Verfahren zum Steuern eines mobilen Manipulators (1), wobei der mobile Manipulator (1) eine mobile Plattform (10), einen auf dieser mobilen Plattform (10) angeordneten Manipulator (20) und mindestens eine Kamera (30, 31) aufweist, und wobei das Verfahren die folgenden Schritte aufweist: a. Aufnehmen eines ersten Bildes (61) eines Bereichs einer Umgebung zu einem ersten Zeitpunkt (t1), durch die Kamera (30, 31); und b. Extrahieren von Merkmalen (40) aus dem ersten Bild (61); c. Ermitteln, ob die aus dem ersten Bild (61) extrahierten Merkmale (40) ausreichend sind, um ein aktives SLAM-Verfahren basierend auf dem ersten Bild (61) durchführen zu können; d. Anpassen des Blickbereichs der Kamera (30, 31), durch eine Steuerung (12) des mobilen Manipulators (1), um zu einem zweiten Zeitpunkt (t2), der nach dem ersten Zeitpunkt (t1) liegt, ein zweites Bild (62) bereitzustellen, das ausreichend Merkmale (40) der Umgebung aufweist, um das aktive SLAM-Verfahren basierend auf dem zweiten Bild (62) durchzuführen, wenn die extrahierten Merkmale (40) in dem ersten Bild (61) nicht ausreichend sind.
Verfahren gemäß Anspruch 9, wobei das Verfahren weiterhin den folgenden Schritt aufweist: Anpassen des Blickbereichs der Kamera (30, 31) für das zweite Bild (62) so, dass der Blickbereich auf den Bereich der Umgebung zeigt, den ein nulltes Bild (60) zeigt, das zu einem nullten Zeitpunkt (t0), der vor dem ersten Zeitpunkt (t1) liegt, bereitgestellt wurde.
Verfahren gemäß einem der Ansprüche 9 oder 10, wobei das Verfahren weiterhin den folgenden Schritt aufweist: Durchführen eines aktiven SLAM-Verfahrens, um die Position des mobilen Manipulators (1) zu ermitteln und um eine 3D-Karte der Umgebung zu erstellen.
Verfahren gemäß einem der Ansprüche 9-11, wobei das Verfahren weiterhin aufweist: Gleichzeitiges Ausführen einer Haupttätigkeit, der Anpassung des Blickbereichs der Kamera (30, 31) und des aktiven SLAM-Verfahrens durch die Steuerung (12) des mobilen Manipulators (1).
Verfahren gemäß Anspruch 12, wobei die Haupttätigkeit zumindest das Bewegen der mobilen Plattform (10), des Manipulators (20) oder beider umfasst.
Verfahren gemäß einem der Ansprüche 9-13, wobei der mobile Manipulator (1) mindestens eine erste (30) und mindestens eine zweite Kamera (31) aufweist, und das Verfahren weiterhin die folgenden Schritte aufweist: a. Bereitstellen eines dritten Bildes zu einem dritten Zeitpunkt, durch die zweite Kamera (31), wobei das dritte Bild ausreichend Merkmale (40) aufweist, um ein aktives SLAM-Verfahren durchzuführen, und b. Anpassen des Blickbereichs der ersten Kamera (30) so, dass ein viertes Bild zu einem vierten Zeitpunkt, der nach dem dritten Zeitpunkt liegt, durch die erste Kamera (30) bereitgestellt wird, wobei das vierte Bild den Bereich der Umgebung des dritten Bildes zeigt.