-
Die Erfindung betrifft ein Verfahren zur Bestimmung der Position von Objekten in einer dreidimensionalen Umgebung nach dem Ansatz des Collaborative Stereo gemäß Oberbegriff des Anspruches 1 und eine entsprechende Vorrichtung gemäß Oberbegriff des Anspruches 12.
-
Die visuelle, d.h. kamerabasierte Erfassung der Umgebung und Messung der Eigenbewegung von autonomen Drohnen (UAV, Unmanned Aerial Vehicle, Unbemannte Flugobjekte) dient dem Ziel der Lokalisierung und Kartierung eines erfassten Szenarios von oben, in dem eine solche Drohne agieren soll. Die Anwendungen liegen beispielsweise in der zivilen Sicherheit zur Brandbekämpfung, Brandabwehr oder der Überwachung kritischer Infrastrukturen von Feuerwehren und Hilfsorganisationen. Hierbei liefern die Drohnen Bildsequenzen aus unterschiedlichen Höhen und Perspektiven, aus denen eine 3D-Karte generiert werden muss.
-
Grundlegender Baustein für die Navigation eines (Luft-)Fahrzeugs ist die Messung seiner Eigenbewegung (sog. Odometrie). Haben Bodenfahrzeuge prinzipiell noch die Möglichkeit, über Radsensoren die zurückgelegte Strecke zu messen, ist dies spätestens bei fliegenden Drohnen nicht mehr möglich. Die Messung mittels einer IMU (Inertial Measuring Unit = Beschleunigung und Drehrate) allein ist aber nicht zuverlässig genug, auch, weil sich hierbei unvermeidliche Fehler immer weiter aufsummieren. Abhilfe leistet hier die Berechnung der Eigenbewegung aus Bildsequenzen mittels einer Kamera (sog. Visual Odometrie). Die ersten Forschungsanstrengungen auf diesem Gebiet wurden bereits durch die NASA in den 80er Jahren unternommen, um bei planetaren Fahrzeugen (UGV - Unmanned Ground Vehicle) eine Schätzung der Eigenbewegung zu ermöglichen.
-
Da Verfahren der Odometrie allerdings generell nur relative Bewegungen messen können, vergrößert sich der Fehler einer Positionsschätzung mit zunehmender Laufzeit (Drift). Aus diesem Grund ist es erforderlich, die gemessene Position zyklisch mit anderen Informationen abzugleichen und ggf. zu korrigieren, z.B. mit GPS-Daten, wenn dieser Dienst verfügbar ist. Dies kann aber in vielen Situationen nicht vorausgesetzt werden. Visual Odometrie bietet hier jedoch den Vorteil, den Fehler der Positionsschätzung zu reduzieren, indem bereits erfasste Umgebungspunkte zur Positionsbestimmung heran gezogen werden können, wenn diese wiedererkannt werden (loop-closure). Dies ist möglich, wenn die Merkmale der Umgebung gespeichert werden, d.h. eine Karte generiert wird (sog. Mapping).
-
Dies führt auf die etablierte Methode des Visual-SLAM (Visual Simultaneous Localization and Mapping), bei der ein UAV mit einer Kamera seine noch unbekannte Umgebung kartiert und gleichzeitig hierin seine eigene Position schätzt. Hierzu findet sich in der Forschungsliteratur eine Vielzahl von unterschiedlichen Beiträgen. Für eine robuste Erfassung der Umwelt und gleichzeitig sichere autonome Navigation sind jedoch trotz intensiver Forschungen weltweit auch noch einige Herausforderungen offen. So kann hier die Forschung an neuen, geeigneten Merkmalen (sog. keypoints) genannt werden, die rotations- und skaleninvariant sind und ein schnelles und robustes Matching ermöglichen. Gerade Outdoor-Szenarien bergen einige Probleme (das Gelände ist oft nicht eben, direktes Sonnenlicht erschwert die Erfassung, dynamische Änderung durch Wind und Sonne/Schatten treten auf). Auch schnelle Verfahren, die wenig Speicher benötigen, sind stets im Fokus, da dies für eine Implementierung in Echtzeit auf kleinen, hinsichtlich der zur Verfügung stehenden Ressourcen limitierten UAV (auch als MAV - Micro Arial Vehicle bezeichnet) eminent wichtig ist. Zudem ist die verbesserte Sensorfusion mit IMU-Daten oder anderen Sensoren immer noch Gegenstand vieler Aktivitäten.
-
Der große Nachteil des Verfahrens Visual-SLAM mit einer Mono-Kamera (sog. monocular Visual-SLAM) ist jedoch die ungenaue Tiefenrekonstruktion aufgrund der optischen Einschränkungen mit nur einer Kamera und die verbleibende, wenn auch reduzierte Drift. Der Einsatz mehrerer Kameras hingegen kann die Robustheit und Genauigkeit des Verfahrens verbessern. So ist ein kalibriertes Stereo-Kamerasystem auf einem UAV prinzipiell vorteilhaft für die Odometrie, da die Messung der Eigenbewegung im monokularen Fall (Skalierung des Abstands) grundsätzlich mehrdeutig sein kann. Ist der Basisabstand der beiden Kameras einer Stereokonfiguration aber deutlich kleiner als der Abstand zur Szene, degradiert solch ein Setting zu einem monokularen Fall und liefert keine Verbesserung. Dies ist in vielen Einsatzszenarien der Fall, wenn die Kameras eines UAV nach unten gerichtet sind und die Drohne eine große Flughöhe einnimmt.
-
Die technische Problemstellung bei der visuellen Erfassung und 3D-Kartierung liegt demnach in der Realisierung eines genügend großen Abstands der Kameras eines Stereo-Kamerasystems (Stereobasis, Basisabstand), um eine genaue Tiefenrekonstruktion zu ermöglichen (1). Mit der Hilfe zweier Kameras (Stereokamera), die sich in einem Abstand b (Stereobasis) zueinander befinden, lässt sich die betrachtete Umgebung (Szenario) messtechnisch erfassen, d.h. die 3D-Position von Objekten in deren X-,Y- und Z-Position messen. Je größer der Abstand der beiden Kameras ist, desto genauer kann die Umgebung erfasst werden. Verwendet man eine Stereokamera auf einer Drohne, so ist der Basisabstand durch die Größe der Drohne limitiert [GAI08], was zu Fehlern in der Tiefenrekonstruktion führt (siehe 2, oben).
-
Mit einer Vergrößerung der Stereobasis kann prinzipiell eine deutlich bessere Genauigkeit auch in größeren Flughöhen erzielt werden (siehe 2, unten). Erste Lösungsansätze sind unter dem Begriff „Collaborative Stereo“ vorgeschlagen worden [Ach11], [Bou15]. Bei dem Prinzip des „Collaborative Stereo“ sind die beiden Kameras nicht in einem festen Abstand zueinander montiert, sondern mobil (etwa auf dem Boden beweglich oder auch fliegend als Drohne), d.h. die Stereobasis kann variiert werden. Auf diese Weise können große Stereobasen realisiert werden, um eine gute Messgenauigkeit auch bei entfernten Objekten zu erhalten. Hierzu muss aber der Abstand der beiden Kameras bekannt sein, was eine Herausforderung bei mobilen Kamerasystemen darstellt. Zum Beispiel bilden zwei UAV mit ihren jeweiligen Mono-Kameras ein Stereosetting mit einer variablen Stereobasis. Die existierenden Ansätze weisen jedoch z.B. Probleme hinsichtlich der Konvergenz der Algorithmen auf, wodurch diese für viele Szenarien als nicht geeignet angesehen werden können.
-
Die Schwierigkeit einer variablen Stereobasis (sog. Dynamic/Collaborative/Cooperative/Distributed Stereo) liegt somit in der Bestimmung des Abstands der beiden Kameras/UAV (bzw. genauer deren relative Pose) zueinander während des Flugs der UAV. Für die Genauigkeit einer 3D-Rekonstruktion (Berechnung der 3D-Koordinate eines Objekts aus der Information der beiden 2D-Bilder) ist die Kenntnis der Stereobasis jedoch sehr wichtig.
-
Einige neuere Ansätze adressieren genau diese Problemstellung, um eine Kollaboration zweier/mehrerer Mono-Kameras zu ermöglichen und die Vorteile gegenüber monokularem Visual-SLAM nutzen zu können. Die Ansätze werden im Folgenden kurz skizziert und erläutert, warum diese für viele Szenarien nicht geeignet sind.
-
Wäre prinzipiell die Verfügbarkeit von GPS-Diensten sichergestellt, so könnte diese Information für die Bestimmung der relativen Pose genutzt werden, was in [Dia13] gezeigt ist. Die Genauigkeit der 3D-Rekonstruktion hängt hier aber stark von der Genauigkeit der GPS-Lokalisation ab, wodurch der Formationsflug eines Schwarms und die Kartierung der Umgebung nicht aussichtsreich sind. DGPS (Differential GPS) könnte zwar die Genauigkeit deutlich erhöhen, von dessen Verfügbarkeit kann aber nicht immer ausgegangen sein.
-
Nach der Veröffentlichung „Collaborative Stereo“ [Ach11] kann die relative Pose zweier UAV geschätzt werden, die jeweils mit einer Mono-Kamera einen gemeinsamen Bereich am Boden betrachten. Die Mehrdeutigkeit der Skalierung im monokularen Fall kann hier zwar durch die Fusion mit IMU-Sensordaten gelöst werden, allerdings mit zwei entscheidenden Nachteilen:
- - Zwischen den UAV muss stets eine relative Bewegung stattfinden.
- - Der Algorithmus benötigt mehrere Sekunden (hier >8 Sekunden) zum Konvergieren.
-
Nichtsdestotrotz findet der Ansatz Anwendung in Schwarm-basierten Forschungsprojekten [Ach12], [Sch17]. In [Bou15) findet sich eine Weiterentwicklung des Ansatzes, die jedoch ähnliche Konvergenzzeiten aufweist.
-
In [Mon16] wird die relative Lokalisation mehrerer UAV durch die Kombination von IMU-Sensordaten und der Methode der Homographie gelöst, was aber voraussetzt, dass die überflogenen betrachteten Strukturen in einer Ebene liegen, was nur bei sehr großen Flughöhen näherungsweise erfüllt ist.
-
Schließlich wird in [Nat16] die Erfassung durch einen Ultraschall-Höhensensor verbessert, was lediglich Indoor für geringe Flughöhen einsetzbar ist, auch wenn der Ansatz für mehr als zwei UAV ausgelegt ist.
-
Mit der Verwendung von Ultra-wideband-Funkstrecken kann ebenfalls der Abstand zweier UAV bestimmt werden, was in ersten Arbeiten gezeigt ist [Guo17]. Auch am Jet Propulsion Laboratory (JPL) bzw. Caltech wird an ähnlichen Ansätzen gearbeitet [JPL15]: Dieses Projekt zeigt ein adaptives Stereo-Vision-Verfahren mit zwei kleinen UAVs. Während des Fluges erstellen diese UAVs in einer Tandem-Formation 3D-Tiefenkarten des Geländes, wobei der Abstand mit einem „Antennenüberwachungssystem“ bestimmt wird.
-
Darüber hinaus existieren Lösungen, wenn zwei UAV ein gemeinsam sichtbares Target (z.B. ein Bodenfahrzeug) verfolgen. Dazu muss jedoch beispielsweise das Target ein definiertes (bekanntes) Muster aufweisen [Kwo14] oder ein separates Motion-Capture System die Lokalisation der UAV im Raum (Indoor) vornehmen [Ahm16]. Dies sind Lösungen für ganz spezielle Anwendungsfälle.
-
In der
EP 2 423 873 B1 wird ein Verfahren beschrieben, welches mit nur einer Drohne auskommt. Es wird ein Mosaicing durchgeführt, um eine zusammenhängende Map zu erstellen. Mittels einer Referenzebene lassen sich auch 3D-Maps anfertigen, indem gemeinsame Merkmale erkannt, beschrieben und gematcht werden. Orientation und Location der Drohne werden als Metadaten an die Bilder angehängt. Diese Metadaten werden der IMU und dem GPS-Sensor der Drohne für jedes Bild entnommen. Des Weiteren werden auch Verfahren beschrieben, welche mehrere Drohnen verwenden, aber auch nur um schneller an eine Vielzahl an Bildern zu gelangen, um die Genauigkeit der Mosaic Bilder zu verbessern. Die eigentliche Berechnung findet auf einer Groundstation statt, während die UAVs auf einer geringen Flughöhe fliegen (Setup: Flughöhe 30m, Überlappung der Bilder 60%, Bild Spots
40 Missionspunkte).
-
Die
WO 2017/052 983 A1 beschreibt ein Verfahren, welches mehrere Kameras verwendet, die jeweils unterschiedliche Perspektiven abdecken. Wie und was genau die Erfinder mit ihrem Verfahren tun, ist jedoch nicht ganz deutlich. Ein wichtiges Thema stellt in diesem Verfahren allerdings die Synchronisierung aller Kameras dar, damit zeitgleich Bilder aus den unterschiedlichen Perspektiven aufgenommen werden können.
-
In der
EP 3 168 704 A1 fliegen mindestens zwei Drohnen über einem Gebiet und erstellen mittels eines Projektionsmusters (eine Drohne projiziert das Muster, die andere nimmt das Muster auf) eine 3D Karte der Bodenfläche. Der Abstand beider Drohnen wird hier anscheinend mit GPS und „Glonas“ ermittelt.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur verbesserten Erfassung der Position von vorzugsweise autonomen Drohnen vorzuschlagen, mit der die Genauigkeit der Erfassung der Position von zwei derartigen Drohnen und damit eine Kartierung der Umgebung mit dem Ansatz des Collaborative Stereo verbessert werden kann.
-
Die Erfindung geht aus von einem Verfahren zur Bestimmung der Position von Objekten in einer dreidimensionalen Umgebung nach dem Ansatz des Collaborative Stereo, bei dem zwei zueinander veränderbar beabstandete, monokulare Kameras eine Umgebung hinsichtlich ihrer Geometrie messtechnisch erfassen und aus den erfassten Daten eine Karte der Umgebung berechnet wird, wobei jeweils eine der monokularen Kameras auf je einer vorzugsweise autonom beweglichen Einheit angeordnet wird und die vorzugsweise autonom beweglichen Einheiten ihren Abstand zueinander in der Umgebung verändern können, wodurch die monokularen Kameras eine dynamische Stereokamera mit großer variabler Stereobasis bilden. Ein derartiges gattungsgemäßes Verfahren wird dadurch weiter entwickelt, dass die mindestens zwei vorzugsweise autonomen Einheiten der monokularen Kameras zur Bildung einer dynamischen Stereokamera mit großer variabler Stereobasis von mindestens einer weiteren Master-Einheit mit einer statischen Stereo-Kamera mit kleinerer, kalibrierter Stereobasis in ihrer Lage und Orientierung, insbesondere in ihrem Abstand, zueinander und zur Master-Einheit überwacht und/oder geregelt werden. Wenn im weiteren die Rede von autonomen Einheiten oder vorzugsweise autonomen Einheiten für die monokularen Kameras oder auch für die Mastereinheit ist, so soll damit sowohl eine autonome, also selbstgesteuerte Beweglichkeit der jeweiligen Einheiten als auch eine manuelle Steuerung der Einheiten durch Bedienpersonen oder alternativ außerhalb der Einheiten angeordneten Steuerungen als auch gemischte oder teilautonome Systeme umfasst sein. Der Begriff der autonomen Einheit ist immer in diesem doppelten bzw. alternativen Sinn zu verstehen. Die Master-Einheit hat hierbei die vornehmliche Aufgabe, die Position und Lage der beiden monokularen Kameras auf den mindestens zwei autonomen Einheiten und damit ihren Abstand zueinander laufend zu erfassen und damit die Daten zu liefern, um die Größe der variablen Stereobasis zwischen den beiden monokularen Kameras laufend zu bestimmen. Anhand dieser Größe der variablen Stereobasis kann dann zum einen mit den Daten der beiden monokularen Kameras laufend die Umgebung mit wesentlich höherer Genauigkeit erfasst und kartiert sowie zur Positionsbestimmung sich auch bewegender Objekte innerhalb dieser Umgebung genutzt werden. Die sich bei den bekannten Verfahren mit der Zeit aufsummierenden Fehler bei der Positionsbestimmung der beiden monokularen Kameras werden hierdurch kompensiert oder zumindest deutlich reduziert, so dass die Drifteffekte die Genauigkeit der Erfassung der Umgebung nicht oder nicht mehr signifikant beeinträchtigen. Die aus den korrigierten Daten der beiden monokularen Kameras ermittelten Daten der Umgebung können dabei sowohl zur Erfassung von Objekten oder auch deren Ortsveränderungen in der Umgebung genutzt werden, als auch dazu dienen, die Steuerung der autonomen Einheiten selbst vorzunehmen.
-
In einer weiteren vorteilhaften Ausgestaltung kann die Master-Einheit mit einer statischen Stereo-Kamera mit kleinerer, kalibrierter Stereobasis als in ihrer Position und Lage in der Umgebung und zu den autonomen Einheiten veränderlich ausgebildet werden, was bedeutet, dass sich die Master-Einheit ebenfalls innerhalb der Umgebung frei und ggf. autonom bewegen kann. Dies erleichtert und verbessert die Erfassung der Positionsbestimmung der beiden monokularen Kameras der autonomen Einheiten weiter, da vorteilhaft auch ihr Abstand zu den autonomen Einheiten mit den monokularen Kameras jeweils messtechnisch günstig gewählt werden kann. Die Erfassung der Position der beiden monokularen Kameras lässt sich dadurch optimieren, dass der Abstand zwischen Master-Einheit und autonomen Einheiten in einem Bereich gehalten werden kann, bei dem die messtechnische Erfassung mittels der Stereokamera auf der Master-Einheit besonders gut, sprich mit hoher Auflösung möglich ist. Verfolgt daher die Master-Einheit die beiden autonomen Einheiten mit ihren monokularen Kameras, so kann deren Positionserfassung und damit die Bestimmung des Abstandes zwischen den beiden monokularen Kameras signifikant verbessert werden.
-
Eine weitere Verbesserung der Positionserfassung und damit der Bestimmung des Abstandes zwischen den beiden monokularen Kameras lässt sich dadurch erreichen, dass eine Anzahl von Markern auf jeder der autonomen Einheiten angebracht werden, damit die statische Stereo-Kamera der oder jeder Master-Einheit die Lage und Orientierung der autonomen Einheiten zueinander möglichst genau und in Echtzeit bestimmen kann. Derartige Marker sind grundsätzlich aus dem Gebiet der Bewegungsvermessung z.B. für künstlich geschaffene Filmsequenzen und der virtuellen Realität bekannt und vereinfachen die Algorithmen zur Positions- und Lagebestimmung optisch erfasster Objekte wesentlich, daher können derartige Marker auch hier vorteilhaft eingesetzt werden.
-
Weiterhin ist es von Vorteil, wenn der Basisabstand der Stereokamera auf der oder jeder Master-Einheit so gewählt wird, dass die Erfassung der Lage und Orientierung der mindestens zwei autonomen Einheiten mit möglichst hoher Auflösung erfolgt. Hierbei ist durch die ggf. ortsveränderliche Anbringung der Stereokamera auf jeder Master-Einheit der Abstand zu den autonomen Einheiten mit ihren monokularen Kameras jederzeit anpassbar und dadurch muss der Basisabstand der Stereokamera der Master-Einheit nicht groß sein, was beispielsweise für die Anbringung der Stereokamera auf einer autonomen Drohne von Vorteil ist, da derartige Drohnen eher geringe Abmessungen im Bereich von maximal 50 bis 100 Zentimetern aufweisen.
-
Weiterhin ist es auch denkbar, dass zwei oder mehrere autonome Master-Einheiten zwei oder mehrere autonome Einheiten messtechnisch erfassen. So können es komplexe oder auch spezielle Umgebungsparameter erforderlich machen, nicht nur mit einer Master-Einheit zwei autonome Einheiten zu überwachen, sondern es sind durchaus auch Einsatzfälle denkbar, bei denen mehr als zwei autonome Einheiten von einer oder auch mehr als einer Master-Einheit überwacht werden. Die Grundprinzipien des Verfahrens lassen sich auch auf derartige Konstellationen von Master-Einheiten und autonomen Einheiten übertragen. Für diesen Fall kann es vorteilhaft sein, dass der Abstand zwischen Master-Einheit und den mehr als zwei autonomen Einheiten zur Bildung einer Stereo-Kamera mit variabler Stereobasis vergrößert wird, damit die Master-Einheit auch alle autonomen Einheiten gleichzeitig erfassen kann. Dies kann dadurch erforderlich werden, dass mehr als zwei autonomen Einheiten Anordnungen zueinander einnehmen können (z.B. für den Einsatz bei Drohnen eine linienförmige Ausrichtung von drei oder mehreren Drohnen), die das Abbildungsfeld der Stereo-Kamera der Master-Einheit bei geringeren Abständen übersteigen kann. Hier kann der Abstand der Master-Einheit von den autonomen Einheiten erhöht werden, wodurch das Abbildungsfeld vergrößert, gleichzeitig aber auch die Messgenauigkeit vermindert wird.
-
Weiterhin ist es denkbar, dass die Auswertungssoftware zur Erstellung einer Karte der Umgebung auf Basis der erfassten Daten von Master-Einheit und autonomen Einheiten die Karte in einer solchen Zeit erstellt oder aktualisiert, dass die Daten der Karte zur Echtzeitsteuerung der Formation aus Master-Einheiten und autonomen Einheiten genutzt werden können. Die Berechnung der Karte auf Basis der erfassten Daten von Master-Einheiten und autonomen Einheiten sollte idealer Weise in Echtzeit erfolgen, was aber aufgrund der begrenzten Rechenkapazität vor Ort in einem Einsatzszenario nicht immer zu realisieren sein wird. Daher sollte die Verarbeitung der Daten von Master-Einheiten und autonomen Einheiten anhand effizienter Algorithmen so zeitnah wie möglich erfolgen, ggf. auch schon durch eine Vorverarbeitung der Daten in den Steuerungsrechnern von Master-Einheiten und autonomen Einheiten.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Bestimmung der Position von Objekten in einer dreidimensionalen Umgebung nach dem Ansatz des Collaborative Stereo, aufweisend mindestens zwei zueinander veränderbar beabstandete, monokulare Kameras, wobei jeweils eine der monokularen Kameras auf je einer vorzugsweise autonom beweglichen Einheit angeordnet ist und die vorzugsweise autonom beweglichen Einheiten ihren Abstand zueinander in der Umgebung verändern können, wodurch die monokularen Kameras eine dynamische Stereokamera mit großer variabler Stereobasis bilden, mit der die Umgebung hinsichtlich ihrer Geometrie messtechnisch erfassbar und aus den erfassten Daten eine Karte der Umgebung berechenbar ist. Eine derartige Vorrichtung wird dadurch weiter entwickelt, dass die Vorrichtung mindestens eine Master-Einheit mit einer statischen Stereo-Kamera mit kleinerer, kalibrierter Stereobasis aufweist, mit der die mindestens zwei vorzugsweise autonomen Einheiten in ihrer Lage und Orientierung, insbesondere in ihrem Abstand, zueinander und zur Master-Einheit überwachbar und/oder regelbar sind. Die Eigenschaften und Vorteile einer solchen Vorrichtung sind schon vorstehend für das erfindungsgemäße Verfahren ausführlich erläutert worden, hierauf wird zur Vermeidung von Wiederholungen ausdrücklich Bezug genommen.
-
In einer vorteilhaften Ausgestaltung ist es denkbar, dass die Vorrichtung mindestens eine Master-Einheit als vorzugsweise autonom fahrende Einheit (UGV) und/oder als eine vorzugsweise autonom fliegende Drohne (UAV) aufweist. Es ist hierbei ebenso wie für die mindestens zwei vorzugsweise autonomen Einheiten denkbar, dass die Master-Einheit und/oder die vorzugsweise autonomen Einheiten landgestützte Einheiten(UGV) oder fliegende Einheiten (UAV) oder auch aus einer Kombination vorzugsweise autonom fahrender Einheiten (UGV) und/oder vorzugsweise autonom fliegender Drohnen (UAV) gebildet wird. So können z.B. die vorzugsweise autonomen Einheiten als fliegende Drohnen ausgebildet werden, die von einem auf einem landgestützt fahrenden Fahrzeug mit einer Stereokamera als Master-Einheit überwacht werden. Hierbei sind beliebige derartige Kombinationen und auch gemischt aus UGV und UAV bestehende Gruppen von Master-Einheiten bzw. vorzugsweise autonomen Einheiten denkbar, abhängig z.B. von Einsatzzweck und Topographie der Umgebung.
-
Eine besonders bevorzugte Ausführungsform der erfindungsgemäßen Vorrichtung zeigt die Zeichnung.
-
Es zeigt:
- 1 - Darstellung der Abhängigkeit zwischen der erreichbaren Tiefengenauigkeit und der Entfernung für verschiedene Werte der Stereobasis b,
- 2 - 3D-Rekonstruktion entfernter Objekte mit einer Stereokamera auf einer Drohne (kleiner fester Basisabstand) und Verbesserung durch einen dynamischen Basisabstand nach [Ga108],
- 3 - grundsätzliche Ausgestaltung der erfindungsgemäßen Kameraanordnung für den ebenen Fall mit einer Stereokamera mit fester Basis und einer Master-Einheit, mit der der Abstand zweier monokularer Kameras mit variablem Abstand beobachtet wird,
- 4 - praktische Umsetzung der erfindungsgemäßen Kameraanordnung für den räumlichen Fall mit einer ortsveränderlichen Stereokamera mit fester Basis auf einer Master-Einheit, mit der der Abstand zweier ortsveränderlicher monokularer Kameras mit variablem Abstand beobachtet wird,
- 5a-5c - verschiedene Konstellationen der erfindungsgemäßen Kameraanordnung mit auf autonomen UAV bzw. UGV angeordneten Kameras, wobei sowohl die monokularen Kameras als auch die Stereokamera fliegend bzw. fahrend beweglich sein können,
- 6a - Konstellation der erfindungsgemäßen Kameraanordnung mit zwei Stereokameras auf zwei als UAV ausgebildeten Master-Einheiten zur Beobachtung von drei monokularen Kameras auf drei als UAV ausgebildeten autonomen Einheiten,
- 6b - Konstellation der erfindungsgemäßen Kameraanordnung mit einer Stereokamera auf einer Master-Einheit zur Beobachtung von drei monokularen Kameras auf drei als UAV ausgebildeten autonomen Einheiten, wobei der Abstand zwischen Master-Einheit und autonomen Einheiten vergrößert wurde,
- 7 - typische Einsatzumgebung der Vorrichtung für den Bereich des Brandschutzes mit zwei UAV als autonomen oder gesteuerten Einheiten und einer UAV als Master-Einheit,
- 8 - denkbare Einsatzumgebung der Vorrichtung für den Bereich planetarer Raumfahrtmissionen mit zwei UAV als autonomen Einheiten und einer UGV als Master-Einheit für den Einsatz in einer mit Atmosphäre ausgestatteten Umgebung.
-
Die Grundidee der Erfindung liegt gemäß 3 darin, dass mittels einer flexiblen Formation aus mindestens drei optisch messenden Systemen (z.B. Roboter mit Kameras) ein neuer Ansatz für das „Collaborative Stereo“ erschlossen wird. Hierbei erfasst eine kalibrierte Stereo-Kamera SK (auf einer Master-Einheit, feste Stereobasis) permanent eine flexible Formation aus monokularen Satelliten-Kameras MK, die sich auch zeitlich ändern kann. Insbesondere misst hierbei die Stereo-Kamera SK die Lage und Orientierung der zwei monokularen Kameras MK auf den hier als Satelliten bezeichneten, hier als autonom gesteuert ausgebildeten autonomen Einheiten AE. Mit dieser Information können die autonomen Einheiten AE ebenfalls als dynamische Stereo-Kamera DSK mit (großer) variabler Stereobasis arbeiten.
-
Setzt man diese Grundidee in eine praktische Lösung für die Erfassung von dreidimensionalen Umgebungen U (4) um, so ermöglicht die erfindungsgemäße Lösung einen neuen Ansatz für das „Collaborative Stereo“ mittels einer Formation aus z.B. 3 UAV. Zwei hier nur anhand ihrer monokularen Kameras MK dargestellte Drohnen (UAV) fertigen hierbei zeitgleich mit jeweils einer monokularen Kamera MK jeweils eine Monoaufnahme der Umgebung U an und bilden eine dynamische Stereokamera DSK mit großer, variabler Stereobasis. Der Abstand der beiden Kameras MK der Satelliten AE zueinander (Basisabstand, Stereobasis der dynamischen Stereokamera DSK) soll durch eine Stereo-Kamera SK einer ebenfalls nur anhand ihrer Kamera dargestellten, weiteren Drohne ME (Master-UAV) des Schwarms überwacht bzw. geregelt werden, welche selbst eine kalibrierte statische Stereokamera SK (mit kleinerer, kalibrierter Stereobasis) besitzt.
-
Die Algorithmen zur Bildverarbeitung der Bilder der Stereokamera SK der Master-Einheit ME ermöglichen die Vermessung der Lage der beiden Satelliten-Drohnen AE in der Formation, wodurch sich anhand der sich dadurch aus den beiden monokularen Kameras MK ergebenden dynamischen Stereokamera DSK der autonomen Einheiten AE 3D-Informationen der Umgebung U mit höherer Genauigkeit als bisher möglich gewinnen lassen. Aus der Sequenz von Tiefendaten ist eine 3D-Kartierung und eine autonome Navigation in der Umgebung U möglich.
-
Die Stereokamera SK der Master-Einheit ME sowie die monokularen Kameras MK der autonomen Einheiten AE können hierbei sowohl landgestützt als UGV oder luftgestützt als Drohne (UAV) bewegt werden. Derartige Konstellationen sind in der 5 gezeigt, wobei die 5a die Anordnung der Kameras SK und MK auf Drohnen ME und AE zeigt. In der 5b ist die Master-Einheit ME mit ihrer Kamera SK auf einer Drohne UAV angeordnet und beobachtet die beiden monokularen Kameras MK auf bodengestützt fahrenden autonomen Einheiten AE, bei der Konfiguration der 5c ist es umgekehrt.
-
Durch die Skalierung ist eine große, flexible Stereo-Kamera DSK aus einzelnen monokularen Kameras MK auf mobilen Systemen realisierbar, um eine Umgebung U mit weiter entfernten Objekten dennoch genau zu erfassen. Die Konstellation sollte so gewählt werden, dass das kalibrierte Stereo-Kamerasystem SK auf der Master-Einheit ME die zwei monokularen Kameras MK der Satelliten AE möglichst genau abbilden kann.
-
Gemäß 6a lässt sich die zuvor vorgestellte Konstellation um weitere Master-Einheiten ME und autonome Einheiten AE z.B. in Form von Drohnen UAV erweitern. Dadurch wären weitere Stereo-Konfigurationen parallel realisierbar. Bei der Konstellation gemäß 6b mit einer Master-Einheit ME und mehr als 2 autonomen Einheiten AE sollte der Abstand zwischen Master-Einheit ME und autonomen Einheiten AE erhöht werden, sodass alle hier als UAV abgebildeten autonomen Einheiten AE von der Master-Einheit ME erfasst werden können. Dies verschlechtert allerdings auch die Messgenauigkeit bei der Erfassung der autonomen Einheiten AE.
-
Eine Verbesserung der Messgenauigkeit lässt sich dadurch erreichen, dass auf den autonomen Einheiten AE z.B. drei Markern angeordnet werden, deren Lage zu den Kameras MK genau bekannt ist, um die Lage und Orientierung zueinander möglichst genau und in Echtzeit bestimmen zu können.
-
Das hier vorgestellte Verfahren kann gemäß 7 z.B. für den Feuerwehreinsatz von großer Bedeutung sein. Die durch das Verfahren verbesserte Genauigkeit der 3D-Kartierung mittels dreier erfindungsgemäß arbeitender Drohnen ermöglicht eine genauere Vermessung der Einsatzumgebung U. So führt beispielsweise die Höhenvermessung eines detektierten Brandnestes etwa in einem Haus oder in der Umgebung zu einer genaueren oder korrekten Lokalisation des Ursprungs, beispielsweise in einem Gebäude. Außerdem können mögliche Hindernisse in dem Einsatzszenario genauer beurteilt werden. Den Feuerwehreinsatzkräften wird so ein schnelleres und gezieltes Handeln zur Brandbekämpfung ermöglicht. Auch indoor-Szenarien sind für die Feuerwehren von großer Bedeutung, da hier kein GPS verfügbar ist und eine genaue Selbstlokalisation daher noch schwieriger ist.
-
Es ist aber gemäß 8 auch denkbar, erfindungsgemäße Systeme im Rahmen von planetaren Raumfahrtmissionen einzusetzen. Derzeit werden mobile Roboter von der Erde aus navigiert, was nicht in Echtzeit geschehen kann (Laufzeit des Datenfunks zur Erde). Dazu wird die zu fahrende Wegstrecke in unmittelbarer Umgebung auf Basis von aufgenommenen Bilddaten programmiert, was durch die Messeigenschaften der eingesetzten Videosysteme (kleine Stereobasis=Nahbereich) stark limitiert ist. Somit erfasst ein einzelner Roboter nur einen kleinen Bereich und muss zu vermeintlich wissenschaftlich interessanten Stellen mühsam (Krater, Erhebungen, Vorsprünge) navigiert werden, was Zeit und Energie kostet. Vielfach stellen sich die Navigationsziele im Nachhinein als nicht interessant heraus oder unüberwindbare Hindernisse werden erst zu spät (kurz vor dem Ziel) erkannt.
-
Mit Hilfe der Erfindung können z.B. auf Himmelskörpern mit einer eigenen Atmosphäre, in der Drohnen UAV fliegen können, tiefe Krater oder ein weit entferntes Gelände bereits aus der Ferne erkundet werden. Mit einem Master-Satelliten-System könnte auch das Fernfeld in höherer Genauigkeit vermessen und interessante Stellen erkannt werden. Auch die sichere Erkennung potenzieller Gefahren im Navigationsgebiet durch eine genauere Lokalisation wäre hierdurch möglich.
-
Literatur
-
- [Ach11] M. W. Achtelik, S. Weiss, M. Chli, F. Dellaerty, and R. Siegwart, „Collaborative stereo," in 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems: IEEE, 2011, pp. 2242-2248.
- [Ach12] M. Achtelik et al., „SFly: Swarm of micro flying robots," in IEEE: 7 - 12 Oct. 2012 Vilamoura Algarve Portugal, Piscataway, NJ: IEEE, 2012, pp. 2649-2650.
- [Ahm16] A. Ahmad, E. Ruff, and H. H. Bülthoff, „Dynamic baseline stereo vision-based cooperative target tracking," Information Fusion (FUSION), 2016 19th International Conference on, Aug. 2016.
- [Aqe16] M. 0. A. Aqel, M. H. Marhaban, M. I. Saripan und N. B. Ismail, „Review of visual odometry: types, approaches, challenges, and applications," SpringerPlus, Bd. 5, Nr. 1, p. 1897, 2016.
- [Bou15] M. Boulekchour, „Robust Convex Optimisation Techniques for Autonomous Vehicle Vision-based Navigation," Dissertation, Centre for Electronic Warfare, Cranfield University, 2015.
- [Dia13] A. Dias, J. Almeida, E. Silva, and P. Lima, „Multi-robot cooperative stereo for outdoor scenarios," in 2013 13th International Conference on Autonomous Robot Systems (Robotica): 24 April 2013, Lisbon, Portugal, Piscataway, NJ: IEEE, 2013, pp. 1-6.
- [Eng15] J. Engel, J. Stuckier, and D. Cremers, „Large-scale direct SLAM with stereo cameras," in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS): Sept. 28, 2015 - Oct. 2, 2015, Hamburg, Germany, Piscataway, NJ: IEEE, 2015, pp. 1935-1942.
- [Gal08] Gallup, David; Frahm, Jan-Michael; Mordohai, Philippos; Pollefeys, Marc (2008): Variable baseline/resolution stereo. In: IEEE Conference on Computer Vision and Pattern Recognition, 2008. CVPR 2008
- [Guo17] K. Guo, Z. Qiu, W. Meng, L. Xie, and R. Teo, „Ultra-wideband based cooperative relative localization algorithm and experiments for multiple unmanned aerial vehicles in GPS denied environments", International Journal of Micro Air Vehicles
- [JPL15] Jet Propulsion Laboratory, „Adaptive Resolution Stereo-Vision (A-RES-V)“
- [Kwo14] J.-W. Kwon, J. Seo, and J. H. Kim, „Multi-UAV-based stereo vision system without GPS for ground obstacle mapping to assist path planning of UGV," Electronics Letters, vol. 50, no. 20, pp. 1431-1432, 2014.
- [Mon16] E. Montijano, E. Cristofalo, D. Zhou, M. Schwager, and C. Sagues, „Vision-Based Distributed Formation Control Without an External Positioning System," IEEE Trans. Robot., vol. 32, no. 2, pp. 339-351, 2016.
- [Nat16] N. Piasco, J. Marzat, and M. Sanfourche, „Collaborative localization and Formation flying using distributed stereo-vision," in 2016 IEEE International Conference on Robotics and Automation, Stockholm, Sweden, May 16th-21st, Piscataway, NJ: IEEE, 2016, pp. 1202-1207.
- [Nis04] D. Nister, „An efficient solution to the five-point relative pose problem," (eng), IEEE transactions on pattern analysis and machine intelligence, vol. 26, no. 6, pp. 756-777, 2004.
- [Sch17] P. Schmuck and M. Chli, „Multi-UAV Collaborative Monocular SLAM," Departement Maschinenbau und Verfahrenstechnik, Zürich, 2017.
- [Wur14] Dipl.-Ing. Wursthorn, Sven (2014): Kamerabasierte Egomotion-Bestimmung mit natürlichen Merkmalen zur Unterstützung von Augmented-Reality-Systemen. Dissertation, Karlsruhe. Karlsruher Institutes für Technologie (KIT)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2423873 B1 [0018]
- WO 2017/052983 A1 [0019]
- EP 3168704 A1 [0020]
-
Zitierte Nicht-Patentliteratur
-
- M. W. Achtelik, S. Weiss, M. Chli, F. Dellaerty, and R. Siegwart, „Collaborative stereo,“ in 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems: IEEE, 2011, pp. 2242-2248 [0041]
- M. Achtelik et al., „SFly: Swarm of micro flying robots,“ in IEEE: 7 - 12 Oct. 2012 Vilamoura Algarve Portugal, Piscataway, NJ: IEEE, 2012, pp. 2649-2650 [0041]
- A. Ahmad, E. Ruff, and H. H. Bülthoff, „Dynamic baseline stereo vision-based cooperative target tracking,“ Information Fusion (FUSION), 2016 19th International Conference on, Aug. 2016 [0041]
- M. 0. A. Aqel, M. H. Marhaban, M. I. Saripan und N. B. Ismail, „Review of visual odometry: types, approaches, challenges, and applications,“ SpringerPlus, Bd. 5, Nr. 1, p. 1897, 2016 [0041]
- M. Boulekchour, „Robust Convex Optimisation Techniques for Autonomous Vehicle Vision-based Navigation,“ Dissertation, Centre for Electronic Warfare, Cranfield University, 2015 [0041]
- A. Dias, J. Almeida, E. Silva, and P. Lima, „Multi-robot cooperative stereo for outdoor scenarios,“ in 2013 13th International Conference on Autonomous Robot Systems (Robotica): 24 April 2013, Lisbon, Portugal, Piscataway, NJ: IEEE, 2013, pp. 1-6 [0041]
- J. Engel, J. Stuckier, and D. Cremers, „Large-scale direct SLAM with stereo cameras,“ in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS): Sept. 28, 2015 - Oct. 2, 2015, Hamburg, Germany, Piscataway, NJ: IEEE, 2015, pp. 1935-1942 [0041]
- Gallup, David; Frahm, Jan-Michael; Mordohai, Philippos; Pollefeys, Marc (2008): Variable baseline/resolution stereo. In: IEEE Conference on Computer Vision and Pattern Recognition, 2008. CVPR 2008 [0041]
- K. Guo, Z. Qiu, W. Meng, L. Xie, and R. Teo, „Ultra-wideband based cooperative relative localization algorithm and experiments for multiple unmanned aerial vehicles in GPS denied environments“, International Journal of Micro Air Vehicles [0041]
- J.-W. Kwon, J. Seo, and J. H. Kim, „Multi-UAV-based stereo vision system without GPS for ground obstacle mapping to assist path planning of UGV,“ Electronics Letters, vol. 50, no. 20, pp. 1431-1432, 2014 [0041]
- E. Montijano, E. Cristofalo, D. Zhou, M. Schwager, and C. Sagues, „Vision-Based Distributed Formation Control Without an External Positioning System,“ IEEE Trans. Robot., vol. 32, no. 2, pp. 339-351, 2016 [0041]
- N. Piasco, J. Marzat, and M. Sanfourche, „Collaborative localization and Formation flying using distributed stereo-vision,“ in 2016 IEEE International Conference on Robotics and Automation, Stockholm, Sweden, May 16th-21st, Piscataway, NJ: IEEE, 2016, pp. 1202-1207 [0041]
- D. Nister, „An efficient solution to the five-point relative pose problem,“ (eng), IEEE transactions on pattern analysis and machine intelligence, vol. 26, no. 6, pp. 756-777, 2004 [0041]
- P. Schmuck and M. Chli, „Multi-UAV Collaborative Monocular SLAM,“ Departement Maschinenbau und Verfahrenstechnik, Zürich, 2017 [0041]
- Dipl.-Ing. Wursthorn, Sven (2014): Kamerabasierte Egomotion-Bestimmung mit natürlichen Merkmalen zur Unterstützung von Augmented-Reality-Systemen. Dissertation, Karlsruhe. Karlsruher Institutes für Technologie (KIT) [0041]
