DE102011054379B4 - Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation - Google Patents

Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation Download PDF

Info

Publication number
DE102011054379B4
DE102011054379B4 DE102011054379A DE102011054379A DE102011054379B4 DE 102011054379 B4 DE102011054379 B4 DE 102011054379B4 DE 102011054379 A DE102011054379 A DE 102011054379A DE 102011054379 A DE102011054379 A DE 102011054379A DE 102011054379 B4 DE102011054379 B4 DE 102011054379B4
Authority
DE
Germany
Prior art keywords
vehicle
relative
image
determining
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102011054379A
Other languages
English (en)
Other versions
DE102011054379A1 (de
Inventor
Franz Andert
Mark Johannes Verveld
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsches Zentrum fuer Luft und Raumfahrt eV
Original Assignee
Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsches Zentrum fuer Luft und Raumfahrt eV filed Critical Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority to DE102011054379A priority Critical patent/DE102011054379B4/de
Publication of DE102011054379A1 publication Critical patent/DE102011054379A1/de
Application granted granted Critical
Publication of DE102011054379B4 publication Critical patent/DE102011054379B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Positionsinformation eines mobilen Fahrzeuges, bei dem die Positionsinformation in Abhängigkeit von einer relativen Bewegung des Fahrzeuges und einer bekannten Ausgangsposition des Fahrzeuges kontinuierlich durch eine Positionsermittlungseinheit (2) ermittelt wird, mit a) Aufnehmen von mindestens einer aus einer Mehrzahl von Bildern (22) einer Fahrzeugumgebung bestehenden Bildsequenz (21) durch ein auf dem Fahrzeug angeordnetes Kamerasystem (4), b) Ermitteln von Merkmalsbewegungen (23) zwischen jeweils zeitlich aufeinanderfolgenden Bildern (22) der Bildsequenz (21) von in den aufgenommenen Bildern (22) der Bildsequenz (21) erkannten Bildmerkmalen durch eine erste Recheneinheit einer (6) Bildverarbeitungseinheit (5), c) Ermitteln von relativen Eigenbewegungsinformationen (24) des Kamerasystems (4) in Abhängigkeit von Merkmalsbewegungen von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen zwischen zeitlich aufeinanderfolgenden Bildern der Bildsequenz durch eine zweite Recheneinheit (7) der Bildverarbeitungseinheit (5), und d) Berechnen der relativen Bewegung des Fahrzeuges in Abhängigkeit von den ermittelten Merkmalsbewegungen (23) und den ermittelten relativen Eigenbewegungsinformationen (24) des Kamerasystems (4) durch die Positionsermittlungseinheit (2).

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln einer Positionsinformation eines mobilen Fahrzeuges, bei dem die Positionsinformation in Abhängigkeit von einer relativen Bewegung des Fahrzeuges und einer bekannten Ausgangsposition des Fahrzeuges kontinuierlich durch eine Positionsermittlungseinheit ermittelt wird. Die Erfindung betrifft auch ein Computerprogramm sowie ein Positionsermittlungssystem hierzu.
  • Die Ortung von Fahrzeugen gleich welcher Art spielt heutzutage eine wichtige Rolle. So wird eine absolute Positionsinformation eines Straßenfahrzeuges dazu verwendet, den Fahrer des Straßenfahrzeuges unter Berücksichtigung einer digitalen Karte des Straßennetzes zu seinem gewünschten Zielort zu navigieren. Hierfür wird kontinuierlich über ein satellitengestütztes Positionsermittlungssystem (wie beispielsweise GPS, Galileo) die aktuelle, absolute Ortsposition des Straßenfahrzeuges auf wenige Meter genau berechnet.
  • Die Berechnung der aktuellen Ortsposition mit Hilfe eines satellitengestützten Positionsermittlungsverfahren (oft auch als GNSS: Global Navigation Satellite System bezeichnet) erfolgt dabei anhand einer Laufzeitberechnung von Signalen zwischen dem Empfänger, dessen Position bestimmt werden soll, und mehreren zeitlich synchronisierten Satelliten. Aus der Laufzeitermittlung des Signals zwischen dem Empfänger und dem jeweiligen Satelliten lässt sich die Entfernung zu den jeweiligen Satelliten bestimmen, so dass bei einer hinreichenden Anzahl von Satellitenentfernungen (vorteilhafterweise mehr als drei Satelliten) aufgrund einer Schnittpunktberechnung die exakte Position des Empfängers ermittelbar ist. Hierfür ist jedoch erforderlich, dass das Signal von mindestens vier Satelliten uneingeschränkt empfangbar ist. Wird der Empfang durch Abschatten oder Reflektion von zumindest einem Signal gestört, so ist eine hinreichend genaue Ortspositionsermittlung nicht mehr gewährleistet.
  • Um bei Ausfall oder Störung derartiger Systeme zur Ermittlung einer absoluten Ortsposition die Positionsermittlung zumindest zeitweise zu überbrücken, ist es bekannt, dass hilfsweise andere Verfahren zur Positionsermittlung, wie beispielsweise die Koppelnavigation oder die Odometrie, vorübergehend unter Berücksichtigung der letzten korrekten Ausgangsposition angewendet werden. Dadurch soll erreicht werden, dass auch bei Ausfall des absoluten Positionsermittlers dies unter Umständen nicht sofort zu einem unbestimmten Zustand führt, wie dies beispielsweise bei unbemannten Luft- oder Raumfahrzeugen der Fall wäre. Denn gerade im Bereich der unbemannten Luftfahrt ist die absolute Positionsermittlung ein wesentlicher Bestandteil zur Gewährleistung des sicheren Flugbetriebes.
  • So ist mit Hilfe der an Bord befindlichen Inertialsensorik von Flugobjekten eine Messung der Drehrate und der Translationsbeschleunigungen möglich, wobei die Integration dieser relativen Bewegungsdaten unter Kenntnis der letzten bekannten Ausgangsposition zu der aktuellen Ortsposition und/oder Raumlage des Fahrzeuges führt. Je nach dem, wie genau die verwendete Inertialsensorik des Luftfahrzeuges ist, ist dieses Verfahren der sogenannten Koppelnavigation mehr oder weniger fehlerbehaftet. So wird beispielsweise in großen Luftfahrzeugen eine mechanische oder laserkreiselgesteuerte Inertialsensorik verwendet, die eine hinreichend genaue Ortung für mehrere Minuten zulässt. Aufgrund der erheblichen Größe und des großen Gewichtes derartiger Inertialsensorik sind diese Systeme jedoch nur für Luftfahrzeuge ab einer bestimmten Größe geeignet. Kleinere Luftobjekte, insbesondere unbemannte Luftobjekte, können auf derartige hochgenaue Techniken nicht zurückgreifen. Für kleinere und leichtere Flugobjekte kommen hier in der Regal elektronische Inertialsensorsysteme (mikroelektromechanische (MEMS) Inertialsensorsysteme) zum Einsatz, deren Genauigkeit jedoch weit hinter den Inertialsensoren der großen Flugzeuge zurückbleibt. Eine Koppelnavigation ist aufgrund des sich aufsummierenden Fehlers nur für wenige Sekunden genau und somit derart ungenau, dass eine automatische Führung des Fahrzeuges ausgeschlossen ist.
  • So ist beispielsweise aus Wu, A. D. et al.: Vision-Aided Inertial Navigation for Flight Control, AIAA GN&C Conf, 2005 sowie Koch, A. et al.: A vision-based navigation algorithm for a VTOL UAV, In AIAA GN&C Conf, 2006 bekannt, dass visuelle Daten zur Genauigkeitsverbesserung der herkömmlichen Inertialsensorik bei kleinen unbemannten Flugobjekten verwendet werden können. Dabei werden mit Hilfe einer Kamera, die an dem Flugobjekt angeordnet ist, Bilddaten aufgenommen, die dann mit Hilfe einer Bildverarbeitungseinheit analysiert werden. Dabei werden markante Bildmerkmale, die beispielsweise signifikante Muster, Kanten, Ecken sowie starke Texturen erkannt und ihre diesbezügliche charakteristische Bewegung in aufeinanderfolgenden Bildern einer Bildsequenz ermittelt. Diese charakteristischen Merkmalsbewegungen werden dann zur Korrektur der Ortsinformationen aus dem Inertialnavigationssystem mit Hilfe eines Kalman-Filters verwendet.
  • Damit lässt sich insbesondere bei kleinen Flugobjekten und den dabei verwendeten ungenauen Inertialsensoren die Genauigkeit der Koppelnavigation erhöhen. Allerdings führt auch dies über die Zeit zu einem Aufsummieren von Fehlern, so dass diese Art der Navigation, sofern sie nicht nach einer gewissen Zeit wieder auf eine absolut berechnete Ausgangsposition zurückgesetzt wird, derart ungenau wird, dass sie nicht mehr als Grundlage für die Navigation geeignet ist.
  • Des Weiteren sind Verfahren zur visuellen Odometrie bekannt, beispielsweise aus Matthies L.; Shafer S.: Error Modeling in Stereo Navigation, IEEE R&A, 1987, bei denen aus den in den Bildern einer Bildsequenz erkannten Merkmalsbewegungen die Eigenbewegung des aufnehmenden Kamerasystems abgeleitet wird. Durch Integration der einzelnen erfassten Eigenbewegungsdaten der Kamera lässt sich somit, ähnlich wie bei der Koppelnavigation mit Hilfe der Inertialsensoren, die relative Bewegung, ausgehend von einem bekannten Ausgangspunkt, ermittelt. Diese Verfahren haben allerdings den erheblichen Nachteil, dass sie aufgrund der komplexen Berechnungsmodelle nicht für ein Echtzeitsystem mit aktueller Flughardware geeignet sind. Aufgrund der geringen Updaterate wäre somit eine Korrektur der Positionsdaten aus der Inertialsensorik nicht mehr so rechtzeitig möglich, dass ein sicherer Flugzustand gewährleistet werden könnte. Darüber hinaus wird dieses Problem insbesondere bei kleinen Luftfahrzeugen noch verstärkt, da diese aufgrund ihrer Größe und somit beschränkten Gewichtsbelastbarkeit nur im Vergleich zu großen Flugzeugen schwache Datenverarbeitungsanlagen mitführen können, so dass die Berechnungszeiten erheblich vergrößert sind.
  • Aus Diel et al., Epipolar Constraints for Vision-Aided Inertial Navigation, Proceedings of the IEEE Workshop on Motion and Video Computing, 2005 ist bekannt, dass eine Inertialsensorik, die erwartungsgemäß eine Drift aufweist, mit Hilfe von aus aufgenommenen Bilddaten extrahierten Objekten für zumindest eine gewisse Zeit korrigiert werden können.
  • Ein ähnliches Verfahren ist auch aus der US 2009/0248304 A1 bekannt, bei dem eine Inertialsensorik mit Hilfe von aufgenommenen Bilddaten hinsichtlich ihrer Genauigkeit korrigiert werden kann.
  • Im Hinblick darauf ist es Aufgabe der vorliegenden Erfindung ein verbessertes Verfahren zur Positionsermittlung bei der Koppelnavigation anzugeben, das auch über einen längeren Zeitraum hinreichend genaue Positionsdaten liefert und darüber hinaus auch bei kleinen Luftfahrzeugen, insbesondere bei unbemannten Luftfahrzeugen angewendet werden können.
  • Die Aufgabe wird erfindungsgemäß mit dem eingangs genannten Verfahren zum Ermitteln einer Positionsinformation gelöst mit
    • a) Aufnehmen von mindestens einer aus einer Mehrzahl von Bildern einer Fahrzeugumgebung bestehenden Bildsequenz durch ein auf dem Fahrzeug angeordnetes Kamerasystem,
    • b) Ermitteln von ersten Merkmalsbewegungen zwischen jeweils zeitlich aufeinanderfolgenden Bildern der Bildsequenz von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen durch eine erste Recheneinheit einer Bildverarbeitungseinheit,
    • c) Ermitteln einer relativen Eigenbewegungsinformation des Kamerasystems in Abhängigkeit von zweiten Merkmalsbewegungen von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen zwischen zeitlich aufeinanderfolgenden Bildern der Bildsequenz durch eine zweite Recheneinheit der Bildverarbeitungseinheit, und
    • d) Ermitteln der ersten Merkmalsbewegungen zwischen zwei aufeinanderfolgenden Bildern mit einem ersten zeitlichen Abstand zueinander und Ermitteln der zweiten Merkmalsbewegungen zwischen zwei aufeinanderfolgenden Bildern mit einem zweiten zeitlichen Abstand zueinander, wobei der erste zeitliche Abstand kleiner ist als der zweite zeitliche Abstand, und
    • e) Berechnen der relativen Bewegung des Fahrzeuges in Abhängigkeit von den ermittelten ersten Merkmalsbewegungen als ein erstes Odometrieverfahren und Berechnen der relativen Bewegung des Fahrzeugs in Abhängigkeit von den ermittelten relativen Eigenbewegungsinformationen des Kamerasystems als ein zweites Odometrieverfahren durch die Positionsermittlungseinheit, wobei die relative Bewegung des Fahrzeuges anhand der ersten Merkmalsbewegungen berechnet wird, bis eine relative Eigenbewegungsinformation des Kamerasystems ermittelt wurde.
  • Demnach wird ein verbessertes Verfahren zur Ermittlung einer Positionsinformation insbesondere bei kleinen mobilen Fahrzeugen angegeben, das auch bei Ausfall des absoluten Positionsgebers (beispielsweise Satellitennavigation) eine hinreichend genaue Positionsinformation liefert, ohne dass hierfür große und schwere Hardware notwendig ist. Die Erfindung schlägt somit vor, dass zunächst Bilder einer Bildsequenz mit Hilfe eines an dem Fahrzeug angeordneten Kamerasystems aufgenommen werden. Anschließend werden erste Merkmalsbewegungen von in den Bildern enthaltenen Bildmerkmalen ermittelt, und zwar aus Bildern der Bildsequenz, die zeitlich aufeinander folgen. So lassen sich aus zwei zeitlich aufeinanderfolgenden Bildern der Bildsequenz bestimmte charakteristische Merkmale der aufgenommenen Umgebung des Fahrzeuges ermitteln und deren Merkmalsbewegung, die sich aufgrund der Bewegung des Fahrzeuges in den Bilddaten ergibt, erfassen.
  • Diese ersten Merkmalsbewegungen lassen sich aufgrund ihrer einfachen Berechenbarkeit mit einer relativ hohen Frequenz berechnen, so dass sich zumindest für einige Sekunden eine hinreichend genaue relative Bewegung des Fahrzeuges ermitteln lässt, die dann zu einer hinreichend genauen Positionsinformation führt. Da sich jedoch bei derartigen Odometrieverfahren ein Fehler aufsummiert, führt auch dies unweigerlich nach einigen Sekunden zu ungenauen Ergebnissen, so dass ein sicherer Betriebszustand in kritischen Anwendungsfällen nicht mehr gewährleistet sein kann.
  • Hierfür wird nun weiterhin vorgeschlagen, dass eine relative Eigenbewegungsinformation des Kamerasystems in Abhängigkeit von zweiten Merkmalsbewegungen von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen zwischen zeitlich aufeinanderfolgenden Bildern der Bildsequenz ermittelt wird. Die Eigenbewegungsinformationen des Kamerasystems lassen dabei Rückschlüsse auf die relative Bewegung des Fahrzeuges im Raum zu, so dass hierdurch eine sehr genaue relative Bewegung des Fahrzeuges mit einer gegenüber dem ersten Schritt verringerten Fehlerhäufigkeit abgeleitet werden kann.
  • Anschließend wird die für die Ermittlung der Positionsinformation notwendige relative Bewegung des Fahrzeuges anhand der ermittelten ersten Merkmalsbewegungen als ein erstes Odometrieverfahren und der relativen Eigenbewegungsinformationen des Kamerasystems als ein zweites Odometrieverfahren berechnet, so dass sich über einen wesentlich längeren Zeitraum eine sehr genaue Positionsinformation auch ohne absoluten Positionsgeber ermitteln lässt. Durch das Zusammenspiel dieser beiden unterschiedlichen Odometrieverfahren wird dabei nicht nur signifikant die Genauigkeit der Koppelposition erhöht, sondern auch der Zeitraum, innerhalb dessen eine hinreichend genaue Positionsinformation für den sicheren Betriebszustand vorliegt, signifikant erhöht.
  • Vorteilhafterweise werden kontinuierlich durch eine auf dem Fahrzeug angeordnete Inertialsensorik relative Bewegungsdaten des Fahrzeuges bezüglich einer relativen Bewegung erfasst. Eine solche Inertialsensorik kann beispielsweise ein Beschleunigungssensor sein, der entsprechende Beschleunigungswerte bei einer relativen Bewegung des Fahrzeuges erfasst und diese in relative Bewegungsdaten überträgt. Die Berechnung der relativen Bewegung des Fahrzeuges in Schritt e) erfolgt dann weiterhin in Abhängigkeit dieser erfassten relativen Bewegungsdaten, so dass sich die Genauigkeit der Koppelnavigation erhöht.
  • So ist es beispielsweise denkbar, dass die Inertialsensorik mit einer sehr hohen Aktualisierungsrate entsprechende relative Bewegungsdaten generiert, die dann zur Positionsermittlung herangezogen werden. Da die Inertialsensorik jedoch gerade bei kleineren Fahrzeugen relativ klein sein muss, ist sie derart ungenau, dass bereits nach wenigen Sekunden kein hinreichend genaues Ergebnis mehr erzielbar ist. Hierfür wird vorgeschlagen, dass die Berechnung der relativen Bewegung weiterhin in Abhängigkeit der ermittelten ersten Merkmalsbewegungen durchgeführt wird, die jedoch eine geringere Aktualisierungsrate als die der Inertialsensorik aufweist. Somit kann von Zeit zu Zeit, also immer dann, wenn die Merkmalsbewegung ermittelt und eine entsprechende Aktualisierung durchgeführt werden kann, das Ergebnis zur Berechnung der relativen Bewegung des Fahrzeuges in seiner Genauigkeit erhöht werden. Fehler, die sich durch das Aufsummieren kleinerer Fehler in der Inertialsensorik ergeben, werden somit reduziert. Die Ermittlung der relativen Eigenbewegungsinformation weist demgegenüber eine noch geringere Aktualisierungsrate auf, wobei jedoch die Genauigkeit gegenüber der Merkmalsbewegung erhöht ist. Liegen Informationen über die relative Eigenbewegung des Kamerasystems vor, so können diese dann zusätzlich zu der Inertialsensorik und der ermittelten Merkmalsbewegung verwendet werden, um die relative Bewegung des Fahrzeuges zu berechnen und daraus dann schlussendlich die Positionsermittlung durchzuführen. Durch die Verknüpfung der verschiedenen Verfahren zur Ermittlung der relativen Bewegung in einer zeitlichen Abstaffelung ermöglicht es, dass trotz fehlender absoluter Positionsangabe eine Position auch über einen längeren Zeitraum aus der Koppelnavigation ermittelt werden kann, ohne dass es hierfür schwere und teure Hardware bedarf.
  • Vorteilhafterweise wird, sofern absolute Positionsdaten aus einem Satellitennavigationssystem ermittelbar sind, die absolute Positionsangabe beziehungsweise die absoluten Positionsdaten mit zur Berechnung der relativen Bewegung herangezogen, um so die Genauigkeit weiter zu erhöhen.
  • Wie bereits erwähnt, erfolgt die Ermittlung der relativen Eigenbewegungsposition des Kamerasystems mit einer geringeren Aktualisierungsrate als die Ermittlung der Merkmalsbewegungen. Denn insbesondere bei kleinen und unbemannten Luftfahrzeugen kann aufgrund des begrenzten Gewichtes keine schwere Ausrüstung verwendet werden, so dass die Berechnung der relativen Eigenbewegungsinformation des Kamerasystems wesentlich mehr Zeit beansprucht, als die Ermittlung der eigentlichen Merkmalsbewegungen. Daher wird die Ermittlung der ersten Merkmalsbewegungen zwischen zwei aufeinanderfolgenden Bildern mit einem ersten zeitlichen Abstand und die Ermittlung der zweiten Merkmalsbewegungen für die zwischen zwei aufeinanderfolgenden Bildern mit einem zweiten zeitlichen Abstand zueinander durchgeführt, wobei der erste zeitliche Abstand kleiner ist als der zweite zeitliche Abstand.
  • Somit wird nun die relative Bewegung des Fahrzeuges anhand der Merkmalsbewegung und/oder der relativen Bewegungsdaten der Inertialsensorik berechnet, bis eine relative Eigenbewegungsinformation des Kamerasystems ermittelt wurde.
  • Des Weiteren ist es ganz besonders vorteilhaft, wenn ein Multikamerasystem zur Aufnahme von Multikamerabildsequenzen an dem Fahrzeug angeordnet ist. Mit Hilfe eines Multikamerasystems lassen sich Stereobilddaten ermitteln, aus denen sich beispielsweise eine Tiefeninformation beziehungsweise räumliche Komponente ermitteln lässt. Dabei lassen sich Merkmalsbewegungen sowie Eigenbewegungsinformationen aus den jeweiligen Bildsequenzen einer Kamera des Multikamerasystems ermitteln und zur Berechnung des jeweiligen Korrekturwertes heranziehen.
  • Hierbei ist es nun ganz besonders vorteilhaft, wenn eine räumliche Information aus diesen Stereobildsequenzen ermittelt wird. Denn wurden in den Bildern unterschiedlichster Bildsequenzen, die von dem Multikamerasystem stammen, erkannt, so lässt sich aufgrund beispielsweise einer Verschiebung oder ähnlichem die räumliche Information ableiten, das heißt es kann beispielsweise ermittelt werden, wie weit das Objekt sich von dem Betrachter bzw. dem Kamerasystem befindet.
  • Unter Berücksichtigung dieser räumlichen Information der Bildmerkmale wird nun vorteilhafterweise die relative Bewegung des Fahrzeuges berechnet. Denn durch die räumliche Information werden die Informationen über Rotations- und Translationsbewegungen des Fahrzeuges um eine Dimension erweitert, so dass sich ein wesentlich genauere relative Bewegung des Fahrzeuges ermitteln lässt.
  • Die Aufgabe wird im Übrigen auch mit einem Computerprogramm mit Programmcodemitteln eingerichtet zur Durchführung des vorgenannten Verfahrens gelöst, wenn das Computerprogramm auf einer Datenverarbeitungsanlage abläuft.
  • Darüber hinaus wird die Aufgabe auch mit einem Positionsermittlungssystem zur Ermittlung einer Positionsinformation eines mobilen Fahrzeuges gelöst, wobei das Fahrzeug an die Inertialsensorik zur kontinuierlichen Erfassung von relativen Bewegungsdaten des Fahrzeuges aufweist, und wobei das Positionsermittlungssystem ein Kamerasystem, eine Bildverarbeitungseinheit mit einer ersten Recheneinheit und mindestens einer zweiten Recheneinheit und eine Positionsermittlungseinheit umfasst und damit zur Durchführung des vorstehenden Verfahrens eingerichtet ist.
  • Vorteilhafte Ausgestaltungen des Positionsermittlungssystems finden sich in den entsprechenden Unteransprüchen.
  • Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:
  • 1 – Blockdiagramm des erfindungsgemäßen Positionsermittlungssystems;
  • 2 – schematische Darstellung des Ablaufes des vorliegenden Verfahrens;
  • 3 – Veranschaulichung der Aktualisierungsraten.
  • 1 zeigt schematisch ein Positionsermittlungssystem 1, wie es beispielsweise in unbemannten Flugkörpern Anwendung finden kann. Das Positionsermittlungssystem 1 weist eine Positionsermittlungseinheit 2 auf, die beispielsweise mit Hilfe eines Satellitenortungssystems zum Ermitteln von absoluten Positionsdaten des Fahrzeuges ausgebildet ist. Um jedoch bei fehlender Satellitenverbindung trotzdem zumindest für einen gewissen Zeitraum Positionsangaben ermitteln zu können, ist die Positionsermittlungseinheit 2 mit einer Inertialsensorik 3 des Fahrzeuges verbunden, die relative Bewegungsdaten des Fahrzeuges erfasst. Somit kann die Positionsermittlungseinheit 2 zumindest für einem gewissen Zeitraum, ausgehend von der letzten bekannten Ausgangsposition des Fahrzeuges, Positionsinformationen anhand der relativen Bewegungsdaten der Inertialsensorik 3 ermitteln.
  • Des Weiteren weist das Positionsermittlungssystem 1 ein Kamerasystem 4 auf, das beispielsweise Mono- oder Stereobilddaten der Umgebung des Fahrzeuges aufnehmen kann. Die so aufgenommenen Bildsequenzen werden dann an eine Bildverarbeitungseinheit 5 weitergeleitet. Mittels einer ersten Recheneinheit 6 werden Merkmalsbewegungen zwischen jeweils zeitlich aufeinanderfolgenden Bildern der Bewegungssequenz von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen ermittelt. Dabei werden in den Bildern charakteristische Merkmale, wie beispielsweise signifikante Muster wie Kanten, Ecken oder starke Texturierungen erkannt und ihre jeweilige Bewegung im Vergleich zwischen zwei zeitlich aufeinanderfolgenden Bildern ermittelt.
  • Die Bildverarbeitungseinheit 5 weist weiterhin eine zweite Recheneinheit 7 auf, mit der aus erkannten Merkmalsbewegungen eine relative Eigenbewegungsinformation des Kamerasystems 4 ermittelt werden können. Die relative Eigenbewegungsinformation des Kamerasystems 4 ist dabei im Kern die Bewegung des Fahrzeuges im Raum zwischen dem Zeitpunkt des ersten Bildes der Bildsequenz und dem Zeitpunkt des zweiten Bildes der Bildsequenz, anhand derer die Merkmalsbewegung ermittelt wurde.
  • Die Positionsermittlungseinheit 2 ist nun derart eingerichtet, dass sie die relativen Bewegungsdaten aus der Inertialsensorik 3, die ermittelten Merkmalsbewegungen der ersten Recheneinheit 6 und der relativen Eigenbewegungsinformationen der zweiten Recheneinheit 7 derart miteinander korreliert, dass sich eine hochgenaue relative Bewegung des Fahrzeuges ergibt, auf Grund dessen dann die Positionsermittlungseinheit 2 die Positionsinformation ermitteln kann (sogenannte Koppelnavigation).
  • 2 zeigt noch einmal schematisch den Ablauf des erfindungsgemäßen Verfahrens. Ein Kamerasystem 4 nimmt hierbei eine Bildsequenz 21, die aus einer Mehrzahl von Bildern 22 besteht, auf. Aus zwei Bildern 22 einer solchen Bildsequenz 21 werden dann jeweils Merkmale ermittelt, aus denen sich dann eine Merkmalsbewegung 23 schnell ermitteln lässt. Des Weiteren können aus diesen Merkmalsbewegungen 23 relative Eigenbewegungsinformationen 24 ermittelt werden, welche die relative Eigenbewegung des Kamerasystems 4 in den drei rotatorischen und den drei translatorischen Bewegungsgrade vom Zeitraum des ersten Bildes zum Zeitraum des zweiten Bildes angibt.
  • Eine Inertialsensorik 3 ermittelt kontinuierlich relative Bewegungsdaten, bspw. Beschleunigungswerte. Aus diesen Daten werden in Schritt 25 relative Bewegungsdaten ermittelt, die dann in Schritt 26 zusammen mit den Merkmalsbewegungen 23 und den relativen Eigenbewegungsinformationen 24 zu einer relativen Bewegung des Fahrzeuges verrechnet werden. Eine solche Berechnung kann bspw. durch Korrelieren der genannten Daten erfolgen.
  • Anschließend wird im Schritt 27 die Eigenposition sowie die Lage des Fahrzeuges als Positionsinformation anhand einer bekannten Ausgangsposition und der relativen Bewegung des Fahrzeuges ermittelt.
  • Bevorzugterweise können, sofern es sich bei dem Kamerasystem 4 um ein Multikamerasystem handelt, Entfernungs- beziehungsweise Tiefeninformationen in einem Modul 28 ermittelt werden, die dann zusätzlich zu den Merkmalsbewegungen 23 und der relativen Eigenbewegungsinformation 24 zur Berechnung der relativen Bewegung im Modul 26 herangezogen werden.
  • 3 zeigt qualitativ, welche Komponenten hohe beziehungsweise niedrige Aktualisierungsraten aufweisen. Der untere Balken 31 zeigt schematisch die Aktualisierungsrate, wie sie von der Inertialsensorik geliefert wird. Dabei ist zu erkennen, dass die Inertialsensorik eine sehr hohe Aktualisierungsrate aufweist, so dass die Aktualisierung der Position, das heißt Eigenposition oder Lage in kurzen Zeitabständen durchgeführt werden kann, da die Sensorik in sehr kurzen Zeitabständen die entsprechenden Informationen liefert. Typischerweise hat die Inertialsensorik eine Updaterate von ca. 100 Hz.
  • Der Balken 32 zeigt schematisch die Aktualisierungsrate der Merkmalsbewegungen durch die Bildverarbeitungseinheit. Zu erkennen ist, dass hier eine deutlich kleinere Aktualisierungsrate gegenüber der Inertialsensorik vorhanden ist, die typischerweise bei ca. 30 Hz liegt.
  • Der darüber angeordnete Balken 33 zeigt schematisch die Aktualisierungsrate für die Ermittlung der relativen Eigenbewegungsinformation des Kamerasystems. Aufgrund der rechenintensiven Berechnungen, die für die Ermittlung der relativen Eigenbewegungsposition aus den Merkmalsbewegungen notwendig sind, ergibt sich eine gegenüber der Merkmalsbewegung verringerte Aktualisierungsrate, die beispielsweise bei 10 Hz liegen kann. Zwar liefert die relative Eigenbewegungsinformation über die Zeit ein deutlich genaueres Ergebnis als die Merkmalsbewegung oder die Inertialsensorik, jedoch ist die Aktualisierungsrate zu gering, um für die hinreichend genaue Positionsermittlung herangezogen werden zu können. Daher wird auf die wesentlich schnelleren, aber in Summe ungenaueres Verfahren zwischenzeitlich zurückgegriffen.
  • Der letzte Balken zeigt schließlich schematisch die Aktualisierungsrate eines Satellitennavigationssystems, das mit einer Aktualisierungsrate von typischerweise 1 bis 10 Hz sehr langsam ist.
  • Die Balken 32 und 33, die sowohl die Merkmalsbewegung als auch die relative Eigenbewegungsinformation darstellen, gelten im Übrigen auch für die Stereobilder, wobei eine weitere Tiefeninformation als weitere Basis für die Berechnung hinzukommt. Die Systeme arbeiten dabei parallel, derart, dass bei Ausfall eines der Systeme auf die nächste Stufe zurückgegriffen werden kann. Liegen beispielsweise keine Stereo- beziehungsweise Tiefeninformationen zu bestimmten Merkmalen vor, so kann das Verfahren ohne weiteres auch mit hinreichender Genauigkeit im Mono-Betriebszustand durchgeführt werden.

Claims (9)

  1. Verfahren zum Ermitteln einer Positionsinformation eines mobilen Fahrzeuges, bei dem die Positionsinformation in Abhängigkeit von einer relativen Bewegung des Fahrzeuges und einer bekannten Ausgangsposition des Fahrzeuges kontinuierlich durch eine Positionsermittlungseinheit (2) ermittelt wird, mit a) Aufnehmen von mindestens einer aus einer Mehrzahl von Bildern (22) einer Fahrzeugumgebung bestehenden Bildsequenz (21) durch ein auf dem Fahrzeug angeordnetes Kamerasystem (4), b) Ermitteln von ersten Merkmalsbewegungen (23) zwischen jeweils zeitlich aufeinanderfolgenden Bildern (22) der Bildsequenz (21) von in den aufgenommenen Bildern (22) der Bildsequenz (21) erkannten Bildmerkmalen durch eine erste Recheneinheit (6) einer Bildverarbeitungseinheit (5), c) Ermitteln von relativen Eigenbewegungsinformationen (24) des Kamerasystems (4) in Abhängigkeit von zweiten Merkmalsbewegungen von in den aufgenommenen Bildern der Bildsequenz erkannten Bildmerkmalen zwischen zeitlich aufeinanderfolgenden Bildern der Bildsequenz durch eine zweite Recheneinheit (7) der Bildverarbeitungseinheit (5), und d) Ermitteln der ersten Merkmalsbewegungen zwischen zwei aufeinanderfolgenden Bildern mit einem ersten zeitlichen Abstand zueinander und Ermitteln der zweiten Merkmalsbewegungen zwischen zwei aufeinanderfolgenden Bildern mit einem zweiten zeitlichen Abstand zueinander, wobei der erste zeitliche Abstand kleiner ist als der zweite zeitliche Abstand, und e) Berechnen der relativen Bewegung des Fahrzeuges in Abhängigkeit von den ermittelten ersten Merkmalsbewegungen (23) als ein erstes Odometrieverfahren und Berechnen der relativen Bewegung des Fahrzeugs in Abhängigkeit von den ermittelten relativen Eigenbewegungsinformationen (24) des Kamerasystems (4) als ein zweites Odometrieverfahren durch die Positionsermittlungseinheit (2), wobei die relative Bewegung des Fahrzeuges anhand der ersten Merkmalsbewegungen berechnet wird, bis eine relative Eigenbewegungsinformation des Kamerasystems ermittelt wurde.
  2. Verfahren nach Anspruch 1, gekennzeichnet durch Erfassen von relativen Bewegungsdaten bezüglich einer relativen Bewegung des Fahrzeuges durch eine auf dem Fahrzeug angeordneten Inertialsensorik (3) und Berechnen der relativen Bewegung des Fahrzeuges in Schritt e) weiterhin in Abhängigkeit von den erfassten relativen Bewegungsdaten.
  3. Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch Ermitteln von absoluten Positionsdaten des Fahrzeuges durch eine auf dem Fahrzeug angeordneten Satellitennavigationseinheit und Berechnen der relativen Bewegung des Fahrzeuges in Schritt e) weiterhin in Abhängigkeit von den absoluten Positionsdaten.
  4. Verfahren nach einem der Ansprüche 2 oder 3, gekennzeichnet durch Berechnen der relativen Bewegung des Fahrzeuges in Schritt e) durch Korrelieren der erfassten relativen Bewegungsdaten, ermittelten Merkmalsbewegungen und der relativen Eigenbewegungsinformationen durch die Positionsermittlungseinheit.
  5. Verfahren nach einem der vorherigen Ansprüche, gekennzeichnet durch Aufnehmen von mindestens einer eine Mehrzahl von Bildsequenzen umfassenden Multikamerabildsequenz durch ein auf dem Fahrzeug angeordnetes Multikamerasystem in Schritt a).
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass in den Schritten b) und/oder Schritt c) die Bildsequenzen der Multikamerabildsequenz verwendet werden.
  7. Verfahren nach einem der Ansprüche 5 bis 6, gekennzeichnet durch Ermitteln einer räumlichen Information bezüglich in Bildern mindestens zweier Bildsequenzen erkannten Bildmerkmalen und Berechnen der relativen Bewegung des Fahrzeuges in Schritt e) weiterhin unter Berücksichtigung der ermittelten räumlichen Information der jeweiligen Bildmerkmale.
  8. Computerprogramm mit Programmcodemitteln, insbesondere auf einem maschinenlesbaren Träger gespeichert, eingerichtet zur Durchführung des vorstehenden Verfahrens, wenn das Computerprogramm auf einer Datenverarbeitungsanlage abläuft.
  9. Positionsermittlungssystem zur Ermittlung einer Positionsinformation eines mobilen Fahrzeuges, wobei das Fahrzeug eine Inertialsensorik zur kontinuierlichen Erfassung der relativen Bewegungsdaten des Fahrzeuges aufweist, und wobei das Positionsermittlungssystem ein Kamerasystem, eine Bildverarbeitungseinheit mit einer erste Recheneinheit und mindestens einer zweiten Recheneinheit und eine Positionsermittlungseinheit umfasst und damit zur Durchführung des Verfahrens gemäß der vorstehenden Ansprüche 1 bis 7 eingerichtet ist.
DE102011054379A 2011-10-11 2011-10-11 Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation Expired - Fee Related DE102011054379B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102011054379A DE102011054379B4 (de) 2011-10-11 2011-10-11 Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011054379A DE102011054379B4 (de) 2011-10-11 2011-10-11 Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation

Publications (2)

Publication Number Publication Date
DE102011054379A1 DE102011054379A1 (de) 2013-04-11
DE102011054379B4 true DE102011054379B4 (de) 2013-11-07

Family

ID=47908643

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011054379A Expired - Fee Related DE102011054379B4 (de) 2011-10-11 2011-10-11 Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation

Country Status (1)

Country Link
DE (1) DE102011054379B4 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202014104937U1 (de) 2014-10-16 2014-10-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Navigationssystem für Flugobjekte
DE102016106978A1 (de) * 2016-04-15 2017-10-19 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102021208144A1 (de) 2021-07-28 2023-02-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Eigenbewegungsschätzung und Positionsbestimmung eines Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248304A1 (en) * 2008-03-28 2009-10-01 Regents Of The University Of Minnesota Vision-aided inertial navigation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248304A1 (en) * 2008-03-28 2009-10-01 Regents Of The University Of Minnesota Vision-aided inertial navigation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Diel et al, Epipolar Constraints for Vision-Aided Inertial Navigation, Proceedings of the IEEE Workshop on Motion and Video Computing, 2005 *

Also Published As

Publication number Publication date
DE102011054379A1 (de) 2013-04-11

Similar Documents

Publication Publication Date Title
EP1870669B1 (de) Verfahren zur Überprüfung einer inertialen Messeinheit von Fahrzeugen, insbesondere von Luftfahrzeugen, im stationären Zustand
DE602005002460T2 (de) Einrichtung zum überwachen der integrität von durch ein hybrides ins/gnss-system abgelieferten informationen
DE69703893T2 (de) Verfahren und gerät zur erdumfassenden positionsbestimmung mittels gps/trägheitsnavigation mit verarbeitung von integritätsverlust
EP3538843B1 (de) Schätzen einer eigenposition
WO2013127757A1 (de) Verfahren und vorrichtung zur ermittlung der geschwindigkeit und/oder position eines fahrzeuges
WO2015075093A1 (de) Verfahren, fusionsfilter und system zur fusion von sensorsignalen mit unterschiedlichen zeitlichen signalausgabeverzügen zu einem fusionsdatensatz
EP3312633A1 (de) Verfahren und system zum ermitteln einer position einer mobilen vorrichtung
DE102013015892B4 (de) Positionsbestimmung eines Fahrzeugs auf oder über einer Planetenoberfläche
DE102012216211A1 (de) Verfahren zum Auswählen eines Satelliten
DE102014211175A1 (de) Verfahren und System zur Initialisierung eines Sensorfusionssystems
DE102014211176A1 (de) Verfahren und System zur Korrektur von Messdaten und/oder Navigationsdaten eines Sensorbasissystems
DE102015008879A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102012224104A1 (de) Verfahren zum Bereitstellen eines GNSS-Signals
DE102018221864A1 (de) Verfahren und System zum Bestimmen einer Trajektorie eines Fahrzeugs
DE102011054379B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Positionsinformation
EP3155380A1 (de) Verfahren und system zur echtzeitfähigen bereitstellung von dynamischen fehlerwerten dynamischer messwerte
DE102014211172A1 (de) Verfahren und System zur Korrektur von Ausgabedaten eines Sensorbasissystems
DE102016223999A1 (de) Bestimmen einer Referenztrajektorie mit einem Posen-Graphen
EP4226230A1 (de) Zustandsbestimmung von objekten in einem objektverbund
DE102021204372A1 (de) Orientierungsbasierte Positionsermittlung von Schienenfahrzeugen
DE102019208872A1 (de) Verfahren zur Fehlerbewertung bei einer Positionsbestimmung
EP3295126B1 (de) Verfahren zum bestimmen von zuständen eines systems mittels eines schätzfilters
DE102018221178A1 (de) Lokalisierungssystem
DE102018221563A1 (de) Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
DE102017121950A1 (de) Verfahren zum Schätzen eines Zustands einer mobilen Plattform

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20140208

R082 Change of representative

Representative=s name: GRAMM, LINS & PARTNER PATENT- UND RECHTSANWAEL, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee