DE102010033479A1 - Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür - Google Patents

Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür Download PDF

Info

Publication number
DE102010033479A1
DE102010033479A1 DE102010033479A DE102010033479A DE102010033479A1 DE 102010033479 A1 DE102010033479 A1 DE 102010033479A1 DE 102010033479 A DE102010033479 A DE 102010033479A DE 102010033479 A DE102010033479 A DE 102010033479A DE 102010033479 A1 DE102010033479 A1 DE 102010033479A1
Authority
DE
Germany
Prior art keywords
environment
data
mobile object
existing
detection sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102010033479A
Other languages
English (en)
Inventor
Prof. Dr.-Ing. Wahl Friedrich M.
René Iser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TECH UNI CAROLO WILHELMINA ZU BRAUNSCHWEIG
Technische Universitaet Braunschweig
Original Assignee
TECH UNI CAROLO WILHELMINA ZU BRAUNSCHWEIG
Technische Universitaet Braunschweig
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TECH UNI CAROLO WILHELMINA ZU BRAUNSCHWEIG, Technische Universitaet Braunschweig filed Critical TECH UNI CAROLO WILHELMINA ZU BRAUNSCHWEIG
Priority to DE102010033479A priority Critical patent/DE102010033479A1/de
Publication of DE102010033479A1 publication Critical patent/DE102010033479A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Lokalisierung eines mobilen Objekts (1) in einer Umgebung (2) mit den Merkmalen: a) Erfassen einer Mehrzahl von aktuellen Beobachtungsdaten in verschiedenen Erfassungsrichtungen (6, 7, 8) von wenigstens einem an dem mobilen Objekt (1) angeordneten, für eine richtungsbezogene Signalerfassung eingerichteten Erfassungssensor (4), und Speichern der erfassten aktuellen Beobachtungsdaten zusammen mit der jeweiligen Erfassungsrichtung (6, 7, 8), b) Vergleichen jedes erfassten aktuellen Beobachtungsdatums mit vorhandenen Beobachtungsdaten (30) aus vorhandenen Umgebungsmodelldaten, wobei die vorhandenen Umgebungsmodelldaten für mittels des Erfassungssensors (4) erfassbare charakteristische Elemente der Umgebung (2) jeweils einander zugeordnete vorhandene Beobachtungsdaten und vorhandene Positionsdaten aufweisen, wobei die vorhandenen Beobachtungsdaten die reale Umgebung, erfasst durch den Erfassungssensor, modellieren und die vorhandenen Positionsdaten die Position des jeweiligen charakteristischen Elements in der Umgebung (2) angeben, c) Zuordnen desjenigen Datensatzes (32) der vorhandenen Umgebungsmodelldaten zum jeweiligen erfassten aktuellen Beobachtungsdatum, bei dem die größte Wahrscheinlichkeit einer Übereinstimmung zwischen den vorhandenen Beobachtungsdaten (30) und dem jeweiligen erfassten aktuellen Beobachtungsdatum vorliegt, d) Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts (1) bezüglich der Umgebung (2) aus den vorhandenen Positionsinformationen der im Schritt c) den erfassten aktuellen Beobachtungsdaten jeweils zugeordneten vorhandenen Umgebungsmodelldaten und den jeweiligen gespeicherten Erfassungsrichtungen (6, 7, 8). Die Erfindung betrifft ferner ein mobiles Objekt mit einer elektronischen Einrichtung, die zur Ausführung eines solchen Verfahrens eingerichtet ist. Die Erfindung ermöglicht insbesondere die Lokalisierung von mobilen Robotern in deren Arbeitsumgebungen.

Description

  • Die Erfindung betrifft ein Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung gemäß dem Anspruch 1. Die Erfindung betrifft ferner ein mobiles Objekt mit einer elektronischen Einrichtung, die zur Ausführung eines solchen Verfahrens eingerichtet ist, gemäß dem Anspruch 8.
  • Die Erfindung ermöglicht insbesondere die Lokalisierung von mobilen Robotern oder Kraftfahrzeugen in deren Arbeitsumgebungen. Die Erfindung kann insbesondere in Fahrerassistenzsystemen eingesetzt werden.
  • Die Lokalisierungsaufgabe wurde bei bisherigen Verfahren gelöst, indem aus mehreren bekannten Kameraposen durch Triangulation von Lichtstrahlen Tiefendaten extrahiert wurden. Eine andere Möglichkeit zur Posenbestimmung von mobilen Robotern besteht darin, aus Kamerabildern eine Menge von künstlichen Landmarken zu extrahieren, deren Positionen bekannt sind. Vorgeschlagen wurden auch sogenannte „time of flight” Systeme.
  • Die bisher vorgeschlagenen Lösungen für die Lokalisierungsaufgabe haben verschiedene Nachteile. Triangulationsverfahren sind mathematisch relativ aufwendig, was in der Praxis zu hohen Rechenzeiten führt. Bei Lokalisierungsalgorithmen, die Landmarken erfordern, muss die Umgebung der Roboter mit den künstlichen Landmarken versehen sein, das heißt die Umgebung muss stets künstlich verändert werden. Dies ist ebenfalls zeit- und kostenaufwendig und, je nach Art der Umgebung, unter Umständen technisch schwer realisierbar. Die „time of flight” Systeme sind derzeit sehr teuer.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein einfach und kostengünstig zu realisierendes Verfahren zu Lokalisierung eines mobilen Objekts in einer Umgebung anzugeben, sowie ein mobiles Objekt dafür.
  • Diese Aufgabe wird durch die in den Ansprüchen 1 und 8 angegebene Erfindung gelöst. Die Unteransprüche geben vorteilhafte Ausgestaltungen der Erfindung an.
  • Die Erfindung ermöglicht ein Selbstlokalisieren eines mobilen Objekts in einer Umgebung, die gegebenenfalls sogar autark in dem mobilen Objekt erfolgen kann, auf der Basis eines hybriden Umgebungsmodells, das in Form von vorhandenen Umgebungsmodelldaten vorhandene Beobachtungsdaten mit vorhandenen Positionsdaten verknüpft. Die vorhandenen Beobachtungsdaten modellieren dabei die reale Umgebung mittels bei der Erstellung der Umgebungsmodelldaten durch den Erfassungssensor erzeugter aktueller Beobachtungsdaten, die eine Identifikation bestimmter charakteristischer Elemente der Umgebung erlauben. Die für die Lokalisierung von dem mobilen Objekt erfassten aktuellen Beobachtungsdaten werden dann mit den vorhandenen Beobachtungsdaten „gematcht”, d. h. abgeglichen. Aus den mit den gematchten vorhandene Beobachtungsdaten verknüpften vorhandenen Positionsdaten kann dann unter zusätzlicher Heranziehung der jeweiligen Erfassungsrichtungen bei der Erfassung der aktuellen Beobachtungsdaten die Pose des mobilen Objekts, je nach Bedarf, teilweise oder vollständig bestimmt werden kann. Als Pose sei dabei die in der Robotik übliche Definition verwendet, nach der die Pose die Kombination von Position und Orientierung eines Objekts ist (entsprechend DIN 8373). Durch Erfassen einer Mehrzahl von aktuellen Beobachtungsdaten in verschiedenen Erfassungsrichtungen von demselben am mobilen Objekt angeordneten Erfassungssensor oder ggf. mehrerer Erfassungssensoren aus kann sozusagen ein inverses Stereosehen ermöglicht werden, das eine eindeutige und nur wenig rechenaufwendige Positions- und/oder Orientierungsbestimmung des mobilen Objekts erlaubt.
  • Die Erfassung der aktuellen Beobachtungsdaten kann mittels eines einzigen an dem mobilen Objekt angeordneten Erfassungssensors oder durch mehrere an dem mobilen Objekt angeordnete Erfassungssensoren erfolgen. Der Erfassungssensor bzw. die Erfassungssensoren können fest oder beweglich, d. h. willkürlich verschwenkbar, an dem mobilen Objekt angeordnet sein. Vorteilhaft können als Erfassungssensor solche Sensoren eingesetzt werden, die eine Erfassung der Umgebung in verschiedenen Erfassungsrichtungen auch ohne Verschwenken erlauben, wie z. B. eine Kamera. In diesem Fall erfolgt die Erfassung der realen Umgebung in den verschiedenen Erfassungsrichtungen durch sog. Sehstrahlen der Kamera, d. h. Lichtstrahlen aus der Umgebung, die aus verschiedenen Richtungen auf die Kamera treffen, die den umgekehrten Erfassungsrichtungen entsprechen.
  • Die aktuellen Beobachtungsdaten können in einem oder in mehreren Erfassungsschritten, z. B. nacheinander, aufgenommen werden. Im Falle einer Kamera als Erfassungssensor kann bereits ein von der Kamera aufgenommenes Bild die erforderlichen aktuellen Beobachtungsdaten in den verschiedenen Erfassungsrichtungen beinhalten.
  • Die Erfindung hat den Vorteil, dass mobile Objekte, zum Beispiel mobile Roboter, in deren Arbeitsumgebung mit geringem Aufwand lokalisiert werden können. Es ist keine besondere Präparation der Umgebung erforderlich, insbesondere kann auf künstliche Landmarken oder auf eine aufwendige Instrumentierung verzichtet werden. Ein weiterer Vorteil ist, dass der Arbeitsraum des mobilen Objekts nicht durch künstliche Gegenstände, das heißt Landmarken, verkleinert wird. Das Verfahren erlaubt somit eine sehr effiziente Lokalisierung des mobilen Objekts.
  • Die eigentliche Selbstlokalisierung des mobilen Objekts in der Umgebung kann durch Ausführung des Verfahrens autark in dem mobilen Objekt erfolgen. Alternativ kann ein Teil der Verfahrensschritte oder, mit Ausnahme der Erfassung der aktuellen Beobachtungsdaten, auch alle übrigen Verfahrensschritte an einer entfernt angeordneten Rechnerstation ausgeführt werden. Entsprechend können die vorhandenen Umgebungsmodelldaten in dem mobilen Objekt oder in der entfernt angeordneten Rechnerstation angeordnet sein. Das mobile Objekt kann mit der entfernt angeordneten Rechnerstation beispielsweise über eine Funk-Datenübertragungsstrecke in Verbindung stehen.
  • Die vorhandenen Umgebungsmodelldaten beinhalten damit neben den vorhandenen Beobachtungsdaten noch Tiefendaten in Form der Positionsdaten, die mit den vorhandenen Beobachtungsdaten verknüpft sind. Die Tiefendaten können beispielsweise als Abstandswert zu definierten Positionen in der Umgebung oder direkt als Koordinaten eines die Umgebung überspannenden Koordinatensystems ausgestaltet sein. Die Koordinaten geben dann die Position des jeweiligen charakteristischen Elements der Umgebung an, für das die zugeordneten vorhandenen Beobachtungsdaten gespeichert sind. Die vorhandenen Beobachtungsdaten können zum Beispiel mit einer Kamera erfasste Daten sein, zum Beispiel in Form von Farb- oder Grauwerten eines bestimmten Umgebungsausschnitts, oder daraus z. B. durch Ableitung oder Gradientenbildung bestimmte Werte.
  • Das mobile Objekt kann zum Beispiel ein in einer Arbeitsumgebung befindlicher mobiler Roboter sein, z. B. ein fahrerloses Transportsystem. Das mobile Objekt kann z. B. auch ein Kraftfahrzeug für den Straßenverkehr sein. Das mobile Objekt kann auch eine Person sein, die eine Einheit aus dem Erfassungssensor und einer damit verbundenen elektronischen Auswerteeinrichtung in einer definierten Position zum Körper trägt.
  • Das erfindungsgemäße Verfahren eignet sich sowohl für die zweidimensionale Lokalisierung, das heißt der Lokalisierung des mobilen Objekts in einer Ebene, als auch zur dreidimensionalen Lokalisierung.
  • Der Erfassungssensor ist vorteilhaft verschwenkbar, insbesondere in alle Koordinatenrichtungen, an dem mobilen Objekt angebracht. Der Erfassungssensor kann auch fest an dem mobilen Objekt angeordnet sein, das heißt nicht verschwenkbar. In diesem Fall ist es vorteilhaft, den Erfassungssensor mit einem umfassenden Erfassungsbereich, zum Beispiel wenigstens 180° in Fahrtrichtung eines mobilen Objekts, auszugestalten. Hierdurch kann ein möglichst großer Winkel zwischen den Sehstrahlen ermöglicht werden, wodurch eine genaue Lokalisierung möglich wird. Der Erfassungssensor kann hierzu zum Beispiel eine Matrix von lichtempfindlichen elektronischen Bauteilen oder eine Kamera mit Weitwinkelobjektiv aufweisen. Wie erkennbar ist, können auch mehrere Erfassungssensoren vorgesehen sein, z. B. mehrere in verschiedenen Erfassungsrichtungen an dem mobilen Objekt fest angebrachte Erfassungssensoren. Vorteilhaft ist der Erfassungssensor bezüglich des mobilen Objekts justiert und kalibriert, so dass die Erfassungsrichtung einen eindeutigen Bezug zur Orientierung des mobilen Objekts hat.
  • Als mittels des Erfassungssensors erfassbare charakteristische Elemente der Umgebung müssen nicht zwangsläufig nur markante Bildpunkte (sogenannte Features) extrahiert werden, sondern auch weniger markante Bildpunkte können verwendet werden. Insgesamt können die gesamten Daten verwendet werden, was einen erheblichen Informationsgewinn beinhaltet.
  • Die Erfindung kann beispielsweise für die Lokalisierung mobiler Roboter in der industriellen Fertigung oder beim automatisierten Material- und Warentransport innerhalb von Fabrikhallen oder zur Lokalisierung von Kraftfahrzeugen im Kontext von Fahrerassistenzsystemen verwendet werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung werden wenigstens drei aktuelle Beobachtungsdaten erfasst und hieraus die Position und/oder Orientierung des mobilen Objekts in der Umgebung bestimmt. Die Erfassung von wenigstens drei aktuellen Beobachtungsdaten in drei unterschiedlichen Erfassungsrichtungen erlaubt eine eindeutige Posenbestimmung. Mit weniger als drei aktuellen Beobachtungsdaten kann jedoch bereits ein Teil der Pose des mobilen Objekts bestimmt werden, wie zum Beispiel die Position des mobilen Objekts auf einem Kreis.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung erfolgt die Bestimmung der Pose des mobilen Objekts durch inverses Stereosehen. Dies kann zum Beispiel durch Ermittlung des Schnittpunkts dreier Kreise, auf denen jeweils zwei der zugeordneten vorhandenen Beobachtungsdaten liegen, bestimmt werden. Hierbei kann der Radius der Kreise aus dem relativen Winkel der Erfassungsrichtungen zueinander und der Distanz zwischen den zugeordneten vorhandenen Beobachtungsdaten bestimmt werden, die aufgrund der vorhandenen Positionsdaten ermittelt werden kann.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist der Erfassungssensor verschwenkbar an dem mobilen Objekt angeordnet. Der Erfassungssensor wird durch automatische Steuerung in die unterschiedlichen Erfassungsrichtungen, die zur Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts bezüglich der Umgebung erforderlich sind, verschwenkt. Dies ermöglicht eine einfache und selbstständige Selbstlokalisierung des mobilen Objekts in der Umgebung, die autark oder durch eine externe Fernsteuerung erfolgen kann.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung wird zunächst, das heißt vor der Lokalisierung eines mobilen Objekts, die vorhandenen Umgebungsmodelldaten erstellt. Hierfür bewegt sich wenigstens ein mobiles Objekt in vorgegebene Posen und/oder entlang eines vorgegebenen Wegs in der Umgebung. Mit dem Erfassungssensor und einem an dem mobilen Objekt angeordneten Hilfselement, das die Bestimmung von räumlichen Tiefendaten ermöglicht, werden die vorhandenen Beobachtungsdaten und die vorhandenen Positionsdaten für mittels des Erfassungssensors erfassbare charakteristische Elemente der Umgebung erfasst. Dies hat den Vorteil, dass mit einem einfach ausführbaren „Einlernvorgang” unter Verwendung des ohnehin vorhandenen mobilen Objekts auf kostengünstige und schnelle Weise die vorhandenen Umgebungsmodelldaten erzeugt werden kann. Hierfür sind insbesondere keine zusätzlichen, teuren Geräte erforderlich. Die Umgebungsmodelldaten müssen hierbei nur ein einziges Mal für eine bestimmte Umgebung erzeugt werden und können anschließend von einer Mehrzahl mobiler Objekte für deren Selbstlokalisierung verwendet werden.
  • Hierbei sind der Erfassungssensor und das Hilfselement auf dieselbe Stelle beziehungsweise auf den denselben Bereich der Umgebung ausgerichtet. Der Erfassungssensor erzeugt dabei die vorhandenen Beobachtungsdaten. Mit dem Hilfselement wird eine Unterstützung für die Erzeugung der korrespondierenden Positionsdaten gegeben.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung werden die Positionsdaten des jeweiligen charakteristischen Elements der Umgebung aus den Tiefendaten, der jeweiligen Erfassungsrichtung des Erfassungssensors und der jeweiligen Position des mobilen Objekts in der Umgebung bestimmt, gegebenenfalls unter Berücksichtigung der geometrischen Beziehungen zwischen den Anbringungspositionen des Erfassungssensors und des Hilfselements an dem mobilen Objekt. Abhängig von den geometrischen Beziehungen werden die zwischen dem Erfassungssensor und dem Hilfselement vorhandenen Transformationen berücksichtigt.
  • Der Erfassungssensor kann unterschiedlich realisiert sein und insbesondere zur Erfassung unterschiedlicher physikalischer Größen ausgebildet sein.
  • Grundsätzlich können alle physikalischen Größen erfasst werden, die einer richtungsbezogenen Signalerfassung zugänglich sind, wie zum Beispiel optische, akustische und thermische Signale. So kann der Erfassungssensor beispielsweise einen Ultraschallabstandssensor oder eine Radarantenne umfassen. Vorteilhaft ist auch die Ausbildung des Umgebungssensors in Form einer Kamera, wobei der Umgebungssensor als Farb- oder schwarz/weiß Kamera oder als Thermographiekamera ausgebildet sein kann. Vorteilhaft ist es auch, den Erfassungssensor als Kombination verschiedener Einzelsensoren, wie zum Beispiel einer schwarz/weiß Kamera mit Ultraschallabstandssensor, auszubilden. Die Verwendung einer Kamera hat den Vorteil, dass die zuvor erwähnten Sehstrahlen softwaregesteuert aus dem Kamerabild abgeleitet werden können, so dass für die Erfassung der realen Umgebung in verschiedenen Erfassungsrichtungen kein Verschwenken notwendig ist. Hierdurch kann der Aufwand für die erforderlichen mechanischen Komponenten gering gehalten werden.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist das Hilfselement ein Markierungssender. Der Markierungssender kann z. B. ein Lichtsender sein, wie z. B. ein Linienlaser oder ein Bildprojektor.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist das Hilfselement ein zweiter Sensor, d. h. ein passives Hilfselement. Der zweite Sensor kann z. B. eine zweite Kamera oder ein Laserscanner sein.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass der Erfassungssensor eine Kamera und das Hilfselement ein Lichtsender ist. Zur Erzeugung der Positionsdaten werden mit der Kamera wenigstens zwei Bilder einer Erfassungsrichtung aufgenommen. Hierbei werden wenigstens ein Kamerabild mit eingeschaltetem Lichtsender und wenigstens ein Kamerabild mit ausgeschaltetem Lichtsender aufgenommen. Zur Positionsdaten-Erzeugung werden kann die Kamerastrahlen mit der Ebene des vom Lichtsender projizierten Bilds geschnitten. Im Falle eines Linienlasers als Lichtsender repräsentiert auch die vom Linienlaser projizierte Linie aus mathematischer Sicht eine Ebene.
  • Die Erfindung betrifft ferner ein mobiles Objekt mit einer elektronischen Einrichtung, die zur Ausführung eines Verfahrens der zuvor beschriebenen Art eingerichtet ist. Die elektronische Einrichtung kann beispielsweise eine entsprechende Software-Programmierung aufweisen, durch die das Verfahren ausgeführt werden kann.
  • Gemäß einer vorteilhaften Weiterbildung der Erfindung ist die elektronische Einrichtung zur automatischen Einstellung des Erfassungssensors in die unterschiedlichen Erfassungsrichtungen, die zur Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts bezüglich der Umgebung erforderlich sind, eingerichtet. Hierdurch kann die elektronische Einrichtung mittels selbständigem Verschwenken des Erfassungssensors die erforderlichen Daten, nämlich die Mehrzahl von aktuellen Beobachtungsdaten, sammeln, die für eine Lokalisierung notwendig sind.
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert.
  • Es zeigen:
  • 1 – ein mobiles Objekt in einer Umgebung in Draufsicht und
  • 2 – einen Ausschnitt von 1 und
  • 3 – ein mobiles Objekt in der Umgebung in perspektivischer Ansicht und
  • 4 – Möglichkeiten des „Matchings” und
  • 5 – die Erstellung eines Umgebungsmodells.
  • In den Figuren werden gleiche Bezugszeichen für einander entsprechende Elemente verwendet.
  • Die 1 zeigt als mobiles Objekt beispielhaft einen mobilen Roboter 1 in einer Umgebung 2. Die Umgebung 2 sei durch eine Umgrenzung 3 begrenzt. Die Umgrenzung 3 kann zum Beispiel die Wand eines Gebäudes sein. Die Umgrenzung 3 ist in den 1 und 2 mit einer durchgezogenen und einer gestrichelten Linie wiedergegeben. Hierdurch seien einerseits die Lage der Umgrenzung 3 (durchgezogene Linie) und andererseits besondere charakteristische Elemente in der Umgrenzung (gestrichelte Linie) dargestellt. Dies entspricht in den vorhandenen Umgebungsmodelldaten den vorhandenen Positionsdaten und den vorhandenen Beobachtungsdaten.
  • Der mobile Roboter 1 weist als Erfassungssensor eine Kamera 4 auf, die fest angeordnet ist. Die Kamera 4 ist bezüglich eines Kamera-bezogenen Koordinatensystems 5 kalibriert.
  • Beispielhaft sei angenommen, dass mittels der Kamera 4 aktuelle Beobachtungsdaten in drei Erfassungsrichtungen 6, 7, 8 erfasst werden. Die jeweiligen Punkte an der Umgrenzung 3, die sich mit den Erfassungsrichtungen 6, 7, 8 schneiden, sind als Punkte 10, 11, 12 wiedergegeben. Die Erfassungsrichtungen 6, 7, 8 entsprechen Sehstrahlen des jeweils aufgenommenen Kamerabilds.
  • Die 2 zeigt den für die Durchführung der Lokalisierung des mobilen Roboters 1 relevanten Ausschnitt der Umgebung 2 in vergrößerter Darstellung. Erkennbar ist wiederum das Koordinatensystem 5, die Erfassungsrichtungen 6, 7, 8 und die an der Umgrenzung 3 erfassten Punkte 10, 11, 12. Zunächst werden die von der Kamera 4 in den Erfassungsrichtungen 6, 7, 8 aufgenommenen aktuellen Beobachtungsdaten mit in den vorhandenen Beobachtungsdaten verglichen. Es werden die vorhandenen Beobachtungsdaten mit der höchsten Wahrscheinlichkeit der Übereinstimmung mit den erfassten aktuellen Beobachtungsdaten selektiert. Dieser Vorgang wird auch als „Matching” bezeichnet. Die hierbei selektierten Datensätze aus den Umgebungsmodelldaten werden dann für die Lokalisierung herangezogen. Hierbei werden die den selektierten vorhandenen Beobachtungsdaten zugeordneten Positionsinformationen und die bezüglich des Koordinatensystems 5 bestimmten Erfassungsrichtungen in Form von Sehstrahlwinkeln φ1, φ2, φ3 verwendet, um drei Kreise 20, 21, 22 zu bestimmen. Jeder Kreis schneidet dabei zwei der Punkte 10, 11, 12 sowie jeweils den Ursprung des Koordinatensystems 5. Die Mittelpunkte und Radien der Kreise 20, 21, 22 errechnen sich dabei aus dem relativen Winkel φ1, φ2, φ3 der Erfassungsrichtungen 6, 7, 8 und der Distanz zwischen den Punkten 10, 11, 12. Hieraus wird dann die Position des mobilen Roboters 1 sowie deren Orientierung in der Umgebung 2 bestimmt.
  • Mit drei gefundenen Punktkorrespondenzen gemäß den 1 und 2 kann die exakte Pose berechnet werden. Im Falle zweier gegebener Punktkorrespondenzen befindet sich der Roboter 1 auf einem Kreis, der zwei der Punkte 10, 11, 12 schneidet und dessen Radius aus der euklidischen Distanz der Punkte 10, 11, 12 zueinander beziehungsweise aus dem relativen Winkel zwischen zwei der Erfassungsrichtungen 6, 7, 8 resultiert.
  • In dem Beispiel gemäß 3 ist ein Roboter 1 in einer Umgebung dargestellt, bei der als Umgrenzung eine Wand 3 vorhanden ist. Die Wand 3 weist eine Vielzahl von charakteristischen Elementen auf, wie zum Beispiel Türen, an der Hand aufgehängte Bilder oder in unterschiedlichen Winkeln verlaufende Wandabschnitte. Im dargestellten Beispiel sei angenommen, dass der Roboter 1 mit einer Zeilenkamera 4 ausgestattet ist, die eine Erfassung der Umgebung in nur einer Ebene erlaubt. Beispielsweise ist ein Erfassungsbereich 31 vorgesehen, dessen Mitte die Erfassungsrichtung 6 bestimmt. In der 3 ist oberhalb der Wand 3 beispielhaft der von der Zeilenkamera 4 erfassbare Teil 30 der Wand 3 dargestellt. Angenommen sei, dass hiervon ein Ausschnitt 32 erfasst wird. Dieser erfasste Ausschnitt 32 wird in einem Vergleichsschritt 33 mit den vorhandenen Beobachtungsdaten aus den vorhandenen Umgebungsmodelldaten verglichen. Bei einer bestimmten Wahrscheinlichkeit der Übereinstimmung wird erkannt, dass der Abschnitt 32 erfasst worden ist. Für diesen Abschnitt 32 werden die in den vorhandenen Umgebungsmodelldaten zu diesem Abschnitt 32 gespeicherten Vorhandenen Positionsdaten für die Positionsbestimmung herangezogen.
  • 4 zeigt beispielhaft den mobilen Roboter 1, der mit einer zweidimensionalen Kamera 4 ausgestattet ist. Die Kamera 4 hat einen Erfassungsbereich 40, mit dem zum Beispiel ein Bild 41 aufgenommen werden kann.
  • Die 4 zeigt Möglichkeiten zum Matchen der jeweils zuzuordnenden Datensätze der vorhandenen Beobachtungsdaten zum erfassten aktuellen Beobachtungsdatum. Je nach Position und Orientierung des mobilen Roboters 1 kann der erfasste Ausschnitt der Wand 3 gestreckt oder gestaucht erscheinen. Es ist auch möglich, dass der Roboter 1, der in der 4 zusätzlich in den Posen 42, 43, 44 wiedergegeben ist, die Umgebung mit einem gewissen Winkelversatz im Vergleich zur Bestimmung des Umgebungsmodells erkennt. In der Umgebung existieren jedoch affin-invariante Merkmale, die für die Lösung des Winkelversatz-Problems verwendet werden können.
  • Außerdem können beispielsweise zufällig Roboterposen 1, 42, 43, 44 erzeugt werden, die potentielle Lösungen für das Matching-Problem darstellen. In diesem Fall werden nicht unbedingt affin-invariante Merkmale benötigt. Jede Lösung wird danach gewichtet, wie gut die aktuelle Beobachtung des Roboters mit den Daten des Modells an dieser Stelle übereinstimmt. Hierdurch wird die wahrscheinlichste Pose des Roboters bestimmt. Durch eine zeitliche Betrachtung von Posen können falsche Posen weitgehend ausgeschlossen werden.
  • Die 5 zeigt ein Beispiel für die Generierung des Umgebungsmodells. Auf dem Roboter 1 ist sowohl eine Kamera 4 als auch als zweiter Sensor ein Linienlaser 9 montiert. Für jede Roboterpose werden zwei Bilder aufgenommen, und zwar ein Bild mit aktiviertem Linienlaser 9 und ein Bild mit inaktivem Linienlaser 9. Durch einen Schnitt der Sehstrahlen 52 mit der Laserebene 51 lassen sich Tiefendaten für eine gemeinsame Linie 50 bestimmen. Der Linienlaser 9 ist dabei in einer definierten Pose zu der Kamera 4 auf dem Roboter 1 montiert. Für die Bestimmung des Umgebungsmodells werden die geometrischen Verhältnisse zwischen dem Linienlaser 9 und der Kamera 4 in die Berechnung miteinbezogen. Hierbei werden die Tiefendaten aus dem Schnitt 50 zwischen den Kamerastrahlen 52 und der Laserebene 51 berechnet.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • DIN 8373 [0007]

Claims (11)

  1. Verfahren zur Lokalisierung eines mobilen Objekts (1) in einer Umgebung (2) mit den Merkmalen: a) Erfassen einer Mehrzahl von aktuellen Beobachtungsdaten in verschiedenen Erfassungsrichtungen (6, 7, 8) von wenigstens einem an dem mobilen Objekt (1) angeordneten, für eine richtungsbezogene Signalerfassung eingerichteten Erfassungssensor (4), und Speichern der erfassten aktuellen Beobachtungsdaten zusammen mit der jeweiligen Erfassungsrichtung (6, 7, 8), b) Vergleichen jedes erfassten aktuellen Beobachtungsdatums mit vorhandenen Beobachtungsdaten (30) aus vorhandenen Umgebungsmodelldaten, wobei die vorhandenen Umgebungsmodelldaten für mittels des Erfassungssensors (4) erfassbare charakteristische Elemente der Umgebung (2) jeweils einander zugeordnete vorhandene Beobachtungsdaten und vorhandene Positionsdaten aufweisen, wobei die vorhandenen Beobachtungsdaten die reale Umgebung, erfasst durch den Erfassungssensor, modellieren und die vorhandenen Positionsdaten die Position des jeweiligen charakteristischen Elements in der Umgebung (2) angeben, c) Zuordnen desjenigen Datensatzes (32) der vorhandenen Umgebungsmodelldaten zum jeweiligen erfassten aktuellen Beobachtungsdatum, bei dem die größte Wahrscheinlichkeit einer Übereinstimmung zwischen den vorhandenen Beobachtungsdaten (30) und dem jeweiligen erfassten aktuellen Beobachtungsdatum vorliegt, d) Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts (1) bezüglich der Umgebung (2) aus den vorhandenen Positionsinformationen der im Schritt c) den erfassten aktuellen Beobachtungsdaten jeweils zugeordneten vorhandenen Umgebungsmodelldaten und den jeweiligen gespeicherten Erfassungsrichtungen (6, 7, 8).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens drei aktuellen Beobachtungsdaten erfasst werden und hieraus die Position und/oder Orientierung des mobilen Objekts (1) in der Umgebung (2) bestimmt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts (1) durch inverses Stereosehen erfolgt.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Erfassungssensor (4) verschwenkbar an dem mobilen Objekts (1) angeordnet ist und durch automatische Steuerung in die unterschiedlichen Erfassungsrichtungen (6, 7, 8), die zur Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts (1) bezüglich der Umgebung (2) erforderlich sind, verschwenkt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Schritt a) des Anspruchs 1 die vorhandenen Umgebungsmodelldaten erstellt werden, indem sich wenigstens ein mobiles Objekt (1) in vorgegebene Posen und/oder entlang eines vorgegebenen Wegs in der Umgebung (2) bewegt und mit dem Erfassungssensor (4) und wenigstens einem an dem mobilen Objekt (1) angeordneten Hilfselement (9), das die Bestimmung von räumlichen Tiefendaten ermöglicht, die vorhandenen Beobachtungsdaten und die vorhandenen Positionsdaten für mittels des Erfassungssensors (4) erfassbare charakteristische Elemente der Umgebung (2) generiert werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Positionsdaten des jeweiligen charakteristischen Elements der Umgebung (2) aus den Tiefendaten, der jeweiligen Erfassungsrichtung des Erfassungssensors (4) und der jeweiligen Position des mobilen Objekts in der Umgebung (2) bestimmt werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Erfassungssensor (4) eine Kamera ist.
  8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass das Hilfselement (9) ein Markierungssender ist, insbesondere ein Lichtsender wie z. B. ein Linienlaser.
  9. Verfahren nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass das Hilfselement (9) ein zweiter Sensor ist, insbesondere eine zweite Kamera oder ein Laserscanner.
  10. Mobiles Objekt (1) mit einer elektronischen Einrichtung (13), die zur Ausführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
  11. Mobiles Objekt nach Anspruch 10, dadurch gekennzeichnet, dass die elektronische Einrichtung (13) zur automatischen Einstellung des Erfassungssensors (4) in die unterschiedlichen Erfassungsrichtungen (6, 7, 8), die zur Bestimmung wenigstens von Komponenten der Pose des mobilen Objekts (1) bezüglich der Umgebung (2) erforderlich sind, eingerichtet ist.
DE102010033479A 2010-08-05 2010-08-05 Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür Ceased DE102010033479A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010033479A DE102010033479A1 (de) 2010-08-05 2010-08-05 Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010033479A DE102010033479A1 (de) 2010-08-05 2010-08-05 Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür

Publications (1)

Publication Number Publication Date
DE102010033479A1 true DE102010033479A1 (de) 2012-02-09

Family

ID=45494832

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010033479A Ceased DE102010033479A1 (de) 2010-08-05 2010-08-05 Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür

Country Status (1)

Country Link
DE (1) DE102010033479A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
JPWO2019167210A1 (ja) * 2018-02-28 2020-10-22 本田技研工業株式会社 制御装置、移動体及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4138270A1 (de) * 1991-11-21 1993-05-27 Rheinmetall Gmbh Verfahren zur navigation eines selbstfahrenden landfahrzeugs
US7015831B2 (en) * 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4138270A1 (de) * 1991-11-21 1993-05-27 Rheinmetall Gmbh Verfahren zur navigation eines selbstfahrenden landfahrzeugs
US7015831B2 (en) * 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DIN 8373

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
US9443309B2 (en) 2014-02-08 2016-09-13 Honda Motor Co., Ltd. System and method for image based mapping, localization, and pose correction of a vehicle with landmark transform estimation
JPWO2019167210A1 (ja) * 2018-02-28 2020-10-22 本田技研工業株式会社 制御装置、移動体及びプログラム
EP3761136A4 (de) * 2018-02-28 2021-04-21 Honda Motor Co., Ltd. Steuervorrichtung, mobiler körper und programm

Similar Documents

Publication Publication Date Title
DE102016219455B4 (de) Verfahren und aktive Infrastruktur zur Überprüfung einer Umfelderfassung eines Kraftfahrzeugs
EP3731187B1 (de) Verfahren und vorrichtung zur bestimmung der geografischen position und orientierung eines fahrzeugs
DE102014200611A1 (de) Verfahren zum autonomen Parken eines Fahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Fahrzeug mit der Fahrerassistenzvorrichtung
WO2015120981A1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
EP2568310A2 (de) Verfahren, System sowie Vorrichtung zur Lokalisation eines Fahrzeugs relativ zu einem vordefinierten Bezugssystem
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102018129143A1 (de) Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon
DE102016211227A1 (de) Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102019112649A1 (de) Vorrichtung und verfahren zur verbesserten radarstrahlformung
DE102019215903A1 (de) Verfahren und Vorrichtung zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten eines Sensors insbesondere eines Fahrzeugs, Verfahren zum Trainieren und Verfahren zum Ansteuern
DE112017008156T5 (de) Bestimmung von objektstandortkoordinaten
DE102019207448A1 (de) Simultane Lokalisierung und Kartenerstellung in 2D unter Verwendung eines 3D-Scanners
EP2381208A1 (de) Verfahren zur Bestimmung von Positionsdaten eines Zielobjekts in einem Referenzsystem
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
WO2020053215A1 (de) System und verfahren zur funkwellenbasierten ortung und koordinatentransformation
DE102019202269B4 (de) Verfahren zum Kalibrieren einer mobilen Kameraeinheit eines Kamerasystems für ein Kraftfahrzeug
DE102021204363A1 (de) Verfahren zur Kalibrierung eines Sensors mittels eines Fortbewegungsmittels
DE102019204410A1 (de) Verfahren zur simultanen Lokalisierung und Kartierung eines mobilen Roboters
DE102010033479A1 (de) Verfahren zur Lokalisierung eines mobilen Objekts in einer Umgebung und mobiles Objekt dafür
DE102018211905A1 (de) Steuereinrichtung für ein unbemanntes Luftfahrzeug
DE102017122440A1 (de) Verfahren zum Lokalisieren und Weiterbilden einer digitalen Karte durch ein Kraftfahrzeug; Lokalisierungseinrichtung
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102018211943A1 (de) Radarsystem zur Kollisionsvermeidung eines Roboters
DE102006005958A1 (de) Verfahren zum Erzeugen eines Umgebungsbildes

Legal Events

Date Code Title Description
R016 Response to examination communication
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20120303