DE102013018313A1 - Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs - Google Patents

Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs Download PDF

Info

Publication number
DE102013018313A1
DE102013018313A1 DE201310018313 DE102013018313A DE102013018313A1 DE 102013018313 A1 DE102013018313 A1 DE 102013018313A1 DE 201310018313 DE201310018313 DE 201310018313 DE 102013018313 A DE102013018313 A DE 102013018313A DE 102013018313 A1 DE102013018313 A1 DE 102013018313A1
Authority
DE
Germany
Prior art keywords
vehicle
features
image
comparison
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310018313
Other languages
English (en)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE201310018313 priority Critical patent/DE102013018313A1/de
Publication of DE102013018313A1 publication Critical patent/DE102013018313A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Abstract

Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs (1) und zur Detektion von Objekten (O1 bis O13) in einer Umgebung des Fahrzeugs (1), wobei die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder (B1 bis B7) analysiert werden, wobei zur Selbstlokalisation des Fahrzeugs (1) in Suchbereichen vorhandene Bildmerkmale der Bilder (B1 bis B7) mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen eine Position des Fahrzeugs (1) aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird, wobei weiterhin satellitengestützt eine Position des Fahrzeugs (1) ermittelt wird. Erfindungsgemäß werden bei der Analyse der Bilder (B1 bis B7) in Abhängigkeit einer Aktivität der Satelliten-Datenverbindung des Fahrzeugs unterschiedliche Suchbereiche in den Bildern (B1 bis B7) gewählt. Die Erfindung betrifft weiterhin eine Verwendung einer mittels eines solchen Verfahrens durchgeführten Selbstlokalisation zur Durchführung eines autonomen Einparkvorgangs des Fahrzeugs (1).

Description

  • Die Erfindung betrifft ein Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs, wobei die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder analysiert werden, wobei zur Selbstlokalisation des Fahrzeugs in Suchbereichen vorhandene Bildmerkmale der Bilder mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird, wobei zusätzlich satellitengestützt eine Position des Fahrzeugs ermittelt wird.
  • Die Erfindung betrifft weiterhin eine Verwendung einer mittels eines solchen Verfahrens durchgeführten Selbstlokalisation zur Durchführung eines autonomen Einparkvorgangs des Fahrzeugs.
  • Aus der DE 10 2013 003 117 A1 ist ein Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs bekannt, wobei die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder analysiert werden. Dabei werden Bildmerkmale der Bilder mit in einer Datenbank hinterlegten Vergleichsmerkmalen oder ermittelte Anordnungen von Bildmerkmalen zueinander mit Anordnungen hinterlegter Vergleichsmerkmale verglichen, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen oder von Anordnungen von Bildmerkmalen mit Anordnungen von Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen oder Anordnungen von Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird.
  • Als Bildmerkmale und Vergleichsmerkmale werden durch Merkmalssignaturen beschriebene Pixel-basierte Bereiche in den Bildern verwendet.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs und eine Verwendung des Verfahrens anzugeben.
  • Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 7 angegebenen Merkmale gelöst.
  • In dem Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs wird die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und mittels der Bilderfassungseinheit erfasste Bilder werden analysiert. Zur Selbstlokalisation des Fahrzeugs werden in Suchbereichen vorhandene Bildmerkmale der Bilder mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird. Zusätzlich wird satellitengestützt eine Position des Fahrzeugs ermittelt.
  • Erfindungsgemäß werden bei der Analyse der Bilder in Abhängigkeit einer Aktivität der Satelliten-Datenverbindung des Fahrzeugsunterschiedliche Suchbereiche in den Bildern gewählt.
  • Somit wird in besonders vorteilhafter Weise eine Zuverlässigkeit und Robustheit der Selbstlokalisation erhöht und eine Fehlerrate verringert. Gleichzeitig werden eine Rechenzeit aufgrund geringerer Anforderungen an eine Datenverarbeitung sowie Speicheranforderungen zur Datenspeicherung reduziert.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch ein sich in einer ersten Umgebung befindliches Fahrzeug,
  • 2 schematisch ein sich in einer zweiten Umgebung befindliches Fahrzeug,
  • 3 schematisch ein erstes Bild einer dritten Umgebung eines Fahrzeugs,
  • 4 schematisch ein zweites Bild der dritten Umgebung des Fahrzeugs gemäß 3,
  • 5 schematisch ein erstes Bild einer vierten Umgebung eines Fahrzeugs,
  • 6 schematisch ein zweites Bild der vierten Umgebung des Fahrzeugs gemäß 5,
  • 7 schematisch ein erstes Bild einer fünften Umgebung eines Fahrzeugs,
  • 8 schematisch ein zweites Bild der fünften Umgebung des Fahrzeugs gemäß 7,
  • 9 schematisch ein Bild einer sechsten Umgebung eines Fahrzeugs.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 ist ein sich in einer ersten Umgebung befindliches Fahrzeug 1 dargestellt.
  • Es sind verschiedene Ansätze zur Selbstlokalisation eines Fahrzeugs 1 auf optischer Basis bekannt. Dabei wird eine Umgebung des Fahrzeugs 1 insbesondere mittels Kameras anhand eines Bildes oder bei einer Rundumsicht anhand mehrerer Bilder erfasst, wobei zur Selbstlokalisation des Fahrzeugs 1 in Suchbereichen auf den Bildern vorhandene Bildmerkmale der Bilder mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden und bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen eine Position des Fahrzeugs aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird. Der Vergleich der Bildmerkmale mit den Vergleichsmerkmalen erfolgt dabei mittels so genannter Triangulationsverfahren und/oder photogrammetrischer Verfahren, insbesondere gemäß dem aus der DE 10 2013 003 117 A1 bekannten Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs.
  • Ferner wird zur Unterstützung und/oder Plausibilisierung der Ergebnisse der Selbstlokalisation und/oder zur Groblokalisierung des Fahrzeugs 1 satellitengestützt, beispielsweise mittels eines globalen Navigationssatellitensystem zur Positionsbestimmung, insbesondere dem so genannten Global Positioning System (GPS), eine Position des Fahrzeugs ermittelt.
  • Für das Ergebnis der Selbstlokalisation ist dabei entscheidend, welche Bildmerkmale und Vergleichsmerkmale im Rahmen der Auswertung herangezogen werden und in welchen Suchbereichen sich diese Bildmerkmale auf den Bildern befinden. Insbesondere hinsichtlich eines Ortes und einer Orientierung variante Bildmerkmale und Vergleichsmerkmale eignen sich aufgrund ihrer Unstetigkeit nicht zur Selbstlokalisation.
  • Aus diesem Grund werden bei der Analyse der in den 3 bis 9 näher dargestellten Bilder B1 bis B7 in Abhängigkeit einer Aktivität der Satelliten-Datenverbindung des Fahrzeugs 1 unterschiedliche Suchbereiche in den Bildern gewählt und die Bildmerkmale und Vergleichsmerkmale werden in variante Merkmale Mv und invariante Merkmale Mi unterteilt. Invariante Merkmale Mi werden dabei in der dargestellten Umgebung durch die Objekte O6, O8 und O9 gebildet, variante Merkmale Mv durch die Objekte O1 bis O5 sowie O7.
  • Bei den Objekten O6, O8 und O9 sind insbesondere kurzfristige Änderungen bezüglich ihrer Orientierung und ihres Ortes nicht zu erwarten, so dass diese als invariante Objekte betrachtet werden. Beispiele für invariante Objekte sind Gebäude, Zäune, Fahrbahnmarkierungen, Fahrbahnen, Tiefgaragendecken, Verkehrszeichen, Schilder und Beleuchtungseinrichtungen, beispielsweise Laternen.
  • Bei den Objekten O1, O3, O4 sind aufgrund eines Wachstums sowie aufgrund eines jahreszeitlichen Laubbestands längerfristige Änderungen bezüglich ihrer Orientierung und ihres Ortes möglich, so dass diese als variante Objekte betrachtet werden. Beispiele für solche Objekte sind Pflanzen, beispielsweise Bäume und Sträucher, sowie Werbetafeln mit einer wechselnden Beklebung.
  • Bei den Objekten O2, O5, O7 sind dagegen sehr kurzfristige Änderungen bezüglich ihrer Orientierung und ihres Ortes zu erwarten, so dass diese als variante Objekte O2, O5, O7 betrachtet werden. Merkmale Mv derartiger varianter Objekte O2, O5, O7 eignen sich nicht für Lokalisationsaufgaben und lösen Falschlokalisationen aus. So kann beispielsweise ein als Fahrzeug ausgebildetes Objekt O2 jeden Tag auf einem anderen Parkplatz und/oder in einer anderen Orientierung abgestellt sein. Weitere Beispiele für solche Objekte O2, O5, O7 sind Fahrzeuge, Mülltonnen, Fahrräder und Wolken.
  • Zur Unterscheidung der Objekte O1, O3, O4 und der Objekte O2, O5 und O7 bezüglich ihrer Varianz werden die zu den Objekten O1 bis O5 und O7 gehörenden varianten Merkmale Mv in kurzfristig variante Merkmale Mvk und mittelfristige variante Merkmale Mvm unterteilt. Das heißt, die Bildmerkmale und Vergleichsmerkmale der Objekte O2, O5 und O7 werden aufgrund ihrer Varianz mittelfristig varianten Merkmalen Mvm zugeordnet.
  • Bei der Selbstlokalisation des Fahrzeugs 1 wird dann, wenn eine aktive Satelliten-Datenverbindung des Fahrzeugs 1 zu dem globalen Navigationssatellitensystem vorliegt, darauf geschlossen, dass sich das Fahrzeug 1 im Freien befindet. Da im Freien im oberen Bereich der Bilder B1 bis B7 mit großer Wahrscheinlichkeit der Himmel abgebildet ist und sich die in diesem Bereich dargestellten Bildmerkmale zur Selbstlokalisation des Fahrzeugs 1 nicht eignen, wird in diesen Bereichen nicht nach zum Vergleich mit den Vergleichsmerkmalen vorhandenen Bildmerkmalen gesucht.
  • Die durchgeführte Selbstlokalisation wird dabei insbesondere zur Durchführung eines autonomen Einparkvorgangs des Fahrzeugs 1 verwendet. Ziel dabei ist, dass das Fahrzeug 1 zumindest die letzten Meter, insbesondere bis zu 100 m, zum Parkplatz autonom fährt und selbstständig einparkt.
  • Zum ”Lernen” dieses autonomen Einparkvorgangs ”lernt” das Fahrzeug 1 bei einer oder mehreren so genannten Teach-In-Fahrten eine entsprechende Trajektorie zum Parkplatz. Die Trajektorie wird gemeinsam mit den dabei mittels der Bilderfassungseinheit erfassten Bildern, d. h. Bildmerkmalen, in einer Datenbank abgelegt, so dass die Vergleichsmerkmale gebildet werden. Die Bilderfassungseinheit umfasst hierbei insbesondere optische Sensoren, radarbasierte Sensoren und/oder laserbasierte Sensoren und ist vorzugsweise zu einer Erfassung der Umgebung des Fahrzeugs 1 in einer Rundumsicht ausgebildet.
  • Nach der zumindest einen Teach-In-Fahrt erfolgt die Befahrung der Trajektorie anhand der mittels der Bilderfassungseinheit erfassten Bilddaten und mit Unterstützung der GPS-Daten und Odometriedaten, wobei die Bildmerkmale der Bilder mit den in der Datenbank hinterlegten Vergleichsmerkmalen verglichen werden und bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen die Position des Fahrzeugs aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird.
  • In einer Weiterbildung wird in Mehrfachbefahrungen anhand von statistischen Methoden maschinell gelernt, welche Regionen über längere Zeiträume invariant sind.
  • In einer möglichen Ausgestaltung werden bei erfolgreich durchgeführten autonomen Trajektoriebefahrungen erfasste Bildmerkmale in die Datenbank eingepflegt, um beispielsweise jahreszeitliche Schwankungen oder Wachstumsprozesse der mittelfristig varianten Objekte O1, O3 und O4 zu adaptieren.
  • Aufgrund dessen, dass bei der Selbstlokalisation des Fahrzeugs 1 zusätzlich insbesondere auch variante Merkmale Mv bei der Selbstlokalisation des Fahrzeugs 1 unberücksichtigt bleiben, werden in den erfassten und in den 3 bis 9 näher dargestellten Bildern B1 bis B7 Bereiche in den Bildern B1 bis B7, welche zur Selbstlokalisation verwendet werden, in Abhängigkeit ihrer Varianz ”an- und abgeschaltet”.
  • Insbesondere werden nur solche Bereiche in den Bildern B1 bis B7 zur Merkmalsextraktion verwendet, welche invariante Merkmale Mi aufweisen, wohingegen Bereiche, welche kurzfristig variante Merkmale Mvk aufweisen, bei der Merkmalsextraktion vermieden werden. Bereiche mit mittelfristig varianten Merkmalen Mvm werden insbesondere nur dann verwendet, wenn wenig invariante Merkmale Mi vorhanden sind.
  • Um eine höhere Genauigkeit und eine geringe Fehlerrate bei der Einteilung der Bildmerkmale und Vergleichsmerkmale in invariante Merkmale Mi, mittelfristig variante Merkmale Mvm und kurzfristig variante Merkmale Mvk zu realisieren, ist weiterhin ein Klassifikator vorgesehen, mittels welchem anhand der entsprechenden Bildmerkmale und Vergleichsmerkmale dargestellte Bildbereiche klassifiziert werden. Somit können in einer Umgebung des Fahrzeugs 1 beispielsweise andere Fahrzeuge, Personen, ein Himmel, die Fahrbahn und weitere Objekte klassifiziert werden und somit einfacher und genauer aufgrund ihrer Art den invarianten, mittelfristig varianten und kurzfristig varianten Merkmalen Mi, Mvm, Mvk zugeordnet werden. Dadurch werden die Bereiche mit den kurzfristig varianten Merkmalen Mvk in den Bildern B1 bis B7 minimiert. Dabei werden Falschklassifikationen bis zu einem vorgegebenen Grad toleriert.
  • 2 zeigt ein sich in einer zweiten Umgebung, insbesondere in einem Parkhaus oder einer Tiefgarage befindliches Fahrzeug 1, in welcher gewöhnlicher Weise keine aktive Satelliten-Datenverbindung des Fahrzeugs 1 vorliegt. In derartigen Umgebungen stellen Säulen, Lichter, Klimaanlagengitter, Rohre, Schilder, Lichtschalter, Kabel, Beschädigungen an Säulen sowie auf einem Boden befindliche Richtungspfeile invariante Objekte O1 bis O7, O10, O12 mit invarianten Merkmalen Mi dar, wohingegen Fahrzeuge keine Invarianz bezüglich ihres Ortes und ihrer Orientierung aufweisen und somit variante Objekte O8, O9, O11, O13 mit varianten Merkmalen Mv, Mvk darstellen.
  • Um innerhalb einer solchen Umgebung ohne aktive Satelliten-Datenverbindung des Fahrzeugs 1 eine zuverlässige Selbstlokalisation zu realisieren, werden insbesondere nur solche Bereiche in den Bildern B1 bis B7 zur Merkmalsextraktion verwendet, welche invariante Merkmale Mi aufweisen, wohingegen Bereiche, welche kurzfristig variante Merkmale Mvk aufweisen, bei der Merkmalsextraktion vermieden werden. Bereiche mit mittelfristig varianten Merkmalen Mvm werden insbesondere nur dann verwendet, wenn wenig invariante Merkmale Mi vorhanden sind. Hierbei werden im Gegensatz zu dem Fall, in welchem sich das Fahrzeug 1 im Freien befindet, auch in oberen Suchbereichen der Bilder B1 bis B7 vorhandene Bildmerkmale berücksichtigt.
  • In 3 ist ein erstes Bild B1 einer dritten Umgebung eines Fahrzeugs 1 dargestellt, welche sich in einem Parkhaus oder einer Tiefgarage befindet. Eine Aufnahme des Bildes B1 erfolgte insbesondere mit einer Kamera mit einem so genannten Fischaugenobjektiv mit zylindrischer Entzerrung. Zur Wahrung der Übersichtlichkeit sind ausschließlich als Fahrzeuge ausgebildete variante Objekte O1 bis O5 mit einem Bezugszeichen versehen, wobei ein Bereich BB1 des Bildes B1 bei der Merkmalsextraktion unberücksichtigt bleibt, da in diesem variante Merkmale Mv, Mvk vorliegen. Hierbei werden jedoch auch Bildbereiche ausgespart, welche invariante Merkmale Mi zeigen.
  • 4 zeigt ein zweites Bild B2 der dritten Umgebung des Fahrzeugs 1, wobei im Unterschied zu dem in 3 dargestellten ersten Bild B1 der Bereich BB1 mit den varianten Merkmalen Mv, Mvk aufgrund der Verwendung des beschriebenen Klassifikators minimiert ist und somit eine genauere Selbstlokalisation des Fahrzeugs 1 möglich ist, da die in 3 ausgesparten Bildbereiche mit ihren Bildmerkmalen zur Selbstlokalisation zur Verfügung stehen.
  • In 5 ist ein erstes Bild B3 einer vierten Umgebung eines Fahrzeugs 1 dargestellt, welche sich in einem Parkhaus oder einer Tiefgarage befindet. Eine Aufnahme des Bildes B1 erfolgte insbesondere mit einer Kamera mit einem so genannten Fischaugenobjektiv mit zylindrischer Entzerrung. Zur Wahrung der Übersichtlichkeit sind ausschließlich als Fahrzeuge ausgebildete variante Objekte O1 bis O2 mit einem Bezugszeichen versehen, wobei ein Bereich BB1 des Bildes B3 bei der Merkmalsextraktion unberücksichtigt bleibt, da in diesem variante Merkmale Mv, Mvk vorliegen. Hierbei werden jedoch auch Bildbereiche ausgespart, welche invariante Merkmale Mi zeigen.
  • 6 zeigt ein zweites Bild B4 der vierten Umgebung des Fahrzeugs 1, wobei im Unterschied zu dem in 5 dargestellten ersten Bild B3 der Bereich BB1 mit den varianten Merkmalen Mv, Mvk aufgrund der Verwendung des beschriebenen Klassifikators minimiert ist und somit eine genauere Selbstlokalisation des Fahrzeugs 1 möglich ist, da die in 5 ausgesparten Bildbereiche mit ihren Bildmerkmalen zur Selbstlokalisation zur Verfügung stehen.
  • In 7 ist ein erstes Bild B5 einer fünften Umgebung eines Fahrzeugs 1 dargestellt, welche sich auf einem Parkplatz befindet. Zur Wahrung der Übersichtlichkeit sind ausschließlich die Bereiche BB1, BB2 mit den kurzfristig varianten Merkmalen Mvk, der Bereich BB3 mit den mittelfristig varianten Merkmalen Mvm und der Bereich BB4 mit den invarianten Merkmalen Mi mit Bezugszeichen versehen.
  • Die in den Bereichen BB1, BB2 vorhandenen Bildmerkmale bleiben bei der Selbstlokalisation des Fahrzeugs 1 unberücksichtigt.
  • 8 zeigt ein zweites Bild B6 der fünften Umgebung des Fahrzeugs 1 gemäß 7, wobei aufgrund der Verwendung des beschriebenen Klassifikators eine detailliertere Unterteilung des Bildes B6 in die Bereiche BB1 bis BB4 möglich ist und sowohl die Bereiche BB1 und BB2 als auch der Bereich BB3 bei der Selbstlokalisation des Fahrzeugs 1 unberücksichtigt bleiben. Somit ist eine genauere Selbstlokalisation des Fahrzeugs 1 möglich.
  • In 9 ist schematisch ein Bild B7 einer sechsten Umgebung des Fahrzeugs 1 dargestellt. Aufgrund der Unterteilung des Bildes B7 in Bereiche BB1, BB2 mit kurzfristig varianten Merkmalen Mvk, in einen Bereich BB3 mit mittelfristig varianten Merkmalen Mvm und einen Bereich BB4 mit invarianten Merkmalen Mi und die Nicht-Berücksichtigung der Bereiche BB1 bis BB3 bei der Selbstlokalisation des Fahrzeugs 1, ist diese sehr genau und mit geringem Rechen- und Speicheraufwand durchführbar.
  • Bezugszeichenliste
    • 1
    Fahrzeug
    B1 bis B7
    Bild
    BB1 bis BB4
    Bereich
    Mi
    invariantes Merkmal
    Mv
    variantes Merkmal
    Mvk
    kurzfristig variantes Merkmal
    Mvm
    mittelfristig variantes Merkmal
    O1 bis O13
    Objekt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102013003117 A1 [0003, 0024]

Claims (7)

  1. Verfahren zur Selbstlokalisation eines Fahrzeugs (1) und zur Detektion von Objekten (O1 bis O13) in einer Umgebung des Fahrzeugs (1), – wobei die Umgebung mittels zumindest einer Bilderfassungseinheit erfasst wird und – mittels der Bilderfassungseinheit erfasste Bilder (B1 bis B7) analysiert werden, – wobei zur Selbstlokalisation des Fahrzeugs (1) in Suchbereichen vorhandene Bildmerkmale der Bilder (B1 bis B7) mit in einer Datenbank hinterlegten Vergleichsmerkmalen verglichen werden, – wobei bei einer Übereinstimmung von Bildmerkmalen mit den Vergleichsmerkmalen eine Position des Fahrzeugs (1) aus zu den Vergleichsmerkmalen hinterlegten Positionsdaten ermittelt wird, – wobei weiterhin satellitengestützt eine Position des Fahrzeugs (1) ermittelt wird, dadurch gekennzeichnet, dass – bei der Analyse der Bilder (B1 bis B7) in Abhängigkeit einer Aktivität der Satelliten-Datenverbindung des Fahrzeugs unterschiedliche Suchbereiche in den Bildern (B1 bis B7) gewählt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bildmerkmale und Vergleichsmerkmale in variante Merkmale (Mv) und invariante Merkmale (Mi) unterteilt werden.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Bildmerkmale und Vergleichsmerkmale zusätzlich in Abhängigkeit ihrer Varianz mittelfristig varianten Merkmalen (Mvm) zugeordnet werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Varianz der Bildmerkmale und Vergleichsmerkmale mittels der Bildmerkmale und Vergleichsmerkmale dargestellte Bildbereiche klassifiziert werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Klassifizierung in Abhängigkeit einer erkannten Art eines mit einem jeweiligen Bildmerkmal und Vergleichsmerkmal dargestellten Objekts (O1 bis O13) durchgeführt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Varianz und Invarianz der Bildmerkmale und Vergleichsmerkmale bezogen auf einen Ort und eine Orientierung eines mit einem jeweiligen Bildmerkmal und Vergleichsmerkmal dargestellten Objekts (O1 bis O13) ermittelt wird.
  7. Verwendung einer mittels des Verfahrens nach einem der vorhergehenden Ansprüche durchgeführten Selbstlokalisation zur Durchführung eines autonomen Einparkvorgangs des Fahrzeugs (1).
DE201310018313 2013-10-31 2013-10-31 Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs Withdrawn DE102013018313A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310018313 DE102013018313A1 (de) 2013-10-31 2013-10-31 Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310018313 DE102013018313A1 (de) 2013-10-31 2013-10-31 Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102013018313A1 true DE102013018313A1 (de) 2014-06-18

Family

ID=50821485

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310018313 Withdrawn DE102013018313A1 (de) 2013-10-31 2013-10-31 Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102013018313A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015005352A1 (de) 2015-04-25 2015-12-03 Daimler Ag Verfahren und System zur Lokalisierung eines Fahrzeuges in einer Tiefgarage
DE102015008879A1 (de) 2015-07-09 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102016003360A1 (de) 2016-03-18 2016-09-29 Daimler Ag Verfahren zur Selbstlokalisierung eines Fahrzeugs
DE102016211182A1 (de) 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102017204297A1 (de) 2017-03-15 2018-09-20 Mbda Deutschland Gmbh Verfahren zur Positionsbestimmung und Radarsystem
EP3444637A1 (de) * 2017-08-17 2019-02-20 Valeo Schalter und Sensoren GmbH Verfahren zum betreiben eines kraftfahrzeugs in einer umgebung mit beschränktem zugriff auf ein navigationssatellitensystem, fahrerassistenzsystem sowie kraftfahrzeug
DE102018218182A1 (de) 2018-10-24 2020-04-30 Volkswagen Aktiengesellschaft Verfahren zur Positionsbestimmung eines Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015005352A1 (de) 2015-04-25 2015-12-03 Daimler Ag Verfahren und System zur Lokalisierung eines Fahrzeuges in einer Tiefgarage
DE102015008879A1 (de) 2015-07-09 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102016211182A1 (de) 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102016003360A1 (de) 2016-03-18 2016-09-29 Daimler Ag Verfahren zur Selbstlokalisierung eines Fahrzeugs
DE102017204297A1 (de) 2017-03-15 2018-09-20 Mbda Deutschland Gmbh Verfahren zur Positionsbestimmung und Radarsystem
EP3444637A1 (de) * 2017-08-17 2019-02-20 Valeo Schalter und Sensoren GmbH Verfahren zum betreiben eines kraftfahrzeugs in einer umgebung mit beschränktem zugriff auf ein navigationssatellitensystem, fahrerassistenzsystem sowie kraftfahrzeug
DE102018218182A1 (de) 2018-10-24 2020-04-30 Volkswagen Aktiengesellschaft Verfahren zur Positionsbestimmung eines Fahrzeugs
WO2020083646A1 (de) 2018-10-24 2020-04-30 Volkswagen Aktiengesellschaft Verfahren zur positionsbestimmung eines fahrzeugs über die bestimmung des materials einer kartografisch erfassten landmarke durch einen radarsensor
DE102018218182B4 (de) 2018-10-24 2021-07-29 Volkswagen Aktiengesellschaft Verfahren zur Positionsbestimmung eines Fahrzeugs

Similar Documents

Publication Publication Date Title
DE102013018313A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
EP3105547B1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
DE102013003117A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
WO2018141440A1 (de) Verfahren und vorrichtung zur aktualisierung einer digitalen karte
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102017217212A1 (de) Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
DE102011112404A1 (de) Verfahren zum Bestimmen der Position eines Kraftfahrzeugs
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
WO2019007605A1 (de) Verfahren zur verifizierung einer digitalen karte eines höher automatisierten fahrzeugs, entsprechende vorrichtung und computerprogramm
DE102016216205B4 (de) Navigationsverfahren für selbstfahrende Fahrzeuge
DE102015010746A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102019208176A1 (de) Fahrzeug-fahrassistenz-system
DE102017211556A1 (de) Verfahren zur Routenplanung für ein Kraftfahrzeug mit einem automatisierten Fahrzeugsystem und Kraftfahrzeug mit einem automatisierten Fahrzeugsystem
DE102017222183A1 (de) Verfahren und System zum Überwachen mehrerer Umgebungssensoren eines Kraftfahrzeugs
DE102018206667A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Kollisionsgefahr eines Fahrzeugs durch eine Höhe und/oder Breite des Fahrzeugs mit einem Infrastrukturelement
DE102017201664A1 (de) Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs in einer digitalen Karte
DE102014007794A1 (de) Verfahren zum Betrieb eines Fahrzeugleitsystems
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
DE102016009117A1 (de) Verfahren zur Lokalisierung eines Fahrzeugs
DE102018003784A1 (de) Verfahren zur Bestimmung einer Reichweite eines Umgebungssensors für ein Fahrzeug
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102017217169A1 (de) Verfahren zum automatisierten Identifizieren von Parkflächen und/oder Nicht-Parkflächen

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee