DE102018114963A1 - Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken - Google Patents

Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken Download PDF

Info

Publication number
DE102018114963A1
DE102018114963A1 DE102018114963.8A DE102018114963A DE102018114963A1 DE 102018114963 A1 DE102018114963 A1 DE 102018114963A1 DE 102018114963 A DE102018114963 A DE 102018114963A DE 102018114963 A1 DE102018114963 A1 DE 102018114963A1
Authority
DE
Germany
Prior art keywords
vehicle
points
dimensional points
dimensional
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018114963.8A
Other languages
English (en)
Inventor
Bassam Abdallah
Jephy Rapheal
Jonathan Horgan
Olivia Donnellan
German Feijoo
Gustavo Pelaez
Margaret Toohey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102018114963.8A priority Critical patent/DE102018114963A1/de
Publication of DE102018114963A1 publication Critical patent/DE102018114963A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Abstract

Diese Erfindung beschreibt ein Verfahren zum Lokalisieren eines Fahrzeugs (100), wobei zwei Sätze von dreidimensionalen Punkten (300a, 300b) einer Umgebung des Fahrzeugs (100) unter Verwendung eines Sensorsystems erzeugt werden. Der erste Satz von dreidimensionalen Punkten (300a) wird in einer Trainingsphase erzeugt, der zweite Satz von dreidimensionalen Punkten (300b) wird in einer Betriebsphase erzeugt Das Sensorsystem weist eine vorbestimmte geometrische Beziehung zum Fahrzeug (100) auf. Der erste Satz von dreidimensionalen Punkten (300a) wird auf den zweiten Satz von dreidimensionalen Punkten (300b) ausgerichtet. Auf der Basis der Ausrichtung und der vorbestimmten geometrischen Beziehung der dreidimensionalen Punkte (300a, 300b) zum Fahrzeug (100) wird sein Ort bestimmt.

Description

  • Die folgende Patentanmeldung bezieht sich auf ein Verfahren zum Lokalisieren eines Fahrzeugs. Diese Veröffentlichung stellt auch eine Lokalisierungsvorrichtung zum Lokalisieren des Fahrzeugs bereit. Diese Patentanmeldung bietet auch ein Computerprogrammprodukt mit Programmcodemitteln sowie ein Fahrerassistenzsystem mit einem solchen Computerprogrammprodukt.
  • Mit Bezug auf Park4U® Home, existieren eine Lösung und eine Entwicklung für trainiertes Heimparken. Der Fahrer des Fahrzeugs muss das Fahrzeug für den speziellen Weg trainieren, von dem der will, dass das Fahrzeug ihm anschließend folgt, um zu parken. Automatisierte Parksysteme befinden sich bereits auf dem Markt, beispielsweise die Lösung Park4U® von Valeo.
  • Moderne semiautonome Autos sind dazu ausgelegt, selbst zu parken. Dazu müssen sie die Geometrie ihrer Umgebung kennen. Trainierte Parksysteme verwenden verschiedene Sensoren, um Informationen aus der Umgebung aufzuzeichnen, die häufig Landmarken genannt werden, die einer befahrenen Trajektorie entsprechen. Das Fahrzeug wird häufig durch einen Fahrer entlang einer Trajektorie gefahren, um das Fahrzeug zu trainieren, bevor es autonom manövrieren soll. Die in einer solchen Prozedur gesammelten Daten werden häufig trainierte Trajektorie oder trainierte Wolke genannt. Wenn das Fahrzeug autonom in einen Parkplatz innerhalb einer trainierten Umgebung einparken soll, wird diese Sequenz häufig Wiederholungsphase oder Betriebsphase genannt. In dieser Phase werden die neu erfassten Informationen mit den vorher gespeicherten Informationen der trainierten Phase in Beziehung gesetzt, um die Position des Fahrzeugs relativ zur gespeicherten Trajektorie zu erfassen. Das Ergebnis dieser Analyse wird verwendet, um Entscheidungen hinsichtlich dessen zu treffen, wie das Fahrzeug manövriert werden soll, bis es am gespeicherten Parkplatzort parkt.
  • Die US-Patentanmeldung Veröffentlichung US 2016/0154408 A1 beschreibt Verfahren und ein Gerät, das einen visuellen Sensor und Koppelnavigationssensoren verwendet, um die gleichzeitige Lokalisierung und Kartierung (SLAM) zu verarbeiten. Diese Techniken können beispielsweise bei der Roboternavigation verwendet werden. Solche visuellen Techniken können verwendet werden, um autonom eine Karte zu erzeugen und zu aktualisieren. Diese Veröffentlichung beschreibt einige Ausführungsformen von speziellen SLAM-Algorithmen. Bestimmte Variationen dieser Ausführungsformen zeihen beispielsweise einen neuen Landmarkenzuordnungsprozess in Betracht.
  • Wenn ein Fahrzeug autonom in einen Parkplatz einparken soll, sind eine schnelle Erkennung der Umgebung und die Auswertung der Umgebung erforderlich. Idealerweise sollte dies in Echtzeit geschehen. Der Zweck dieser Patentanmeldung besteht darin, die Analyse der Umgebung eines Fahrzeugs zu verbessern, um eine robuste Lokalisierung des Fahrzeugs zu ermöglichen.
  • Dieser Zweck wird durch Anspruch 1 der vorliegenden Patentanmeldung erfüllt. Diese Patentanmeldung beschreibt ein Verfahren zum Lokalisieren eines Fahrzeugs, das durch die folgenden Schritte gekennzeichnet ist.
  • In Schritt a) wird ein erster Satz von dreidimensionalen Punkten in einer Trainingsphase unter Verwendung eines Sensorsystems erzeugt, das in der Lage ist, dreidimensionale Informationen über eine Umgebung des Fahrzeugs zu erfassen. Dadurch bezieht sich der erste Satz der dreidimensionalen Punkte auf mindestens drei einzelne Objekte, die in der Umgebung des Fahrzeugs vorhanden sind, und das Sensorsystem weist eine vorbestimmte geometrische Beziehung zum Fahrzeug auf.
  • Gewöhnlich beziehen sich die dreidimensionalen Punkte auf verschiedene Objekte, die angezeigt werden. Aber der Begriff „Objekt“ kann auch als Objektmerkmale betrachtet werden, die an verschiedenen Teilen eines großen Objektes detektiert werden können. Die dreidimensionalen Punkte können sich auf ein einzelnes Objekt beziehen, das mehrere verschiedene Objektmerkmale aufweist. Diese verschiedenen Objektmerkmale, die zu dem einzelnen Objekt gehören, können als „Unterobjekte“ des Objekts betrachtet werden. Zum Beispiel kann ein großes Objekt wie ein Gebäude mehrere „Unterobjekte“ oder in diesem Fall Merkmale aufweisen. Beispielsweise kann es eine Anordnung von mehreren Fenstern geben und zusätzlich kann eine Wand des Gebäudes ein Graffiti zeigen. In diesem Fall umfasst das Objektgebäude zwei Objekte als Unterobjekte (Anordnung von Fenstern und Graffiti) des Objekts (Gebäude).
  • Dies bedeutet, dass der Begriff „der erste Satz der dreidimensionalen Punkte bezieht sich mindestens auf drei einzelne Objekte, die in der Umgebung des Fahrzeugs vorhanden sind“ nicht notwendigerweise drei verschiedene Objekte erfordert, die physisch voneinander getrennt sind. In vielen Fällen trifft dies zu, aber es ist auch möglich, dass ein einzelnes physisches Objekt mehrere Objektmerkmale als „Unterobjekte“ aufweist.
  • Vorzugsweise werden mehrere Bilder aus der Position des zu lokalisierenden Fahrzeugs aufgenommen. Dies kann beispielsweise möglich sein, wenn eine Kamera am Fahrzeug befestigt ist. In diesem Fall, besteht eine vorbestimmte geometrische Beziehung zum Fahrzeug in den Bildern.
  • Wenn die Bilder die Umgebung nicht von dem Punkt der Ansicht des Fahrzeugs zeigen, dann ist eine weitere geometrische Beziehung oder Information erforderlich, so dass später das Fahrzeug lokalisiert werden kann. Gewöhnlich sind die Position des zu lokalisierenden Fahrzeugs und die Position einer optischen Einheit wie einer Kamera gleich, da die Kamera meist am Fahrzeug befestigt ist.
  • In einem weiteren Schritt b) wird ein zweiter Satz von dreidimensionalen Punkten in einer Betriebsphase unter Verwendung des Sensorsystems erzeugt, wobei der zweite Satz der dreidimensionalen Punkte sich auf mindestens drei einzelne Objekte bezieht, die in der Umgebung des Fahrzeugs vorhanden sind, und das Sensorsystemeine vorbestimmte geometrische Beziehung zum Fahrzeug aufweist. Insbesondere können diese zwei Sätze von dreidimensionalen Punkten durch Anwenden eines Bildmerkmalsdetektors auf die Bilder der Trainingsphase und auf die Bilder der Betriebsphase erfasst werden. Dadurch bezieht sich jeder Satz der dreidimensionalen Punkte auf mindestens drei einzelne Objekte, die in jedem der Bilder angezeigt werden. Wenn das Sensorsystem einen Bildmerkmalsdetektor umfasst, kann er in einer Kamera implementiert werden und der Bildmerkmalsdetektor kann mathematische Verfahren enthalten, um Bildmerkmale aus den Bildern zu extrahieren. Der Bildmerkmalsdetektor wird vorzugsweise auf die Abbildungen der Trainingsphase und auf die Bilder der Betriebsphase angewendet. Unter Verwendung des Bildmerkmalsdetektors können charakterisierende Punkte der Bilder gewonnen werden.
  • Charakterisierende Punkte umfassen vorzugsweise semantische Informationen oder ein Bildmerkmal. Ein signifikantes Objekt wie ein Baum kann beispielsweise ein Bildmerkmal sein. Dieser Baum kann mehrere signifikante charakterisierende Punkte aufweisen. Anstelle eines Baums können andere signifikante Objekte in einem Bild als charakterisierende Punkte verwendet werden. Diese können Ecken, Verkehrszeichen und so weiter sein. Im Allgemeinen stellen charakterisierende Punkte einen Informationsgehalt des Bildes bereit. Wenn sie zusätzlich dreidimensionale Koordinaten umfassen, können sie auch als dreidimensionale Punkte betrachtet werden. In diesem Fall können charakterisierende Punkte nicht von dreidimensionalen Punkten unterscheidbar sein. Die dreidimensionalen Punkte werden häufig als Wolken oder Punktwolken betrachtet. Dies bedeutet, wenn einer der Begriffe Wolke, Punktwolke oder 3D-Punktwolke in dieser Anmeldung verwendet wird, beziehen sie sich auf einen oder beide Sätze der dreidimensionalen Punkte. Charakterisierende Punkte umfassen hauptsächlich Bildmerkmale, sie können jedoch 3D-Punkte sein, wenn sie 3D-Koordinaten aufweisen. Diese dreidimensionalen Punkte enthalten idealerweise dreidimensionale Koordinaten. Die dreidimensionalen Punkte der Trainingsphase werden häufig als „trainierte Wolke“ bezeichnet und die dreidimensionalen Punkte der Betriebsphase werden häufig als „Live-Wolke“ bezeichnet.
  • Um dreidimensionale Informationen über die Umgebung des Fahrzeugs zu erfassen, kann ein gut bekanntes Verfahren, die sogenannte „bewegungsbasierte Strukturerkennung“, durchgeführt werden. Häufig werden mit einer Kamera als Teil des Fahrzeugs mehrere Bilder der Umgebung des Fahrzeugs aufgenommen. Da für die Trainingsphase und die Betriebsphase mindestens zwei Bilder für jede Phase aufgenommen werden sollen, kann eine Strukturabschätzung durchgeführt werden. In diesem Fall kann die bewegungsbasierte Strukturerkennung verwendet werden, um die Punktwolken zu erzeugen. Die Erfassung der Sätze von dreidimensionalen Punkten kann durch andere Verfahren erreicht werden. Dies ermöglicht die Bestimmung der Struktur einer Szene um das Fahrzeug. Die Strukturerkennung kann natürlich auch durch Anwenden von anderen Verfahren erreicht werden.
  • Das Sensorsystem kann eine Videokamera umfassen, die einen Film der Umgebung des Fahrzeugs aufzeichnet. Anstelle von Bildern kann in diesem Fall eine Videosequenz verwendet werden. Die Videosequenz kann in mehrere Einzelbilder unterteilt werden. Die Einzelbilder werden in derselben Weise wie die Bilder weiter behandelt. Wenn die Videokamera gegenwärtig aufzeichnet, können die entsprechenden Einzelbilder als „Live-Einzelbilder“ betrachtet werden.
  • In Schritt c) wird eine Ausrichtung des ersten Satzes von dreidimensionalen Punkten der Trainingsphase auf den zweiten Satz von dreidimensionalen Punkten der Betriebsphase durchgeführt. Der erste Satz von dreidimensionalen Punkten der Trainingsphase wird auf den zweiten Satz von dreidimensionalen Punkten der Betriebsphase ausgerichtet. Der Begriff „Ausrichten“ ist in diesem Zusammenhang vom Begriff „Zuordnen“ verschieden. In Schritt c) wird keine Zuordnung, sondern ein Ausrichten oder eine Ausrichtung durchgeführt. In diesem Fall werden zwei Sätze von dreidimensionalen Punkten verschoben oder bewegt, so dass diese zwei Sätze von dreidimensionalen Punkten überlappen. Um das Verfahren der Ausrichtung zu beschreiben, kann das Konzept von überlagerten Punkten herangezogen werden. In diesem Fall werden die dreidimensionalen Punkte der zwei Sätze überlagert, so dass sie optimal zusammenpassen.
  • Ein Satz von dreidimensionalen Punkten kann auch als Wolke betrachtet werden, insbesondere als 3D-Punktwolke. In diesem Fall gibt es zwei 3D-Punktwolken, die durch Übergang, Drehung und/oder andere geometrische Transaktionen transformiert werden sollen, so dass diese zwei Punktwolken so kongruent wie möglich werden. Dies bedeutet, dass die Ausrichtungsprozedur vorzugsweise eine geometrische Prozedur und keine Suche nach entsprechenden visuellen Informationen ist. Die Suche nach geeigneten Bildmerkmalen in den Bildern wird häufig Zuordnung genannt. Das in Anspruch 1 dargestellte Verfahren verwendet keine Zuordnung, es verwendet ein Ausrichtungsverfahren. Um den Unterschied zwischen Ausrichtung und Zuordnung graphisch zu verdeutlichen, wird auf die 2 und 3 verwiesen.
  • Als Endschritt d) wird der Ort des Fahrzeugs auf der Basis der Ausrichtung in Schritt c) und der vorbestimmten geometrischen Beziehung der dreidimensionalen Punkte zum Fahrzeug bestimmt. Wenn die Bilder aus der Ansicht des Fahrzeugs genommen werden, werden normalerweise mehrere 3D-Punktwolken erzeugt. Diese verschiedenen 3D-Punktwolken beziehen sich vorzugsweise auf verschiedene Positionen, in denen das Sensorsystem die 3D-Punktwolken erzeugt hat. Dies gilt für die Trainingsphase und die Betriebsphase. Um den Ort des Fahrzeugs auf der Basis der Ausrichtung zu bestimmen, kann die folgende Prozedur verwendet werden:
    • In dieser beispielhaften Prozedur hat eine Kamera mehrere Bilder bereitgestellt, die auch als Einzelbilder betrachtet werden können. Es wird angenommen, dass die Liveposition des Fahrzeugs die Position der „nächsten Schlüsselpose“ ist, die von dem visuell ähnlichsten Einzelbild in trainierten Daten erhalten wird, welche in Schritt a) oder b) erfasst werden. Die nächste Schlüsselpose liefert eine anfängliche Grobabschätzung für den Ort des Fahrzeugs. In diesem Beispiel wird die nächste Schlüsselpose auf der Basis der visuellen Ähnlichkeit zwischen dem „Live-Einzelbild“ der Betriebsphase und den trainierten Schlüsseleinzelbildern der Trainingsphase abgeschätzt. Mit dieser Abschätzung können beide Punktwolken (Punktwolken der Trainingsphase und Betriebsphase) im gleichen Koordinatensystem ausgedrückt werden. Anfänglich richten sich beide Punktwolken nicht aus. Daher wird die Livefahrzeugposition mit ihrer Wolke gedreht und verschoben, bis sich die Live-Wolke auf die trainierte Wolke ausrichtet. Dies wird vorzugsweise über eine Optimierung kleinster Quadrate erreicht und führt zu einer Drehung und Verschiebung zwischen der Position des Fahrzeugs in der Live-Wolke und der trainierten Wolke. Dieses beispielhafte Verfahren ermöglicht das Bestimmen des Orts des Fahrzeugs relativ zur trainierten Wolke. Wenn die vorbestimmte geometrische Beziehung der Bilder zum Fahrzeug komplizierter ist, kann eine weitere Berechnung, um den Ort des Fahrzeugs zu extrahieren, erforderlich sein.
  • Wenn das Sensorsystem als Bildmerkmalsdetektor ausgebildet ist, sollte festgestellt werden, dass die extrahierten Bildmerkmale, die durch den Bildmerkmalsdetektor detektiert werden, nur für die Schritte a) und b) relevant sind. Die Bildmerkmale liefern einen Satz von charakterisierenden Punkten, von denen in den Schritten a) und b) dreidimensionale Koordinaten unter Verwendung von mehreren Bildern extrahiert werden können. In den Schritten c) und d) besteht keine Zuordnung zwischen Bildmerkmalen und dreidimensionalen Koordinaten, wie es häufig im Stand der Technik beschrieben ist. In Schritt c) wird die Ausrichtung durch nur Betrachten von zwei 3D-Punktwolken durchgeführt. Diese zwei 3D-Punktwolken werden optimal ausgerichtet.
  • In einer weiteren Ausführungsform der Erfindung wird die Ausrichtung durch Minimieren einer Abstandsfunktion hinsichtlich der zwei Sätze von dreidimensionalen Punkten durchgeführt. Die Abstandsfunktion ist auch unter dem Begriff „Kostenfunktion“ bekannt. Die Abstandsfunktion oder Kostenfunktion kann durch die folgende Gleichung ausgedrückt werden: τ * = arg min τ ‖ S t − τ ⋅ ( S l ) ‖ ;
    Figure DE102018114963A1_0001
  • Gleichung 1 als Kostenfunktion enthält zwei Teilwolken, nämlich St und Sl. τ ist eine Transformation, die zum Bestimmen des Minimums τ* betrachtet wird. arg min ist eine mathematische Funktion, um jenen Punkt einer Funktion zu bestimmen, an dem ein globales Minimum innerhalb eines vorbestimmten Definitionsbereichs realisiert ist. Die Norm in Gleichung 1 ist gewöhnlich eine Euklidische Norm. Da es möglich ist, Teilwolken auszurichten, bedeutet dies, dass es möglich ist, nur einen Teil der Sätze von dreidimensionalen Punkten auszurichten. Dies bedeutet, dass vom ersten und zweiten Satz von dreidimensionalen Punkten die wichtigen und interessierenden für das Ausrichtungsverfahren ausgewählt werden können. Aufgrund dieser Auswahl kann eine Teilwolke aus einem Satz von dreidimensionalen Punkten gewonnen werden. Gleichung 1 sucht nach jener Transformation τ, die die Kostenfunktion minimiert. Daher kann das Ausrichtungsverfahren von Schritt c) als mathematische Prozedur betrachtet werden, nämlich Bestimmen des Minimums einer Funktion, hier der Kostenfunktion oder der Abstandsfunktion. Gleichung 1 kann auch in anderen Formen umgeschrieben werden, so dass die Kostenfunktion andere Terme enthalten kann.
  • In einer anderen Ausführungsform umfasst das Sensorsystem mindestens eine Kamera. Mindestens zwei Bilder werden in der Trainingsphase aufgenommen und mindestens zwei Bilder werden in der Betriebsphase aufgenommen. Ein erster Satz und ein zweiter Satz von charakterisierenden Punkten der Bilder werden durch Anwenden eines Bildmerkmalsdetektors auf die Bilder bestimmt, wobei jeder Satz der charakterisieren Punkte sich auf mindestens drei einzelne Objekte oder Unterobjekte eines einzelnen Objektes bezieht, die in jedem der Bilder angezeigt werden.
  • Dadurch werden dreidimensionale Koordinaten einer Vielzahl von jedem Satz der charakterisieren Punkte extrahiert, um den ersten und den zweiten Satz von dreidimensionalen Punkten zu erzeugen. In dieser Ausführungsform ist der Bildmerkmalsdetektor keine Option mehr wie in den vorangehenden Beispielen. Diese Ausführungsform der Erfindung verwendet mindestens eine Kamera, die vorzugsweise am Fahrzeug befestigt ist, um mehrere Bilder in der Trainingsphase und der Betriebsphase aufzunehmen. Der Bildmerkmalsdetektor wird auf diese Bilder angewendet und dies kann die charakterisierenden Punkte erzeugen. Zu einer Vielzahl von jedem Satz der charakterisierenden Punkte werden dreidimensionale Punkte beispielsweise mit dem Verfahren der bewegungsbasierten Strukturerkennung extrahiert.
  • Die Ausrichtung wird vorzugsweise durch Bestimmen einer geometrischen und/oder mathematischen Transformation durchgeführt, die den ersten Satz von dreidimensionalen Punkten der Trainingsphase in den zweiten Satz von dreidimensionalen Punkten der Betriebsphase transformiert, wobei die Transformation einen Toleranzschwellenwert erfüllt. Neben der Minimierung der Kostenfunktion kann eine andere mathematische Transformation oder geometrische Transformation verwendet werden, um die zwei Sätze von dreidimensionalen Punkten bzw. die zwei Teilwolken auszurichten. Dies kann beispielsweise eine Transformationsmatrix sein, die den Punkt von einer Teilwolke in einer solchen Weise verschiebt, dass die Punkte der zwei Sätze von dreidimensionalen Punkten so gut wie möglich überlagert werden. Im besten Fall liegen die meisten der Punkte des ersten Satzes auf dem Punkt des zweiten Satzes nach der Transformation τ. Da es nicht möglich ist, eine mathematische Transformation zu erhalten, die perfekt einen Satz von dreidimensionalen Punkten in den anderen transformiert, muss eine gewisse Abweichung toleriert werden. Daher muss die geometrische und/oder mathematische Transformation einen Schwellenwert erfüllen. Die Ausrichtung, die durch eine solche Transformation ausgeführt werden kann, kann als erfüllt betrachtet werden, wenn die Transformation die Abweichung einhält. Eine perfekte Transformation ohne jede Toleranz (Schwellenwert = 0) ist nicht nötig. In anderen Worten überschreitet die erlaubte Abweichung nicht den Schwellenwert. Die Gesamtabweichung kann beispielsweise als Summe von Abständen der Punkte der zwei Sätze von dreidimensionalen Punkten ausgedrückt werden.
  • In einer anderen Variante dieser Erfindung ist die mindestens eine Kamera mit dem Fahrzeug verbunden. Die Idee dieser Erfindung besteht in der Verwendung des Ausrichtungsverfahrens von Schritt c) insbesondere in autonomen Parksystemen. Daher ist es geeignet, die Kamera mit dem Fahrzeug zu verbinden. Am Fahrzeug können mehrere Kameras installiert sein. Eine Kamera kann an der Vorderseite angeordnet sein, eine andere Kamera am Heck des Fahrzeugs. Weitere zwei Kameras können an den Außenspiegeln des Fahrzeugs befestigt sein. Das Kamerasystem kann durch mehrere einzelne Kameras realisiert sein, die Fischaugenkameras oder Stereokameras sein können. Da die Kameras am Fahrzeug befestigt sind, ist die geometrische Beziehung zum Fahrzeug bekannt. Die Position der Kameras ist dieselbe wie die Position des Fahrzeugs. Dies hilft, die Ortung des Fahrzeugs zu vereinfachen.
  • In einer bevorzugten Ausführungsform dieser Erfindung wird eine Pose des Fahrzeugs relativ zu der trainierten Trajektorie aufgrund der Ausrichtung in Schritt c) auf der Basis des Orts des Fahrzeugs bestimmt. Da vorzugsweise mindestens eine Kamera mit dem Fahrzeug verbunden ist, ist die geometrische Beziehung der Bilder zum Fahrzeug klar. Alle Bilder zeigen in diesem Fall die Umgebung aus der Perspektive des Fahrzeugs. In diesem Fall kann die Pose des Fahrzeugs aufgrund des Ausrichtungsverfahrens gemäß dem vorher beschriebenen Verfahren kleinster Quadrate bestimmt werden. Da dieses Verfahren viele digitale Ressourcen verbrauchen kann, kann die Pose des Fahrzeugs als Nebenprodukt des Ausrichtungsverfahrens betrachtet werden. Im Fall einer Kamera, die mit dem Fahrzeug verbunden ist, ist keine geometrische Transformation erforderlich, um die Pose des Fahrzeugs nach der Ausrichtung von Schritt c) zu bestimmen. Wenn eine Kamera in einer anderen Position als das Fahrzeug installiert ist, kann eine weitere geometrische Transformation nach dem Ausrichtungsverfahren erforderlich sein, um den Ort und die Orientierung des Fahrzeugs zu bestimmen. Die Pose des Fahrzeugs enthält seine Position in dreidimensionalen Koordinaten und die Orientierung des Fahrzeugs, die vorzugsweise als Winkelwert ausgedrückt ist.
  • In einer anderen Ausführungsform wird das Fahrzeug in der Trainingsphase manuell entlang einer Trajektorie manövriert und in der Betriebsphase in Abhängigkeit von seiner relativen Position zur Trajektorie autonom manövriert. Um autonome Parksysteme zu verbessern, wird ein Fahrzeug in vielen Fällen trainiert. In der Trainingsphase sollte das Fahrzeug lernen, wie es selbständig von einem Ort zu einem anderen Ort manövrieren soll. In den meisten Fällen ist beabsichtigt, dass das Fahrzeug selbst in einen Parkplatz oder in eine Garage einparkt. In dieser Variante der Erfindung fährt ein Fahrer manuell das Fahrzeug von einem Ort zum anderen Ort. Während dieser manuellen Manövrierprozedur verwendet das Fahrzeug sein Sensorsystem, um die Umgebung zu betrachten und die Trajektorie sowie wichtige Landmarken zu registrieren. Eine Landmarke kann ein wichtiges Merkmal in einer Umgebung sein, das für das Fahrzeug hilfreich sein kann, um sich erneut zu lokalisieren. In der Betriebsphase manövriert das Fahrzeug autonom in Abhängigkeit von seiner relativen Position zur Trajektorie der Trainingsphase. Dies bedeutet, dass sich das Fahrzeug an die Trajektorie der Trainingsphase „erinnert“ und das Fahrzeug sich aufgrund der Daten, die in der Trainingsphase gewonnen werden, in Bezug auf die tatsächlichen Sensordaten, die in der Betriebsphase gewonnen werden, erneut lokalisieren kann. Die Daten der Trainingsphase werden häufig „Trainingswolke“ genannt, die Daten der Betriebsphase werden häufig „Live-Wolke“ genannt.
  • In einer anderen Ausführungsform dieser Erfindung ist das Fahrzeug zur Trajektorie in der Betriebsphase versetzt, die in der Trainingsphase erhalten wird, und ein Lenksignal wird auf der Basis der Pose erzeugt. Gewöhnlich wurde das Fahrzeug entlang einer Trajektorie in der Trainingsphase manövriert. In der Betriebsphase kann die Situation entstehen, dass das Fahrzeug nicht der Trajektorie aus der Trainingsphase folgen kann. Beispielsweise können Hindernisse das Fahrzeug zwingen, die trainierte Trajektorie zu verlassen. In diesem Fall wird das Fahrzeug auf die Trajektorie in der Betriebsphase umgelenkt, die in der Trainingsphase erhalten wurde. Diese Ausführungsform beabsichtigt, das Fahrzeug zurück auf die trainierte Trajektorie zu leiten. Dadurch ist das Lenksignal dazu ausgelegt, das Fahrzeug zur trainierten Trajektorie zurückzuführen. Die trainierte Trajektorie wird vorzugsweise in der Trainingsphase bestimmt. Diese Ausführungsform zieht in Betracht, dass es möglich sein kann, dass das Fahrzeug nicht immer der trainierten Trajektorie folgen kann. Es kann sein, dass aufgrund eines Fehlers oder eines Hindernisses auf oder an der trainierten Trajektorie das Fahrzeug zur trainierten Trajektorie verschoben wird oder von dieser abweichen muss. Daher ist es möglich, dass das Fahrzeug der trainierten Trajektorie ausweicht und trotzdem zur trainierten Trajektorie zurückfinden kann.
  • Eine andere Ausführungsform dieser Erfindung verwendet Grenzflächen, Kanten und/oder Ecken in den Bildern als charakterisierende Punkte. Um relevante Bildmerkmale zu extrahieren, müssen charakterisierende Punkte identifiziert werden. Ein Bildmerkmal kann auch mehrere charakterisierende Punkte aufweisen. Ein Baum kann beispielsweise nicht durch einen einzelnen charakterisierenden Punkt ausgedrückt werden. Der Baum muss durch mehrere charakterisierende Punkte oder einen Cluster von charakterisierenden Punkten ausgedrückt werden. Das Erkennen eines Baums ist ziemlich leicht für Menschen und sogar Kinder können Bäume sehr schnell erkennen. Auf dem Gebiet der Bildverarbeitung kann diese Aufgabe anspruchsvoll sein. In vielen Fällen werden sehr komplexe mathematische Filter verwendet, so dass ein Computer oder eine Steuereinheit einen Baum erkennen kann. Grenzflächen, Kanten und/oder Ecken in dem Bild können als grundlegende Bildmerkmale betrachtet werden. Ihre Bestimmung ist nicht so komplex wie beispielsweise für die Erkennung eines Baums. Wenn eine Bildanalyse auf charakterisierende Punkte reduziert werden kann, die nur Grenzflächen, Kanten und/oder Ecken umfassen, kann die Bestimmung von zwei Sätzen von charakterisierenden Punkten leichter und/oder schneller sein. Es ist beabsichtigt, Grenzflächen, Kanten und/oder Ecken in den Bildern als charakterisierende Punkte zu verwenden, da sie einen Satz von Bildmerkmalen beschreiben, die im Vergleich zu komplexen Bildmerkmalen wie Bäumen oder Fußgängern leicht identifiziert werden können.
  • In einer anderen Variante dieser Erfindung werden Weltkoordinaten als dreidimensionale Koordinaten verwendet. Ein dreidimensionaler Punkt wird durch dreidimensionale Koordinaten ausgedrückt. Es existieren verschiedene Koordinatensysteme, um die Koordinatenwerte auszudrücken. Wenn beispielsweise eine Position von einem kartesischen Koordinatensystem in ein Polarkoordinatensystem transformiert wird, können sich die Werte der Koordinaten ändern, aber die Position bleibt gleich. Häufig ist es erwünscht, ein Koordinatensystem zu verwenden, das vom Blickpunkt unabhängig ist. Eine Person außerhalb eines manövrierenden Fahrzeugs muss andere Koordinatenwerte verwenden als es für ein Koordinatensystem in Bezug auf das Fahrzeug selbst der Fall ist. Unter Verwendung von Weltkoordinaten kann ein konsistentes Koordinatensystem für alle Benutzer bereitgestellt werden. Im Fall von Weltkoordinaten ist es egal, ob sich der Benutzer bewegt oder still steht. Die Koordinatenwerte für eine Position wären in beiden Fällen gleich. Dies kann ziemlich vorteilhaft sein, da auf eine weitere Koordinatentransformation verzichtet werden kann.
  • In einer anderen Ausführungsform ist ein Teil von jedem des ersten und des zweiten Satzes von dreidimensionalen Punkten auf ein externes Objekt bezogen und ein Objekttyp des externen Objekts wird für die Ausrichtung in Schritt c) bestimmt. Dies kann helfen, die Ausrichtung in Schritt c) zu verbessern. Ein externes Objekt ist nicht das Fahrzeug. Im Fall des manövrierenden Fahrzeugs kann es sich um ein anderes Auto, einen Baum oder irgendetwas anderes handeln, das in einem Bild sichtbar ist. Dieses externe Objekt kann mehrere charakterisierende Punkte umfassen, die durch den Bildmerkmalsdetektor bestimmt werden können. In dieser Variante der Erfindung wird zusätzlich ein Objekttyp dieses externen Objekts bestimmt. Dies bedeutet, dass der Satz von charakterisierenden Punkten einem Baum oder einem Auto, einem Bordstein oder einem anderen Objekttyp zugewiesen wird. Für die Ausrichtung werden die charakterisierenden Punkte vorzugsweise mit dreidimensionalen Koordinaten ergänzt und in 3D-Punkte transformiert. Diese Ausführungsform der Erfindung kann die Ausrichtung in Schritt c) verbessern. Beispielsweise kann es leichter sein, Fehler bei der Ausrichtung zu erkennen, wenn verschiedene Objekttypen ausgerichtet werden. Wenn beispielsweise ein Bild ein Auto zeigt und ein anderes Bild einen signifikanten Baum zeigt, wäre es ein Fehler, die 3D-Punkte des Autos auf die 3D-Punkte des Baums auszurichten. Da ein Auto und ein Baum nicht gleich sind, kann ein Fehler bei der Ausrichtung erscheinen. Trotzdem kann die Ausrichtung in diesem Fall durchgeführt werden, das das Ausrichten vorzugsweise nur ein bestimmtes Toleranzniveau erfüllen muss. Wenn das Toleranzniveau hoch genug ist, können sogar die 3D-Punkte eines Baums auf die 3D-Punkte eines Autos ausgerichtet werden. Dies bedeutet, dass die Abweichung keinen vordefinierten Toleranzschwellenwert überschreitet. Es kann ausreichend genug sein, wenn die Ausrichtung ihre zugrundeliegende mathematische Bedingung erfüllt.
  • In einer anderen Ausführungsform der Erfindung wird der Objekttyp in ein statisches oder dynamisches Objekt zum Verringern der Anzahl von dreidimensionalen Punkten für Schritt c) oder d) klassifiziert. Wenn bekannt ist, ob das externe Objekt ein statisches oder ein dynamisches Objekt ist, können zusätzliche Informationen zum Verbessern der Bestimmung des Orts des Objekts bereitgestellt werden. Ein statisches Objekt kann ein Baum sein, ein dynamisches Objekt kann ein anderes Fahrzeug oder ein Fußgänger sein. Es kann vorteilhaft sein, die Ausrichtung von Schritt c) auf statische Objekte zu fokussieren, da sie nicht plötzlich verschwinden können. Wenn beispielsweise ein Fahrzeug in der Trainingsphase vorhanden ist, aber nicht mehr in der Betriebsphase, ist es nicht möglich, die dreidimensionalen Punkte (3D-Punkte) des Fahrzeugs, das in der Trainingsphase vorhanden ist, auf das verschwundene Fahrzeug in der Betriebsphase auszurichten. Mittlerweile kann das Fahrzeug verschwunden sein und daher ist die Ausrichtung dieser 3D-Punkte nicht mehr erfolgreich oder kann ein sinnloses Ergebnis erzeugen. Daher ist es bevorzugt, statische Objekte zu verwenden, um die zwei Sätze von 3D-Punkten auszurichten. Statische Objekte verschwinden gewöhnlich nicht plötzlich während einer Zeitdauer zwischen der Trainingsphase und der Betriebsphase. Signifikante Bäume in der Trainingsphase sind beispielsweise gewöhnlich in der Betriebsphase immer noch vorhanden. Diese statischen Objekte können charakterisierende Punkte mit 3D-Koordinaten (3D-Punkte) umfassen, die in beiden Phasen verfügbar sind, der Trainingsphase und der Betriebsphase. Die 3D-Punkte von dynamischen Objekten können natürlich auch verwendet werden. Aber in diesem Fall sollte in Betracht gezogen werden, dass diese Art von 3D-Punkten nicht immer ausgerichtet werden kann. Dies bedeutet, dass die 3D-Punkte von dynamischen Objekten manchmal für die Ausrichtung nutzlos sein können. Daher ist es vorteilhaft, nach charakterisierenden Punkten und/oder 3D-Punkten von statischen Objekten zu suchen. Es kann auch nützlich sein, die Anzahl von dreidimensionalen Punkten zu begrenzen, um die Ausrichtung in Schritt c) sowie die Bestimmung des Orts des Fahrzeugs in Schritt d) zu verbessern.
  • In einer anderen Variante der Erfindung wendet der Bildmerkmalsdetektor eine Ähnlichkeitsanalyse auf die Bilder der Trainings- und/oder Betriebsphase an, um charakterisierende Punkte zu extrahieren. Der Bildmerkmalsdetektor kann mehrere komplexe Filter enthalten, um verschiedene Bildmerkmale zu detektieren. Ein solches Filter kann als Matrix betrachtet werden, die auf das Bild angewendet wird, das eine Ansammlung von Pixelwerten für einen Computer ist. Um die Bestimmung von charakterisierenden Punkten zu beschleunigen, kann eine Ähnlichkeitsanalyse an den Bildern hilfreich sein. Daher kann der Bildmerkmalsdetektor durch eine Ähnlichkeitsanalyse an den Bildern ergänzt werden. Vorzugsweise liefert der Bildmerkmalsdetektor zusätzlich mit einem weiteren Tool dreidimensionale Koordinaten zu den charakterisierenden Punkten. Bildmerkmale können über aufeinanderfolgende Einzelbilder hinweg abgeglichen werden und eine 3D-Rekonstruktion kann durchgeführt werden, um die 3D-Koordinaten zu erhalten. In diesem Fall können die charakterisierenden Punkte auch als dreidimensionale Punkte für die Ausrichtung in Schritt c) verwendet werden.
  • In einer anderen Konfiguration dieser Erfindung werden einige der charakterisierenden Punkte und der dreidimensionalen Koordinaten beider Sätze der dreidimensionalen Punkte zu einer Landmarke vereinigt und die Landmarke wird für eine zukünftige Lokalisierung in einer digitalen Karte gespeichert. Diese Prozedur wird vorzugsweise in der Trainingsphase angewendet. Um die charakterisieren Punkte schneller und leichter zu identifizieren, kann ein Cluster von charakterisierenden Punkten einem signifikanten Objekt zugewiesen werden. Ein signifikantes Objekt kann durch eine Bildmerkmalsanalyse detektiert werden. Wenn beispielsweise eine signifikante Statue in der Trainingsphase vorhanden ist, kann die Statue einige charakterisierende Punkte liefern. Idealerweise stehen auch 3D-Koordinaten zur Verfügung und werden zu den charakterisierenden Punkten hinzugefügt. Die charakterisierenden Punkte dieser Statue können gesammelt und zu einem Cluster von Punkten vereinigt werden. In diesem Fall ist nur ein Cluster von Punkten mit 3D-Koordinaten vorhanden. Dieser Cluster von Punkten zusammen mit 3D-Koordinaten kann die Kontur der Statue für einen Menschen zeigen, es ist jedoch für einen Computer nicht klar, dass dieser Cluster von Punkten zur Statue gehört. Die Information, dass dieser Satz von dreidimensionalen Punkten zur Statue gehört, kann durch eine weitere Bildmerkmalsanalyse bestimmt werden. Eine Landmarke kann die dreidimensionalen Informationen des Clusters von dreidimensionalen Punkten und die Informationen der Bildmerkmalsanalyse kombinieren. In dieser Ausführungsform werden diese zwei Teile von Informationen zu einer Landmarke vereinigt und diese Landmarke wird für eine zukünftige Lokalisierung in der Betriebsphase in einer digitalen Karte gespeichert. Es kann vorteilhaft sein, mehrere Cluster von dreidimensionalen Punkten zu verwenden, die durch eine geeignete Bildmerkmalsanalyse zu mehreren Landmarken vereinigt werden können. Dies kann zu verschiedenen signifikanten Landmarken wie Statuen, Bäumen, signifikanten Gebäuden, signifikanten Verkehrszeichen oder anderen Landmarken führen, die für eine zukünftige Lokalisierung des Fahrzeugs nützlich sind.
  • Diese Erfindung stellt auch eine Lokalisierungsvorrichtung zum Lokalisieren eines Fahrzeugs bereit, wobei die Lokalisierungsvorrichtung dazu ausgelegt ist, eines der vorangehenden Verfahren durchzuführen. Gewöhnlich umfasst eine Lokalisierungsvorrichtung ein Fahrzeug mit mindestens einer Kamera, die die Umgebung des Fahrzeugs betrachten und eine geeignete Bildverarbeitung bereitstellen kann.
  • Eine andere spezielle Ausführungsform dieser Erfindung ist dadurch gekennzeichnet, dass die Lokalisierungsvorrichtung mindestens eine monokulare Kamera umfasst. Im Vergleich zu Stereokameras sind monokulare Kameras kompakter, wirtschaftlicher und sie können auch sehr effizient sein.
  • Eine andere Ausführungsform dieser Erfindung stellt eine Lokalisierungsvorrichtung bereit, wobei das Sensorsystem mindestens einen Radarsensor, Laserscanner, LIDAR-Sensor und/oder Ultraschallsensor umfasst. Diese verschiedenen Arten von Sensoren können verwendet werden, um dreidimensionale Informationen über die Umgebung des Fahrzeugs zu gewinnen. Insbesondere werden 3D-Koordinaten durch jeden dieser verschiedenen Sensoren bereitgestellt.
  • Diese Erfindung bietet auch ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der vorangehenden Ansprüche durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinheit verarbeitet wird. In dieser Variante dieser Erfindung werden einige Schritte des Verfahrens in ein Computerprogrammprodukt integriert. Dieses Computerprogrammprodukt kann interne Algorithmen umfassen, die in der Lage sind, einige Schritte der Erfindung durchzuführen. Es ist möglich, das Ausrichtungsverfahren im Computerprogrammprodukt zu implementieren. Wenn mehrere Bilder zum Computerprogrammprodukt geliefert werden, kann es möglich sein, die Bildanalyse und das Ausrichtungsverfahren sowie die Bestimmung der Position des Fahrzeugs im Computerprogrammprodukt mittels Programmcodes durchzuführen. Wenn das Computerprogrammprodukt auf einem Prozessor verarbeitet wird, können solche integrierten Schritte der Erfindung durchgeführt und verwirklicht werden.
  • Diese Erfindung stellt auch ein Fahrerassistenzsystem mit einem Computerprogrammprodukt bereit. In dieser Variante kann das Computerprogrammprodukt in ein Fahrzeug eingebettet sein. Das Fahrzeug kann ein Sensorsystem enthalten, das zum Fahrzeug gehört. Dies bedeutet, dass das Computerprogrammprodukt ein Teil eines Fahrerassistenzsystems eines Fahrzeugs sein kann. Das Computerprogrammcodemittel kann die erfindungsgemäßen Schritte gemäß Anspruch 1 durchführen, wenn es aktiviert wird. Es kann die vorangehenden erwähnten Ausführungsformen dieser Erfindung durchführen können. In Abhängigkeit von der Pose des Fahrzeugs relativ zur Trajektorie gemäß der Trainingsphase kann das Computerprogrammcodemittel ein Steuersignal erzeugen, das das Fahrerassistenzsystem veranlasst, das Auto autonom zu manövrieren. Dies bedeutet, dass das Computerprogrammcodemittel und das Fahrerassistenzsystem zusammenwirken und zusammenarbeiten können.
  • Diese Erfindung bietet auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem. In dieser Variante der Erfindung wird ein Fahrzeug bereitgestellt, das ein Fahrerassistenzsystem umfasst, das die erfindungsgemäßen Schritte dieser Erfindung durchführen kann. Ferner kann sich dieses Kraftfahrzeug durch die Zusammenwirkung des Fahrerassistenzsystems mit dem Computerprogrammprodukt manövrieren.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch die separierten Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
  • Die Erfindung wird nun anhand von bevorzugten Ausführungsformen sowie mit Bezug auf die beigefügten Zeichnungen genauer erläutert.
  • Dabei zeigen die Figuren:
    • 1 eine beispielhafte Trajektorie mit einem Auto und einem Parkplatz;
    • 2 ein beispielhaftes Bild, um die Zuordnung von Bildmerkmalen darzustellen;
    • 3 beispielhafte zwei Sätze von charakterisierenden dreidimensionalen Punkten;
    • 4 ein erläuterndes Beispiel zum Detektieren von grundlegenden Bildmerkmalen;
    • 5 ein beispielhaftes Bild, das durch eine Kamera aufgenommen wird, die an einem Fahrzeug installiert ist, in Kombination mit den Ergebnissen des Ausrichtungsverfahrens;
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen.
  • 1 zeigt beispielhaft ein Fahrzeug 100 mit einer Pose 170. Das Fahrzeug 100 folgt einer Trajektorie 120 durch Passieren von einigen Zwischenpunkten 130. Diese Zwischenpunkte 130 können vorbestimmt sein oder sie können während des Manövrierens des Fahrzeugs 100 erzeugt werden. Vorzugsweise erzeugt das Sensorsystem des Fahrzeugs 100 dreidimensionale Punkte (300a, 300b) einer Umgebung des Fahrzeugs 100 an diesen Zwischenpunkten 130. Wenn das Fahrzeug 100 eine Kamera 190 aufweist, können Bilder von der Umgebung des Fahrzeugs 100 an den Zwischenpunkten 130 gemacht werden. In der Trainingsphase analysiert und registriert das Fahrzeug 100 seine Umgebung unter Verwendung von verschiedenen Sensoren. Diese Sensoren können in ein Sensorsystem des Fahrzeugs 100 zusammengefasst sein. Das Sensorsystem kann eine oder mehrere Kameras 190, Ultraschallsensoren, Koppelnavigationssensoren oder andere Sensoren umfassen. Dieses Beispiel bezieht sich auf die Verwendung eines Kamerasystems. Ein solches Kamerasystem kann mehrere Kameras 190 umfassen. Die Kameras 190 können verschiedene Arten von Kameras 190 sein. Es ist möglich, dass die Kamera 190 als monokulare Kamera, Fischaugenkamera, Stereokamera oder Ultraviolettkamera gestaltet ist. Die Kamera 190 kann auch eine Infrarotkamera 190 sein. Das Kamerasystem kann mehrere Bilder aufnehmen, während das Fahrzeug 100 entlang der Trajektorie 120 manövriert wird. In der Trainingsphase wird dieser Manövrierprozess vorzugsweise manuell durch einen Fahrer durchgeführt.
  • Eine elektronische Steuereinheit kann vorgesehen sein, die die mehreren Bilder analysiert. Diese Analyse kann vorzugsweise die Bestimmung von charakterisierenden Punkten in der Trainingsphase umfassen. In einer Betriebsphase können andere charakterisierende Punkte registriert werden. In einer Trainingsphase entspricht der Satz von charakterisierenden Punkten der trainierten Wolke. In der Betriebsphase entspricht der Satz von charakterisierenden Punkten der Live-Wolke. Das Verfahren zum Bestimmen des Satzes von charakterisierenden Punkten verwendet vorzugsweise einen Bildmerkmalsdetektor, der charakterisierende Bildmerkmale detektieren kann. Der Bildmerkmalsdetektor kann mehrere Typen von Filtern enthalten, kann jedoch verschiedene Bildmerkmale detektieren. Während das Fahrzeug 100 entlang der Trajektorie 120 manövriert wird, können mehrere Sätze von charakterisierenden Punkten gesammelt werden. Im Fall von 1 sind vier Bereiche mit einem Kreuz gezeigt, welches jeweils eine Landmarke 110 repräsentiert. Diese Bereiche sollen einen Baum darstellen. Der Bildmerkmalsdetektor extrahiert vorzugsweise jene Punkte aus dem Bild, die charakterisierend und/oder markant sind. Dies bedeutet, dass das Bildmerkmal als Vorauswahl von interessierenden oder charakterisierenden Punkten in den Bildern betrachtet werden kann. Da es sehr aufwändig ist, jeden einzelnen Punkt eines Bildes auszuwerten, ist es sehr vorteilhaft, eine Vorauswahl von charakterisierenden Punkten in einem Bild durchzuführen. Da für die Ausrichtung dreidimensionale Koordinaten der charakterisieren Punkte bestimmt werden müssen, kann eine Vorauswahl von charakterisierenden Punkten helfen, einen effizienten Prozess durchzuführen. Zumindest wäre sie nicht in Echtzeit in der Lage, was für autonome Parksysteme erforderlich ist.
  • Nachdem der Bildmerkmalsdetektor einige Sätze von charakterisierenden Punkten ausgewählt hat, werden diese charakterisierenden Punkte weiter analysiert. Aus den charakterisierenden Punkten werden dreidimensionale Koordinaten zumindest aus einer Vielzahl der charakterisierenden Punkte extrahiert. Vorzugsweise wird auch das Bildmerkmal selbst als semantische Information gewonnen. Im Fall von 1 kann das Bildmerkmal „Baum“ für die vier wolkenförmigen Regionen zugewiesen werden, die durch Hinzufügen der dreidimensionalen Informationen zu den Bildmerkmalsinformationen zu Landmarken 110 vereinigt werden. Durch ein Verfahren der Strukturerkennung werden dreidimensionale Koordinaten aus den mehreren Bildern extrahiert. Dies bedeutet, dass dreidimensionale Koordinaten aus mehreren Bildern berechnet werden können, um dreidimensionale Informationen zu den charakterisierenden Punkten hinzuzufügen. Die Bildmerkmalsinformationen und die entsprechenden dreidimensionalen Koordinaten können vorzugsweise als Landmarke 110 in einer digitalen Karte gespeichert werden. Andere Landmarken 110 als ein Baum sind natürlich möglich. Dies kann helfen, das Ausrichtungsverfahren und die Bestimmung der Position des Fahrzeugs später in der Betriebsphase zu beschleunigen.
  • Es muss festgestellt werden, dass diese Erfindung nicht das Verfahren zum Zuordnen von Bildmerkmalen durchführt. Der Bildmerkmalsdetektor bestimmt Sätze von charakterisierenden Punkten, und um dies durchzuführen, kann der Bildmerkmalsdetektor nach Bildmerkmalen suchen. Aber dieser Schritt wird nur durchgeführt, um eine Menge an Punkten zu erhalten, die effektiv später verarbeitet werden können. Da es nicht effektiv oder sogar unmöglich ist, dreidimensionale Koordinaten aller Pixel oder charakterisierenden Punkte, die in einem Bild existieren, zu extrahieren, ist eine Vorauswahl von charakterisierenden Punkten häufig erforderlich. Dies bedeutet, dass der Bildmerkmalsdetektor die Menge an Punkten in einem Bild begrenzt, so dass das Verfahren zum Lokalisieren des Fahrzeugs 100 effektiv und vorzugsweise in Echtzeit durchgeführt werden kann. Die Lokalisierung des Fahrzeugs 100 wird durch die Ausrichtung durchgeführt, die implizit den Ort oder sogar die Pose 170 des Fahrzeugs 100 bestimmt, wenn die Bilder durch ein Kamerasystem aufgenommen werden, das mit dem Fahrzeug 100 verbunden ist.
  • 2 zeigt ein Beispiel dessen, wie Bildmerkmale im Stand der Technik zugeordnet werden. In 2 ist das Fahrzeug 100 gezeigt, das in seinen Parkplatz 150 einparkt. Ein Bildmerkmalsdetektor kann mehrere Bildmerkmale finden. Das Bildmerkmal 200 zeigt beispielsweise ein Gesicht einer Person. Das Bildmerkmal 210 zeigt weiße Streifen, die voneinander getrennt sind. Das Bildmerkmal 220 zeigt eine kontinuierlich dicke weiße Linie auf dem Boden. Das Bildmerkmal 230 zeigt ein Rad des Fahrzeugs. Das Bildmerkmal 240 zeigt einen aufrechten Poller mit einem Licht. Ein Bildmerkmalsdetektor mit verschiedenen Filtern kann diese Bildermale und natürlich noch mehr von ihnen detektieren. Im Fall von 2 sind das linke Bild und das rechte Bild gleich. Daher ist es sehr leicht, die Bildmerkmale der linken Abbildung in der rechten Abbildung zu detektieren. Gewöhnlich ist es nutzlos, nach Bildmerkmalen in zwei Bildern zu suchen, die gleich sind, aber in diesem Fall soll nur das Prinzip der Bildmerkmalskartierung demonstriert werden. Gewöhnliche visuelle simultane Ortskartierungsverfahren suchen nach Bildmerkmalen, die sie in verschiedenen Bildern finden können. In diesem Fall werden das Gesicht der Person, die weißen Streifen, die dicke weiße Fahrspur, das Rad des Autos und der aufrechte Poller im linken und im rechten Bild gefunden. Der Kasten zwischen den zwei Bildern stellt den Zuordnungsprozess der Bildmerkmale dar. Durch Kombinieren derselben Bildmerkmale von verschiedenen Bildern können dreidimensionale Informationen extrahiert werden. In dem Beispiel von 2 kann die Position des aufrechten Pollers 240 durch Kombinieren der Bildmerkmale 240 und 220 bestimmt werden. In der Realität würden natürlich viel mehr Bildmerkmale verwendet werden als in 2 dargestellt sind. In einem Bild können Hunderte oder mehr als Tausende von Bildmerkmalen in einem einzigen Bild vorhanden sein. Durch Kombinieren der geeigneten Bildmerkmale von verschiedenen Bildern können dreidimensionale Informationen gewonnen werden.
  • Im Gegensatz zu dem „Zuordnungs“-Verfahren, das beispielhaft in 2 gezeigt ist, macht diese Erfindung von dem Ausrichten oder der Ausrichtung von Schritt c) Gebrauch. 3 zeigt zwei Diagramme. Jedes Diagramm enthält mehrere Gruppen von dreidimensionalen Punkten 300a, 300b. Diese dreidimensionalen Punkte 300a, 300b werden in verschiedene Gruppen zusammengefasst. Diese verschiedenen Gruppen von dreidimensionalen Punkten 300a, 300b können Cluster von dreidimensionalen Punkten genannt werden. Die Gruppen von 3D-Punkten in 3 sollen einen Fußgänger, ein Auto, einen Baum und einen beweglichen Poller darstellen. Die Summe der verschiedenen Cluster bildet eine Datenbank, die Wolke oder 3D-Punktwolke genannt werden kann. Wenn diese Daten während der Trainingsphase gewonnen werden, wird diese Wolke als trainierte Wolke 390t bezeichnet. Das rechte Diagramm zeigt andere dreidimensionale Punkte 300b, wobei diese dreidimensionalen Punkte 300b auch in verschiedene Cluster zusammengefasst sind. Das rechte Diagramm kann als Live-Wolke 3901 betrachtet werden. In diesem Fall sind die trainierte Wolke 390t und die Live-Wolke 3901 ziemlich ähnlich. Die Live-Wolke 3901 wurde gemäß der Richtung 330 nach rechts und nach oben bewegt. In der Realität bestünden natürlich mehr Differenzen zwischen der trainierten 390t und der Live-Wolke 3901, aber hier ist auch nur wichtig, die Ausrichtung darzustellen. Natürlich kann es erforderlich sein, eine Drehung 320 oder weitere geometrische Transformationen durchzuführen, um die trainierte Wolke 390t auf die Live-Wolke 3901 auszurichten. In diesem Fall kann die Ausrichtung durch nur eine einfache Bewegung entlang der Richtung 330 durchgeführt werden. Dadurch wird das Diagramm der Live-Wolke 3901 so weit wie möglich kongruent mit der trainierten Wolke 390t.
  • Da die Live-Wolke 3901 und die trainierte Wolke 390t ähnlich sind, stellt die Ausrichtung eine Abweichung bereit, die wahrscheinlich unter einem vordefinierten Toleranzschwellenwert liegt. Die verschiedenen 3D-Punkte können ein bewegliches Objekt sein, das in der Trainingsphase vorhanden war, aber in der Betriebsphase nicht mehr vorhanden ist, oder umgekehrt. In der Realität bleiben natürlich einige Differenzen, die größer als in dem Beispiel von 3 sein können. Die Ausrichtung versucht vorzugsweise, diese zwei Wolken durch Minimieren der Abstands- oder Kostenfunktion auszurichten. Dies bedeutet, dass die Ausrichtung nach einer Transformation sucht, die die trainierte Wolke 390t in die Live-Wolke 3901 umwandelt und zusätzlich einen Schwellenwert erfüllt. Die Ausrichtung versucht insbesondere, die Gleichung 1 zu erfüllen.
  • 2 und 3 zeigen deutlich die Unterschiede zwischen der Bildmerkmalszuordnung und der Ausrichtung von zwei Sätzen von 3D-Punktwolken. In Bezug auf 3 kann es erforderlich oder geeignet sein, einen oder mehrere der Cluster der dreidimensionalen Punkte 300a, 300b zu vernachlässigen. Eine solche Situation kann entstehen, wenn in der Trainingsphase eine Landmarke 110 vorhanden war und in der Trainingsphase verschwunden ist. In diesem Fall können die 3D-Punkte der verschwundenen Landmarke 110 nicht ausgerichtet werden. Trotzdem besteht jedoch immer noch eine Ausrichtung, die die Gleichung 1 erfüllen kann, wenn der Toleranzschwellenwert nicht zu klein ist. Mit anderen Worten versucht Gleichung 1, die Ausrichtung so gut wie möglich durchzuführen. Die Ausrichtung wird vorzugsweise unter Verwendung von Gleichung 1 durchgeführt. Gleichung 1 ermöglicht einen quantitativen Wert für das Ausrichtungsverfahren. Trotzdem können auch andere Verfahren verwendet werden, um die Ausrichtung durchzuführen.
  • 4 zeigt beispielhaft, wie grundlegende Bildmerkmale bestimmt werden können. 4 zeigt ein Rechteck 400. Drei verschiedene Begrenzungskästen 410 - 430 sind in verschiedenen Positionen in oder am Rechteck 400 angeordnet. In diesem Fall werden die Begrenzungskästen entlang der Richtungen 450 und 440 bewegt, um Bildmerkmale zu detektieren. Daher wird beispielsweise der Begrenzungskasten 420 um ein kleines Ausmaß in einer der Richtungen 450 oder 440 bewegt, oder sogar als Kombination von zwei von ihnen. Dies führt zu einer neuen Position des Begrenzungskastens 420. Wenn der Inhalt des neuen Begrenzungskastens irgendeine visuelle Änderung zeigt, kann dies ein Zeichen für ein Bildmerkmal sein. Wenn der Begrenzungskasten 420 etwas in die Richtung von 440 bewegt wird, kann ein neuer Begrenzungskasten erzeugt werden, der absolut denselben Inhalt wie vorher enthält. Aufgrund der Verschiebung wird keine Änderung des Inhalts des Begrenzungskastens 420 induziert. Dies bedeutet in diesem Fall, dass der Begrenzungskasten 420 zum Detektieren eines Bildmerkmals nicht geeignet ist. Dies gilt auch für den Begrenzungskasten 410 in Bezug auf die Richtung 440. Der Begrenzungskasten 410 enthält eine Kante, wenn jedoch der Begrenzungskasten 410 entlang der Richtung 440 bewegt wird, ist keine visuelle Änderung des Inhalts des Begrenzungskastens 410 erkennbar. Wenn jedoch der Begrenzungskasten 410 entlang der Richtung 450 bewegt wird, ist eine Änderung des Inhalts des Begrenzungskastens 410 erkennbar. In diesem Fall zeigt der Begrenzungskasten 430 eine Änderung seines Inhalts durch irgendeine Bewegung. Wenn irgendeine Bewegung des Begrenzungskastens 430 zu einem anderen Inhalt des folgenden neuen Begrenzungskastens führt, deutet dies auf eine Ecke hin.
  • 4 ist ein erläuterndes Beispiel dessen, wie Bildmerkmale detektiert werden können. Ein Bildmerkmalsdetektor kann Filter umfassen, die solche Bildmerkmale detektieren können. Die Filter des Bildmerkmalsdetektors können ziemlich komplex sein, um schwierige Bildmerkmale wie Bäume oder Fußgänger zu detektieren. Der Bildmerkmalsdetektor kann mit einem neuronalen Netzwerk erweitert sein, um den Objekttyp zu detektieren. Dies bedeutet, dass eine semantische Information als zusätzliche beschreibende Information für das entsprechende Bildmerkmal gewonnen werden kann. Dieser Prozess kann Bildmerkmalsbeschreibung genannt werden. Um den Objekttyp eines Bildmerkmals zu bestimmen, kann ein faltendes neuronales Netzwerk angewendet werden. Anstelle eines faltenden neuronalen Netzwerks können auch andere Typen von künstlicher Intelligenz verwendet werden, um ein Bildmerkmal zu beschreiben oder einen Objekttyp eines Clusters von dreidimensionalen Punkten 300 zu detektieren.
  • 5 zeigt zwei Bilder eines Parkbereichs, die die Ergebnisse der Ausrichtung darstellen sollen. Das erste Bild über dem Bild mit den verschiedenen Arten von Flecken zeigt ein Bild, das durch die Kamera 190 aufgenommen wird, die vor dem Fahrzeug 100 installiert ist. In diesem Bild sind mehrere Objekte sichtbar. Links befinden sich zwei andere Fahrzeuge 520. Diese zwei Fahrzeuge 520 befinden sich an Parkplätzen 150, so dass diese Fahrzeuge 520 als statische Objekte betrachtet werden können. Über der Straße ist ein Zebrastreifen 530 sichtbar. Auf der rechten Seite dieses Bildes ist ein Symbol für behinderte Personen 510 auf dem Boden sichtbar. Die kleinen Pfeile 500' zeigen die gewünschte Trajektorie 120, die in der Trainingsphase manövriert wird, die das Fahrzeug 120 in der Betriebsphase nehmen soll. Das Bild von 5 ist ein Bild, das in der Betriebsphase aufgenommen wurde. In der Trainingsphase wurde das Fahrzeug 100 manuell entlang der Trajektorie 120 manövriert, die durch die kleinen Pfeile 500' dargestellt ist. In diesem Fall sollte das Fahrzeug 100 zwischen den zwei anderen Fahrzeugen 520 parken. Daher wurde eine Datenbank mit dreidimensionalen Punkten 300 in der Trainingsphase erzeugt, die trainierte Wolke 390t. Idealerweise enthalten die trainierte und die Live-Wolke Bildmerkmale. Die trainierte Wolke 390t in 5 entspricht im Allgemeinen der trainierten Wolke 390t in 3. In der Betriebsphase wird auch eine Datenbank erzeugt, die einen zweiten Satz von dreidimensionalen Punkten 300b umfasst. Diese dreidimensionalen Punkte 300a, 300b können durch kartesische Koordinaten ausgedrückt werden.
  • Die charakterisierenden Punkte vor der Extraktion der dreidimensionalen Informationen werden durch die Verwendung des Bildmerkmalsdetektors erhalten. Der Bildmerkmalsdetektor sucht vorzugsweise nach interessierenden oder markanten Bildmerkmalen. Er hilft ferner, die Menge an Punkten in der trainierten Wolke 390t und der Live-Wolke 3901 zu begrenzen. In diesem Fall können der Zebrastreifen 530 und das Symbol für das Behindertenparken 510 als interessierende Bildmerkmale betrachtet werden. In diesem Fall sind auch die zwei anderen Fahrzeuge 520 nützliche Objekte, da sie zumindest in der aktuellen Betriebsphase statische Objekte sind. Wenn die zwei Fahrzeuge 520 auch in der Trainingsphase in denselben Positionen vorhanden waren, können sie als statische Objekte betrachtet werden.
  • Die Ausrichtung wird in diesem Fall nur in Anbetracht der zwei Sätze von dreidimensionalen Punkten 300a, 300b durchgeführt. Diese sind die trainierte Wolke 390t und die Live-Wolke 3901. Das Diagramm unter dem Bild zeigt eine wolkenartige Ansammlung von verschiedenen Punkten. Die kleinen Quadrate 502 stellen die dreidimensionalen Punkte 300a dar, die unter Verwendung der Frontkamera 190 des Fahrzeugs 100 in der Trainingsphase extrahiert wurden. Die kleinen Dreiecke 501 stellen jene Punkte dar, die durch die Kamera 190 in der Trainingsphase aufgenommen wurden, die am Heck des Fahrzeugs 100 installiert ist. Dieses Diagramm in 5 ist nur eine zweidimensionale Darstellung, in der digitalen Karte sind jedoch dreidimensionale Koordinaten gespeichert und verfügbar. Die kleinen Kreisflecken 503 stellen die Informationen der Betriebsphase, die Live-Wolke 390I, dar. In diesem Fall wurde die Ausrichtung bereits durchgeführt, so dass die aktuelle Pose 170 des Fahrzeugs 100 bestimmt werden konnte. Die Pose des Fahrzeugs ist in dem Diagramm durch einen gefüllten Kreis 170' zusammen mit einem Pfeil dargestellt. Leider ist es aufgrund der riesigen Menge an Punkten im Diagramm ziemlich schwierig, der Ausrichtung vollständig zu folgen. Trotzdem können einige Strukturen in diesem Diagramm visuell identifiziert werden, die auch im obigen Bild vorhanden sind. Der Kasten 510' gibt beispielsweise eine Krümmung an, die aus dem Symbol für behinderte Personen 510 entsteht. Der Kasten 530' zeigt eine Ansammlung von vielen Flecken, die als Zebrastreifen 530 interpretiert werden können. Selbst die zwei anderen Autos 520 wurden in der trainierten Wolke 390t registriert, da in den Kästen 520' viele dreidimensionale Punkte in der trainierten Wolke 390t registriert wurden.
  • Der Umstand, dass in den Kästen 520' nur einige Punkte der Live-Wolke 3901 vorhanden sind, deutet darauf hin, dass die anderen zwei Fahrzeuge 520 in beiden Phasen nicht vorhanden waren. Dies kann das Ausrichtungsverfahren kompliziert machen. Daher ist es nützlich, charakterisierende Punkte aus statischen Objekten wie dem Zebrastreifen 530 oder dem Symbol für behinderte Personen 510 zu extrahieren. Im Kasten 510' sind Punkte von der trainierten Wolke 390t nicht gezeigt, so dass das Behindertensymbol 510 in 5 sichtbar bleibt. Im Bild von 5 ist die Trajektorie 120 durch Kreise angezeigt, wobei kleine Pfeile 500' die Pose 170 des Fahrzeugs angeben.
  • In der Betriebsphase hat eine Lokalisierungsvorrichtung Zugriff auf die trainierte Wolke 390t, die in der Trainingsphase erfasst wurde. Die trainierte Wolke 390t enthält mehrere Landmarken 110. Während sich das Fahrzeug 100 in der Betriebsphase bewegt, wird die lokale Struktur um das Fahrzeug 100 während der Betriebsphase unter Verwendung derselben Prozedur wie in der Trainingsphase rekonstruiert. Dies erzeugt die Live-Wolke 3901. Für die Ausrichtung werden nur die zwei Sätze von dreidimensionalen Punkten 300a und 300b verwendet. Die trainierte Wolke 390t und die Live-Wolke 3901 sind zwei verschiedene 3D-Punktwolken.
  • Die zugrundeliegenden Bildmerkmale werden nicht direkt für die Ausrichtung verwendet. Die Bildmerkmalsinformationen können zusätzlich durch den Bildmerkmalsdetektor extrahiert werden, aber diese Teile von Informationen werden nicht direkt für die Ausrichtung verwendet, sie können für andere Zwecke wie eine Objektklassifizierung verwendet werden. Die Ausrichtung kann einerseits von der Seltenheit der zwei Wolken, die von einem VSLAM-System erhalten werden, Nutzen ziehen. VSLAM bedeutet visuelle simultane Lokalisierung und Kartierung, die bei der Roboternavigation bekannt ist und verwendet wird. Diese Technologie kann mit der Technik der Sparsifikation kombiniert werden, um die riesige Menge an Daten zu verringern, so dass eine effektive Bildverarbeitung verwirklicht werden kann.
  • Mathematisch bedeutet dies, dass einige Einträge einer Transformationsmatrix auf null gesetzt sind. Ferner kann eine weiche Zuordnungsstrategie zwischen der trainierten und der Live-Wolke angewendet werden. Dies bedeutet, dass das Ausrichtungsverfahren nicht perfekt sein muss. Es muss nur einen bestimmten Schwellenwert hinsichtlich der Abweichung zwischen der trainierten Wolke 390t und der Live-Wolke 3901 erfüllen. Dies kann helfen, die Bestimmung der Pose 170 des Fahrzeugs in der Betriebsphase relativ zur trainierten Trajektorie 120 zu verbessern. Der Kreis 170' stellt dar, dass das Fahrzeug 100 erfolgreich erneut lokalisiert ist dank einer Strukturausrichtung der trainierten Wolke 390t und der Live-Wolke 390I. Die Ausrichtung wurde in 3 erläuternd gezeigt. In dem Diagramm von 5 wird dasselbe Verfahren verwendet, um die Pose 170 des Fahrzeugs 100 erneut zu lokalisieren.
  • Wie in dem Diagramm von 5 zu sehen ist, konnten einige Punkte der trainierten oder Live-Wolke nicht ausgerichtet werden. Dies kann verschiedene Gründe haben. Einige Cluster von 3D-Punkten 300a oder 300b wurden beispielsweise für die Ausrichtung vernachlässigt. Oben links ist beispielsweise kein Punkt der Live-Wolke 3901 sichtbar. Dies kann einfach aufgrund des Vernachlässigens dieses Bereichs entstehen. Es ist auch möglich, dass in der Betriebsphase der Bereich oben links einfach nicht berücksichtigt wurde. Eine andere Tatsache, die die Ausrichtung kompliziert machen kann, kann aufgrund von dynamischen Objekten entstehen. Dynamische Objekte können in einer Phase vorhanden sein, der Trainings- oder der Betriebsphase. In der anderen Phase kann es sein, dass solche dynamischen Objekte mittlerweile verschwunden sind. Dies kann beispielsweise für die Fahrzeuge 520 gelten. Da ein Zeitintervall zwischen der Betriebsphase und der Trainingsphase besteht, kann sich die Gesamtstruktur der Bilder in der Trainingsphase in Bezug auf die Bilder in der Betriebsphase unterscheiden. Wenn beispielsweise die Fahrzeuge 520 in der Trainingsphase vorhanden sind, aber nicht mehr in der Betriebsphase, ist eine andere Struktur in den entsprechenden Bildern vorhanden.
  • Die Ausrichtung kann anders ausgedrückt werden. Häufig wird dieses Verfahren Wolkenzuordnung genannt, wohingegen in dieser Veröffentlichung der Begriff „Zuordnung“ vermieden wird. Der Begriff „Zuordnung“ bezieht sich vielmehr auf die Bildmerkmalszuordnung, die in 2 erläuternd gezeigt wurde. Diese Zuordnungsprozedur ist zur Ausrichtung vollständig unterschiedlich, die in 3 gezeigt wurde. Die Ausrichtung von Schritt c), die in 3 gezeigt ist, kann auch als „Neulokalisierung auf Wolkenregistrierungsbasis“ bezeichnet werden. Das Ausrichtungsverfahren kann als ein Verfahren betrachtet werden, das zwei Sätze von dreidimensionalen Punkten 300a und 300b, zwei Wolken oder zwei 3D-Punktwolken durch Suchen einer mathematischen und/oder geometrischen Transformation ausrichtet, die eine 3D-Punktwolke so gut wie möglich in die andere transformiert. Um die bestmögliche Transformation zu finden, kann eine Kostenfunktion verwendet werden, die minimiert werden soll. Die Kostenfunktion oder Abstandsfunktion ist durch Gleichung 1 ausgedrückt.
  • Im Vergleich zu anderen Verfahren ist diese Ausrichtung robuster in Bezug auf die Abschätzung der Pose 170 des Fahrzeugs. Die Ausrichtung berücksichtigt idealerweise die Gesamtstruktur eines Bildes und ist weniger durch eine unterschiedliche Beleuchtung beeinflusst. Für einige Zwecke kann es trotzdem geeignet sein, diese Ausrichtung mit anderen Neulokalisierungsverfahren zu kombinieren, die auf einer visuellen Ähnlichkeit der Bildmerkmalsdetektion basieren.
  • Da diese Ausrichtung robuster und wirksamer ist, kann es möglich sein, die Menge an Daten für die Ausrichtung weiter zu verringern. Im besten Fall kann die Menge an Daten auf eine Region verringert werden, die nicht mehr als drei trainierte Punkte der Trajektorie 120 umgibt. Dies bedeutet, dass die trainierte Wolke daher vor der Ausrichtung signifikant verkleinert werden kann.
  • Wenn sich während der Trainings- oder Betriebsphase Objekte bewegen, ändert sich die Struktur, während die Trainings- oder Betriebsphasen durchgeführt werden. Um die Erfindung zu vereinfachen, können solche sich bewegenden Objekte während der Trainings- oder Betriebsphase einfach vernachlässigt werden. In einem solchen Fall können die Kameras 190 von Klassifizierungsmethoden Nutzen ziehen, um bewegliche Objekt nicht in die trainierte oder Live-Wolke aufzunehmen. Dies kann es vermeiden, einen Satz von dreidimensionalen Punkten 300a oder 300b in der trainierten oder Live-Wolke zu erhalten, die offensichtlich nicht ausgerichtet werden können. Da solche Punkte von beweglichen Objekten nutzlos sind, können sie in den meisten Fällen vernachlässigt werden. Dies kann für Punkte gelten, die sich auf Tiere, Fußgänger, Blätter auf der Straße usw. beziehen. Eine solche Vereinfachung kann die Ausrichtung weiter verbessern und stabilisieren.
  • Diese Erfindung beschreibt ein Verfahren zum Lokalisieren eines Fahrzeugs in einer effektiveren Weise. Dies wird durch Ausrichten von zwei verschiedenen Sätzen von dreidimensionalen Punkten 300a und 300b erreicht. Diese Ausrichtung ist vom Stand der Technik verschieden, der Bildmerkmalszuordnungsverfahren beschreibt. Der Unterschied zwischen dem Ausrichten und der Bildmerkmalszuordnung wurde durch 2 und 3 erläuternd gezeigt. Die in dieser Veröffentlichung beabsichtigte Ausrichtung konzentriert sich vielmehr auf die Gesamtstruktur eines Bildes als auf visuelle Ähnlichkeiten. Dies erleichtert, dass das Fahrzeug 100 effektiver oder leichter lokalisiert werden kann. Da die Ausrichtung im Vergleich zu anderen Lösungen robuster ist, ist es ferner möglich, die Menge an Daten der trainierten Wolke 390t zu verringern. Dies kann helfen, die Ausrichtung zu beschleunigen. Da eine Echtzeitauswertung für das autonome Fahrzeugmanövrieren erforderlich ist, kann ein beschleunigtes Lokalisierungsverfahren für Fahrzeuge 100 vorteilhaft sein. Die Ausrichtung dieser Erfindung ist für verschiedene Beleuchtungsszenarien weniger anfällig. Wenn beispielsweise ein Bild mehrere Objekte enthält, und selbst wenn nichts geändert wird, sieht eine Abbildung von 10 Uhr morgens wahrscheinlich anders aus im Vergleich zu einer Abbildung um 10 Uhr abends. Mittlerweile ist die Sonne untergegangen und daher ist weniger Beleuchtung vorhanden. Ein Lokalisierungsverfahren nur auf der Basis von visueller Ähnlichkeit könnte das Fahrzeug 100 nicht erneut lokalisieren. Die Ausrichtung von Schritt c) kann eher das Fahrzeug 100 erneut lokalisieren. Dies bedeutet, dass diese Ausrichtung, die in dieser Veröffentlichung dargestellt ist, eine zuverlässigere, robustere und effektivere Lokalisierung des Fahrzeugs 100 ermöglicht. Die Ausrichtung von Schritt c) wird häufig auch Ausrichten genannt. Ferner kann auch die Pose 170 des Fahrzeugs 100 sehr leicht durch diese Ausrichtung bestimmt werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2016/0154408 A1 [0004]

Claims (17)

  1. Verfahren zum Lokalisieren eines Fahrzeugs (100), gekennzeichnet durch die folgenden Schritte: a) Erzeugen eines ersten Satzes von dreidimensionalen Punkten (300a) in einer Trainingsphase unter Verwendung eines Sensorsystems, das in der Lage ist, dreidimensionale Informationen über eine Umgebung des Fahrzeug (100) zu erfassen, wobei der erste Satz der dreidimensionalen Punkte (300a) sich auf mindestens drei einzelne Objekte bezieht, die in der Umgebung des Fahrzeugs (100) vorhanden sind, und das Sensorsystem eine vorbestimmte geometrische Beziehung zum Fahrzeug (100) aufweist, b) Erzeugen eines zweiten Satzes von dreidimensionalen Punkten (300b) in einer Betriebsphase unter Verwendung des Sensorsystems, wobei der zweite Satz der dreidimensionalen Punkte (300b) sich auf mindestens drei einzelne Objekte bezieht, die in der Umgebung des Fahrzeugs (100) vorhanden sind, und das Sensorsystem eine vorbestimmte geometrische Beziehung zu dem Fahrzeug aufweist, c) Ausrichten des ersten Satzes von dreidimensionalen Punkten (300a) der Trainingsphase auf den zweiten Satz von dreidimensionalen Punkten (300b) der Betriebsphase, d) Bestimmen des Orts des Fahrzeugs (100) auf der Basis der Ausrichtung und der vorbestimmten geometrischen Beziehung der dreidimensionalen Punkte (300a, 300b) zum Fahrzeug (100).
  2. Verfahren nach Anspruch 1, wobei das Sensorsystem mindestens eine Kamera (190) umfasst und mindestens zwei Bilder in der Trainingsphase aufgenommen werden und mindestens zwei Bilder in der Betriebsphase aufgenommen werden und ein erster Satz und ein zweiter Satz von charakterisierenden Punkten der Bilder durch Anwenden eines Bildmerkmalsdetektors auf die Bilder bestimmt werden, wobei jeder Satz der charakterisierenden Punkte sich auf mindestens drei einzelne Objekte bezieht, die in jedem der Bilder angezeigt werden, und wobei dreidimensionale Koordinaten einer Vielzahl von jedem Satz der charakterisierenden Punkte extrahiert werden, um den ersten und den zweiten Satz von dreidimensionalen Punkten (300a, 300b) zu erzeugen.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Ausrichtung durch Minimieren einer Abstandsfunktion hinsichtlich der zwei Sätze von dreidimensionalen Punkten (300a, 300b) durchgeführt wird.
  4. Verfahren nach Anspruch 1 oder 2, wobei die Ausrichtung durch Bestimmen einer geometrischen und/oder mathematischen Transformation durchgeführt wird, die den ersten Satz von dreidimensionalen Punkten (300a) der Trainingsphase in den zweiten Satz von dreidimensionalen Punkten (300b) der Betriebsphase transformiert, wobei die Transformation einen Toleranzschwellenwert erfüllt.
  5. Verfahren nach den Ansprüchen 2 bis 4, wobei die mindestens eine Kamera (190) mit dem Fahrzeug (100) verbunden ist.
  6. Verfahren nach einem der vorangehenden Ansprüche, wobei eine Pose (170) des Fahrzeugs (100) relativ zu der trainierten Trajektorie aufgrund der Ausrichtung in Schritt c) auf der Basis des Orts des Fahrzeugs (100) bestimmt wird.
  7. Verfahren nach Anspruch 6, wobei in der Betriebsphase das Fahrzeug (100) zu einer Trajektorie (120) versetzt ist, die in der Trainingsphase erhalten wird, und ein Lenksignal auf der Basis der Pose (170) erzeugt wird, und wobei das Lenksignal dazu ausgelegt ist, das Fahrzeug (100) zur trainierten Trajektorie (120) zurückzuführen.
  8. Verfahren nach den Ansprüchen 2 bis 7, wobei Grenzflächen, Kanten und/oder Ecken in den Bildern als charakterisierende Punkte bestimmt werden.
  9. Verfahren nach einem der vorangehenden Ansprüche, wobei ein Teil von jedem des ersten und des zweiten Satzes von dreidimensionalen Punkten (300a, 300b) auf ein externes Objekt bezogen ist und ein Objekttyp des externen Objekts für die Ausrichtung in Schritt c) bestimmt wird.
  10. Verfahren nach Anspruch 9, wobei der Objekttyp in ein statisches oder ein dynamisches Objekt zum Verringern der Anzahl von dreidimensionalen Punkten (300a, 300b) für Schritt c) oder d) klassifiziert wird.
  11. Verfahren nach den Ansprüchen 2 bis 10, wobei der Bildmerkmalsdetektor eine Ähnlichkeitsanalyse auf die Bilder der Trainings- und/oder Betriebsphase anwendet, um charakterisierende Punkte zu extrahieren.
  12. Verfahren nach Anspruch 6 und 11, wobei das Bestimmen der Fahrzeugpose (170) und ein Speichern der Landmarke (110) in der digitalen Karte gleichzeitig durchgeführt werden.
  13. Lokalisierungsvorrichtung zum Lokalisieren eines Fahrzeugs (100), wobei die Lokalisierungsvorrichtung dazu ausgelegt ist, eines der vorangehenden Verfahren durchzuführen.
  14. Lokalisierungsvorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass die Lokalisierungsvorrichtung mindestens eine monokulare Kamera umfasst.
  15. Lokalisierungsvorrichtung nach den Ansprüchen 13 oder 14, wobei das Sensorsystem mindestens einen Radarsensor, Laserscanner, LIDAR-Sensor und/oder Ultraschallsensor umfasst.
  16. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Medium gespeichert sind, um das Verfahren nach einem der vorangehenden Ansprüche durchzuführen, wenn das Computerprogrammprodukt auf einem Prozessor einer elektronischen Steuereinheit verarbeitet wird.
  17. Fahrerassistenzsystem mit einem Computerprogrammprodukt nach Anspruch 16.
DE102018114963.8A 2018-06-21 2018-06-21 Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken Pending DE102018114963A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018114963.8A DE102018114963A1 (de) 2018-06-21 2018-06-21 Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018114963.8A DE102018114963A1 (de) 2018-06-21 2018-06-21 Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken

Publications (1)

Publication Number Publication Date
DE102018114963A1 true DE102018114963A1 (de) 2019-12-24

Family

ID=68805813

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018114963.8A Pending DE102018114963A1 (de) 2018-06-21 2018-06-21 Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken

Country Status (1)

Country Link
DE (1) DE102018114963A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768417A (zh) * 2020-06-23 2020-10-13 中南大学 基于单目视觉3d重建技术的铁路货车超限检测方法
DE102020205609A1 (de) 2020-05-04 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs
DE102020116794A1 (de) 2020-06-25 2021-12-30 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Assistenzsystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
CN114136333A (zh) * 2021-10-15 2022-03-04 阿波罗智能技术(北京)有限公司 基于分层特征的高精地图道路数据生成方法、装置、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008009966A2 (en) * 2006-07-21 2008-01-24 Trw Limited Determining the location of a vehicle on a map
DE102009005553A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren und Vorrichtung zur Erkennung der Umgebung eines Kraftfahrzeugs
US20160154408A1 (en) 2010-09-24 2016-06-02 Irobot Corporation Systems and methods for vslam optimization
DE102016213495A1 (de) * 2016-07-22 2018-01-25 Robert Bosch Gmbh Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008009966A2 (en) * 2006-07-21 2008-01-24 Trw Limited Determining the location of a vehicle on a map
DE102009005553A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren und Vorrichtung zur Erkennung der Umgebung eines Kraftfahrzeugs
US20160154408A1 (en) 2010-09-24 2016-06-02 Irobot Corporation Systems and methods for vslam optimization
DE102016213495A1 (de) * 2016-07-22 2018-01-25 Robert Bosch Gmbh Fahrassistenzverfahren, Fahrassistenzsystem und Fahrzeug

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020205609A1 (de) 2020-05-04 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Assistenzsystems eines Fahrzeugs
CN111768417A (zh) * 2020-06-23 2020-10-13 中南大学 基于单目视觉3d重建技术的铁路货车超限检测方法
CN111768417B (zh) * 2020-06-23 2023-12-05 中南大学 基于单目视觉3d重建技术的铁路货车超限检测方法
DE102020116794A1 (de) 2020-06-25 2021-12-30 Connaught Electronics Ltd. Verfahren zum Bestimmen eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Assistenzsystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
CN114136333A (zh) * 2021-10-15 2022-03-04 阿波罗智能技术(北京)有限公司 基于分层特征的高精地图道路数据生成方法、装置、设备

Similar Documents

Publication Publication Date Title
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE112019001832T5 (de) Strassenmarkierungsdetektionsverfahren
DE102018114963A1 (de) Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102018101125A1 (de) Rekurrentes tiefes neuronales Faltungsnetzwerk zur Detektion von Objekten
DE102017129075A1 (de) Parkplatznavigationssystem und -verfahren
DE102012216593A1 (de) Draufsichtbasiertes avm-einparkhilfesystem
DE102019124152A1 (de) Kupplungsunterstützungssystem
EP1480187A2 (de) Kamerabasierte Positionserkenung für ein Strassenfahrzeug
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102019114622A1 (de) Erfassung und planare darstellung dreidimensionaler fahrspuren in einer strassenszene
DE102018104270A1 (de) Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers
DE102015115012A1 (de) Verfahren zum Erzeugen einer Umgebungskarte einer Umgebung eines Kraftfahrzeugs anhand eines Bilds einer Kamera, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
EP1642770A2 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
DE102018211368A1 (de) Verfahren zur Beschreibung einer Umgebung eines Fahrzeugs durch die Topologie der befahrenen Straße
DE102018113344A1 (de) Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem
WO2020104551A1 (de) Objekterkennung mittels sensorsystem von fahrzeugen
DE102015006569A1 (de) Verfahren zur bildbasierten Erkennung des Straßentyps
DE102020133092A1 (de) Positionsschätzungseinrichtung und positionsschätzungsverfahren
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst

Legal Events

Date Code Title Description
R163 Identified publications notified