-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem und ein Fahrzeug mit einem solchen Parkassistenzsystem.
-
Bekannte Parkassistenzsysteme weisen eine Funktion auf, bei der eine bestimmte Trajektorie trainiert wird, so dass das Parkassistenzsystem die trainierte Trajektorie zu einem späteren Zeitpunkt mit dem Fahrzeug selbständig nachfahren kann. Beim Trainieren der Trajektorie werden hierbei verschiedenste Daten erfasst, unter anderem Daten betreffend die Umgebung des Fahrzeugs. Dies hat den Zweck, dass sich das Parkassistenzsystem zum Nachfahren der Trajektorie orientieren kann. Dies kann beispielsweise mittels sogenannter VSLAM-Technologie (VSLAM: video simultaneous location and mapping) erfolgen, bei der Merkmale in der Umgebung auf Basis von Kamerabildern erkannt und zur Orientierung verwendet werden.
-
Problematisch bei dieser Technologie kann die Beleuchtungssituation sein, da die Merkmale der Umgebung bei unzureichender Beleuchtung in den Kamerabildern möglicherweise nicht erkannt werden können.
DE 10 2015 010 746 A1 offenbart ein Verfahren zur Selbstlokalisation eines Fahrzeugs. Hierbei wird mit einer Bilderfassungseinheit, deren Erfassungsbereich den Boden in der Umgebung des Fahrzeugs umfasst, entlang einer ersten Trajektorie Bilder vom überfahrenen Boden aufgenommen und mit positionsbezogen gespeicherten Bildern verglichen und anhand des Vergleichs wird eine aktuelle Position und/oder eine aktuelle Ausrichtung des Fahrzeugs ermittelt. Bei fehlenden Korrespondenzen zwischen den aktuell aufgenommenen Bildern und den gespeicherten Bildern wird eine Beleuchtungseinheit zur Beleuchtung des von der Bilderfassungseinheit erfassten Bodenbereichs eingeschaltet und/oder eine Geschwindigkeit des Fahrzeugs wird reduziert.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern.
-
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist dazu eingerichtet, in einem Nachfahrmodus eine in einem Trainingsmodus angelernte Trajektorie autonom nachzufahren. Die Trajektorie ist durch eine Abfolge von Positionen festgelegt. Der Trainingsmodus umfasst in einem ersten Schritt a) ein Fahren entlang der anzulernenden Trajektorie. Schritt a) wird insbesondere unter manueller Kontrolle durchgeführt. In einem zweiten Schritt b) wird ein Bild einer Umgebung des Fahrzeugs in einer Referenzposition empfangen. In einem dritten Schritt c) wird eine künstliche Beleuchtungsquelle in dem empfangenen Bild ermittelt. In einem vierten Schritt d) wird eine bevorzugte Merkmals-Extraktionsregion in dem empfangenen Bild in Abhängigkeit der ermittelten künstlichen Beleuchtungsquelle festgelegt. In einem fünften Schritt e) wird wenigstens ein von der bevorzugten Merkmals-Extraktionsregion umfasstes Merkmal als ein der Referenzposition zugeordnetes Orientierungsmerkmal ausgewählt und gespeichert. In einem sechsten Schritt f) wird die Trajektorie umfassend eine Abfolge von Positionen umfassend die Referenzposition gespeichert. In dem Nachfahrmodus wird eine aktuelle Position des Fahrzeugs in Abhängigkeit des der Referenzposition zugeordneten gespeicherten Orientierungsmerkmals und eines Bildes der Umgebung des Fahrzeugs in der aktuellen Position ermittelt.
-
Dieses Verfahren weist den Vorteil auf, dass die Merkmale, die zur Orientierung zum Nachfahren der Trajektorie herangezogen werden, derart ausgewählt sind, dass diese auch bei Dunkelheit, beispielsweise in der Nacht, erkannt werden können, da die künstliche Beleuchtungsquelle diese beleuchtet. Damit ist sichergestellt, dass das Parkassistenzsystem die angelernte Trajektorie auch nachts exakt nachfahren kann. Damit ist eine Zuverlässigkeit des Parkassistenzsystems erhöht. Das Parkassistenzsystem kann auch als Fahrassistenzsystem bezeichnet werden.
-
Beim Trainieren der Trajektorie in dem Trainingsmodus steuert der Nutzer das Fahrzeug vorzugsweise selbst. Dabei kann der Nutzer auch von dem Parkassistenzsystem unterstützt werden, allerdings erfolgt keine autonome Fahrt des Fahrzeugs mittels des Parkassistenzsystems. Der Nutzer des Fahrzeugs hat die volle Kontrolle über das Fahrzeug. Die anzulernende Trajektorie ist zu diesem Zeitpunkt unbekannt und wird erst mit Durchführung des Trainingsmodus nach und nach ermittelt.
-
Die Trajektorie ist insbesondere durch eine Abfolge von Positionen festgelegt. Insbesondere umfasst die Trajektorie eine oder mehrere Referenzpositionen. Referenzpositionen entsprechen insbesondere den Positionen, die das Fahrzeug in dem Trainingsmodus hat, wenn ein Bild der Umgebung empfangen und wie angegeben verarbeitet wird, um Orientierungsmerkmale zu ermitteln. Das heißt, dass die Referenzpositionen während des Anlernens der Trajektorie festgelegt werden. Eine jeweilige Referenzposition umfasst sowohl die Position als auch die Ausrichtung des Fahrzeugs. Die Trajektorie beginnt beispielsweise an einer Startposition, die insbesondere eine Referenzposition ist, und endet an einer Zielposition, die insbesondere ebenfalls eine Referenzposition ist.
-
Die künstliche Beleuchtungsquelle ist beispielsweise eine Straßenbeleuchtung, ein Gehwegbeleuchtung, eine Hausbeleuchtung oder dergleichen. Es handelt sich damit um eine fahrzeugexterne Beleuchtung, die Fahrzeugbeleuchtung, wie beispielsweise Frontscheinwerfer, zählt nicht dazu.
-
Das Ermitteln der künstlichen Beleuchtungsquelle in dem Bild kann unter Verwendung von Objekterkennungs-Routinen und/oder verschiedenen Bildanalyse-Verfahren erfolgen.
-
Vorzugsweise wird das Training der Trajektorie tagsüber durchgeführt, wenn die Umgebung des Fahrzeugs durch Tageslicht beleuchtet und gut erkennbar ist. Das Training kann aber auch nachts durchgeführt werden. Allerdings sind nachts möglicherweise weniger Merkmale in dem Bild auffindbar, so dass die Trajektorie weniger exakt nachgefahren werden kann.
-
Wenn eine künstliche Beleuchtungsquelle in dem Bild ermittelt wird, wird eine bevorzugte Merkmals-Extraktionsregion festgelegt. Die bevorzugte Merkmals-Extraktionsregion wird beispielsweise als ein Bereich in dem Bild um die Beleuchtungsquelle herum festgelegt. Merkmale in dem Bild, die zur Orientierung geeignet sind, werden bevorzugt aus der bevorzugten Merkmals-Extraktionsregion ausgewählt.
-
Die ausgewählten Merkmale werden als Orientierungsmerkmale der Referenzposition zugeordnet und gespeichert. Die Orientierungsmerkmale weisen eine relative Anordnung in dem Bild auf, die von der Referenzposition
-
Werden die Orientierungsmerkmale später in einem Bild erkannt, kann aus deren Lage in dem Bild und Vergleich mit der Lage der Orientierungsmerkmale in der Referenzposition auf die aktuelle Position des Fahrzeugs rückgeschlossen werden.
-
Die gespeicherte Trajektorie umfasst eine Abfolge von Positionen und vorzugsweise mehrere Referenzpositionen. Jeder Referenzposition sind vorzugsweise mehrere Orientierungsmerkmale zugeordnet. Ein bestimmtes Orientierungsmerkmal kann mehreren Referenzposition zugleich zugeordnet sein, das heißt, das Orientierungsmerkmal ist in den Bildern, die in den mehreren Referenzpositionen aufgenommen wurden, zu erkennen. Allerdings ist die Lage des Orientierungsmerkmals in dem Bild und/oder in Bezug auf weitere Orientierungsmerkmale in dem Bild jeweils unterschiedlich.
-
Beim Nachfahren der Trajektorie ermittelt das Parkassistenzsystem die Position und Ausrichtung des Fahrzeugs auf Basis der Orientierungsmerkmale. Das heißt, dass Orientierungsmerkmale in einem aus der aktuellen Position des Fahrzeugs aufgenommenen Bild ermittelt werden und diese mit den gespeicherten Orientierungsmerkmalen verglichen werden. Werden übereinstimmende Orientierungsmerkmale erkannt, so kann von der jeweiligen Referenzposition, beispielsweise unter Anwendung von Koordinatentransformationen, auf die aktuelle Position des Fahrzeugs geschlossen werden. Dies ermöglicht dem Parkassistenzsystem die Orientierung in der Umgebung und damit ein zielgenaues Nachfahren der angelernten Trajektorie. Da die Orientierungsmerkmale derart gewählt sind, dass diese bei Dunkelheit beleuchtet sind, ist eine Orientierung auch nachts gewährleistet.
-
Gemäß einer Ausführungsform des Verfahrens umfasst der Schritt c):
- Durchführen einer Objekterkennungsroutine auf dem empfangenen Bild, insbesondere mittels eines trainierten neuronalen Netzwerks.
-
Die Objekterkennungsroutine kann die Anwendung von Bildanalyseverfahren und/oder Bildtransformationen, wie beispielsweise eine Kantendetektion oder eine Frequenzspektrum-Analyse, umfassen. Mittels der Objekterkennungsroutine können künstliche Beleuchtungsquellen in dem empfangenen Bild detektiert oder erkannt werden. Hierbei werden beispielsweise einzelne Bildpunkte des Bildes als zu der erkannten Beleuchtungsquelle gehörig gekennzeichnet. Es können auch mehr als nur eine künstliche Beleuchtungsquelle in dem Bild erkannt werden.
-
Das trainierte neuronale Netzwerk ist vorzugsweise dafür trainiert, künstliche Beleuchtungsquellen in Bildern zu erkennen. Das neuronale Netzwerk umfasst beispielsweise eine Eingangsschicht, eine Ausgangsschicht und eine Anzahl verborgener Schichten. Jede Schicht umfasst mehrere Knoten, wobei Knoten unterschiedlicher Schichten miteinander verknüpft sind. Die Verknüpfung der Knoten miteinander wird durch die Topologie des neuronalen Netzwerks dargestellt. Die Verknüpfungen weisen beispielsweise jeweils eine Gewichtung auf, die bestimmt, wie ein Signal von einem Knoten zu dem folgenden Knoten weitergeleitet wird. Eine einem jeweiligen Knoten zugeordnete Aktivierungsfunktion bestimmt, ob ein Knoten auf Basis der Eingangssignale ein Ausgangssignal erzeugt, oder nicht. Das empfangene Bild wird dem neuronalen Netzwerk beispielsweise als Eingangsvektor an der Eingangsschicht zugeführt. An der Ausgangsschicht stellt das neuronale Netzwerk einen Ausgangsvektor bereit, der das Ergebnis repräsentiert, also beispielsweise, wo in dem Bild eine künstliche Beleuchtungsquelle vorhanden ist und welche Bildpunkte zu dieser gehören.
-
In Ausführungsformen kann ferner vorgesehen sein, dass die ermittelten Beleuchtungsquellen klassifiziert werden, beispielsweise nach Typ, wie Straßenbeleuchtung, Gehwegbeleuchtung oder Hausbeleuchtung. Von der Klassifizierung kann beispielsweise auf eine Ausleuchtung, wie einen Lichtkegel oder dergleichen, geschlossen werden. Damit lassen sich die beleuchteten Bereiche in dem Bild ermitteln, wodurch die bevorzugte Merkmals-Extraktionsregion noch exakter festgelegt werden kann.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Schritt d):
- Festlegen der bevorzugten Merkmals-Extraktionsregion in Abhängigkeit einer Position der ermittelten künstlichen Beleuchtungsquelle in dem empfangenen Bild, wobei näher an der Position liegende Bildbereiche gegenüber entfernter liegenden Bildbereichen bevorzugt werden.
-
Bei dieser Ausführungsform wird die bevorzugte Merkmals-Extraktionsregion in einfacher Weise geometrisch in dem Bild festgelegt. Diese Ausführungsform ist vorteilhaft, da keine hohe Rechenleistung benötigt wird. Die Position der ermittelten künstlichen Beleuchtungsquelle in dem Bild kann beispielsweise durch die Angabe von zwei Koordinaten bestimmt sein. Beispielsweise kann die bevorzugte Merkmals-Extraktionsregion als ein Kreis mit einem vorbestimmten Radius und/oder mit einem von der künstlichen Beleuchtungsquelle abhängigen Radius, dessen Mittelpunkt die Position der künstlichen Beleuchtungsquelle ist, festgelegt werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Schritt c):
- Ermitteln eines Fußpunkts der ermittelten künstlichen Beleuchtungsquelle in dem empfangenen Bild, wobei der Schritt d) umfasst:
- Festlegen der bevorzugten Merkmals-Extraktionsregion in Abhängigkeit einer Position des ermittelten Fußpunkts in dem empfangenen Bild, wobei näher an der Position liegende Bildbereiche gegenüber entfernter liegenden Bildbereichen bevorzugt werden.
-
Der Fußpunkt entspricht beispielsweise einem Schnittpunkt einer Linie mit einer ebenen Fläche, wobei die Linie senkrecht zu der ebenen Fläche und durch die künstliche Beleuchtungsquelle verläuft. Der Fußpunkt entspricht damit demjenigen Punkt auf der ebenen Fläche, der den kleinsten Abstand zu der künstlichen Beleuchtungsquelle aufweist, und der deshalb am stärksten von der künstlichen Beleuchtungsquelle beleuchtet wird, sofern diese eine gleichmäßige, insbesondere isotrope, Abstrahlcharakteristik hat. Es können für die künstliche Beleuchtungsquelle mehrere Fußpunkte ermittelt werden, nämlich für jede ebene Fläche ein Fußpunkt.
-
Vorzugsweise wird der Fußpunkt auf dem Boden oder auf der Straße ermittelt. Wenn der Boden oder die Straße eben ist, entspricht der der Fußpunkt dem Punkt senkrecht unter der Beleuchtungsquelle. Je nach Bauart der Beleuchtungsquelle kann der Fußpunkt mit einem Montagepunkt übereinstimmen.
-
Der Fußpunkt kann beispielsweise auf Basis geometrischer Betrachtungen ermittelt werden. Vorzugsweise wird der Fußpunkt unter Verwendung einer dreidimensionalen Karte der Umgebung, die beispielsweise von einem Kartenmodul des Parkassistenzsystems auf Basis von Umgebungsbildern erzeugt wird, ermittelt.
-
Bildbereiche, die nahe dem Fußpunkt liegen, werden von der Beleuchtungsquelle beispielsweise besser beleuchtet als solche, die weiter entfernt davon liegen. Daher ist es vorteilhaft, die bevorzugte Merkmals-Extraktionsregion in Abhängigkeit des Fußpunkts festzulegen.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst das in Schritt d) ausgewählte Merkmal ein bestimmtes Muster einer Anzahl von vorbestimmten Mustern, eine bestimmte Farbe einer Anzahl von vorbestimmten Farben und/oder einen bestimmten Kontrast einer Anzahl vorbestimmter Kontraste.
-
Ein Muster umfasst beispielsweise eine bestimmte Anordnung von Linien oder Strukturen. Ein Muster kann insbesondere irregulär sein. Die Anzahl vorbestimmter Muster umfasst beispielsweise Muster, die sowohl bei Tageslicht als auch in der Dunkelheit bei künstlicher Beleuchtung in dem Bild erkennbar sind.
-
Die Anzahl vorbestimmter Farben umfasst insbesondere Farben, die sowohl bei Tageslicht als auch in der Dunkelheit bei künstlicher Beleuchtung in dem Bild erkennbar sind. Hierbei können für unterschiedliche künstliche Beleuchtungen unterschiedliche Farben besonders geeignet sein, je nach von der künstlichen Beleuchtungsquelle abgestrahltem Spektrum.
-
Ein vorbestimmter Kontrast ist beispielsweise ein Kontrast mit einem vorbestimmten Mindest-Kontrastwert und/oder ein vorbestimmter Farbkontrast, also ein Kontrast zwischen zwei bestimmten Farben. Die Anzahl vorbestimmter Kontraste umfasst beispielsweise Kontraste, die sowohl bei Tageslicht als auch in der Dunkelheit bei künstlicher Beleuchtung einen vorbestimmten Mindest-Kontrastwert aufweisen.
-
Gemäß einer weiteren Ausführungsform des Verfahrens basiert das in Schritt d) ausgewählte Merkmal auf einem zweidimensionalen Bereich in dem empfangenen Bild oder umfasst einen zweidimensionalen Bereich des empfangenen Bildes.
-
Man kann auch sagen, dass es sich um ein flächiges Merkmal handelt. Das flächige Merkmal umfasst mehrere Bildpunkte, wobei die Bildpunkte insbesondere eine zusammenhängende Fläche in dem Bild bilden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Schritt e):
- Auswählen und Speichern mehrerer Merkmale, vorzugsweise wenigstens 100 Merkmale, bevorzugt wenigstens 200 Merkmale, weiter bevorzugt wenigstens 300 Merkmale, noch weiter bevorzugt wenigstens 400 Merkmale, als der Referenzposition zugeordnete Orientierungsmerkmale.
-
Je mehr Merkmale ausgewählt und gespeichert werden, umso höher ist die Wahrscheinlichkeit, dass bei in dem Nachfahrmodus die Orientierungsmerkmale in dem Bild sichtbar sind und erkannt werden. Weiterhin ist eine Lokalisierung genauer, wenn mehr Orientierungsmerkmale genutzt werden können.
-
Gemäß einer weiteren Ausführungsform des Verfahrens liegen wenigstens 50% der ausgewählten und gespeicherten Merkmale in der bevorzugten Merkmals-Extraktionsregion.
-
Damit ist sichergestellt, dass auch bei Dunkelheit beispielsweise wenigstens 50% der Orientierungsmerkmale erkennbar sind, da diese von der Beleuchtungsquelle beleuchtet werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die bevorzugte Merkmals-Extraktionsregion eine Häufigkeitsverteilung auf dem empfangenen Bild, wobei in Schritt e) die Merkmale derart ausgewählt werden, dass diese gemäß der Häufigkeitsverteilung in dem empfangenen Bild verteilt sind.
-
Die Häufigkeitsverteilung kann beispielsweise in Form einer zweidimensionalen Werteverteilung angegeben sein. Die Häufigkeitsverteilung kann beispielsweise durch eine zweidimensionale Funktion bestimmt sein. Die Häufigkeitsverteilung kann insbesondere in Abhängigkeit der Position der ermittelten künstlichen Beleuchtungsquelle in dem Bild und auf Basis physikalischer Prinzipien, wie beispielsweise ein Abfall einer Beleuchtungsstärke mit zunehmendem Abstand von der Beleuchtungsquelle, ermittelt werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Nachfahrmodus das autonome Nachfahren zumindest eines Abschnitts der angelernten Trajektorie umfasst.
-
Der Nachfahrmodus muss nicht zwingend das Nachfahren der gesamten Trajektorie umfassen. Dies kann beispielsweise davon abhängen, an welcher Position sich das Fahrzeug befindet, wenn der Nutzer den Nachfahrmodus aktiviert. Der Abschnitt, den das Parkassistenzsystem nachfährt, umfasst insbesondere den Abschnitt der gespeicherten Trajektorie von der aktuellen Position des Fahrzeugs bis zu der Zielposition oder Endposition der angelernten Trajektorie.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Nachfahrmodus:
- Empfangen eines aktuellen Bildes der Umgebung des Fahrzeugs in einer aktuellen Position,
- Ermitteln des gespeicherten Orientierungsmerkmals in dem empfangenen Bild,
- Ermitteln der aktuellen Position des Fahrzeugs in Abhängigkeit des ermittelten Orientierungsmerkmals und der dem Orientierungsmerkmal zugeordneten Referenzposition, und autonomes Nachfahren zumindest eines Abschnitts der angelernten Trajektorie.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die angelernte Trajektorie mehrere Referenzpositionen, wobei ein Abstand zwischen zwei entlang der Trajektorie aufeinanderfolgenden Referenzpositionen kleiner oder gleich einem vorbestimmten Höchstabstand ist und in Abhängigkeit eines Fahrzustands und/oder einem Abstand des Fahrzeugs zu einem Objekt in der Umgebung dynamisch bestimmt wird.
-
Damit weisen zwei Referenzpositionen höchstens den vorbestimmten Höchstabstand zueinander auf. Der vorbestimmte Höchstabstand ist beispielsweise derart festgelegt, dass bei dem Nachfahren die Orientierung zwischen zwei Referenzpositionen allein auf Basis von Odometriedaten ausreichend genau ist, eine Abweichung des Fahrzeugs von der gespeicherten Trajektorie also einen vorbestimmten Höchstwert nicht überschreitet. Andererseits können die Referenzpositionen bei Kurven oder Richtungswechseln oder in einem engen Umfeld, wo eine höhere Positionssicherheit bevorzugt ist, dichter liegen. Auf diese Weise kann einerseits der benötigte Speicherplatz zum Speichern der Trajektorie umfassend mehrere Referenzpositionen und deren jeweiligen Orientierungsmerkmale so klein wie möglich sein, zugleich ist aber auch eine ausreichend genaue Orientierung des Parkassistenzsystems für den Nachfahrmodus gewährleistet.
-
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Gemäß einem dritten Aspekt wird ein Parkassistenzsystem für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem weist eine Verarbeitungseinrichtung auf, die zum Durchführen des Verfahrens gemäß dem ersten Aspekt eingerichtet ist.
-
Die Verarbeitungseinrichtung kann als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein. Die Verarbeitungseinrichtung kann eine oder mehrere Einheiten umfassen, wie beispielsweise eine Empfangseinheit, eine Recheneinheit und eine Speichereinheit. Die jeweilige Einheit kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
-
Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale sowie deren jeweilige Vorteile gelten für die vorgeschlagene Verarbeitungseinrichtung entsprechend.
-
Gemäß einem vierten Aspekt wird ein Fahrzeug mit wenigstens einer Bilderfassungseinrichtung zum Erfassen eines Bildes einer Umgebung des Fahrzeugs und mit einem Parkassistenzsystem gemäß dem dritten Aspekt vorgeschlagen.
-
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Parkassistenzsystem, welches in dem Trainingsmodus die Trajektorie auf Basis der empfangenen Sensorsignale abspeichert und in dem Nachfahrmodus das Fahrzeug autonom in Abhängigkeit der erfassten Sensorsignale entlang der gespeicherten Trajektorie steuert.
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
- 1 zeigt schematisch ein Fahrzeug aus einer Vogelperspektive;
- 2 zeigt ein erstes Beispiel eines Bildes einer Umgebung eines Fahrzeugs mit bevorzugten Merkmals-Extraktionsregionen;
- 3 zeigt ein zweites Beispiel eines Bildes einer Umgebung eines Fahrzeugs mit bevorzugten Merkmals-Extraktionsregionen;
- 4 zeigt das Bild der 3 bei Dunkelheit;
- 5 zeigt ein Beispiel einer Häufigkeitsverteilung;
- 6 zeigt ein Beispiel einer trainierten Trajektorie;
- 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Parkassistenzsystems; und
- 8 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist ein Parkassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Zudem sind an dem Auto 100 eine Mehrzahl an Umgebungssensoreinrichtungen 120, 130 angeordnet, wobei es sich beispielhaft um optische Sensoren 120 und Ultraschallsensoren 130 handelt. Die optischen Sensoren 120 umfassen beispielsweise visuelle Kameras, ein Radar und/oder ein Lidar. Die optischen Sensoren 120 können jeweils ein Bild eines jeweiligen Bereichs aus der Umgebung 200 des Autos 100 erfassen und als optisches Sensorsignal ausgeben. Die Ultraschallsensoren 130 sind zum Erfassen eines Abstands zu in der Umgebung 200 angeordneten Objekten und zum Ausgeben eines entsprechenden Sensorsignals eingerichtet. Mittels der von den Sensoren 120, 130 erfassten Sensorsignalen ist das Parkassistenzsystem 110 in der Lage, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer den in der 1 dargestellten optischen Sensoren 120 und Ultraschallsensoren 130 kann vorgesehen sein, dass das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen 120, 130 aufweist. Beispiele hierfür sind ein Mikrofon, ein Beschleunigungssensor, ein Raddrehzahlsensor, ein Lenkwinkelsensor, eine Antenne mit gekoppeltem Empfänger zum Empfangen von elektromagnetisch übertragbarer Datensignale, und dergleichen mehr.
-
Das Parkassistenzsystem 110 ist insbesondere zum teilautonomen oder vollautonomen Fahren des Fahrzeugs 100 eingerichtet. Unter teilautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem 110 eine Lenkvorrichtung und/oder eine Fahrstufenautomatik steuert. Unter vollautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem 110 zusätzlich auch eine Antriebseinrichtung und eine Bremseinrichtung steuert.
-
Das Parkassistenzsystem 110 ist beispielsweise wie anhand der 7 ausgebildet und ist insbesondere zum Durchführen des anhand der 8 näher erläuterten Verfahrens eingerichtet.
-
2 zeigt ein erstes Beispiel eines Bildes IMG einer Umgebung 200 eines Fahrzeugs 100. Das Bild IMG wurde beispielsweise von einer Frontkamera 120 (siehe 1) des Fahrzeugs 100, das beispielsweise wie anhand der 1 erläutert ausgebildet ist, erfasst. Das Bild IMG wurde insbesondere bei Tageslicht erfasst. Auf dem Bild IMG ist eine Szene mit einer Straße, die von Gehwegen begrenzt ist, mit einigen Gebäuden und weiteren Objekten zu sehen. Das Bild IMG umfasst insbesondere eine Menge an Bildpunkten, wobei eine Position eines jeweiligen Bildpunkts beispielsweise durch Koordinaten (x, y) in dem dargestellten Koordinatensystem mit den Achsen x und y festgelegt ist.
-
Das Bild IMG wurde von der Kamera 120 beispielsweise im Rahmen eines Trainingsmodus des Parkassistenzsystems 110 (siehe 1 oder 7) erfasst und von dem Parkassistenzsystem 110 empfangen. In dem Trainingsmodus lernt das Parkassistenzsystem 110 eine Trajektorie TR (siehe 6), so dass das Parkassistenzsystem 110 in einem Nachfahrmodus die Trajektorie TR autonom nachfahren kann. Hierzu werden, wenn sich das Fahrzeug 100 in einer Referenzposition R1 - R11 (siehe 6) befindet, Bilder IMG der Umgebung 200 erfasst und Merkmale in diesen Bildern IMG ausgewählt, anhand derer beim Nachfahren eine aktuelle Position POS (siehe 6) des Fahrzeugs 100 ermittelt werden kann. Es sei angemerkt, dass die Referenzpositionen R1 - R11 nicht vorbestimmt sind, sondern dadurch festgelegt werden, dass an diesen Positionen ein Bild IMG erfasst oder empfangen und wie nachfolgend beschrieben verarbeitet wird.
-
Nachdem das Bild IMG empfangen wurde, werden künstliche Beleuchtungsquellen 5A - 5C in dem Bild IMG ermittelt. Dies kann beispielsweise auf Basis einer Objekterkennung erfolgen, vorzugsweise wird hierzu ein entsprechend trainiertes neuronales Netzwerk verwendet. In diesem Beispiel werden drei künstliche Beleuchtungsquellen 5A, 5B, 5C ermittelt, wobei es sich beispielhaft um eine Straßenlaterne 5A, eine Gebäudebeleuchtung 5B und eine Gehwegbeleuchtung 5C handelt. Es sei angemerkt, dass auch mehr als drei, beispielsweise vier, fünf, sechs, bis zu zehn oder noch mehr, oder weniger als drei, beispielsweise eine oder zwei, künstliche Beleuchtungsquellen 5A - 5C in dem Bild IMG ermittelt werden können, sofern eine entsprechende Anzahl von künstlichen Beleuchtungsquellen 5A - 5C in dem Bild IMG vorhanden oder sichtbar ist.
-
Nachdem die künstlichen Beleuchtungsquellen 5A - 5C ermittelt wurden, wird eine oder mehrere bevorzugte Merkmals-Extraktionsregionen 6A - 6C in dem empfangenen Bild IMG festgelegt. Vorzugsweise wird für jede ermittelte künstliche Beleuchtungsquelle 5A - 5C eine bevorzugte Merkmals-Extraktionsregion 6A - 6C festgelegt. Die bevorzugten Merkmals-Extraktionsregionen 6A - 6C werden in Abhängigkeit der ermittelten künstlichen Beleuchtungsquellen 5A - 5C festgelegt, wobei insbesondere ausgehend von der jeweiligen Position der ermittelten künstlichen Beleuchtungsquellen 5A - 5C ein bestimmter Bildbereich als eine bevorzugte Merkmals-Extraktionsregion 6A - 6C festgelegt wird. Die bevorzugten Merkmals-Extraktionsregionen 6A - 6C werden derart festgelegt, dass diese möglichst mit von der jeweiligen künstlichen Beleuchtungsquelle 5A - 5C beleuchteten Bereichen korrespondieren.
-
Dabei kann insbesondere eine Perspektive und/oder verzerrte Darstellung der empfangenen Bildes IMG berücksichtigt werden. Damit kann für eine jeweilige ermittelte künstliche Beleuchtungsquelle 5A - 5C ermittelt werden, welcher Bildbereich von der künstlichen Beleuchtungsquelle 5A - 5C wahrscheinlich beleuchtet wird. Bei Straßenlaternen ist das beispielsweise ein unter der Straßenlaterne angeordneter Bereich.
-
Nachdem die bevorzugten Merkmals-Extraktionsregionen 6A - 6C festgelegt sind, wird wenigstens ein Merkmal, das von der oder den bevorzugten Merkmals-Extraktionsregionen 6A - 6C umfasst ist, als ein der Referenzposition R1 - R11 zugeordnetes Orientierungsmerkmal M1 - M11 ausgewählt und gespeichert. Das Merkmal entspricht oder korrespondiert mit einem Bildbereich, der das Merkmal umfasst, und zeichnet sich insbesondere dadurch aus, dass es ein bestimmtes Muster einer Anzahl von vorbestimmten Mustern, eine bestimmte Farbe einer Anzahl von vorbestimmten Farben und/oder einen bestimmten Kontrast einer Anzahl vorbestimmter Kontraste aufweist.
-
In diesem Beispiel sind insgesamt sechzehn Orientierungsmerkmale M1 - M16 dargestellt. Hiervon liegen elf Orientierungsmerkmale M1 - M11 innerhalb einer der bevorzugten Merkmals-Extraktionsregionen 6A - 6C und fünf Orientierungsmerkmale M12 - M16 liegen in einem sonstigen Bildbereich.
-
Die Orientierungsmerkmale M1 - M16 werden der Referenzposition R1 - R11 zugeordnet und gespeichert. Auf Basis der Anordnung der Orientierungsmerkmale M1 - M16, das heißt, ihren jeweiligen Positionen in dem Bild IMG, kann die Position des Fahrzeugs 100 ermittelt werden. Wenn beispielsweise beim Nachfahren einige oder alle Orientierungsmerkmale M1 - M16 in einem während des Nachfahrens empfangenen Bild ermittelt werden und die Anordnung identisch zu der gespeicherten Anordnung ist, dann kann darauf geschlossen werden, dass die aktuelle Position mit der Referenzposition R1 - R11, in der das Bild IMG erfasst wurde, übereinstimmt. Wenn die aktuelle Position des Fahrzeugs 100 mit der Referenzposition R1 - R11 nicht übereinstimmt, dann weisen die Orientierungsmerkmale M1 - M16 eine andere relative Anordnung auf. Hieraus lässt sich die aktuelle Position POS des Fahrzeugs 100 relativ zu der Referenzposition R1 - R11 ermitteln. Es sei angemerkt, dass zum Ermitteln der aktuellen Position POS nicht alle Orientierungsmerkmale M1 - M16 erkannt werden müssen, es kann ausreichen, einige der Orientierungsmerkmale M1 - M16, beispielsweise nur die Hälfte der Orientierungsmerkmale M1 - M16 oder noch weniger, zu ermitteln, um die aktuelle Position POS zu bestimmen (mathematisch gesehen genügen drei linear unabhängige Orientierungsmerkmale, um die Position zu bestimmen).
-
3 zeigt ein zweites Beispiel eines Bildes IMG einer Umgebung 200 eines Fahrzeugs 100. Es handelt sich um das gleiche Bild IMG, das anhand der 2 erläutert wurde. In dem Beispiel der 3 wurde jedoch für jede der ermittelten künstlichen Beleuchtungsquellen 5A - 5C ein Fußpunkt F5A - F5C ermittelt. Der jeweilige Fußpunkt F5A - F5C entspricht der Position in dem Bild IMG, die gemäß der Ermittlung senkrecht unter der jeweiligen künstlichen Beleuchtungsquelle 5A - 5C liegt. Der Fußpunkt F5A - F5C kann beispielsweise als Mittelpunkt oder als hellster Punkt eines von der jeweiligen künstlichen Beleuchtungsquelle 5A - 5C auf dem Boden ausgeleuchteten Bereichs herangezogen werden. Der Fußpunkt F5A - F5C eignet sich daher besonders gut als Ausgangspunkt zum Festlegen der bevorzugten Merkmals-Extraktionsregionen 6A - 6C.
-
In dem Beispiel der 3 wurden die bevorzugten Merkmals-Extraktionsregionen 6A - 6C in Form einer Häufigkeitsverteilung H(x, y) (siehe 5) auf dem Bild IMG festgelegt. Die 5 zeigt einen Schnitt der Häufigkeitsverteilung H(x, y) auf dem Bild IMG entlang der Linie I-I. Die Orientierungsmerkmale M1 - M16 werden derart ausgewählt, dass diese gemäß der Häufigkeitsverteilung H(x, y) in dem Bild (IMG) verteilt sind. Man kann auch sagen, dass die Verteilung der Orientierungsmerkmale M1 - M16 in dem Bild IMG die Häufigkeitsverteilung H(x, y) nachbildet oder annähert. Je mehr Orientierungsmerkmale M1 - M16 ausgewählt werden, umso genauer kann die Häufigkeitsverteilung H(x, y) nachgebildet werden. Vorzugsweise werden mehrere hundert Orientierungsmerkmale M1 - M16 ausgewählt und gespeichert. Die in dem Beispiel der 3 dargestellten Kreise 6A - 6C um den jeweiligen Fußpunkt F5A - F5C entsprechend beispielsweise einer bestimmten Häufigkeit H (siehe 5).
-
In Ausführungsformen können weitere Informationen, wie beispielsweise eine dreidimensionale Karte der Umgebung 200, bei dem Festlegen der bevorzugten Merkmals-Extraktionsregionen 6A - 6C herangezogen werden.
-
Die weiteren Verarbeitungsschritte sind wie schon anhand der 2 beschrieben und werden hier nicht erneut erläutert.
-
4 zeigt das Bild IMG der 3 bei Dunkelheit. Hier wird der Vorteil des vorgeschlagenen Verfahrens deutlich: Nur diejenigen Orientierungsmerkmale M1 - M12, die in von den künstlichen Beleuchtungseinrichtungen 5A - 5C oder von den Scheinwerfern des Fahrzeugs 100 beleuchteten Bereichen liegen, sind in dem Bild IMG erkennbar und stehen damit für die Orientierung des Parkassistenzsystems 110 (siehe 1 oder 7) zur Verfügung. Da beim Auswählen und Speichern der Orientierungsmerkmale M1 - M12 der Fokus auf die bevorzugten Merkmals-Extraktionsregionen 6A - 6C gelegt wurde, die mit den beleuchteten Bereichen korrespondieren, sind auch bei Dunkelheit eine ausreichende Anzahl an Orientierungsmerkmalen M1 - M12 erkennbar, um das autonome Nachfahren der Trajektorie TR durch das Parkassistenzsystem 110 zu ermöglichen.
-
5 zeigt ein Beispiel eines Ausschnitts einer Häufigkeitsverteilung H(x, y), die die bevorzugte Merkmals-Extraktionsregion 6A - 6C des Bildes IMG der 3 entlang der Linie I-I darstellt. Auf der x-Achse X sind der linke Bildrand mit x0 und der rechte Bildrand mit x1 eingetragen und zudem die x-Positionen der Fußpunkte F5A und F5C. Wie in der 3 erkennbar, verläuft die Linie I-I durch den Fußpunkt F5A und nahe an dem Fußpunkt F5C. Dementsprechend ist die Häufigkeit H(x, y) im Bereich um den Fußpunkt F5A sehr hoch. Die Häufigkeitsverteilung H(x, y) bildet in diesem Bereich beispielsweise eine Normalverteilung nach. Im Bereich um den Fußpunkt F5C ist die Häufigkeit H(x, y) ebenfalls leicht erhöht, aufgrund des y-Abstand der Linie I-I von dem Fußpunkt F5C jedoch nicht so hoch wie bei dem Fußpunkt F5A.
-
6 zeigt ein Beispiel einer trainierten Trajektorie TR. Die trainierte Trajektorie TR umfasst in diesem Beispiel dreizehn Referenzpositionen R1 - R13, wobei die Referenzposition R1 den Anfangspunkt und die Referenzposition R13 den Endpunkt der Trajektorie TR darstellt. Bei der Referenzposition R9 ist ein Richtungswechsel des Fahrzeugs 100 erfolgt. An jeder der Referenzpositionen R1 - R13 hat das Parkassistenzsystem 110 (siehe 1 oder 7) ein jeweiliges Bild IMG (siehe 1 - 4 oder 7) der Umgebung 200 (siehe 1 - 4) des Fahrzeugs 100 empfangen und wie zuvor anhand der 2 - 5 näher erläutert in dem jeweiligen Bild IMG Orientierungsmerkmale M1 - M16 (siehe 2 - 4) ausgewählt und diese der jeweiligen Referenzposition R1 - R13 zugeordnet und gespeichert.
-
Ein Abstand zwischen zwei entlang der Trajektorie TR aufeinanderfolgenden Referenzpositionen R1 - R13 ist hierbei kleiner oder gleich einem vorbestimmten Höchstabstand, beispielsweise 10 Meter. Der Abstand wird in Abhängigkeit von einem Fahrzustand und/oder von einem Abstand des Fahrzeugs 100 zu einem Objekt 210 in der Umgebung 200 dynamisch bestimmt. Beispielsweise ist der Abstand zwischen den Referenzpositionen R1 und R2 sowie zwischen R2 und R3 der zulässige Höchstabstand, da die Trajektorie TR hier einen geraden Verlauf aufweist und keine nahen Hindernisse vorhanden sind. Die Abstände zwischen den Referenzpositionen R3 und R4, R4 und R5, R5 und R6, R6 und R7, R7 und R8 sowie R8 und R9 sind kleiner, beispielsweise nur 3 Meter. Die Trajektorie TR weist hier einen kurvigen Verlauf auf, weshalb beim Nachfahren schneller unerwünschte Abweichungen von der Trajektorie TR auftreten können. Durch eine häufigere Überprüfung der Position des Fahrzeugs 100, das heißt ein engeres Setzen der Referenzpositionen R1 - R13, kann sichergestellt werden, dass das Fahrzeug 100 weniger als ein vorbestimmter Schwellwert von der Trajektorie TR abweicht. beim Nachfahren vorteilhaft ist. Zwischen den Referenzpositionen R9 und R13 verläuft die Trajektorie TR dicht an einem Objekt 210, beispielsweise einem Gebäude. In der Nähe des Gebäudes 210 sind zusätzliche Referenzpositionen R10, R11, R12 gesetzt, obwohl die Trajektorie TR hier einen geraden Verlauf aufweist. Hiermit kann eine Kollision des Fahrzeugs 100 mit dem Gebäude 210 sicher vermieden werden.
-
In der 6 ist zusätzlich ein Fahrzeug 100 in einer aktuellen Position POS dargestellt. Der Nutzer des Fahrzeugs 100 hat beispielsweise den Nachfahrmodus aktiviert, so dass das Parkassistenzsystem 110 des Fahrzeugs 100 die angelernte Trajektorie TR nachfährt. Das Fahrzeug 100 befindet sich in der aktuellen Position POS neben der angelernten Trajektorie TR. Das Parkassistenzsystem 110 empfängt ein Bild IMG der Umgebung 200 des Fahrzeugs 100 in der aktuellen Position POS und überprüft, ob in dem empfangenen Bild IMG gespeicherte Orientierungsmerkmale M1 - M16 zu sehen sind. In Abhängigkeit der erkannten Orientierungsmerkmale M1 - M16 und der gespeicherten Orientierungsmerkmale M1 - M16 sowie der jeweiligen Referenzposition R1 - R13 ermittelt das Parkassistenzsystem 110 die aktuelle Position POS des Fahrzeugs 100. Anschließend ermittelt das Parkassistenzsystem 110 eine geplante Trajektorie TR*, entlang es das Fahrzeug 100 fährt, um auf die angelernte Trajektorie TR zu gelangen. Während des autonomen Fahrens überprüft das Parkassistenzsystem 110 fortlaufend die Position des Fahrzeugs 100 auf Basis von in der jeweiligen aktuellen Position empfangen Bildern IMG der Umgebung 200, und führt beispielsweise Lenkkorrekturen durch oder dergleichen.
-
7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Parkassistenzsystems 110. Das Parkassistenzsystem 110 umfasst eine Verarbeitungseinrichtung 112, die dazu eingerichtet ist, das wie anhand der 2 - 6 und 8 beschriebene Verfahren durchzuführen.
-
Die Verarbeitungseinrichtung 112 kann als Teil eines übergeordneten Steuerungssystems des Fahrzeugs 100, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein. Die Verarbeitungseinrichtung 112 kann eine oder mehrere Einheiten umfassen, wie beispielsweise eine Empfangseinheit, eine Recheneinheit und eine Speichereinheit. Die jeweilige Einheit kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
-
8 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 110 für ein Fahrzeug 100, beispielsweise des Parkassistenzsystems der 1 oder 7.
-
Das Parkassistenzsystem 110 ist dazu eingerichtet, in einem Nachfahrmodus eine in einem Trainingsmodus angelernte Trajektorie TR (siehe 6) autonom nachzufahren. Der Trainingsmodus umfasst in einem ersten Schritt S1 ein Fahren entlang der anzulernenden Trajektorie TR. Der Schritt S1 wird insbesondere unter manueller Kontrolle durchgeführt. In einem zweiten Schritt S2 wird ein Bild IMG (siehe 2 - 4 oder 7) einer Umgebung 200 (siehe 1 - 4) des Fahrzeugs 100 (siehe 1 oder 6) in einer Referenzposition R1 - R13 (siehe 6) empfangen. In einem dritten Schritt S3 wird eine künstliche Beleuchtungsquelle 5A - 5C (siehe 2 - 4) in dem empfangenen Bild IMG ermittelt. In einem vierten Schritt S4 wird eine bevorzugte Merkmals-Extraktionsregion 6A - 6C (siehe 2 - 4) in dem empfangenen Bild IMG in Abhängigkeit der ermittelten künstlichen Beleuchtungsquelle 5A - 5C festgelegt. In einem fünften Schritt S5 wird wenigstens ein von der bevorzugten Merkmals-Extraktionsregion 6A - 6C umfasstes Merkmal als ein der Referenzposition R1 - R13 zugeordnetes Orientierungsmerkmal M1 - M16 (siehe 2 - 4) ausgewählt und gespeichert. In einem sechsten Schritt S6 wird die Trajektorie TR umfassend eine Abfolge von Positionen umfassend die Referenzposition R1 - R13 gespeichert.
-
In dem Nachfahrmodus wird eine aktuelle Position POS (siehe 6) des Fahrzeugs 100 in Abhängigkeit des der Referenzposition R1 - R13 zugeordneten gespeicherten Orientierungsmerkmals M1 - M16 und eines Bildes IMG der Umgebung 200 des Fahrzeugs 100 in der aktuellen Position POS ermittelt. Der Nachfahrmodus umfasst beispielsweise die Schritte:
- Empfangen eines aktuellen Bildes IMG der Umgebung 200 des Fahrzeugs 100 in einer aktuellen Position POS,
- Ermitteln des gespeicherten Orientierungsmerkmals M1 - M13 in dem empfangenen Bild IMG,
- Ermitteln der aktuellen Position POS des Fahrzeugs 100 in Abhängigkeit des ermittelten Orientierungsmerkmals M1 - M13 und der dem Orientierungsmerkmal M1 - M13 zugeordneten Referenzposition R1 - R11, und
- autonomes Nachfahren zumindest eines Abschnitts der angelernten Trajektorie TR.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
Bezugszeichenliste
-
- 5A
- Beleuchtungsquelle
- 5B
- Beleuchtungsquelle
- 5C
- Beleuchtungsquelle
- 6A
- Merkmals-Extraktionsregion
- 6B
- Merkmals-Extraktionsregion
- 6C
- Merkmals-Extraktionsregion
- 100
- Fahrzeug
- 110
- Parkassistenzsystem
- 112
- Verarbeitungseinrichtung
- 120
- Sensor
- 130
- Sensor
- 200
- Umgebung
- 210
- Objekt
- F5A
- Fußpunkt
- F5B
- Fußpunkt
- F5C
- Fußpunkt
- H
- Häufigkeit
- H(x, y)
- Häufigkeitsverteilung
- IMG
- Bild
- M1
- Orientierungsmerkmal
- M2
- Orientierungsmerkmal
- M3
- Orientierungsmerkmal
- M4
- Orientierungsmerkmal
- M5
- Orientierungsmerkmal
- M6
- Orientierungsmerkmal
- M7
- Orientierungsmerkmal
- M8
- Orientierungsmerkmal
- M9
- Orientierungsmerkmal
- M10
- Orientierungsmerkmal
- M11
- Orientierungsmerkmal
- M12
- Orientierungsmerkmal
- M13
- Orientierungsmerkmal
- POS
- aktuelle Position
- R1
- Referenzposition
- R2
- Referenzposition
- R3
- Referenzposition
- R4
- Referenzposition
- R5
- Referenzposition
- R6
- Referenzposition
- R7
- Referenzposition
- R8
- Referenzposition
- R9
- Referenzposition
- R10
- Referenzposition
- R11
- Referenzposition
- R12
- Referenzposition
- R13
- Referenzposition
- S1
- Verfahrensschritt
- S2
- Verfahrensschritt
- S3
- Verfahrensschritt
- S4
- Verfahrensschritt
- S5
- Verfahrensschritt
- S6
- Verfahrensschritt
- TR
- Trajektorie
- TR*
- Trajektorie
- X
- Achse
- x0
- Position
- x1
- Position
- Y
- Achse
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015010746 A1 [0003]
