DE112019001832T5

DE112019001832T5 - Strassenmarkierungsdetektionsverfahren

Info

Publication number: DE112019001832T5
Application number: DE112019001832.9T
Authority: DE
Inventors: Yukti MATTA; Kota Irie; Taisetsu Tanimichi
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-05-29
Filing date: 2019-05-20
Publication date: 2021-02-04
Also published as: JP6997868B2; JPWO2019230474A1; US20190367012A1; WO2019230474A1; US11136022B2

Abstract

Beispielimplementierungen, wie hier beschrieben, sind auf die Verwendung und Detektion von asymmetrischen Markierungen in Verbindung mit einem autonomen Modus für ein durch den Menschen betriebenes Fahrzeugsystem gerichtet. In Beispielimplementierungen stellt das Fahrzeugsystem eine Position, Orientierung und/oder Geschwindigkeit auf der Basis der Detektion von asymmetrischen Markierungen ein, die für die Fahrzeugnavigation sowie für einen autonomen Parkdienst verwendet werden können.

Description

HINTERGRUND
Die vorliegende Offenbarung ist auf autonome Fahrzeugsysteme und insbesondere auf Systeme und Verfahren, die eine Straßenmarkierungsdetektion beinhalten, gerichtet.
Stand der Technik
Die Lokalisierung von autonomen Fahrzeugen weist zwei primäre Herausforderungen auf. Die erste ist die Bestimmung eines geeigneten absolut sicheren Sensors für den Kartenvergleich, während festgestellt wird, dass die Kosten nicht sprunghaft ansteigen. Die zweite ist die Abhängigkeit von einer drahtlosen Kommunikation für die Kartenerzeugung, wie z. B. Satelliteninformationen. Im Allgemeinen werden für den Kartenvergleich Sensoren wie z. B. Radare, Sonare, LIDAR-Geräte (für Lichtdetektion und Entfernungsmessung) oder Stereokameras verwendet, um vorbestimmte Merkmale in der Umgebung zu identifizieren, die dann mit der Karte verglichen werden, die üblicherweise von einer GPS-Einheit (Einheit eines globalen Positionsbestimmungssystems) erhalten werden kann. Die Verwendung solcher Sensoren beseitigt jedoch die Möglichkeit der Detektion von zweidimensionalen farbigen Merkmalen, die am üblichsten in der Umgebung zu finden sind. Außerdem kann die Satellitenkommunikation in Gegenwart von großen Gebäuden inkonsistent sein, was zu instabilen und ungenauen Ortsergebnissen des Fahrzeugs führt. Um die vorstehend erwähnten Probleme zu lösen, wurden mehrere Implementierungen des Standes der Technik vorgeschlagen.
In einer Beispielimplementierung des Standes der Technik gibt es ein Parkassistenzsystem, das von einer Markierung Gebrauch macht. Solche Systeme verwenden eine symmetrische Markierung, die von einer nach vorn gewandten Kamera erkannt wird, die am Fahrzeug montiert ist, um in eine Garage einzuparken und aus dieser auszufahren. Die Schwierigkeit bei dieser Methode besteht jedoch darin, dass ein Fahrzeug nur vorwärts in eine Parklücke einparken kann, da die Kamera nach vorn gewandt ist. Da die verwendete Markierung symmetrisch ist, müssen außerdem mindestens drei Merkmalspunkte detektiert werden, damit das System sie erfolgreich erkennt.
In einer anderen Beispielimplementierung des Standes der Technik gibt es eine Kamerasystemkalibrierung zum Bestimmen der Position des Fahrzeugs. Solche Implementierungen des Standes der Technik verwenden vorbestimmte Markierungen, deren Formparameter in einem computerlesbaren Arbeitsspeicher gespeichert sind. Aus den Kamerarahmen werden die Formen extrahiert und dann mit den gespeicherten Formen verglichen. Unter Verwendung von Rotation und Translation kann die Position des Fahrzeugs bestimmt werden. Die Schwierigkeit bei solchen Methoden ist die Anforderung von zusätzlichen Ressourcen hinsichtlich des Computerdirektzugriffsarbeitsspeichers (Computer-RAM).
In einer anderen Implementierung des Standes der Technik gibt es eine Methode, bei der die Markierungen an den vier Ecken der festgelegten Parklücke angeordnet werden. Die Markierungen werden verwendet, um zu helfen, das Fahrzeug unter Verwendung von Merkmalen von dem Muster der Markierung in die Lücke einzuparken. Diese Methode begrenzt jedoch die Lokalisierung des Fahrzeugs nur dann, wenn es sich nahe an der Parklücke befindet, aufgrund der Detektionsabstandsfähigkeit irgendeiner Kamera. Diese Erfindung beinhaltet eine Methode, bei der die Markierungen am Eingang des Parkplatzes und entlang der Trajektorie angeordnet sind, der durch das Fahrzeug gefolgt wird, was eine Lokalisierung und Trajektorienkorrektur des Fahrzeugs im ganzen Parkplatz sicherstellt.
ZUSAMMENFASSUNG
Hier beschriebene Beispielimplementierungen beinhalten die Verwendung einer asymmetrischen Markierung, die durch mehrere Kameras (z. B. Rundumaugenkameras) erkannt wird, und ist daher nicht auf die Erkennung nur vor dem Fahrzeug begrenzt. Aufgrund der Verwendung einer Kartenpositionsbestimmungseinheit hängt das System der Beispielimplementierungen außerdem nicht von irgendeinem Fahrzeugführungssystem ab, was dadurch die Kosten verringern kann.
Beispielimplementierungen, wie hier beschrieben, verwenden ein Vorlagenvergleichsverfahren, um die Markierung zu erkennen. In Beispielimplementierungen kann die Vorlage in Echtzeit erzeugt werden und muss nicht im Voraus gespeichert werden.
Beim autonomen Parkdienst (AVP) hängt die Fahrzeugtrajektorie während der Navigation von der Lokalisierungseffizienz ab. Um den Problemen bei den vorstehend beschriebenen Verfahren entgegenzuwirken, wird ein Markierungsdetektionsverfahren für die Lokalisierung des autonomen Fahrzeugs im Parkplatz vorgeschlagen. Dieses macht von einer asymmetrischen Markierung Gebrauch, die durch ein Rundumaugenkamerasystem erkannt wird, um eine Lokalisierung ohne Verwendung von GPS zu erreichen.
In einer Beispielimplementierung, die AVP beinhaltet, werden die Markierungen am Eingang des Parkplatzes und entlang der Trajektorie angeordnet. Der Ort der durch die Kameras erkannten Markierung wird mit jenem auf einer Karte verglichen, die durch eine Offline-Kartenpositionsbestimmungseinheit bereitgestellt wird. Die Kameras verwenden Bildverarbeitungsfunktionen, um die Position und die Orientierung des Fahrzeugs in Bezug auf diese Markierungen zu berechnen. Diese Informationen werden zur elektronischen Steuereinheit für autonomes Fahren (AD-ECU) im Fahrzeug über CAN (Controllerbereichsnetz) geliefert. Davor empfängt die elektronische Steuereinheit (ECU) auch die erwartete anfängliche Position und Orientierung des Fahrzeugs von der Kartenpositionsbestimmungseinheit. Die Differenz zwischen den erwarteten und aktuellen Koordinaten des Fahrzeugs wird dann durch die ECU berechnet und für die Trajektorienkorrektur verwendet. Diese Technik ist nützlich, um ein unabhängiges Fahrzeug zu lokalisieren, in Gegenwart eines anderen voranfahrenden Fahrzeugs muss jedoch ein gemeinsames Steuerzentrum vorhanden sein, das die Bewegung aller Fahrzeuge im Parkplatz steuern würde, um irgendwelche Kollisionen zu vermeiden. Solche Beispielimplementierungen beinhalten die Verwendung einer Telematiksteuereinheit, die die Position des Fahrzeugs zum Steuerzentrum in Echtzeit übermittelt. Das Steuerzentrum stellt wiederum sicher, dass sich nicht zwei Fahrzeuge in unmittelbarer Nähe zueinander befinden, durch Senden von Befehlen zum folgenden Fahrzeug, um es im Fall einer potentiellen Kollision zu stoppen.
Aspekte der vorliegenden Offenbarung umfassen ein Verfahren, das das Detektieren einer oder mehrerer Markierungen mit einer asymmetrischen Form von mehreren Kameras; und das Ändern eines Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug beinhaltet, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder mehreren detektierten Markierungen einzustellen.
Aspekte der vorliegenden Offenbarung umfassen ferner ein Computerprogramm, das das Detektieren einer oder mehrerer Markierungen mit einer asymmetrischen Form von mehreren Kameras; das Ändern eines Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug beinhaltet, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder mehreren detektierten Markierungen einzustellen. Das Computerprogramm kann auf einem nichttransitorischen computerlesbaren Medium gespeichert sein und durch einen oder mehrere Hardware-Prozessoren ausgeführt werden.
Aspekte der vorliegenden Offenbarung können ein System umfassen, das ein Mittel zum Detektieren einer oder mehrerer Markierungen mit einer asymmetrischen Form von mehreren Kameras; und ein Mittel zum Ändern eines Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug beinhaltet, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder mehreren detektierten Markierungen einzustellen.
Aspekte der vorliegenden Offenbarung können ein System umfassen, das mehrere Kameras; und einen Prozessor, der dazu konfiguriert ist, eine oder mehrere Markierungen mit einer asymmetrischen Form von den mehreren Kameras zu detektieren; und einen Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug zu ändern, beinhaltet, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der detektierten einen oder mehreren Markierungen einzustellen.
Figurenliste

1(a) stellt ein Fahrzeugsystem gemäß einer Beispielimplementierung dar.
1(b) stellt mehrere Fahrzeugsysteme und eine Managementeinrichtung gemäß einer Beispielimplementierung dar.
2(a) bis 2(e) stellen Beispiele von asymmetrischen Markierungen gemäß einer Beispielimplementierung dar.
2(f) und 2(g) stellen einen Vergleich zwischen asymmetrischen Markierungen und symmetrischen Markierungen dar.
3(a) bis 3(d) stellen Beispielverwendungsfälle von asymmetrischen Markierungen gemäß einer Beispielimplementierung dar.
4(a) bis 4(d) stellen Beispielablaufdiagramme dar, die durch das Fahrzeugsystem oder die Managementeinrichtung ausgeführt werden können.
5(a) bis 5(b) stellen Beispielverwendungsfälle von asymmetrischen Markierungen gemäß einer Beispielimplementierung dar.
6 stellt Beispielmanagementinformationen dar, die durch eine Managementeinrichtung und/oder das Fahrzeugsystem verwendet werden können.
7 stellt eine Beispielrechenumgebung mit einer Beispielcomputervorrichtung dar, die für die Verwendung in einigen Beispielimplementierungen geeignet ist.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung schafft weitere Details der Figuren und Beispielimplementierungen der vorliegenden Anmeldung. Bezugszeichen und Beschreibungen von redundanten Elementen zwischen Figuren werden wegen der Deutlichkeit weggelassen. Begriffe, die durchweg in der Beschreibung verwendet werden, sind als Beispiele vorgesehen und sollen nicht begrenzend sein. Die Verwendung des Begriffs „automatisch“ kann beispielsweise vollautomatische oder halbautomatische Implementierungen, die eine Benutzer- oder Administratorsteuerung über bestimmte Aspekte der Implementierung beinhalten, in Abhängigkeit von der gewünschten Implementierung von einem Fachmann auf dem Gebiet, der die Implementierungen der vorliegenden Anmeldung ausführt, beinhalten. Die Auswahl kann durch einen Benutzer durch eine Benutzerschnittstelle oder ein anderes Eingabemittel durchgeführt werden oder kann durch einen gewünschten Algorithmus implementiert werden. Beispielimplementierungen, wie hier beschrieben, können entweder einzeln oder in Kombination verwendet werden und die Funktionalität der Beispielimplementierungen kann durch irgendein Mittel gemäß den gewünschten Implementierungen implementiert werden. Der Begriff „Fahrzeug“ und „Fahrzeugsystem“ kann auch austauschbar verwendet werden.
1(a) stellt ein Fahrzeugsystem gemäß einer Beispielimplementierung dar. Insbesondere stellt 1(a) ein durch den Menschen betriebenes Beispielfahrzeugsystem dar, das dazu konfiguriert ist, in einem durch den Menschen betriebenen Modus und einem autonomen Modus zu arbeiten. Die AD-ECU 1 ist mit einer Kartenpositionsbestimmungseinheit 6 verbunden, um Signale von der Kartenpositionsbestimmungseinheit 6 zu empfangen. Diese Signale stellen eine festgelegte Route, Kartendaten, die Position des Fahrzeugs auf einer Karte, die Richtung des Fahrzeugs, Fahrspurinformationen wie z. B. die Anzahl von Fahrspuren, eine Geschwindigkeitsbegrenzung und Typen von Straßen/Fahrzeugorten (z. B. Autobahnen und allgemeine Fernstraßen, Nebenstraßen, Mauthäuschen, Parkplätze oder Garagen usw.) dar.
Das Fahrzeug ist mit einer Betriebsparametermesseinheit zum Messen von Werten von Parametern versehen, die die Betriebsbedingung des Fahrzeugs angeben, die eine Raddrehzahlmessvorrichtung 7 und eine Fahrzeugverhaltensmessvorrichtung 8 umfassen können. Von diesen Vorrichtungen bereitgestellte Signale werden zur AD-ECU 1 gesendet. Die Fahrzeugverhaltensmessvorrichtung 8 misst die Längsbeschleunigung, die Querbeschleunigung und die Gierrate.
Das Fahrzeug ist mit Umgebungsbedingungsmessvorrichtungen zum Messen von Bedingungen der Umgebung um das Fahrzeug versehen, einschließlich einer vorderen Kamera 10f, eines vorderen Radars 11f, einer hinteren Kamera 10r, eines hinteren Radars 11r, einer linken vorderen Kamera 12L, einer rechten vorderen Kamera 12R, einer linken hinteren Kamera 13L und einer rechten hinteren Kamera 13R. Diese Umgebungsbedingungsmessvorrichtungen senden Informationen über Fahrspurmarkierungen, Hindernisse und asymmetrische Markierungen um das Fahrzeug zur AD-ECU 1.
Die Kameras des Fahrzeugs können in Form von Rundumaugenkameras oder anderen Kameras in Abhängigkeit von der gewünschten Implementierung vorliegen. Im Kamerasystem des Fahrzeugs ist die vordere Kamera 10f mit einer Bildaufnahmeeinheit zum Erhalten eines Bildes von einer oder mehreren asymmetrischen Markierungen um das Fahrzeug und einer Ausgabeeinheit, die Signale liefert, die die Positionsbeziehung zwischen dem Fahrzeug und der einen oder den mehreren asymmetrischen Markierungen darstellen, versehen. Das vordere Radar 11f detektiert und lokalisiert andere Fahrzeuge und Fußgänger und liefert Signale, die die Positionsbeziehung zwischen dem Fahrzeug und diesen Objekten darstellen. Die hintere Kamera 10r, die linke vordere Kamera 12L, die rechte vordere Kamera 12R, die linke hintere Kamera 13L und die rechte hintere Kamera 13R sind in der Funktionalität zur vorderen Kamera 10f und zum vorderen Radar 11f und zum hinteren Radar 11r ähnlich.
Das Fahrzeug ist mit einer Kraftmaschine 21, einem elektronisch gesteuerten Bremssystem 22, einem elektronisch gesteuerten Differentialmechanismus 23 und einem elektronisch gesteuerten Lenksystem 24 versehen. Die AD-ECU 1 gibt Antriebssignale an Aktuatoren, die in diesen Systemen 22, 23 und 24 enthalten sind, auf der Basis von Werten von beeinflussten Variablen, die durch den Fahrer und/oder Umgebungsbedingungen wie z. B. die Detektion von asymmetrischen Markierungen oder das Einschalten von verschiedenen autonomen Modi für das Fahrzeugsystem gegeben werden, wie hier beschrieben. Wenn das Fahrzeug beschleunigt werden muss, gibt der Controller 1 ein Beschleunigungssignal an die Kraftmaschine 21. Wenn das Fahrzeug verlangsamt werden muss, gibt der Controller ein Verlangsamungssignal an das elektronisch gesteuerte Bremssystem 22. Wenn das Fahrzeug gewendet werden muss, gibt die AD-ECU 1 ein Abbiegesignal an das elektronisch gesteuerte Bremssystem 22, den elektronisch gesteuerten Differentialmechanismus 23 und/oder das elektronisch gesteuerte Lenksystem 24.
Das elektronisch gesteuerte Bremssystem 22 ist ein hydraulisches Bremssystem, das in der Lage ist, individuelle Bremskräfte, die jeweils auf die Räder aufgebracht werden, zu steuern. Das elektronisch gesteuerte Bremssystem bringt Bremskräfte auf entweder die rechten Räder oder die linken Räder in Reaktion auf eine Abbiegeanforderung auf, um ein Giermoment auf das Fahrzeug aufzubringen. Der elektronisch gesteuerte Differentialmechanismus 23 treibt in Reaktion auf eine Abbiegeanforderung einen Elektromotor oder eine Kupplung an, um eine Drehmomentdifferenz zwischen der rechten Achse und der linken Achse zu erzeugen, um ein Giermoment auf das Fahrzeug aufzubringen. Das elektronisch gesteuerte Lenksystem 24 ist beispielsweise ein Steer-by-Wire-Lenksystem, das in der Lage ist, den Lenkwinkel unabhängig vom Abbiegewinkel des Lenkrades in Reaktion auf eine Abbiegeanforderung zu korrigieren, um ein Giermoment auf das Fahrzeug aufzubringen.
Das Fahrzeug ist mit einer Informationsausgabeeinheit 26 versehen. Die Informationsausgabeeinheit 26 zeigt Bilder an, erzeugt Töne und schaltet Warnlichter ein, die Informationen über Unterstützungsoperationen gemäß dem Typ der Fahrunterstützungsoperation darstellen. Die Informationsausgabeeinheit 26 ist beispielsweise ein Monitor, der mit einem eingebauten Lautsprecher versehen ist. Mehrere Informationsausgabeeinheiten können im Fahrzeug installiert sein.
Das System, wie in 1(a) dargestellt, ist eine Beispielimplementierung des Fahrzeugsystems, wie hier beschrieben, aber andere Konfigurationen sind auch möglich und fallen in den Schutzbereich der Beispielimplementierungen und die vorliegende Offenbarung ist nicht auf die Konfiguration, wie in 1(a) dargestellt, begrenzt. Kameras können beispielsweise an der Oberseite oder am Dach des Fahrzeugs für die Zwecke der Detektion von asymmetrischen Markierungen, die an Wänden, Straßenschildern, Plakatwänden usw. angeordnet sind, installiert sein.
1(b) stellt mehrere Fahrzeugsysteme und eine Managementeinrichtung gemäß einer Beispielimplementierung dar. Ein oder mehrere Fahrzeugsysteme 101-1, 101-2, 101-3 und 101-4, wie mit Bezug auf 1(a) beschrieben, sind mit einem Netz 100 kommunikativ gekoppelt, das mit einer Managementeinrichtung 102 verbunden ist. Die Managementeinrichtung 102 managt eine Datenbank 103, die eine Datenrückmeldung enthält, die von den Fahrzeugsystemen im Netz 100 aggregiert wird. In alternativen Beispielimplementierungen kann die Datenrückmeldung von den Fahrzeugsystemen 101-1, 101-2, 101-3 und 101-4 in eine zentrale Ablage oder zentrale Datenbank wie z. B. firmeneigene Datenbanken aggregiert werden, die Daten von Systemen wie z. B. Unternehmensressourcenplanungssystemen aggregieren, und die Managementeinrichtung 102 kann auf die Daten von der zentralen Ablage oder der zentralen Datenbank zugreifen oder diese davon abrufen. Solche Fahrzeugsysteme können durch den Menschen betriebene Fahrzeuge wie z. B. Personenkraftwagen, Lastkraftwagen, Traktoren, Vans usw. in Abhängigkeit von der gewünschten Implementierung umfassen.
Die Managementeinrichtung 102 kann dazu konfiguriert sein, Positionsinformationen von den Fahrzeugsystemen 101-1, 101-2, 101-3 und 101-4 zu empfangen, die die Position des entsprechenden Fahrzeugsystems relativ zu einer Markierung übertragen, wie in 4(a) beschrieben, und ferner dazu konfiguriert sein, Anweisungen zu den Fahrzeugsystemen 101-1, 101-2, 101-3 und 101-4 zu übertragen, die eine Trajektorie für das Fahrzeug bis zu einer nächsten Markierung angeben, und/oder einen Betriebsmodus, eine Position, eine Geschwindigkeit und/oder eine Orientierung einzustellen.
2(a) bis 2(d) stellen Beispiele von asymmetrischen Markierungen gemäß einer Beispielimplementierung dar. Die eindeutigen Merkmale der ausgewählten Schachbrettmustermarkierungen machen sie für die Erkennung unter Verwendung von Kameras in den Fahrzeugsystemen, wie in 1(a) dargestellt, dienlich. Die Differenz der Intensität der weißen und schwarzen Quadrate macht es nicht nur leicht, den Übergangspunkt als Ecke unter Verwendung von Detektionsalgorithmen wie z. B. des Harris-Eckendetektors zu detektieren, sondern macht es auch möglich, dass die Markierung unter sehr variablen Lichtbedingungen detektiert wird. Markierungen können auf Straßen, Schilder oder Wände physikalisch aufgemalt oder anderweitig dort angeordnet werden, oder können durch Projektionssysteme, Monitore usw. für die Modifikation in Abhängigkeit von der gewünschten Implementierung projiziert/angezeigt werden.
In Beispielimplementierungen werden asymmetrische Markierungen wie z. B. T-förmige Markierungen, wie in 2(a) dargestellt, beim Bestimmen, ob das Fahrzeug in der erwarteten Richtung fährt (d. h. das Fahrzeug in der Richtung des umgekehrten T der Typ-ID 1 von 2(b) fährt), verwendet. Jede der T-förmigen Markierungen kann auch einem Identifizierer oder einer ID zugeordnet sein, die verschiedene Funktionalitäten darstellt. Die vorliegende Offenbarung ist jedoch nicht auf die Verwendung einer T-förmigen Markierung begrenzt; andere asymmetrische Markierungen wie z. B. eine L-förmige Markierung, wie in 2(c) gezeigt, können auch verwendet werden. Obwohl Beispielabmessungen in 2(a) bis 2(c) dargestellt sind, können ferner solche Markierungen auch gemäß der gewünschten Implementierung in der Größe geändert werden. Somit kann irgendeine asymmetrische Schachbrettmustermarkierung in Beispielimplementierungen verwendet werden.
Wenn Erkennungsinformationen, die von den Kameras erhalten werden, darauf hinweisen, dass das Fahrzeug in Bezug auf die Markierung falsch orientiert ist, korrigiert die AD-ECU die Trajektorie, wie als erforderlich erachtet. Das aktuelle System macht von lokalen Koordinaten Gebrauch, die durch die Kameras detektiert werden, und wandelt sie durch Vergleich mit einer Karte des Orts (oder Parkplatzes) in globale Koordinaten um. In Abhängigkeit von der gewünschten Implementierung kann das System auch mit einem QR-Code (Quick-Response-Code) funktionieren, der auf der Markierung angeordnet ist, wie in 2(d) gezeigt. Der QR-Code kann beispielsweise die Breitengrad- und Längengradinformationen der Markierung umfassen. Sobald er durch die Kameras detektiert ist, können die globalen Koordinaten des Fahrzeugs unverzüglich verfügbar sein.
2(e) stellt eine Beispielimplementierung von Markierungen für die Verwendung am Eingang eines Parkplatzes gemäß einer Beispielimplementierung dar. Am Eingang des Parkplatzes sind vier Markierungen angeordnet, eine entlang jeder Seite des Fahrzeugs, die jeweils fortschreitend um 90 Grad in der Richtung im Uhrzeigersinn gedreht sind, wie in 2(e) gezeigt. Die Position der Markierungen ist derart, dass unter einer Drehungsbedingung von 0 Grad die Achse der Markierung und die optische Achse der Kamera sich ausrichten. Ein Randerfassungsbereich der Kameraansicht kann im Vergleich zum Zentrum des Kamerabildes weniger scharf sein. Der Ort der Markierungen stellt sicher, eine solche Schärfe auszunutzen. Jeder Markierung ist eine ID zugewiesen, wie in 2(b) dargestellt, was es möglich macht, dass die ECU bestimmt, welche Kamera die Markierung identifiziert hat, und dadurch ihre Korrektheit feststellt. Die Markierungen sind auch entlang der Route angeordnet, der durch das Fahrzeug zur Parklücke gefolgt wird.
2(f) und 2(g) stellen einen Vergleich zwischen einer asymmetrischen Markierung und einer symmetrischen Markierung dar. Insbesondere stellt 2(f) eine asymmetrische Markierung dar und 2(g) stellt eines symmetrisches Markierungsbeispiel dar. In Beispielimplementierungen werden asymmetrische Markierungen verwendet, da die Richtung der Annäherung von einer Orientierung von 0 Grad gegenüber einer Orientierung von 180 Grad unterschieden werden kann, wie in 2(f) dargestellt. Wenn dagegen die Markierung symmetrisch ist, wie in 2(g) dargestellt, kann die Richtung der Annäherung von der Orientierung von 0 Grad gegenüber der Orientierung von 180 Grad nicht unterschieden werden. Folglich werden in Beispielimplementierungen asymmetrische Markierungen für eine leichte Detektion sowie zum Bestimmen der Orientierung des Fahrzeugs in Bezug auf die Markierung verwendet.
Obwohl Schachbrettmuster in den Beispielimplementierungen verwendet werden, ist ferner die vorliegende Offenbarung nicht darauf begrenzt und beliebige andere Muster können gemäß der gewünschten Implementierung verwendet werden, solange die Markierung asymmetrisch ist. Zickzackmuster, eine Markierung, die einen Kreis oder eine andere Form beinhaltet, die das Zentrum der Markierung angibt, QR-Codes oder Strichcodes, die in die Markierung eingebettet sind, können beispielsweise auch verwendet werden.
3(a) stellt eine Beispielimplementierung dar, die einen Parkplatz beinhaltet. Diesen Markierungen ist auch eine ID zugewiesen und sie werden mit den in der Kartenpositionsbestimmungseinheit gespeicherten verglichen. Diese Markierungen helfen, dass das Fahrzeug kontinuierlich seine Trajektorie korrigiert, falls die Abweichung vom gewünschten Pfad einen bestimmten Schwellenwert überschreitet. Nicht nur die Kartenpositionsbestimmungseinheit empfängt diese Koordinaten, sondern auch das Steuerzentrum, das dann entscheidet, ob es sicher ist, dass das Fahrzeug fortfährt, auf der Basis eines Vergleichs mit Koordinaten, die von anderen Fahrzeugen im Parkplatz empfangen werden, wie in 3(a) gezeigt.
Wie in 3(a) gezeigt, kann der Parkplatz durch die Kartenpositionsbestimmungseinheit in mehrere Abschnitte auf der Basis des Orts der Markierungen unterteilt werden. In dem Beispiel von 3(a) wird der Parkplatz als Abschnitte 300-1, 300-2, 300-3, 300-4 und 300-5 aufweisend betrachtet. Der Abschnitt 300-1 ist der Einfahrtsweg in den Parkplatz, in dem ein Fahrzeug abgestellt werden kann und der AVP-Modus in Anspruch genommen werden kann. In einer Beispielimplementierung kann der AVP-Modus beim Empfangen einer Anweisung von einer Managementeinrichtung oder von Anweisungen, die im Fahrzeugsystem gespeichert sind, nachdem das Fahrzeugsystem eine anfängliche Markierung detektiert, in Anspruch genommen werden. In einer anderen Beispielimplementierung kann der menschliche Fahrer des Fahrzeugsystems manuell den AVP-Modus in Anspruch nehmen, woraufhin das Fahrzeug durch den Parkplatz autonom steuert. Wie in 3(a) dargestellt, navigiert das Fahrzeug entlang einer Trajektorie auf der Basis der Anweisungen durch verschiedene Abschnitte des Parkplatzes, bis es auf eine Markierung trifft, die das Fahrzeug anweist, entweder die Trajektorie einzustellen, wie in den Abschnitten 300-2 und 300-3 dargestellt, oder das automatische Parken in Anspruch zu nehmen, wie im Abschnitt 300-4 dargestellt. Wenn das geparkte Fahrzeug zurückgeholt werden muss, können Anweisungen von der Managementeinrichtung 102 von 1(b) zum geparkten Fahrzeug übertragen werden, wobei das Fahrzeug in einen Zurückholmodus gewechselt werden kann, in dem das Fahrzeug zu einer Markierung geführt wird, die einen Abholort angibt, wie im Abschnitt 300-5 dargestellt. Das Fahrzeug stoppt dann in der Nähe der Markierung, die einen Abholort angibt, woraufhin ein menschlicher Fahrer das Fahrzeug zurückholen kann.
3(b) stellt ein Beispiel des Fahrzeugsystems im Abschnitt 300-1 von 3(a) dar. In dieser Beispielkonfiguration eines Fahrzeugsystems, wie in 1(a) dargestellt, ist im Fahrzeug das Rundumaugenkamerasystem installiert, das vier monokulare Kameras beinhaltet, eine an jedem Stoßfänger und eine an jedem Seitenspiegel. Jeder Rahmen des Live-Videos, das durch die Kameras erfasst wird, wird durch einen Mikroprozessor an der Rundumaugen-ECU zusammengefügt, um ein 360-Grad-Draufsichtbild des Fahrzeugs bereitzustellen, wie in 3(b) gezeigt. Der Mittelpunkt des Fahrzeugs ist durch die AD-ECU bereits bekannt und dieser wird als Ursprung des Koordinatensystems behandelt, das verwendet wird, um den Abstand vom Fahrzeug zum Zentrum der Markierung zu finden.
4(a) bis 4(d) stellen Beispielablaufdiagramme dar, die durch das Fahrzeugsystem oder die Managementeinrichtung ausgeführt werden können. Die Ablaufdiagramme, wie beschrieben, können durch die AD-ECU des Fahrzeugsystems oder in Verbindung mit der Managementeinrichtung in Abhängigkeit von der gewünschten Implementierung durchgeführt werden.
4(a) stellt einen Beispielablauf für ein Fahrzeugsystem gemäß einer Beispielimplementierung dar. Insbesondere stellt 4(a) einen Beispielablauf für eine Straßenmarkierungsdetektion dar, bei der der Ablaufprozess von 401 bis 405 einen Beispielprozess zum Auffinden einer Markierung darstellt, der Ablauf von 407 bis 409 einen Beispielablauf zum Auffinden des Zentrums der Markierung darstellt und der Ablauf bei 410 einen Beispielprozess darstellt, um den Abstand vom Fahrzeugsystem zur Markierung zu finden. In einer Beispielimplementierung, wie mit Bezug auf 3(b) beschrieben, folgen alle vier monokularen Kameras nacheinander einem Erkennungsprozess, um die Position und Orientierung als Endausgabe über CAN bereitzustellen, der folgende Ablauf kann jedoch für irgendeine gewünschte Konfiguration des Fahrzeugsystems, wie in 1(a) beschrieben, ausgeführt werden.
Der Ablauf geht damit weiter, dass das Kamerasystem (z. B. Rundumsichtkamerasystem) ein Draufsichtbild bei 400 bereitstellt, wobei der Prozess versucht, eine Markierung in einem gegebenen Rahmen durch Extrahieren einer Region aus dem Rahmen für die Verarbeitung bei 401 zu finden. Jeder Bildrahmen, der aus der Rundumaugen-ECU erhalten wird, wird bei 402 einer Glättung unter Verwendung eines Tiefpasskernfilters {7,7,7,7,8,7,7,7,7} unterzogen, die hilft, das Rauschen im Bild zu verringern. Dieses geglättete Bild wird dann unter Verwendung irgendeiner Technik gemäß der gewünschten Implementierung (wie z. B. adaptive Bradley-Schwellenwertbildung) für die Weiterverarbeitung bei 403 in ein binäres Bild umgewandelt. Folglich wird ein Vorlagenvergleich an diesem binären Bild bei 404 unter Verwendung eines Vorlagenbildes durchgeführt, das parallel erzeugt wird. Die aus dem Vorlagenvergleich erhaltene Übereinstimmung wird als potentieller Markierungskandidat im Rahmen behandelt oder basiert nicht auf einem vorbestimmten Schwellenwert.
Bei 405 wird eine Bestimmung hinsichtlich dessen durchgeführt, ob ein potentieller Markierungskandidat gefunden wird. Wenn keine Markierung gefunden wird (Nein), dann geht der Prozess zum nächsten Rahmen bei 406 weiter und kehrt zum Prozess bei 401 zurück. Wenn ein potentieller Markierungskandidat im Rahmen gefunden wird (Ja), dann geht der Prozess zu 407 weiter, wobei die Ablaufdetektionsregion im Rahmen eingeschränkt wird (Vorlagenregion), um die Möglichkeit einer falschen Detektion zu begrenzen, wie in 3(c) gezeigt.
In dieser eingeschränkten Detektionsregion wird der gewünschte Eckendetektionsalgorithmus wie z. B. das Harris-Eckendetektionsverfahren bei 408 verwendet, um alle Ecken zu finden. In einer Beispielimplementierung stellt die Verwendung des Harris-Eckendetektionsverfahrens sicher, dass ein Übergangspunkt auf der Basis dessen als Ecke qualifiziert wird, wie sie sich gegen einen vorbestimmten Schwellenwert bewertet. Die Anzahl von Ecken, die im binären Objekt erhalten werden, wird mit der Schwellenwertanzahl von Ecken verglichen, die in der T-förmigen Markierung erwartet wird (d. h. 27). Wenn in einer Beispielimplementierung die Anzahl von Ecken als höher als 23, aber geringer als oder gleich 27 festgestellt wird, dann wird das binäre Objekt als Markierung qualifiziert. Andere Schwellenwerte können jedoch in Abhängigkeit von der Form der asymmetrischen Markierung (z. B. L-förmig, Z-förmig usw.) verwendet werden und die vorliegende Offenbarung ist nicht darauf begrenzt. Wenn die Anzahl von Ecken den gewünschten Schwellenwert nicht erfüllt (Nein), dann geht der Prozess bei 406 zum nächsten Rahmen weiter und kehrt zu 401 zurück. Ansonsten (Ja) geht der Prozess zu 409 weiter, um das Zentrum der Markierung zu finden.
Bei 409 findet der Prozess das Zentrum der Markierung, für die die Koordinaten der Vorlagenregion und der Ecken, die aus dem Vorlagenvergleich bzw. der Harris-Detektion erhalten werden, verwendet werden. Wie in 3(d) gezeigt, werden vier Punkte, die das Zentrum umgeben, durch mathematische Operation an den Dimensionen des Vorlagenregionsfensters erhalten, um ein quadratförmiges Suchfenster für das Zentrum zu definieren. Über die Eckenkoordinaten, die aus der Harris-Detektion ausgegeben werden, wird iteriert, um die Koordinate zu finden, die in diesem Suchfenster liegt, und der erhaltene Punkt ist das Zentrum der Markierung.
Bei 410 findet der Prozess den Abstand des Fahrzeugs vom Zentrum, der durch Anwenden der Abstandsformel auf diese Eckenkoordinate und die Fahrzeugursprungskoordinate erhalten wird. Dann wird bei 411 der Abstand mit der Karte verglichen, um die Differenz zu bestimmen und die Position abzuleiten.
Durch den Ablauf von 4(a) wird dann, wenn der Vorlagenvergleich keinen genauen Kandidaten findet oder wenn die Anzahl von Ecken, die durch die Eckendetektion detektiert werden, größer ist als die Anzahl von erwarteten Ecken, der aktuelle Videorahmen als ungeeignet betrachtet und die AD-ECU erhält eine Rückmeldung, um zum nächsten Rahmen weiterzugehen. In dem Fall, dass eine Markierung nicht mit der gewünschten Genauigkeit detektiert wird, wird folglich einem Nicht-Detektions-Ergebnis eine höhere Priorität als einer falschen Detektion gegeben.
Die Fahrzeugpositionskoordinaten, die aus dem Straßenmarkierungsdetektionsverfahren erhalten werden, werden zuerst durch die AD-ECU verwendet, um die Orientierung des Fahrzeugs zu bestimmen, und dann für die Trajektorienkorrektur verwendet. Zur AD-ECU werden die globalen Vorgabekoordinaten der Markierungen durch die Kartenpositionsbestimmungseinheit geliefert. Wenn das Fahrzeug einer Trajektorie entlang anderen Punkten als den vorher festgelegten Koordinaten folgt, kann das Straßenmarkierungsdetektionsverfahren verwendet werden, um die Differenz zu identifizieren. Auf der Basis dieser Differenz der Position zusammen mit der Differenz der Orientierung wird den Aktuatoren durch die ECU befohlen, die Differenz während der Navigation durch Einstellen der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs, wie erforderlich, zu kompensieren. Dieses Verfahren ermöglicht auch, dass das Steuerzentrum sicherstellt, dass zwei Fahrzeuge niemals im Parkplatz oder in anderen Szenarios kollidieren, wie z. B. einer Mautschranke oder an Orten, an denen autonomes Fahren in Anspruch genommen wird. Durch 4(a) kann dadurch das Fahrzeug folglich eine Position, Orientierung und/oder Geschwindigkeit vom berechneten Abstand und/oder Anweisungen, die der detektierten Markierung zugeordnet sind, einstellen. Die Anweisungen können im Fahrzeugsystem von 1(a) vorab gespeichert werden oder von einer Managementeinrichtung 102 übertragen werden, wie in 1(b) dargestellt.
4(b) stellt einen Beispielablauf zum Handhaben der Nicht-Detektion einer Markierung dar, nachdem das autonome System durch die Detektion einer Markierung in Anspruch genommen wird. In diesem Beispielablauf wird das autonome System bei 420, wenn eine Markierung detektiert wird, entweder automatisch oder durch eine manuelle Anweisung innerhalb des Fahrzeugsystems, um das autonome System in Anspruch zu nehmen, in Reaktion auf die Markierungsdetektion in Anspruch genommen. Bei 421 fährt das Fahrzeugsystem entlang der Trajektorie und Geschwindigkeit fort, die durch die anfängliche Detektionsmarkierung angegeben werden, während versucht wird, eine Markierung entlang der Trajektorie zu detektieren. Die Detektion kann auf der Basis des Fortschritts entlang der bereitgestellten Trajektorie stattfinden, bis eine andere Markierung erwartet wird. Wenn eine Markierung detektiert wird (Ja), dann fährt das Fahrzeug entlang der Trajektorie bei 425 fort oder stellt die Trajektorie auf der Basis von Anweisungen ein, die der detektierten Markierung zugeordnet sind. Ansonsten (Nein) geht der Prozess zu 422 weiter, um Koppelnavigationsergebnisse zum Durchführen einer Lokalisierung zu verwenden und den Fehler der Ergebnisse aus der Koppelnavigation zum erwarteten Ort der Markierung zu bestimmen. In einer solchen Beispielimplementierung interpoliert das Fahrzeugsystem die aktuelle Position des Fahrzeugs auf der Basis der aktuellen Geschwindigkeit und Orientierung des Fahrzeugsystems. Bei 423 wird eine Bestimmung hinsichtlich dessen durchgeführt, ob der Fehler geringer ist als ein bestimmter Schwellenwert (z. B. innerhalb eines bestimmten erwarteten Abstandes der erwarteten Markierung). Wenn ja (Ja), dann fährt das Fahrzeug entlang der Trajektorie bei 425 fort oder stellt die Orientierung/Geschwindigkeit des Fahrzeugs ein, um den Fehler zu korrigieren, ansonsten (Nein) geht der Ablauf zu 424 weiter und stoppt den autonomen Modus. In einer solchen Beispielimplementierung kann das System in Abhängigkeit von der gewünschten Implementierung durch Umschalten des Fahrzeugs auf einen Notfallmodus gestoppt werden, der bewirkt, dass das Fahrzeug zu einem sicheren Ort weiterfährt, und Anweisungen zur Managementeinrichtung 102 hinsichtlich der Situation überträgt, oder kann auf den menschlichen Betriebsmodus mit einem Alarm an den menschlichen Fahrer zurückgeschaltet werden.
4(c) stellt einen Beispielablauf zum Anwenden von Markierungen für die Detektion von zu dichtem Auffahren gemäß einer Beispielimplementierung dar. Wenn ein Fahrzeug, das einem anderen folgt, die Markierung am hinteren Ende des voranfahrenden Fahrzeugs wahrnehmen kann, besteht die Schlussfolgerung darin, dass das Fahrzeug sich zu nahe am voranfahrenden Fahrzeug befindet, und der Abstand zwischen Fahrzeugen vergrößert werden sollte. Eine solche Funktionalität kann bei Stop-and-Go-Verkehr nützlich sein. Bei 430 detektiert das Fahrzeug mindestens eine Markierung, die einem hinteren Ende eines voranfahrenden Fahrzeugs zugeordnet ist. In dem Beispiel von 3(a) ist beispielsweise das Fahrzeug im Abschnitt 300-2 ein Fahrzeug, das dem Fahrzeug des Abschnitts 300-1 voranfährt. Da beide Fahrzeuge in derselben Trajektorie navigieren, besteht eine Möglichkeit, dass das Fahrzeug des Abschnitts 300-1 dem Fahrzeug im Abschnitt 300-2 zu dicht auffahren kann.
Bei 431 wird eine Bestimmung hinsichtlich dessen durchgeführt, ob die Markierung mit ausreichend Deutlichkeit detektiert wurde, um anzugeben, dass das Fahrzeug einem anderen Fahrzeug zu dicht auffährt. Wenn ja (Ja), dann geht der Ablauf zu 432 weiter, ansonsten (Nein) geht der Ablauf zu 435 weiter, wobei das Fahrzeug entlang derselben Geschwindigkeit fortfährt. In einer Beispielimplementierung kann die Deutlichkeit aus der Auflösung der detektierten Markierung (z. B. Auslöser, wenn die Pixelauflösung der Markierung einen bestimmten Schwellenwert erreicht), aus der Größe einer Markierung (z. B. Auslöser, wenn die Größe der Markierung einen bestimmten Schwellenwert überschreitet) oder durch andere Verfahren gemäß der gewünschten Implementierung bestimmt werden.
Bei 432 wird eine Bestimmung hinsichtlich dessen durchgeführt, ob der Abstand zum nächsten Fahrzeug zu nahe ist (z. B. der Abstand innerhalb eines vorgegebenen Schwellensicherheitsabstandes liegt). Wenn ja (Ja), dann geht der Ablauf zu 433 weiter, wobei die AD-ECU die Aktuatoren in Anspruch nimmt, um das Fahrzeug einzustellen, um den Abstand zwischen den Fahrzeugen zu ändern. Ansonsten (Nein), geht der Ablauf zu 435 weiter. In Abhängigkeit von der gewünschten Implementierung kann dieser Entscheidungsprozess gleich durchgeführt werden wie der Ablauf bei 431 und weggelassen werden. In anderen Beispielimplementierungen kann der Abstand von Radarsystemen, wie mit Bezug auf 1(a) beschrieben, aus Anweisungen, die von der Managementeinrichtung 102 hinsichtlich des Abstandes zwischen den Fahrzeugen empfangen werden, oder durch andere Implementierungen in Abhängigkeit von der gewünschten Implementierung bestimmt werden.
4(d) stellt ein Beispielablaufdiagramm für AVP gemäß einer Beispielimplementierung dar. Wie in 3(a) dargestellt, kann beim Einfahren in einen Parkplatz im Abschnitt 300-1 der AVP-Modus durch das Fahrzeugsystem in Anspruch genommen werden, woraufhin das Fahrzeug entlang einer Trajektorie, die der Markierung zugeordnet ist, auf der Basis der durch eine Managementeinrichtung 102 empfangenen Anweisungen oder wie in der AD-ECU vorprogrammiert fortfährt. Bei 440 fährt das Fahrzeug entlang der Trajektorie fort und detektiert eine anschließende Markierung, während es sich im AVP-Modus befindet. Bei 441 wird eine Bestimmung hinsichtlich dessen durchgeführt, ob die Markierung auf einen Wechsel für das Fahrzeug vom AVP-Modus in einen automatischen Parkmodus hinweist. Die Bestimmung kann auf der Basis von vorprogrammierten Anweisungen durchgeführt werden, die der referenzierten Markierung zugeordnet sind, oder kann durch die Managementeinrichtung 102 bereitgestellt werden. Wenn ja (Ja), dann wird das Fahrzeug in den automatischen Parkmodus bei 443 geändert und die AD-ECU ist dazu konfiguriert, das Fahrzeug automatisch in eine verfügbare Parklücke einzuparken, wie im Abschnitt 300-4 von 3(a) dargestellt. Ansonsten (Nein) fährt das Fahrzeug bei 442 zur nächsten Markierung weiter. Die AD-ECU kann das Fahrzeug auf der Basis von Anweisungen, die von einer Managementeinrichtung 102 empfangen werden, um zu bestimmen, welche Parklücke verfügbar ist, zusammen mit den entsprechenden Anweisungen, um zur leeren Parklücke zu navigieren, automatisch parken.
5(a) stellt eine Beispielimplementierung dar, die Markierungen beinhaltet, die als Schilder verwendet werden. In den vorstehend erwähnten Beispielimplementierungen sind Markierungen auf einer 2-D-Straßenoberfläche angeordnet und werden durch mehrere Kameras wie z. B. Rundumaugenkameras erkannt. Andere Beispielimplementierungen sind jedoch auch möglich und die vorliegende Offenbarung ist nicht darauf begrenzt. 5(a) stellt eine andere Beispielimplementierung dar, die 3-D-Straßenschilder beinhaltet, die unabhängig von oder in Verbindung mit den Beispielimplementierungen, wie hier beschrieben, verwendet werden können. Solche Implementierungen können bei der Lokalisierung des Fahrzeugs unterstützen und können auch Koordinaten angeben, die ein Stoppschild oder andere Schilder darstellen, die einer Karte zugeordnet sind. In solchen Beispielimplementierungen kann irgendein geeignetes Kamerasystem, das auch Tiefeninformationen eingliedert, für die Erkennung und Detektion solcher 3-D-Straßenschilder verwendet werden. Solche Kamerasysteme können Stereokameras oder andere Kameras gemäß der gewünschten Implementierung umfassen. In dem Beispiel, wie hier beschrieben, ist eine Stereokamera 501 am Rückspiegel des Fahrzeugs enthalten, um asymmetrische Markierungen 502 zu detektieren, die als oder auf Straßenschildern oder Wänden oder auf Monitoren oder Plakatwänden verwendet werden. In einer solchen Weise können Markierungen nach Bedarf durch Ändern der Schilder, oder wie die Markierung auf dem Monitor angezeigt wird, geändert werden.
5(b) stellt eine Beispielimplementierung dar, die eine Mautschranke beinhaltet. Wenn das Fahrzeugsystem im Begriff ist, die Mautschranke zu passieren, muss seine Orientierung genau sein, um es zu vermeiden, die Seiten des Fahrzeugsystems zu zerkratzen. Wenn Markierungen in dem Bereich vor oder nach der Schranke angeordnet sind, kann das Fahrzeug in den autonomen Modus versetzt werden und durch Berechnen seiner Position und Durchführen einer Trajektorienkorrektur, wie erforderlich, genau navigieren. In dem Beispiel von 5(b) wird der autonome Modus eingeleitet, sobald die Markierung bei 511 detektiert wird. Das Fahrzeugsystem folgt dann einer Trajektorie durch die Mautschranke und fährt gemäß einem Satz von Anweisungen, die durch die Managementeinrichtung 102 bereitgestellt werden, oder durch Anweisungen, die im Fahrzeugsystem gespeichert sind, hinsichtlich dessen, wie durch eine Mautschranke fortgefahren werden soll, fort. Sobald das Fahrzeugsystem die Markierung 510 erreicht, schaltet der Betriebsmodus auf den durch den Menschen betriebenen Modus, wobei der menschliche Fahrer den Betrieb des Fahrzeugsystems fortsetzt. Markierungen können auf die Straßen gemalt werden oder von Lichtsystemen in der Mautschranke projiziert werden, so dass die Markierungen nach Bedarf modifiziert werden können.
6 stellt Beispielmanagementinformationen gemäß einer Beispielimplementierung dar. Insbesondere stellt 6 einen Beispielindex von Markierungen dar, die für einen oder mehrere Orte angeordnet sind, um bei der Funktionalität der autonomen Modi des Fahrzeugs zu unterstützen. Managementinformationen können auf der Fahrzeugsystemseite in der Kartenpositionsbestimmungseinheit 6 oder in der Managementeinrichtung 102 in Abhängigkeit von der gewünschten Implementierung unterhalten werden. In dem Beispiel von 6 können die Managementinformationen eine Markierungs-ID, einen Markierungstyp, Karteninformationen, den Betriebsmodus und Anweisungen umfassen. Die Markierungs-ID ist der eindeutige Identifizierer, der der detektierten Markierung entspricht. Der Markierungstyp gibt den Vorlagentyp an, zu der die Markierung gehört (z. B. T-förmig, Z-förmig, L-förmig usw., wie in 2(b) dargestellt), und die Vorlagentypen werden verwendet, um zu bestimmen, ob eine anfängliche Markierung detektiert wird oder nicht. Die Karteninformationen geben den entsprechenden Ort auf einer Karte (z. B. geographische Koordinaten, Breitengrad/Längengrad-Koordinaten, geographische Informationssystemwegpunktkoordinaten usw.) für die Markierungs-ID an. Der Betriebsmodus gibt einen Betriebsmodus für das Fahrzeug an, wie z. B. den durch den Menschen betriebenen Modus und verschiedene autonome Modi (z. B. AVP-Modus, automatischer Parkmodus, Mautschrankenmodus, Detektionsmodus für zu dichtes Auffahren usw.). Anweisungen sind Anweisungen, die einer Markierungs-ID zugeordnet sind, können Trajektorieninformationen zum Fortschreiten zur nächsten Markierung, Anweisungen zum Übertragen zu einer Managementeinrichtung und Empfangen von Anweisungen hinsichtlich der Navigation, Anweisungen zum Einstellen der Position, Orientierung und/oder Geschwindigkeit eines Fahrzeugs usw. gemäß der gewünschten Implementierung umfassen.
7 stellt eine Beispielrechenumgebung mit einer Beispielcomputervorrichtung dar, die für die Verwendung in einigen Beispielimplementierungen geeignet ist, wie z. B. zum Erleichtern der Funktionalität für eine AD-ECU 1 und Kartenpositionsbestimmungseinheit 6 eines Fahrzeugsystems, wie in 1(a) dargestellt, oder einer Managementeinrichtung 102, wie in 1(b) dargestellt. Alle hier beschriebenen Funktionen können an der Managementeinrichtung 102, am Fahrzeugsystem oder durch ein System auf der Basis einer gewissen Kombination solcher Elemente in Abhängigkeit von der gewünschten Implementierung implementiert werden.
Die Computervorrichtung 705 in der Rechenumgebung 700 kann eine oder mehrere Verarbeitungseinheiten, Kerne oder Prozessoren 710, einen Arbeitsspeicher 715 (z. B. RAM, ROM und/oder dergleichen), einen internen Speicher 720 (z. B. magnetisch, optisch, Halbleiterspeicher und/oder organisch) und/oder eine E/A-Schnittstelle 725 umfassen, von denen beliebige auf einem Kommunikationsmechanismus oder Bus 730 für die Kommunikation von Informationen gekoppelt oder in die Computervorrichtung 705 eingebettet sein können. Die E/A-Schnittstelle 725 ist auch dazu konfiguriert, in Abhängigkeit von der gewünschten Implementierung Bilder von Kameras zu empfangen oder Bilder zu Projektoren oder Anzeigen zu liefern.
Die Computervorrichtung 705 kann mit einer Eingabe/BenutzerSchnittstelle 735 und einer Ausgabe-Vorrichtung/Schnittstelle 740 kommunikativ gekoppelt sein. Eine oder beide der Eingabe/BenutzerSchnittstelle 735 und der Ausgabe-Vorrichtung/Schnittstelle 740 können eine verdrahtete oder drahtlose Schnittstelle sein und können lösbar sein. Die Eingabe/Benutzer-Schnittstelle 735 kann irgendeine Vorrichtung, irgendeine Komponente, irgendeinen Sensor oder irgendeine Schnittstelle, physikalisch oder virtuell, umfassen, die verwendet werden kann, um eine Eingabe zu liefern (z. B. Tasten, Berührungsbildschirmschnittstelle, Tastatur, eine Zeige/Cursor-Steuerung, ein Mikrophon, eine Kamera, Blindenschrift, einen Bewegungssensor, einen optischen Leser und/oder dergleichen). Die AusgabeVorrichtung/Schnittstelle 740 kann eine Anzeige, ein Fernsehgerät, einen Monitor, einen Drucker, einen Lautsprecher, Blindenschrift oder dergleichen umfassen. In einigen Beispielimplementierungen können die Eingabe/BenutzerSchnittstelle 735 und Ausgabe-Vorrichtung/Schnittstelle 740 in die Computervorrichtung 705 eingebettet oder physikalisch damit gekoppelt sein. In anderen Beispielimplementierungen können andere Computervorrichtungen als Eingabe/Benutzer-Schnittstelle 735 und Ausgabe-Vorrichtung/Schnittstelle 740 für eine Computervorrichtung 705 funktionieren oder die Funktionen davon bereitstellen.
Beispiele der Computervorrichtung 705 können umfassen, sind jedoch nicht begrenzt auf sehr mobile Vorrichtungen (z. B. Smartphones, Vorrichtungen in Fahrzeugen und anderen Maschinen, Vorrichtungen, die von Menschen und Tieren getragen werden, und dergleichen), mobile Vorrichtungen (z. B. Tablets, Notebooks, Laptops, Personalcomputer, tragbare Fernsehgeräte, Radios und dergleichen) und Vorrichtungen, die nicht für Mobilität entworfen sind (z. B. Desktopcomputer, andere Computer, Informationsstände, Fernsehgeräte mit einem oder mehreren Prozessoren, die darin eingebettet sind und/oder damit gekoppelt sind, Radios und dergleichen).
Die Computervorrichtung 705 kann mit einem externen Speicher 745 und einem Netz 750 zur Kommunikation mit irgendeiner Anzahl von vernetzten Komponenten, Vorrichtungen und Systemen kommunikativ gekoppelt sein (z. B. über die E/A-Schnittstelle 725), einschließlich einer oder mehrerer Computervorrichtungen derselben oder einer anderen Konfiguration. Die Computervorrichtung 705 oder irgendeine verbundene Computervorrichtung kann als Server, Client, dünner Server, allgemeine Maschine, Spezialmaschine oder andere Bezeichnung funktionieren, Dienste davon bereitstellen oder als solche bezeichnet werden.
Die E/A-Schnittstelle 725 kann umfassen, ist jedoch nicht begrenzt auf verdrahtete und/oder drahtlose Schnittstellen unter Verwendung beliebiger Kommunikations- oder E/A-Protokolle oder Kommunikations- oder E/A-Normen (z. B. Ethernet, 802.11x, Universeller Systembus, WiMax, Modem, zellulares Netzprotokoll und dergleichen) zur Kommunikation von Informationen zu und/oder von mindestens allen der verbundenen Komponenten, Vorrichtungen und des Netzes in der Rechenumgebung 700. Das Netz 750 kann irgendein Netz oder eine Kombination von Netzen (z. B. das Internet, ein lokales Netz, ein weiträumiges Netz, ein Telefonnetz, ein zellulares Netz, ein Satellitennetz und dergleichen) sein.
Die Computervorrichtung 705 kann computerverwendbare oder computerlesbare Medien verwenden und/oder unter Verwendung von diesen kommunizieren, einschließlich transitorischer Medien und nichttransitorischer Medien. Transitorische Medien umfassen Übertragungsmedien (z. B. Metallkabel, Faseroptik), Signale, Trägerwellen und dergleichen. Nichttransitorische Medien umfassen magnetische Medien (z. B. Platten und Bänder), optische Medien (z. B. CD-ROM, digitale Videoplatten, Blu-ray-Platten), Halbleitermedien (z. B. RAM, ROM, Flash-Arbeitsspeicher, Halbleiterspeicher) und einen anderen nichtflüchtigen Speicher oder Arbeitsspeicher.
Die Computervorrichtung 705 kann verwendet werden, um Techniken, Verfahren, Anwendungen, Prozesse oder computerausführbare Anweisungen in einigen Beispielrechenumgebungen zu implementieren. Computerausführbare Anweisungen können von transitorischen Medien abgerufen und auf nichttransitorischen Medien gespeichert und davon abgerufen werden. Die ausführbaren Anweisungen können von einer oder mehreren von beliebigen Programmier-, Skript- und Maschinensprachen (z. B. C, C++, C#, Java, Visual Basic, Python, Perl, JavaScript und anderen) stammen.
(Ein) Prozessor(en) 710 kann (können) unter irgendeinem Betriebssystem (OS) (nicht gezeigt) in einer nativen oder virtuellen Umgebung ausführen. Eine oder mehrere Anwendungen können eingesetzt werden, die eine Logikeinheit 760, eine Anwendungsprogrammierschnittstelleneinheit (API-Einheit) 765, eine Eingabeeinheit 770, eine Ausgabeeinheit 775 und einen Mechanismus 795 zur Kommunikation zwischen Einheiten umfassen, damit die verschiedenen Einheiten miteinander, mit dem OS und mit anderen Anwendungen (nicht gezeigt) kommunizieren. Die beschriebenen Einheiten und Elemente können im Entwurf, in der Funktion, in der Konfiguration oder in der Implementierung verändert werden und sind nicht auf die bereitgestellten Beschreibungen begrenzt.
In einigen Beispielimplementierungen können, wenn Informationen oder eine Ausführungsanweisung durch die API-Einheit 765 empfangen werden, sie zu einer oder mehreren anderen Einheiten (z. B. Logikeinheit 760, Eingabeeinheit 770, Ausgabeeinheit 775) übertragen werden. In einigen Fällen kann die Logikeinheit 760 dazu konfiguriert sein, den Informationsfluss unter den Einheiten zu steuern und die Dienste, die durch die API-Einheit 765, Eingabeeinheit 770, Ausgabeeinheit 775 bereitgestellt werden, in einigen vorstehend beschriebenen Beispielimplementierungen zu lenken. Der Ablauf von einem oder mehreren Prozessen oder Implementierungen kann beispielsweise durch die Logikeinheit 760 allein oder in Verbindung mit der API-Einheit 765 gesteuert werden. Die Eingabeeinheit 770 kann dazu konfiguriert sein, eine Eingabe für die Berechnungen zu erhalten, die in den Beispielimplementierungen beschrieben sind, und die Ausgabeeinheit 775 kann dazu konfiguriert sein, eine Ausgabe auf der Basis der in den Beispielimplementierungen beschriebenen Berechnungen bereitzustellen.
Der Arbeitsspeicher 715 kann in Verbindung mit dem externen Speicher 745 verwendet werden, um als Kartenpositionsbestimmungseinheit 6 zu funktionieren, und dazu konfiguriert sein, Managementinformationen zu managen, wie in 6 dargestellt. Durch solche Implementierungen kann die AD-ECU 1 verschiedene Betriebsmodi des Fahrzeugsystems managen, wie in 1(a) dargestellt.
(Der) (die) Prozessor(en) 710 kann (können) dazu konfiguriert sein, die Ablaufdiagramme von 4(a) bis 4(d) auszuführen und sich auf Managementinformationen in 6 zu beziehen. In einer Beispielimplementierung kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, von mehreren Kameras eine oder mehrere Markierungen mit einer asymmetrischen Form zu detektieren; und einen Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug zu ändern, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder mehreren detektierten Markierungen einzustellen, wie in 4(a) beschrieben.
In einer Beispielimplementierung kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, für den autonomen Modus, der ein autonomer Parkdienstmodus (AVP-Modus) ist, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß einer Trajektorie einzustellen, die der einen oder den mehreren detektierten Markierungen zugeordnet ist; das Fahrzeug entlang der Trajektorie zu navigieren, bis eine oder mehrere zweite Markierungen detektiert werden; und für die eine oder die mehreren anderen Markierungen, die eine Änderung in der Trajektorie angeben, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß der Änderung in der Trajektorie zu ändern, wie beispielsweise in 3(a) bis 3(d) und 4(a) bis 4(d) beschrieben. Für die eine oder die mehreren zweiten Markierungen, die Anweisungen angeben, das Fahrzeug zu parken, kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, eine Position des Fahrzeugs zu einer Managementeinrichtung zu übertragen; und beim Empfang einer Anweisung von der Managementeinrichtung, den Betriebsmodus vom AVP-Modus in einen automatischen Parkmodus zu ändern, den Betriebsmodus vom AVP-Modus in den automatischen Parkmodus umzuschalten, wobei der automatische Parkmodus dazu konfiguriert ist, automatisches Parken des Fahrzeugs in eine Parklücke durchzuführen, wie mit Bezug auf 4(d) beschrieben.
In einer Beispielimplementierung, wenn der (die) Prozessor(en) 710 die Funktionalität der AD-ECU erleichtert (erleichtern), ist (sind) der (die) Prozessor(en) 710 dazu konfiguriert, den Betriebsmodus zu managen und die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs durch Steuern von einem oder mehreren Aktuatoren des Fahrzeugs einzustellen, wie mit Bezug auf das Fahrzeugsystem von 1(a) beschrieben.
In einer Beispielimplementierung kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, von den mehreren Kameras eine oder mehrere Markierungen mit der asymmetrischen Form durch Durchführen eines Vorlagenvergleichs an einem oder mehreren Bildern, die von den mehreren Kameras empfangen werden, zu detektieren; für den Vorlagenvergleich, der angibt, dass die eine oder die mehreren Markierungen in dem einen oder den mehreren Bildern vorhanden sind, eine Eckendetektion an dem einen oder den mehreren Bildern durchzuführen; und für die Eckendetektion, die eine Anzahl von Ecken angibt, die einen bestimmten Schwellenwert erfüllt, einen Abstand vom Fahrzeug zu der einen oder den mehreren Markierungen von dem einen oder den mehreren Bildern zu berechnen, wie mit Bezug auf 4(a) beschrieben.
In einer Beispielimplementierung kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, während sich der Betrieb des Fahrzeugs im autonomen Modus befindet, beim Misslingen, eine erwartete Markierung auf der Basis der Trajektorie des Fahrzeugs zu detektieren, eine aktuelle Position des Fahrzeugs zu interpolieren und einen Fehler zwischen der aktuellen Position des Fahrzeugs und einer Position der erwarteten Markierung zu bestimmen; und für den Fehler, der größer ist als ein Schwellenwert, den autonomen Modus des Fahrzeugs zu beenden, wie in 4(b) beschrieben.
In einer Beispielimplementierung kann (können) der (die) Prozessor(en) 710 dazu konfiguriert sein, eine Beziehung zwischen mehreren Markierungen und einer Karte zu managen, wie in 6 dargestellt, und ferner dazu konfiguriert sein, für das Fahrzeug, das einen Betriebsmodus des autonomen Modus aufweist, eine Position des Fahrzeugs zu einer Managementeinrichtung zu übertragen, wobei die Position auf der Basis der Beziehung zwischen der einen oder den mehreren detektierten Markierungen und der Karte berechnet wird; und beim Empfangen von Trajektorieninformationen von der Managementeinrichtung, wobei die Anweisungen eine Trajektorie für das Fahrzeug angeben, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß den Trajektorieninformationen einzustellen, wie mit Bezug auf 1(b) beschrieben.
Einige Abschnitte der ausführlichen Beschreibung sind hinsichtlich Algorithmen und symbolischen Darstellungen von Operationen innerhalb eines Computers dargestellt. Diese Algorithmenbeschreibungen und symbolischen Darstellungen sind die Mittel, die durch den Fachmann auf dem Datenverarbeitungsfachgebiet verwendet werden, um das Wesen seiner Neuerungen anderen Fachleuten auf dem Gebiet zu vermitteln. Ein Algorithmus ist eine Reihe von definierten Schritten, die zu einem gewünschten Endzustand oder Ergebnis führen. In Beispielimplementierungen erfordern die ausgeführten Schritte physikalische Beeinflussungen von konkreten Größen zum Erreichen eines konkreten Ergebnisses.
Wenn nicht speziell anders angegeben, wie aus der Erörterung ersichtlich, wird erkannt, dass in der ganzen Beschreibung Erörterungen unter Verwendung von Begriffen wie z. B. „Verarbeiten“, „Berechnen“, „Rechnen“, „Bestimmen“, „Anzeigen“ oder dergleichen die Handlungen und Prozesse eines Computersystems oder einer anderen Informationsverarbeitungsvorrichtung umfassen können, die Daten, die als physikalische (elektronische) Größen innerhalb der Register und Arbeitsspeicher des Computersystems dargestellt sind, beeinflusst und in andere Daten, die ebenso als physikalische Größen innerhalb der Arbeitsspeicher oder Register des Computersystems oder anderer Informationsspeicher-, Übertragungs- oder Anzeigevorrichtungen dargestellt sind, transformiert.
Beispielimplementierungen können sich auch auf eine Einrichtung zum Durchführen der Operationen hier beziehen. Diese Einrichtung kann speziell für die erforderliche Zwecke konstruiert sein oder sie kann einen oder mehrere Universalcomputer umfassen, die selektiv durch ein oder mehrere Computerprogramme aktiviert oder umkonfiguriert werden. Solche Computerprogramme können in einem computerlesbaren Medium gespeichert sein, wie z. B. einem computerlesbaren Speichermedium oder einem computerlesbaren Signalmedium. Ein computerlesbares Speichermedium kann konkrete Medien beinhalten, wie beispielsweise, jedoch nicht begrenzt auf optische Platten, magnetische Platten, Festwertarbeitsspeicher, Direktzugriffsarbeitsspeicher, Halbleitervorrichtungen und Halbleiterlaufwerke oder beliebige andere Typen von konkreten oder nichttransitorischen Medien, die zum Speichern von elektronischen Informationen geeignet sind. Ein computerlesbares Signalmedium kann Medien wie z. B. Trägerwellen umfassen. Die Algorithmen und Anzeigen, die hier dargestellt sind, stehen nicht von Natur aus mit irgendeinem speziellen Computer oder einer anderen Einrichtung in Beziehung. Computerprogramme können reine Software-Implementierungen umfassen, die Anweisungen beinhalten, die die Operationen der gewünschten Implementierung durchführen.
Verschiedene Universalsysteme können mit Programmen und Modulen gemäß den Beispielen hier verwendet werden oder es kann sich als zweckmäßig erweisen, eine spezialisiertere Einrichtung zu konstruieren, um gewünschte Verfahrensschritte durchzuführen. Außerdem sind die Beispielimplementierungen nicht mit Bezug auf irgendeine spezielle Programmiersprache beschrieben. Es wird erkannt, dass eine Vielfalt von Programmiersprachen verwendet werden kann, um die Lehren der Beispielimplementierungen, wie hier beschrieben, zu implementieren. Die Anweisungen der Programmiersprache(n) können durch eine oder mehrere Verarbeitungsvorrichtungen, z. B. Zentraleinheiten (CPUs), Prozessoren oder Steuereinheiten, ausgeführt werden.
Wie auf dem Fachgebiet bekannt ist, können die vorstehend beschriebenen Operationen durch Hardware, Software oder irgendeine Kombination von Software und Hardware durchgeführt werden. Verschiedene Aspekte der Beispielimplementierungen können unter Verwendung von Schaltungen und Logikvorrichtungen (Hardware) implementiert werden, während andere Aspekte unter Verwendung von Anweisungen implementiert werden können, die auf einem maschinenlesbaren Medium (Software) gespeichert sind, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken würden, dass der Prozessor ein Verfahren durchführt, um Implementierungen der vorliegenden Anmeldung auszuführen. Ferner können einige Beispielimplementierungen der vorliegenden Anmeldung nur in Hardware durchgeführt werden, wohingegen andere Beispielimplementierungen nur in Software durchgeführt werden können. Überdies können die verschiedenen beschriebenen Funktionen in einer einzelnen Einheit durchgeführt werden oder können über eine Anzahl von Komponenten in irgendeiner Anzahl von Weisen verteilt werden. Wenn sie durch Software durchgeführt werden, können die Verfahren durch einen Prozessor wie z. B. einen Universalcomputer auf der Basis von Anweisungen ausgeführt werden, die auf einem computerlesbaren Medium gespeichert sind. Falls erwünscht, können die Anweisungen auf dem Medium in einem komprimierten und/oder verschlüsselten Format gespeichert sein.
Andere Implementierungen der vorliegenden Anmeldung sind überdies für den Fachmann auf dem Gebiet aus der Betrachtung der Patentbeschreibung und der Ausführung der Lehren der vorliegenden Anmeldung ersichtlich. Verschiedene Aspekte und/oder Komponenten der beschriebenen Beispielimplementierungen können einzeln oder in irgendeiner Kombination verwendet werden. Es ist beabsichtigt, dass die Patentbeschreibung und Beispielimplementierungen nur als Beispiele betrachtet werden, wobei der echte Schutzbereich und Gedanke der vorliegenden Anmeldung durch die folgenden Ansprüche angegeben ist.

Claims

Verfahren, das umfasst: Detektieren einer oder mehrerer Markierungen mit einer asymmetrischen Form von mehreren Kameras; und Ändern eines Betriebsmodus von einem durch den Menschen betriebenen Modus zu einem autonomen Modus für ein Fahrzeug, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder mehreren detektierten Markierungen einzustellen.
Verfahren nach Anspruch 1, das ferner umfasst: für den autonomen Modus, der ein autonomer Parkdienstmodus (AVP-Modus) ist: Einstellen der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß einer Trajektorie, die der einen oder den mehreren detektierten Markierungen zugeordnet ist; Navigieren des Fahrzeugs entlang der Trajektorie, bis eine oder mehrere zweite Markierungen detektiert werden; und für die eine oder die mehreren anderen Markierungen, die eine Änderung in der Trajektorie angeben, Ändern der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß der Änderung in der Trajektorie.
Verfahren nach Anspruch 2, wobei für die eine oder die mehreren zweiten Markierungen, die Anweisungen angeben, das Fahrzeug zu parken: Übertragen einer Position des Fahrzeugs zu einer Managementeinrichtung; und beim Empfang einer Anweisung von der Managementeinrichtung, um den Betriebsmodus vom AVP-Modus in einen automatischen Parkmodus zu ändern, Umschalten des Betriebsmodus vom AVP-Modus in den automatischen Parkmodus, wobei der automatische Parkmodus dazu konfiguriert ist, das automatische Parken des Fahrzeugs in eine Parklücke durchzuführen.
Verfahren nach Anspruch 1, wobei der Betriebsmodus durch eine elektronische Steuereinheit zum autonomen Fahren (AD-ECU) gemanagt wird, die dazu konfiguriert ist, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs durch Steuern eines oder mehrerer Aktuatoren des Fahrzeugs einzustellen.
Verfahren nach Anspruch 1, wobei das Detektieren einer oder mehrerer Markierungen mit der asymmetrischen Form von den mehreren Kameras umfasst: Durchführen eines Vorlagenvergleichs an einem oder mehreren Bildern, die von den mehreren Kameras empfangen werden; für den Vorlagenvergleich, der angibt, dass die eine oder die mehreren Markierungen in dem einen oder den mehreren Bildern vorhanden sind, Durchführen einer Eckendetektion an dem einen oder den mehreren Bildern; und für die Eckendetektion, die eine Anzahl von Ecken angibt, die einen bestimmten Schwellenwert erfüllt, Berechnen eines Abstandes vom Fahrzeug zu der einen oder den mehreren Markierungen von dem einen oder den mehreren Bildern.
Verfahren nach Anspruch 1, das ferner umfasst, während sich der Betrieb des Fahrzeugs im autonomen Modus befindet: beim Misslingen, eine erwartete Markierung auf der Basis der Trajektorie des Fahrzeugs zu detektieren: Interpolieren einer aktuellen Position des Fahrzeugs und Bestimmen eines Fehlers zwischen der aktuellen Position des Fahrzeugs und einer Position der erwarteten Markierung; und für den Fehler, der größer ist als ein Schwellenwert, Beenden des autonomen Modus des Fahrzeugs.
Verfahren nach Anspruch 1, wobei das Fahrzeug dazu konfiguriert ist, eine Beziehung zwischen mehreren Markierungen und einer Karte zu managen, wobei das Verfahren ferner umfasst: für das Fahrzeug mit einem Betriebsmodus des autonomen Modus Übertragen einer Position des Fahrzeugs zu einer Managementeinrichtung, wobei die Position auf der Basis einer Beziehung zwischen der einen oder den mehreren detektierten Markierungen und der Karte berechnet wird; und beim Empfangen von Trajektorieninformationen von der Managementeinrichtung, wobei die Anweisungen eine Trajektorie für das Fahrzeug angeben, Einstellen der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß den Trajektorieninformationen.
Nichttransitorisches computerlesbares Medium, das Anweisungen für die Ausführung durch einen oder mehrere Hardware-Prozessoren speichert, wobei die Anweisungen umfassen: Detektieren einer oder mehrerer Markierungen mit einer asymmetrischen Form von mehreren Kameras; und Ändern eines Betriebsmodus von einem durch den Menschen betriebenen Modus zu einem autonomen Modus für ein Fahrzeug, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder der mehreren detektierten Markierungen einzustellen.
Nichttransitorisches computerlesbares Medium nach Anspruch 8, wobei die Anweisungen ferner umfassen: für den autonomen Modus, der ein autonomer Parkdienstmodus (AVP-Modus) ist: Einstellen der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß einer Trajektorie, die der einen oder den mehreren detektierten Markierungen zugeordnet ist; Navigieren des Fahrzeugs entlang der Trajektorie, bis eine oder mehrere zweite Markierungen detektiert werden; und für die eine oder die mehreren anderen Markierungen, die eine Änderung in der Trajektorie angeben, Ändern der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß der Änderung in der Trajektorie.
Nichttransitorisches computerlesbares Medium nach Anspruch 9, wobei für die eine oder die mehreren zweiten Markierungen, die Anweisungen angeben, das Fahrzeug zu parken: Übertragen einer Position des Fahrzeugs zu einer Managementeinrichtung; und beim Empfang einer Anweisung von der Managementeinrichtung, um den Betriebsmodus vom AVP-Modus in einen automatischen Parkmodus zu ändern, Umschalten des Betriebsmodus vom AVP-Modus in den automatischen Parkmodus, wobei der automatische Parkmodus dazu konfiguriert ist, das automatische Parken des Fahrzeugs in eine Parklücke durchzuführen.
Nichttransitorisches computerlesbares Medium nach Anspruch 8, wobei der Betriebsmodus durch eine elektronische Steuereinheit zum autonomen Fahren (AD-ECU) gemanagt wird, die dazu konfiguriert ist, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs durch Steuern von einem oder mehreren Aktuatoren des Fahrzeugs einzustellen.
Nichttransitorisches computerlesbares Medium nach Anspruch 8, wobei das Detektieren einer oder mehrerer Markierungen mit der asymmetrischen Form von den mehreren Kameras umfasst: Durchführen eines Vorlagenvergleichs an einem oder mehreren Bildern, die von den mehreren Kameras empfangen werden; für den Vorlagenvergleich, der angibt, dass die eine oder die mehreren Markierungen in dem einen oder den mehreren Bildern vorhanden sind, Durchführen einer Eckendetektion an dem einen oder den mehreren Bildern; und für die Eckendetektion, die eine Anzahl von Ecken angibt, die einen bestimmten Schwellenwert erfüllt, Berechnen eines Abstandes vom Fahrzeug zu der einen oder den mehreren Markierungen von dem einen oder den mehreren Bildern.
Nichttransitorisches computerlesbares Medium nach Anspruch 8, wobei die Anweisungen ferner umfassen, während sich der Betrieb des Fahrzeugs im autonomen Modus befindet: beim Misslingen, eine erwartete Markierung auf der Basis der Trajektorie des Fahrzeugs zu detektieren: Interpolieren einer aktuellen Position des Fahrzeugs und Bestimmen eines Fehlers zwischen der aktuellen Position des Fahrzeugs und einer Position der erwarteten Markierung; und für den Fehler, der größer ist als ein Schwellenwert, Beenden des autonomen Modus des Fahrzeugs.
Nichttransitorisches computerlesbares Medium nach Anspruch 8, wobei das Fahrzeug dazu konfiguriert ist, eine Beziehung zwischen mehreren Markierungen und einer Karte zu managen, und wobei die Anweisungen ferner umfassen: für das Fahrzeug mit einem Betriebsmodus des autonomen Modus Übertragen einer Position des Fahrzeugs zu einer Managementeinrichtung, wobei die Position auf der Basis der Beziehung zwischen der einen oder den mehreren detektierten Markierungen und der Karte berechnet wird; und beim Empfangen von Trajektorieninformationen von der Managementeinrichtung, wobei die Anweisungen eine Trajektorie für das Fahrzeug angeben, Einstellen der Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß den Trajektorieninformationen.
System, das umfasst: mehrere Kameras; und einen Prozessor, der dazu konfiguriert ist: eine oder mehrere Markierungen mit einer asymmetrischen Form von mehreren Kameras zu detektieren; und einen Betriebsmodus von einem durch den Menschen betriebenen Modus in einen autonomen Modus für ein Fahrzeug zu ändern, wobei der autonome Modus dazu konfiguriert ist, eine Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs auf der Basis der einen oder der mehreren detektierten Markierungen einzustellen.
System nach Anspruch 15, wobei der Prozessor dazu konfiguriert ist: für den autonomen Modus, der ein autonomer Parkdienstmodus (AVP-Modus) ist: die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß einer Trajektorie einzustellen, die der einen oder den mehreren detektierten Markierungen zugeordnet ist; das Fahrzeug entlang der Trajektorie zu navigieren, bis eine oder mehrere zweite Markierungen detektiert werden; und für die eine oder die mehreren anderen Markierungen, die eine Änderung in der Trajektorie angeben, die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs gemäß der Änderung in der Trajektorie zu ändern.
System nach Anspruch 15, wobei für die eine oder die mehreren zweiten Markierungen, die Anweisungen angeben, das Fahrzeug zu parken, der Prozessor dazu konfiguriert ist: eine Position des Fahrzeugs zu einer Managementeinrichtung zu übertragen; und beim Empfang einer Anweisung von der Managementeinrichtung, um den Betriebsmodus vom AVP-Modus in einen automatischen Parkmodus zu ändern, den Betriebsmodus vom AVP-Modus in den automatischen Parkmodus umzuschalten, wobei der automatische Parkmodus dazu konfiguriert ist, das automatische Parken des Fahrzeugs in eine Parklücke durchzuführen.
System nach Anspruch 15, wobei der Prozessor eine elektronische Steuereinheit für autonomes Fahren (AD-ECU) ist, die dazu konfiguriert ist, den Betriebsmodus des Fahrzeugs zu managen und die Position, Orientierung und/oder Geschwindigkeit des Fahrzeugs durch Steuern von einem oder mehreren Aktuatoren des Fahrzeugs einzustellen.
System nach Anspruch 15, wobei der Prozessor dazu konfiguriert ist, eine oder mehrere Markierungen mit der asymmetrischen Form von den mehreren Kameras zu detektieren durch: Durchführen eines Vorlagenvergleichs an einem oder mehreren Bildern, die von den mehreren Kameras empfangen werden; für den Vorlagenvergleich, der angibt, dass die eine oder die mehreren Markierungen in dem einen oder den mehreren Bildern vorhanden sind, Durchführen einer Eckendetektion an dem einen oder den mehreren Bildern; und für die Eckendetektion, die eine Anzahl von Ecken angibt, die einen bestimmten Schwellenwert erfüllt, Berechnen eines Abstandes vom Fahrzeug zu der einen oder den mehreren Markierungen von dem einen oder den mehreren Bildern.
System nach Anspruch 15, wobei der Prozessor dazu konfiguriert ist, während sich der Betrieb des Fahrzeugs im autonomen Modus befindet: beim Misslingen, eine erwartete Markierung auf der Basis der Trajektorie des Fahrzeugs zu detektieren: eine aktuelle Position des Fahrzeugs zu interpolieren und einen Fehler zwischen der aktuellen Position des Fahrzeugs und einer Position der erwarteten Markierung zu bestimmen; und für den Fehler, der größer ist als ein Schwellenwert, den autonomen Modus des Fahrzeugs zu beenden.