DE102019108610A1

DE102019108610A1 - Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten

Info

Publication number: DE102019108610A1
Application number: DE102019108610.8A
Authority: DE
Inventors: Syed B. Mehdi; Yasen Hu; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-04-13
Filing date: 2019-04-02
Publication date: 2019-10-17
Also published as: US10632913B2; CN110371018A; CN110371018B; US20190315274A1

Abstract

Ein Verfahren zum Steuern eines fahrenden Fahrzeugs beinhaltet: (a) das Bestimmen eines Konfidenzniveaus über eine Steuerung, dass das Licht des anderen Fahrzeugs eingeschaltet ist, basierend auf Bildern, die von einer Kamera des fahrenden Fahrzeugs aufgenommen wurden; und (b) das Steuern eines Alarms des fahrenden Fahrzeugs über die Steuerung basierend auf dem Konfidenzniveau, dass das Licht des anderen Fahrzeugs eingeschaltet ist.

Description

EINLEITUNG
Die Offenbarung bezieht sich auf das Steuern und Betreiben von Fahrzeugen.
Während einige Fahrzeuge Warnhinweise für bestimmte Straßenzustände bereitstellen können, sind diese Warnhinweise nicht vom Zustand der Scheinwerfer anderer Fahrzeuge abhängig. Der Status der Fahrzeugleuchten kann jedoch den Straßenzustand anzeigen, der von Warnhinweisen profitieren kann. Weiterhin berücksichtigen die derzeitigen autonomen Fahrzeuge nicht, ob die Leuchten der anderen Fahrzeugleuchten EIN oder AUS sind. Auch erwarten die derzeitigen autonomen Fahrzeuge nicht, dass ein Parkplatz verlassen wird. Dementsprechend ist es wünschenswert, Systeme und Verfahren zur Verwendung von Informationen in Bezug auf die Beleuchtung anderer Fahrzeuge zu entwickeln, um das Verhalten eines manuellen Fahrzeugs oder eines autonomen Fahrzeugs zu steuern.
KURZDARSTELLUNG
Die vorliegende Offenbarung beschreibt Systeme und Verfahren, die Vision-Sensoren, wie beispielsweise Kameras, verwenden, um zu erkennen, ob die Beleuchtung anderer Fahrzeuge EIN oder AUS ist. Diese Informationen können verwendet werden, um die Bewegung der anderen Fahrzeuge vorwegzunehmen, bevor eine Bewegung stattfindet. Infolgedessen können dem Fahrzeugführer Warnhinweise bereitgestellt werden. Ebenso kann die Bewegung eines autonomen Fahrzeugs basierend auf den Informationen über die Beleuchtung der anderen Fahrzeuge geändert werden.
Ein exemplarisches Verfahren zum Steuern eines Fahrzeugs beinhaltet: (a) das Bestimmen eines Konfidenzniveaus über eine Steuerung, dass das Licht des anderen Fahrzeugs eingeschaltet ist, basierend auf Bildern, die von einer Kamera des fahrenden Fahrzeugs aufgenommen wurden; und (b) das Steuern eines Alarms des fahrenden Fahrzeugs über die Steuerung basierend auf dem Konfidenzniveau, dass das Licht des anderen Fahrzeugs eingeschaltet ist. Das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung kann Folgendes beinhalten: Bestimmen über die Steuerung, dass das Konfidenzniveau größer als ein erster vorgegebener Schwellenwert ist; und Aktivieren des Alarms des fahrenden Fahrzeugs über die Steuerung als Reaktion auf das Bestimmen, dass das Konfidenzniveau größer als der erste vorgegebene Schwellenwert ist. Das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung kann Folgendes beinhalten: Bestimmen über die Steuerung, dass das Konfidenzniveau kleiner als ein zweiter vorgegebener Schwellenwert ist; und Deaktivieren des Alarms des fahrenden Fahrzeugs über die Steuerung als Reaktion auf das Bestimmen, dass das Konfidenzniveau kleiner als der zweite vorgegebene Schwellenwert ist, worin der erste vorgegebene Schwellenwert größer als der zweite vorgegebene Schwellenwert ist. Das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung kann Folgendes beinhalten: Bestimmen über die Steuerung, dass das Konfidenzniveau unter dem vorgegebenen Schwellenwert liegt; und Aufrechterhalten des Alarms des fahrenden Fahrzeugs, der über die Steuerung deaktiviert ist, als Reaktion auf das Bestimmen, dass das Konfidenzniveau unter dem vorgegebenen Schwellenwert liegt. Der Alarm kann eine haptische Rückmeldung beinhalten, die von einem haptischen Sitz des fahrenden Fahrzeugs ausgeht.
Das Verfahren kann ferner das Bestimmen über die Steuerung beinhalten, dass das Konfidenzniveau größer als ein erster vorgegebener Schwellenwert ist; und das Umverteilen von Rechenressourcen der Steuerung, um eine Zuweisung der Rechenressourcen der Steuerung zu erhöhen, die zur visuellen Analyse des anderen Fahrzeugs als Reaktion auf das Bestimmen, dass das Konfidenzniveau größer als der erste vorgegebene Schwellenwert ist, verwendet wird. Das Verfahren kann ferner das Bestimmen über die Steuerung beinhalten, dass das Konfidenzniveau kleiner als ein zweiter vorgegebener Schwellenwert ist; und das Umverteilen von Rechenressourcen der Steuerung, um eine Zuweisung der Rechenressourcen der Steuerung zu verringern, die zur visuellen Analyse des anderen Fahrzeugs als Reaktion auf das Bestimmen, dass das Konfidenzniveau kleiner als der zweite vorgegebene Schwellenwert ist, verwendet wird. Das Verfahren kann ferner das Aktualisieren von Trajektorienkosten über die Steuerung beinhalten, basierend auf einer Geschwindigkeit des fahrenden Fahrzeugs und dem Konfidenzniveau. Das Aktualisieren der Trajektorienkosten kann das Erhöhen der Trajektorienkosten als Funktion des Konfidenzniveaus beinhalten, worin ein Anstieg der Trajektorienkosten proportional zum Konfidenzniveau ist. Das Aktualisieren der Trajektorienkosten kann das Erhöhen der Trajektorienkosten als Funktion einer Geschwindigkeit des fahrenden Fahrzeugs beinhalten, worin ein Anstieg der Trajektorienkosten proportional zur Geschwindigkeit des fahrenden Fahrzeugs ist. Die Trajektorienkosten werden ausschließlich für Trajektorien erhöht, die sich in der Nähe des Zielfahrzeugs befinden.
Das Verfahren kann ferner das Aktualisieren einer maximal zulässigen Geschwindigkeit des fahrenden Fahrzeugs in Abhängigkeit des Konfidenzniveaus beinhalten, worin die maximal zulässige Geschwindigkeit des fahrenden Fahrzeugs umgekehrt proportional zum Konfidenzniveau ist. Das Verfahren kann ferner Folgendes beinhalten: Bestimmen eines Abstands von einer möglichen Trajektorie zum anderen Fahrzeug. Das Aktualisieren der Trajektorienkosten kann das Erhöhen der Trajektorienkosten als Funktion der Entfernung von der potenziellen Trajektorie zum anderen Fahrzeug beinhalten. Die Erhöhung der Trajektorienkosten kann umgekehrt proportional zum Abstand von der potentiellen Trajektorie zum anderen Fahrzeug sein. Das Verfahren kann ferner das Aktualisieren eines minimal zulässigen Abstands von dem fahrenden Fahrzeug zu dem anderen Fahrzeug in Abhängigkeit vom Konfidenzniveau beinhalten, worin der minimal zulässige Abstand vom fahrenden Fahrzeug zu dem anderen Fahrzeug direkt proportional zum Konfidenzniveau ist. Das Verfahren kann ferner das Bestimmen einer Endtrajektorie des fahrenden Fahrzeugs basierend auf den aktualisierten Trajektorienkosten, der maximal zulässigen Geschwindigkeit des fahrenden Fahrzeugs und dem minimal zulässigen Abstand zwischen dem fahrenden Fahrzeug und dem anderen Fahrzeug beinhalten. Das Verfahren kann ferner Folgendes beinhalten: nach dem Bestimmen des Konfidenzniveaus, dass das Licht des anderen Fahrzeugs eingeschaltet ist, Bestimmen eines Konfidenzniveaus, dass ein Rückfahrscheinwerfer des anderen Fahrzeugs eingeschaltet ist; Bestimmen einer Zeit ab dem Bestimmen des Konfidenzniveaus, dass das Licht des anderen Fahrzeugs zum Erkennen, ob das Licht eingeschaltet ist, bis zu einem aktuellen Moment; Aktualisieren einer Trajektorienkosten des fahrenden Fahrzeugs in Abhängigkeit der Zeit, des Konfidenzniveaus, dass das Licht des anderen Fahrzeugs eingeschaltet ist, und des Konfidenzniveaus, dass eine Rückfahrleuchte des anderen Fahrzeugs eingeschaltet ist. Das Bestimmen des Konfidenzniveaus, dass das Licht des anderen Fahrzeugs eingeschaltet ist, kann Folgendes beinhalten: Begrenzen des anderen Fahrzeugs in einer Begrenzungsbox; Verwenden einer Ausrichtung des anderen Fahrzeugs über die Steuerung, um interessierende Bereiche als mögliche Pixelpositionen für das Licht des anderen Fahrzeugs zu identifizieren; Suchen von vorgegebenen Pixelfarbbereichen in den interessierenden Bereichen über die Steuerung; und Suchen von Helligkeitsunterschieden zwischen den interessierenden Bereichen und einem restlichen Bereich innerhalb der Begrenzungsbox über die Steuerung.
Die vorliegende Offenbarung beschreibt auch ein Gegenstandsfahrzeug, das eine Fahrzeugkarosserie, eine mit der Fahrzeugkarosserie verbundene Kamera und eine mit der Kamera verbundene Steuerung beinhaltet. Die Kamera ist dafür konfiguriert, Bilder zu erfassen. Die Steuerung ist programmiert, um eines der vorstehend beschriebenen Verfahren auszuführen.
Die genannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der vorliegenden Lehren, gehen aus der folgenden ausführlichen Beschreibung von einigen der besten Arten und anderen Ausführungsformen zur Ausführung der vorliegenden Lehren, wie sie in den beigefügten Ansprüchen definiert sind, unter Bezugnahme auf die zugehörigen Zeichnungen deutlich hervor.
Figurenliste
Im Folgenden werden exemplarisch eine oder mehrere Ausführungsformen mit Bezug auf die zugehörigen Zeichnungen beschrieben, in welchen:

1 ist eine schematische Draufsicht auf ein Gegenstandsfahrzeug mit einer Kamera zum Erfassen von Bildern.
2 ist ein Flussdiagramm eines Verfahrens zum Bereitstellen von Warnhinweisen für einen Fahrzeugführer unter Verwendung von Bildern, die von der Kamera aufgenommen wurden.
3 ist eine schematische Vorderansicht eines haptischen Sitzes des Gegenstandsfahrzeugs, wie in 1 schematisch dargestellt.
4 ist eine schematische Vorderansicht einer Anzeigevorrichtung, die ein von der Kamera des betreffenden Fahrzeugs aufgenommenes Bild darstellt, wie in 1 schematisch veranschaulicht.
5 ist eine schematische Vorderansicht einer Anzeigevorrichtung, die eine optische Warnleuchte um ein schematisches Fahrzeugdiagramm herum darstellt.
6 ist ein Flussdiagramm eines Verfahrens zum Steuern eines autonomen Fahrzeugs unter Verwendung von Bildern, die von der Kamera aufgenommen wurden.
7 ist ein Flussdiagramm eines Verfahrens zum Steuern eines autonomen Fahrzeugs unter Verwendung von Bildern, die von der Kamera aufgenommen wurden.
8 ist ein schematisches Diagramm, das ein autonomes Fahrzeug darstellt, welches das Verfahren von 7 ausführt.
9 ist ein Flussdiagramm eines Verfahrens zum Steuern eines autonomen Fahrzeugs, das nach einem Parkplatz sucht.
10 ist ein schematisches Diagramm, das veranschaulicht, wie eine Raumbeobachtungssteuerung die Bewegung des Gegenstandsfahrzeugs basierend auf den Kosten für den Aufenthalt an einer Position, von der aus der Parkplatz genommen werden kann, steuert.
11 ist ein Flussdiagramm eines Verfahrens zum Bestimmen des Zustands der Leuchten des anderen Fahrzeugs.
12 ist eine schematische Darstellung, die zeigt, wie das in 2 dargestellte Verfahren die Leuchten an einem Fahrzeug erfasst.
13 ist eine schematische Darstellung eines Beispiels, das zeigt, wie die Raumbeobachtungssteuerung ein Verfahren zum Bereitstellen von Warnhinweisen für den Betreiber des betreffenden Fahrzeugs unter Verwendung von Informationen aus den Leuchten anderer Fahrzeuge ausführt.
14 ist eine schematische Darstellung eines Beispiels, das zeigt, wie die Raumbeobachtungssteuerung ein Verfahren zum Bestimmen einer Endtrajektorie eines autonomen Fahrzeugs ausführt, wenn ein anderes Fahrzeug sein Blinklicht eingeschaltet hat.
15 ist eine schematische Darstellung eines Beispiels, das zeigt, wie die Raumbeobachtungssteuerung ein Verfahren zum Bestimmen einer Endtrajektorie eines autonomen Fahrzeugs ausführt, wenn ein anderes Fahrzeug seine Warnblinkleuchten eingeschaltet hat.
16 ist eine schematische Darstellung eines Beispiels, das zeigt, wie die Raumbeobachtungssteuerung ein Verfahren zum Steuern eines autonomen Fahrzeugs zur Suche nach einem Parkplatz ausführt.

AUSFÜHRLICHE BESCHREIBUNG
Unter Bezugnahme auf die Zeichnungen, worin die Darstellungen zur Veranschaulichung bestimmter exemplarischer Ausführungsformen und nicht zum Zweck der Einschränkung dieser dienen, zeigt 1 schematisch ein Fahrzeug 101, das ein oder mehrere autonome Fahrzeugsteuersysteme anwendet, die die hierin beschriebenen Konzepte darstellt. Das betreffende Fahrzeug 101 beinhaltet eine Fahrzeugkarosserie 103 und kann ein vierradangetriebener Personenkraftwagen mit lenkbaren Vorderrädern 160 und Hinterrädern 170 sein. Das betrachtete Fahrzeug 101 kann, mittels nicht einschränkender Beispiele, einen Personenkraftwagen, ein leichtes oder schweres Nutzfahrzeug, ein Mehrzweckfahrzeug, ein landwirtschaftliches Fahrzeug, ein Industriefahrzeug/ Lagerhaus-Fahrzeug oder ein Freizeit-Geländefahrzeug beinhalten. Das betrachtete Fahrzeug 101 beinhaltet bevorzugt ein Raumbeobachtungssystem 116, ein Fahrzeugüberwachungssystem 115 und eine Kommunikationssteuerung 19. Der Betrieb des Fahrzeugs 101 kann durch ein Antriebsstrangsteuermodul (PCM) 125, ein Fahrzeugsteuermodul (VCM) 128 und andere geeignete Steuerungen gesteuert werden. Das betreffende Fahrzeug 101 kann auch als fahrendes Fahrzeug bezeichnet werden.
Das betrachtete Fahrzeug 101 beinhaltet neben anderen bevorzugt ein oder mehrere autonome Fahrzeugsteuersysteme, einschließlich beispielsweise ein adaptives Geschwindigkeitsregelungssystem (ACC) 126, ein Spurführungs- und Spurhaltesystem, ein Spurwechselsystem, ein Lenkhilfesystem, ein Kollisionsverhinderungssystem und ein Einparkhilfesystem. Das PCM 125 beinhaltet exemplarisch das ACC 126 zur Steuerung des Fahrzeugbremsens und Beschleunigens zum Steuern der Fahrzeuggeschwindigkeit und Beschleunigung, einschließlich autonomer Steuerung des Fahrzeugbremsens und Beschleunigens zum Steuern der Fahrzeuggeschwindigkeit und Beschleunigung unter vorbestimmten Bedingungen. Das VCM 128 beinhaltet die Lenksteuerung (STRG) 146 zur Steuerung der seitlichen Fahrzeugbewegungssteuerung, z. B. als Teil eines Spurführungs-, Spurhaltungs- oder Spurwechselsystems. Das Raumbeobachtungssystem 116, Fahrzeugüberwachungssystem 115, PCM 125, VCM 128 und die Kommunikationssteuerung 19 kommunizieren bevorzugt zwischen diesen unter Verwendung eines schnellen lokalen Netzwerkkommunikationsbusses 127. Das Raumbeobachtungssystem 116, Fahrzeugüberwachungssystem 115, PCM 125, VCM 128 des betrachteten Fahrzeugs 101 sind als diskrete Elemente zur Vereinfachung der Beschreibung dargestellt. Es sollte beachtet werden, dass die beschriebenen und ausgeführten Funktionen durch die diskreten Elemente mit einer oder mehreren Vorrichtungen ausgeführt werden können, die algorithmischen Code, vorbestimmte Kalibrierungen, Hardware, einen anwendungsspezifischen integrierten Schaltkreis (ASIC) und/ oder Off-Board oder cloudbasierte Computersysteme beinhalten können.
Das Raumbeobachtungssystem 116 beinhaltet eine Raumbeobachtungssteuerung 117, die mit Sensorvorrichtungen kommuniziert, um digitale Bilder von entfernten Objekten (z. B. andere Fahrzeuge) in der Nähe des Fahrzeugs 101 zum überwachen zu erzeugen. Darüber hinaus beinhaltet die Raumbeobachtungssteuerung 117 eine interne Uhr zum Messen der Zeit. Ein entferntes Objekt soll sich in Nähe des betrachteten Fahrzeugs 101 befinden, wenn das entfernte Objekt durch eine oder mehrere Sensorvorrichtungen erfasst werden kann. Das Raumbeobachtungssystem 116 bestimmt bevorzugt einen linearen Bereich, eine Relativgeschwindigkeit und Bahn jedes sich in der Nähe befindlichen entfernten Objektes und kommuniziert diese Informationen unter Verwendung der Kommunikationssteuerung 19. Die Sensorvorrichtungen befinden sich auf dem betreffenden Fahrzeug 101 und beinhalten Fronteckensensoren 121, Heckeckensensoren 120, Heckseitensensoren 120', Seitensensoren 129 und einen Frontradarsensor 122 und eine Kamera 123, die mit der Fahrzeugkarosserie 103 gekoppelt ist, obwohl die Offenbarung nicht so beschränkt ist. Vorzugsweise beinhaltet die Kamera 123 eine monochrome Sichtkamera, die zur Erfassung der vorderen Fahrspurmarkierungen verwendet wird. Der Frontradarsensor 122 beinhaltet bevorzugt ein Langstreckenradargerät zur Objekterkennung vor dem betrachteten Fahrzeug 101. Der Frontradarsensor 122 erfasst bevorzugt Objekte mit einer Entfernung von bis zu 200 m mit einem engen Sichtfeldwinkel von zirka 15° in einer Ausführungsform. Aufgrund des engen Sichtfeldwinkels kann der Langstreckenradar eventuell nicht alle Objekte vor dem betrachteten Fahrzeug 101 erfassen. Die Vordereckensensoren 121 beinhalten bevorzugt Nahbereichsradargeräte zum Unterstützen der Überwachung des Bereichs vor dem betrachteten Fahrzeug 101, der jeweils einen 60° Sichtfeldwinkel und 40 m Erfassungsbereich in einer Ausführungsform aufweist. Die Seitensensoren 129, Heckeckensensoren 120 und Heckseitensensoren 120' beinhalten bevorzugt Nahbereichsradargeräte zum Unterstützen der Überwachung von sich näherndem Verkehr neben und hinter dem betrachteten Fahrzeug 101, wobei jeder einen 60° Sichtfeldwinkel und 40 m Erfassungsbereich in einer Ausführungsform aufweist. Die Anordnung der erwähnten Sensoren ermöglicht dem Raumbeobachtungssystem 116 das Überwachen des Verkehrsflusses, einschließlich von sich in der Nähe befindlichen Fahrzeugobjekten und anderen Objekte um das betrachtete Fahrzeug 101. Daten, die durch das Raumbeobachtungssystem 116 erzeugt werden, können durch den Fahrbahnmarkierungserfassungsprozessor 74 zum Schätzen der Fahrbahn angewendet werden.
Alternativ können die Sensorvorrichtungen objekterfassende Sensorvorrichtungen beinhalten, einschließlich Bereichssensoren, wie etwa FM-CW(Frequency Modulated Continuous Wave)-Radare und FSK(Frequency Shift Keying)-Radar und Lidar(Light Detection and Ranging)-Vorrichtungen und Ultraschallvorrichtungen, die auf Effekte, wie etwa Doppler-Effekt-Messungen zum Orten von vorderen Objekten, angewiesen sind. Die möglichen objekterfassenden Vorrichtungen beinhalten ladungsgekoppelte Vorrichtungen (CCD) oder komplementäre Metalloxid-Halbleiter-Schalteinrichtungs-(CMOS)-Videobildsensoren und andere bekannte Kamera/ Videobild-Prozessoren, die digitale fotografische Verfahren zum ‚Ansehen‘ vorderer Objekte, einschließlich eines oder mehrerer Objektfahrzeuge(s), verwenden. Diese Sensorsysteme werden zur Erfassung und Ortung von Objekten in Automobilanwendungen angewendet und sind mit Systemen verwendbar, einschließlich adaptiver Geschwindigkeitsregelung, Kollisionsvermeidung und Seitenobj ekterfassung.
Die Sensorvorrichtungen sind bevorzugt innerhalb des betrachteten Fahrzeugs 101 in relativ uneingeschränkten Positionen angeordnet. Es wird auch erkannt, dass jeder dieser Sensoren eine Schätzung der tatsächlichen Lage oder des Zustands eines Objekts bereitstellt, worin die Schätzung eine geschätzte Position und die Standardabweichung beinhaltet. Als solches werden die sensorische Erfassung und Messung von Objektorten und Bedingungen für gewöhnlich als ,Schätzwerte‘ bezeichnet. Es wird ferner erkannt, dass die Eigenschaften dieser Sensoren komplementär sind, indem einige beim Schätzen bestimmter Parameter zuverlässiger sind als andere. Die Sensoren können jeweils unterschiedliche Betriebsbereiche und Winkelabdeckungen aufweisen, die verschiedene Parameter innerhalb ihrer Betriebsbereiche schätzen können. Beispielsweise können Radarsensoren normalerweise den Bereich, die Bereichsrate und Azimutort eines Objekts schätzen, sind aber normalerweise nicht gut im Schätzen der Maße eines erfassten Objektes. Eine Kamera mit Vision-Prozessor ist beim Schätzen einer Form und Azimutposition des Objekts genauer, jedoch weniger effizient beim Schätzen des Bereichs und der Bereichsrate eines Objekts. Scannende Lidarsysteme arbeiten effizient und genau gegenüber der Schätzung des Bereichs und der Azimutposition, können jedoch normalerweise nicht die Bereichsrate schätzen und sind daher nicht so genau bei einer neuen Objekterfassung/-erkennung. Ultraschallsensoren sind in der Lage den Bereich zu schätzen, jedoch im Allgemeinen nicht in der Lage zur Schätzung oder Berechnung der Bereichsrate und Azimutposition. Weiterhin wird erkannt, dass die Leistung jeder Sensorik durch unterschiedliche Umgebungsbedingungen beeinflusst wird. Somit präsentieren einige Sensoren parametrische Varianzen während des Betriebs, obwohl überlappende Erfassungsbereiche der Sensoren Möglichkeiten für die Sensordatenfusion schaffen.
Das Fahrzeugüberwachungssystem 115 beinhaltet bevorzugt mehrere Bordfahrwerküberwachungs-Sensoriksysteme und Vorrichtungen zur Überwachung des Fahrzeugbetriebs zum Bestimmen der Fahrzeugbewegungszustände, die an den Kommunikationsbus 127 kommuniziert werden. Die Fahrzeugbewegungszustände beinhalten bevorzugt z. B. die Fahrgeschwindigkeit, den Lenkwinkel der lenkbaren Vorderräder 160 und die Gierrate. Die Bordfahrwerküberwachungs-Sensoriksysteme und Vorrichtungen beinhalten Trägheitssensoren, wie etwa Drehratensensoren und Beschleuniger. Das Fahrzeugüberwachungssystem 115 schätzt die Fahrzeugbewegungszustände, wie etwa Fahrzeuglängsgeschwindigkeit, Gierrate und Quergeschwindigkeit und schätzt den seitlichen Versatz und Gierwinkel des betrachteten Fahrzeugs 101. Die gemessene Gierrate wird mit den Lenkwinkelmessungen zum Schätzen des Fahrzeugzustands der Quergeschwindigkeit verbunden. Die Fahrzeuglängsgeschwindigkeit kann anhand von Signaleingängen der Raddrehzahlsensoren bestimmt werden, die zum Überwachen jedes der Vorderräder 160 und Hinterräder 170 eingerichtet sind. Das Fahrzeugüberwachungssystem 115 erzeugt Signale im Zusammenhang mit den Fahrzeugbewegungszuständen, die durch andere Fahrzeugsteuersysteme zur Fahrzeugsteuerung und zum Betrieb überwacht werden können.
Das PCM 125 kommuniziert mit einem Fahrzeugantriebsstrang (nicht dargestellt), ist mit diesem funktional verbunden und führt Steuerungsroutinen zur Steuerung des Betriebs eines Motors, eines Getriebes und anderen Drehmomentmaschinen aus, von denen keine dargestellt sind, zum Übertragen von Vortriebsmoment an die Fahrzeugräder als Reaktion auf Fahrzeugbetriebsbedingungen und Bedienereingaben. Das PCM 125 ist als ein einzelnes Steuermodul dargestellt, kann jedoch mehrere funktionale Steuerungsvorrichtungen zum Steuern verschiedener Antriebsstrangstellglieder, einschließlich dem Motor, dem Getriebe, den Drehmomentmaschinen, Radmotoren und weiteren Elementen eines Hybrid-Antriebsstrangsystems beinhalten, von denen keine dargestellt sind. Das PCM 125 kann Steuerungsroutinen in Form von algorithmischen Code zum Bedienen des adaptiven Geschwindigkeitsregelungssystems (ACC) 126 beinhalten, das Fahrzeugbremsen und Beschleunigung als Reaktion auf die Bedienersteuerungseingaben steuert, die unter Verwendung einer Mensch-Maschine-Schnittstellen(HMI)-Steuerung 124, einschließlich autonomer Steuerung des Fahrzeugsbremsens und der Beschleunigung zum Steuern der Fahrzeuggeschwindigkeit und Beschleunigung unter vorbestimmten Bedingungen erfasst.
Das VCM 128 kommuniziert mit mehreren Fahrzeugbetriebssystemen, ist mit diesen funktional verbunden und führt Steuerungsroutinen zum Steuern dessen Betriebs aus. Das Fahrzeugbetriebssystem beinhaltet bevorzugt Bremsen, Stabilitätskontrolle und Lenksysteme. Die Fahrzeugbetriebssysteme können ebenfalls andere Systeme, z. B. HLK, Entertainmentsysteme, Kommunikationssysteme und Diebstahlsicherungssysteme beinhalten. Das VCM 128 ist als ein einzelnes Steuermodul dargestellt, kann jedoch mehrere funktionale Steuerungsvorrichtungen zum Überwachen von Systemen und Steuern verschiedener Stellglieder beinhalten. Das VCM 128 beinhaltet die Lenksteuerung (STRG) 146 für die seitliche Fahrzeugbewegungssteuerung. Die Lenksteuerung 146 beinhaltet bevorzugt eine elektrische Servolenkung (EPS), die mit einem aktiven Frontlenksystem zum Ergänzen oder Ersetzen der Bedienereingabe über ein Lenkrad 108 durch Steuerung des Lenkwinkels der lenkbaren Räder 160 während der Ausführung eines autonomen Manövers verbunden ist, wie etwa eines Spurwechsels. Ein exemplarisches aktives Frontlenksystem ermöglicht einen primären Lenkvorgang durch den Fahrzeugführer, einschließlich einer eventuellen Erhöhung der Lenkradwinkelsteuerung zum Erzielen eines bevorzugten Lenkwinkels und/oder Fahrzeuggierwinkels. Es wird erkannt, dass die hierin beschriebenen Steuerungsverfahren mit Modifikationen an den Fahrzeuglenksteuerungssystemen, wie etwa elektrischer Servolenkung, Vier-/ Hinterrad-Lenksystemen und direkten Giersteuerungssystemen anwendbar sind, das den Antriebsschlupf jedes Rades zum Erzeugen einer Gierbewegung steuert.
Der Fahrgastraum des betrachteten Fahrzeugs 101 ermöglicht einem Fahrzeugführer eine Interaktion mit dem Lenkrad 108, das an einer Lenksäule 109 montiert ist. Eine Eingabevorrichtung 110 kann mechanisch auf der Lenksäule montiert 109 sein und mit der HMI-Steuerung 124 kommunizieren. Alternativ kann die Eingabevorrichtung 110 mechanisch in Nähe der Lenksäule 109 an einer Stelle montiert werden, die für den Fahrzeugführer komfortabel ist. Die Eingabevorrichtung 110, die hierin als ein hervorstehender Schaft der Säule 109 dargestellt ist, beinhaltet eine Benutzeroberflächenvorrichtung, durch die der Fahrzeugführer Fahrzeugbetrieb in einem autonomen Steuermodus anweisen kann, z. B. durch Anweisung des Aktivierens eines oder mehrerer autonomer Fahrzeugsteuersysteme. Die Mechanisierung der Eingabevorrichtung 110 ist exemplarisch. Fachleute verstehen, dass die Eingabevorrichtung 110 in einer oder mehreren der vielen Vorrichtungen mechanisiert werden kann oder in Form einer Steuerung auftreten kann, die sprachaktiviert ist oder ein anderes geeignetes System sein kann. Die Eingabevorrichtung 110 weist bevorzugt Steuerungsmerkmale und eine Stelle auf, die durch vorliegende Blinksignalaktivierungssysteme verwendet werden. Alternativ können andere Eingabevorrichtungen, wie etwa Hebel, Taster, Knöpfe und Spracherkennungs-Eingabevorrichtungen anstelle von oder zusätzlich zu den Eingabevorrichtungen 110 verwendet werden.
Die HMI-Steuerung 124 überwacht Bedieneranforderungen und liefert Informationen an den Bediener, einschließlich den Status der Fahrzeugsysteme sowie Service- und Wartungsinformationen. Die HMI-Steuerung 124 kommuniziert mit und/ oder steuert mehrere Bedieneroberflächenvorrichtungen, worin die Bedieneroberflächenvorrichtungen zum Senden einer Nachricht in Verbindung mit einem der autonomen Fahrzeugsteuersysteme, einschließlich einer Mahnnachricht-Bedienermaßnahme, in der Lage ist. Die HMI-Steuerung 124 kommuniziert bevorzugt ebenfalls mit einer oder mehreren Vorrichtungen, die biometrische Daten in Verbindung mit dem Fahrzeugführer überwachen, einschließlich beispielsweise unter anderem Blickrichtung, Haltung und Kopfpositionserfassung. Die HMI-Steuerung 124 ist eine einheitliche Vorrichtung zur Vereinfachung der Beschreibung, kann jedoch als mehrere Steuermodule und den entsprechenden Sensorvorrichtungen in einer Ausführungsform des hierin beschriebenen Systems konfiguriert sein.
Die HMI-Steuerung 124 kommuniziert mit dem Kommunikationsbus 127 und kommuniziert somit mit anderen Steuerungen im betreffenden Fahrzeug 101. Die HMI-Steuerung 124 ist zum Überwachen eines Signalausgangs von der Eingabevorrichtung 110, zum Erfassen eines Aktivierungssignals vom Fahrzeugführer anhand des Signalausgangs von der Eingabevorrichtung 110 und zum Kommunizieren des Aktivierungssignals an den Kommunikationsbus 127 konfiguriert. Die HMI-Steuerung 124 ist zum Überwachen von Bedienereingaben an das Lenkrad 108, ein Gaspedal und ein Bremspedal, neben anderen Bedienereingaben, konfiguriert. Bedieneroberflächenvorrichtungen, die zum Senden einer Mahnnachricht-Bedienermaßnahme in der Lage sind, beinhalten ein elektronisches Anzeigemodul, z. B. eine Flüssigkristall-Display(LCD)-Vorrichtung 133, ein Heads-Up-Display (HUD) (nicht dargestellt), eine Audio-Feedbackvorrichtung 132, eine tragbare Vorrichtung 131 und einen haptischen Sitz 130. Die Bedieneroberflächenvorrichtungen, die in der Lage sind zu einer Bedieneraktion aufzufordern, werden bevorzugt durch oder über die HMI-Steuerung 124 gesteuert.
Die anderen Bedieneroberflächenvorrichtung können wie folgt arbeiten. Das HUD kann Informationen projizieren, die auf eine Innenseite einer Windschutzscheibe des Fahrzeugs im Sichtfeld des Fahrers reflektiert wird, umfassend das Übertragen eines Konfidenzniveaus in Verbindung mit einem der autonomen Fahrzeugsteuersysteme. Das HUD kann ebenfalls erweiterte Realitätsinformationen bereitstellen, wie etwa Fahrspurort, Fahrzeugweg, Richtungs- und/ oder Ortungsinformationen und dergleichen. Das HUD und ähnliche Systeme sind Fachleuten bekannt. Der haptische Sitz 130 kann Schwingungsfähigkeiten beinhalten, die in Frequenz, Geschwindigkeit, Einstellung und/ oder Intensität variieren. Die Audio-Feedbackvorrichtung 132 kann Soundfähigkeiten beinhalten, die in Frequenz, Geschwindigkeit, Einstellung und/ oder Intensität variieren. Die tragbare Vorrichtung 131 kann Schwingungsfähigkeiten beinhalten, die in Frequenz, Geschwindigkeit, Einstellung und/ oder Intensität variieren.
Das betrachtete Fahrzeug 101 beinhaltet eine Kommunikationssteuerung 19 mit einem drahtlosen Telematikkommunikationssystem, das in der Lage zu zusätzlicher Fahrzeugkommunikation ist, einschließlich Kommunikation mit einem Kommunikationsnetzwerksystem 210 mit drahtlosen und verdrahteten Kommunikationsfähigkeiten. Das Kommunikationsnetz 210 kann Satelliten 211 und Antennen 213 beinhalten. Die Kommunikationssteuerung 19 kann ein drahtloses Telematikkommunikationssystem beinhalten, das in der Lage zu zusätzlicher Fahrzeugkommunikation ist, einschließlich Kurzbereichs-Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation. Alternativ oder zusätzlich weist die Kommunikationssteuerung 19 ein drahtloses Telematikkommunikationssystem auf, das in der Lage zu Kurzbereichs-Drahtloskommunikation an eine handgehaltene Vorrichtung 19A ist, beispielsweise ein Mobiltelefon, ein Satellitentelefon oder eine andere Telefonvorrichtung. In einer Ausführungsform ist die handgehaltene Vorrichtung 19A mit einer Softwareanwendung versehen, die ein drahtloses Protokoll zum Kommunizieren mit der Kommunikationssteuerung 19 beinhaltet und die handgehaltene Vorrichtung 19A führt die zusätzliche Fahrzeugkommunikation aus, einschließlich der Kommunikation mit einem Fernserver 220 über ein Kommunikationsnetz 210. Das betrachtete Fahrzeug 101 kann ebenfalls ein GPS 15 und ein Navigationssystem 17 beinhalten, die zum Definieren eines geografischen Standortes des betrachteten Fahrzeugs 101 angewendet werden können.
In einer Ausführungsform ist ein intelligentes Straßensystem umfasst, das zum Überwachen der Standorte, Drehzahlen und Bahnen mehrerer Fahrzeuge konfiguriert ist. In einer Ausführungsform ist das betrachtete Fahrzeug 101 zum Kommunizieren mit dem Kommunikationsnetz 210 konfiguriert, einschließlich der Kommunikation zwischen dem intelligenten Straßensystem und dem betrachteten Fahrzeug 101. Dieses kann die Kommunikation des geografischen Standortes, die Frontgeschwindigkeit und Beschleunigungsrate von einem oder mehreren Fahrzeugen in Bezug auf das betrachtete Fahrzeug 101 beinhalten. In bestimmten Ausführungsformen ist das betrachtete Fahrzeug 101 zum Kommunizieren mit dem Fernserver 220 über das Kommunikationsnetz 210 konfiguriert.
Die Begriffe Steuereinheit, Steuermodul, Modul, Steuerung, Steuergerät, Prozessor und Ähnliches beziehen sich auf eine oder mehrere Kombinationen anwendungsspezifischer integrierter Schaltkreise (ASIC), elektronische(r) Schaltkreis(e), Zentraleinheit(en), z. B. Mikroprozessor(en) und deren zugeordneten nicht-transitorische Speicherkomponenten in Form von Arbeitsspeicher- und Datenspeichergeräten (Lesespeicher, programmierbarer Lesespeicher, Direktzugriffsspeicher, Festplattenspeicher usw.). Die nicht-transitorische Speicherkomponente ist in der Lage, maschinenlesbare Befehle in der Form einer oder mehrerer Software- oder Firmware-Programme oder -Routinen, kombinatorischen Logikschaltung(en), Eingabe-/Ausgabeschaltung(en) und -vorrichtungen, Signalaufbereitungs- und Pufferschaltungen und anderen Komponenten zu speichern, auf die durch einen oder mehrere Prozessoren zugegriffen werden kann, um eine beschriebene Funktionalität bereitzustellen. Eingangs-/Ausgangsschaltung(en) und Vorrichtungen beinhalten Analog-/Digitalwandler und verwandte Geräte, die Sensoreingaben mit einer vorgegebenen Abruffrequenz oder in Reaktion auf ein Auslöseereignis überwachen. Software, Firmware, Programme, Befehle, Steuerroutinen, Code, Algorithmen und ähnliche Begriffe beziehen sich auf von einer Steuereinheit ausführbare Befehlssätze, wie z. B. Kalibrierungen und Wertetabellen. Jede Steuerung führt Steuerroutine(n) aus, um die gewünschten Funktionen, darunter auch die Überwachung der Eingaben von Sensorgeräten und anderen vernetzten Steuereinheiten, bereitzustellen, und führt zudem Steuer- und Diagnoseroutinen aus, um die Betätigung von Stellgliedern zu steuern. Die Routinen können in regelmäßigen Intervallen, wie z. B. während des laufenden Betriebs alle 100 Mikrosekunden, ausgeführt werden. Alternativ dazu können Routinen in Reaktion auf ein Auslöseereignis ausgeführt werden. Die Kommunikation zwischen den Steuerungen und die Kommunikation zwischen Steuerungen, Stellgliedern und/ oder Sensoren kann unter Verwendung einer Direktverkabelung, einer Netzwerk-Kommunikationsbus-Verbindung, z. B. eines schnellen lokalen Netzwerkkommunikationsbusses 127, einer drahtlosen Verbindung oder jeder anderen geeigneten Kommunikationsverbindung bewerkstelligt werden. Die Kommunikation beinhaltet den Austausch von Datensignalen auf eine andere geeignete Art, darunter auch z. B. elektrische Signale über ein leitfähiges Medium, elektromagnetische Signale durch die Luft, optische Signale über Lichtwellenleiter und dergleichen. Datensignale können diskrete, analoge oder digitalisierte analoge Signale beinhalten, die Eingaben von Sensoren und Stellgliedbefehle, sowie Kommunikationssignale zwischen Steuereinheiten darstellen. Der Begriff „Signal“ bezieht sich auf physisch wahrnehmbare Anzeige, die Informationen übermittelt und kann verschiedene geeignete Wellenformen (z. B. elektrische, optische, magnetische, mechanische oder elektromagnetische) umfassen, wie beispielsweise Gleichstrom, Wechselspannung, Sinuswellen, Dreieckswelle, Rechteckwelle, Vibration und dergleichen, die durch ein Medium laufen können. Der Begriff ,Modell‘ bezeichnet einen prozessorbasierten oder einen über einen Prozessor ausführbaren Code und die zugehörige Kalibrierung, die die physische Existenz einer Vorrichtung oder eines physischen Prozesses simuliert. Wie hierin verwendet, beschreibt der Begriff „dynamisch“ die Schritte oder Prozesse, die in Echtzeit ausgeführt werden und gekennzeichnet sind durch das Überwachen oder anderweitige Bestimmen von Parameterzuständen und das regelmäßige oder periodische Aktualisieren der Parameterzustände während der Ausführung einer Routine oder zwischen den Wiederholungen der Ausführung der Routine.
Wie in dieser Spezifikation und den Patentansprüche verwendet, sind die Begriffe „zum Beispiel“, „beispielsweise“, „wie beispielsweise“ und „dergleichen“ und die Verben „umfassend“, „aufweisen“, „beinhalten“ und ihre anderen Verbformen sind, wenn sie in Verbindung mit einer Auflistung einer oder mehrerer Komponenten oder anderer Elemente verwendet werden, jeweils als nicht endend zu verstehen, was bedeutet, dass die Auflistung nicht als Ausschluss anderer, zusätzlicher Komponenten oder Elemente zu betrachten ist. Andere Begriffe sind in deren weitesten vernünftigen Sinn auszulegen, es sei denn, diese werden in einem Kontext verwendet, der eine andere Auslegung erfordert.
2 stellt schematisch ein Verfahren 300 zum Bereitstellen von Warnhinweisen für den Bediener in Bezug auf das Verhalten des betreffenden Fahrzeugs 101 unter Verwendung von Informationen aus den Leuchten 402 anderer Fahrzeuge 400 dar. Das Verfahren 300 wird vorzugsweise regelmäßig und periodisch während des Fahrzeugbetriebs durchgeführt und ist zur Verwendung in manuell angetriebenen Fahrzeugen (z. B. dem betreffenden Fahrzeug 101) ausgelegt. Einige oder alle der Schritte des Verfahrens 300 können im Fernserver 220 ausgeführt werden.
Die Ausführung des Verfahrens 300 fährt wie folgt fort. Die Schritte des Verfahrens 300 können in jeder geeigneten Reihenfolge ausgeführt werden und sind nicht auf die Reihenfolge, die mit Bezug auf 2 beschrieben ist, beschränkt. Während des Fahrzeugbetriebs bei Block 304 ist die Raumbeobachtungssteuerung 117 mit der Kamera 123 verbunden und erkennt, ob der Zustand der Leuchten 402 (z. B. Rück- und/oder Bremsleuchten) anderer Fahrzeuge 400 (z. B. eines geparkten Fahrzeugs) im Sinne der Konfidenz L unter Verwendung der Kamera 123 oder eines anderen geeigneten Vision-Sensors. Dazu nimmt die Kamera 123 ein Bild des anderen Fahrzeugs 400 auf. Ebenso bestimmt die Raumbeobachtungssteuerung 117 bei Block 304 unter Verwendung der von der Kamera 123 gesammelten Daten (z. B. der Bilder), ob die Leuchten 402 des anderen Fahrzeugs 400 im Sinne der Konfidenz L EIN oder AUS sind.
Bei Block 304 führt die Raumbeobachtungssteuerung 117 einen Algorithmus zum Bestimmen (z. B. Berechnen) und Überwachen des Konfidenzniveaus in Bezug auf das Bestimmen, ob der Zustand der Leuchten 402 des anderen Fahrzeugs 400 EIN ist. Insbesondere bestimmt und überwacht die Raumbeobachtungssteuerung 117 kontinuierlich das Konfidenzniveau, dass die Leuchten 402 von mindestens einem der anderen Fahrzeuge 400 eingeschaltet sind. In der vorliegenden Offenbarung wird „das Konfidenzniveau, dass die Leuchten 402 von mindestens einem der anderen Fahrzeuge 400 eingeschaltet sind“ hierin als Konfidenz L bezeichnet und ist ein Hinweis, vorzugsweise in Form eines Zahlenwerts, der eine Messgröße für Sicherheit oder Unsicherheit vermittelt, dass die Leuchten 402 des anderen Fahrzeugs 400 aufgrund der von der Kamera 123 erfassten Informationen (z. B. Bilder) eingeschaltet sind. Das Konfidenzniveau kann ein nummerischer Wert sein, der über einen Bereich zwischen -1 und 1 stufenlos ist. So kann beispielsweise das Konfidenzniveau basierend auf einer statistischen Wahrscheinlichkeit mit einem geeigneten maschinellen Lernverfahren bestimmt werden. So kann beispielsweise ein neuronales Netzwerk trainiert werden, um die Leuchten als EIN und AUS zu klassifizieren. In diesem Fall kann die Ausgabe des Netzes einfach zwei Zahlen zwischen -1 und 1 sein, welche die Konfidenzwerte L repräsentieren (für die Fälle, in denen ’alle Leuchten‘ EIN sind). Konkret führt ein Beispiel für ein einfaches neuronales Netzwerk die folgenden Berechnungen durch: $L = tanh (A_1x + B_1)$
wobei x einen Vektor darstellt, der durch Verkettung von Rot-Grün-Blau (RGB)-Werten für alle Pixel in dem von der Kamera 123 aufgenommenen Bild erhalten wird; und
A_1 und B_1 sind Matrizen und Vektoren mit geeigneten Dimensionen und ihren Werten, die durch das Training des neuronalen Netzes ermittelt wurden.
Nach dem Bestimmen (z. B. Berechnen) der Konfidenz L fährt das Verfahren 300 mit Block 306 fort. Bei Block 306 bestimmt die Raumbeobachtungssteuerung 117, ob die Konfidenz L größer als ein erster vorgegebener Schwellenwert K_hoch ist. Als Reaktion auf das Bestimmen, dass die Konfidenz L größer als der erste vorgegebene Schwellenwert K_hoch ist, fährt das Verfahren 300 mit dem Block 308 fort.
Bei Block 308 aktiviert die Raumbeobachtungssteuerung 117 einen Alarm 401 des betreffenden Fahrzeugs 101 als Reaktion auf das Bestimmen, dass die Konfidenz L größer als der erste vorgegebene Schwellenwert K_hoch ist, um dem Fahrzeugführer einen Warnhinweis auf das andere Fahrzeug 400 bereitzustellen. Der erste vorgegebene Schwellenwert K_hoch kann 65 % betragen, um den Alarm 401 nur dann zu aktivieren, wenn die Raumbeobachtungssteuerung 117 relativ sicher ist, dass die Leuchten 402 des anderen Fahrzeugs 400 EIN sind. Der Alarm 401 dient als Hinweis für den Fahrzeugführer, dass das andere Fahrzeug 400 kurz davor steht (oder sich gerade aufhält), aus einem Parkplatz herauszufahren. Der Alarm 401 (oder die Hinweise) kann in Form von Geräuschen, Warnsignalen, die auf einer Anzeigevorrichtung 133, dem HUD oder einem anderen geeigneten visuellen Anzeigesystem angezeigt werden, haptischen Rückmeldungen vom haptischen Sitz 130 und anderen bereitgestellt werden. Wie beispielsweise in 3 dargestellt, kann der haptische Sitz 130 eine haptische Rückmeldung (Vibration V) bereitstellen, um den Fahrzeugführer zu warnen, dass das andere Fahrzeug 400 dabei ist, aus dem Parkplatz herauszufahren. Alternativ oder zusätzlich, wie in 4 dargestellt, kann der Bildschirm 133 das von der Kamera 123 aufgenommene Bild reproduzieren und ein Warnsymbol 403 auf dem Bild des anderen Fahrzeugs 400 hinzufügen, dessen Lichter 402 EIN sind (und das sich gleich vom Parkplatz wegbewegen wird). Zusätzlich oder ergänzend, wie in 5 dargestellt, kann der Bildschirm 133 eine optische Warnleuchte 404 um ein schematisches Fahrzeugschema 405 herum bereitstellen. Somit kann der Alarm 401 als nicht einschränkende Beispiele durch das auf der Anzeigevorrichtung 133 angezeigte Warnsymbol 403, die vom haptischen Sitz 130 erzeugte haptische Rückmeldung (z. B. Vibration) und/oder die um das auf der Anzeigevorrichtung 133 angezeigte schematische Fahrzeugschema 405 herum angezeigte optische Warnleuchte 404 unterdrückt werden. Das Verfahren 300 kehrt nach dem Ausführen von Block 308 zu Block 310 zurück.
Zurückkehrend zu Block 306, als Reaktion auf das Bestimmen, dass die Konfidenz L nicht größer als der erste vorgegebene Schwellenwert K_hoch ist, fährt das Verfahren 300 mit Block 310 fort. Bei Block 310 bestimmt die Raumbeobachtungssteuerung 117, ob die Konfidenz L kleiner als ein zweiter vorgegebener Schwellenwert K_niedrig ist. Der erste vorgegebene Schwellenwert ist größer oder gleich dem zweiten vorgegebenen Schwellenwert, um es der Raumbeobachtungssteuerung 117 zu ermöglichen, Warnhinweise nur dann hinzuzufügen, wenn die Sicherheit besteht, dass die Leuchten 402 des anderen Fahrzeugs 400 EIN sind, und Warnhinweise nur dann zu entfernen, wenn die Sicherheit besteht, dass die Leuchten 402 des anderen Fahrzeugs 400 relativ schwach sind. Als Reaktion auf das Bestimmen, dass die Konfidenz L kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist, fährt das Verfahren 300 mit Block 312 fort.
Bei Block 312 entfernt die Raumbeobachtungssteuerung 117 alle Warnhinweise bezüglich des anderen Fahrzeugs 400, die aufgrund der Tatsache, dass seine Leuchten 402 auf EIN stehen, als Reaktion auf das Bestimmen, dass die Konfidenz L kleiner als der zweite vorbestimmte Schwellenwert K_niedrig ist, eingeführt wurden. Der zweite vorgegebene Schwellenwert K_niedrig kann 50 % betragen, um den Alarm 401 nur dann zu deaktivieren, wenn eine relative Unsicherheit darüber besteht, ob die Leuchten 402 des anderen Fahrzeugs 40 EIN sind. Mit anderen Worten, als Reaktion auf das Bestimmen, dass die Konfidenz L kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist, deaktiviert die Raumbeobachtungssteuerung 117 den Alarm 401. Als nicht einschränkende Beispiele kann das Warnsymbol 403 von der Anzeigevorrichtung 133 entfernt werden, die haptische Rückmeldung V (z. B. Vibration) kann durch den haptischen Sitz 130 deaktiviert werden und/oder die visuelle Warnleuchte 404, die um das schematische Fahrzeugdiagramm 405 herum angezeigt wird, kann ausgeschaltet werden.
Zurückkehrend zu Block 310, fährt das Verfahren 300 als Reaktion auf das Bestimmen, dass die Konfidenz L nicht kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist, mit Block 314 fort. Bei Block 314 werden keine Änderungen an den Hinweisen durch die Leuchten 402 vorgenommen. Mit anderen Worten, bei Block 314 bleibt der Alarm 401 aktiviert oder bleibt inaktiv, wenn er vorher inaktiv war.
Unter Bezugnahme auf 6 kann ein Verfahren 500 in einem autonomen Fahrzeug (z. B. dem betreffenden Fahrzeug 101) verwendet werden und ermöglicht es dem betreffenden Fahrzeug 101, vorsichtiger (d. h. aufmerksamer) zu sein, während es an einem Fahrzeug (d. h. einem anderen Fahrzeug 400) mit eingeschalteten Leuchten 402 vorbeifährt. Das Verfahren 500 beginnt bei Block 504. Während des Fahrzeugbetriebs erkennt die Raumbeobachtungssteuerung 117 bei Block 504, den Zustand der Leuchten 402 (z. B. Rück- und/oder Bremsleuchten) anderer Fahrzeuge 400 im Sinne der Konfidenz L (z. B. eines geparkten Fahrzeugs) unter Verwendung der Kamera 123 oder eines anderen geeigneten Vision-Sensors. Dazu nimmt die Kamera 123 ein Bild des anderen Fahrzeugs 400 auf. Ebenso bestimmt die Raumbeobachtungssteuerung 117 bei Block 504 unter Verwendung der von der Kamera 123 gesammelten Daten (z. B. der Bilder), ob die Leuchten 402 des anderen Fahrzeugs 400 (oder andere Fahrzeuge 400) im Sinne der Konfidenz L EIN oder AUS sind.
Bei Block 504 führt die Raumbeobachtungssteuerung 117 für jedes Fahrzeug 400 einen Algorithmus zum Bestimmen (z. B. Berechnen) und Überwachen des Konfidenzniveaus in Bezug auf das Bestimmen aus, ob der Zustand der Leuchten 402 des anderen Fahrzeugs 400 EIN ist, wie vorstehend in Bezug auf Schritt 304 erläutert. Wie vorstehend erläutert, wird „das Konfidenzniveau, dass die Leuchten 402 von mindestens einem der anderen Fahrzeuge 400 eingeschaltet sind“ hierin als Konfidenz L bezeichnet und ist ein Hinweis, vorzugsweise in Form eines Zahlenwerts, der eine Messgröße für Sicherheit oder Unsicherheit vermittelt, dass die Leuchten 402 des anderen Fahrzeugs 400 aufgrund der von der Kamera 123 erfassten Informationen (z. B. Bilder) eingeschaltet sind. Das Verfahren 500 fährt dann mit Block 506 fort.
Nach dem Bestimmen (z. B. Berechnen) der Konfidenz L fährt das Verfahren 500 mit Block 506 fort. Bei Block 506 bestimmt die Raumbeobachtungssteuerung 117, ob die Konfidenz L größer als der erste vorgegebene Schwellenwert K_hoch ist. Als Reaktion auf das Bestimmen, dass die Konfidenz L größer als der erste vorgegebene Schwellenwert K_hoch ist, fährt das Verfahren 500 mit dem Block 508 fort.
Bei Block 508 verteilt die Raumbeobachtungssteuerung 117 ihre Rechenressourcen neu, um die Zuweisung der Rechenressourcen der Raumbeobachtungssteuerung 117 zu erhöhen, die zur visuellen Analyse des/der anderen Fahrzeuge 400 verwendet wird. Die Zuweisung von Rechenressourcen kann von Faktoren abhängen, wie beispielsweise: (a) die Anzahl der anderen Fahrzeuge 400, die sich im Sichtfeld der Kamera 123 befinden; (b) die Zuversicht, dass die Leuchten für jedes erfasste Fahrzeug EIN („Konfidenz L“) sind; (c) Entfernung und Größe aller erfassten Fahrzeuge, usw. Eine Erhöhung der Zuweisung von Rechenressourcen kann Folgendes bewirken: (a) Verwendung neuronaler Netzwerke, die auf mehr Rechenleistung mit höherer Auflösung angewiesen sind, und/oder (b) Verwendung ausgefeilterer Algorithmen (z. B. semantische Segmentierung). Semantische Segmentierung kann nützliche Informationen wie den Zustand des Fahrzeugs (z. B. Tür/Kofferraum geöffnet, usw.) und sogar Fußgänger näher am anderen Fahrzeug 400 beinhalten.
Zurückkehrend zu Block 506, als Reaktion auf das Bestimmen, dass die Konfidenz L nicht größer als der erste vorgegebene Schwellenwert K_hoch ist, fährt das Verfahren 500 mit Block 510 fort. Bei Block 510 bestimmt die Raumbeobachtungssteuerung 117, ob die Konfidenz L kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist. Als Reaktion auf das Bestimmen, dass die Konfidenz L kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist, fährt das Verfahren 500 mit Block 512 fort.
Bei Block 512 verteilt die Raumbeobachtungssteuerung 117 ihre Rechenressourcen neu, um die Zuweisung der Rechenressourcen der Raumbeobachtungssteuerung 117 zu verringern, die zur visuellen Analyse des anderen Fahrzeugs 400 verwendet wird. Wenn beispielsweise die semantische Segmentierung zum Analysieren des anderen Fahrzeugs 400 verwendet wird, kann die Raumbeobachtungssteuerung 117 anstelle des semantischen Segmentierungsverfahrens ein einfacheres Verfahren zur visuellen Analyse des anderen Fahrzeugs 400 verwenden.
Zurückkehrend zu Block 510, fährt das Verfahren 500 als Reaktion auf das Bestimmen, dass die Konfidenz L nicht kleiner als der zweite vorgegebene Schwellenwert K_niedrig ist, mit Block 514 fort. Bei Block 514 tritt keine Änderung der rechnerischen Ressourcenzuordnung auf. Mit anderen Worten, bei Block 514 erhöht oder verringert die Raumbeobachtungssteuerung 117 nicht ihre Rechenressourcen, die zur visuellen Analyse des anderen Fahrzeugs 400 verwendet werden.
Unter Bezugnahme auf 7 kann ein Verfahren 600 in einem autonomen Fahrzeug (z. B. dem betreffenden Fahrzeug 101) verwendet werden und ermöglicht es dem betreffenden Fahrzeug 101, einen vorbestimmten Abstand einzuhalten, während es an einem Fahrzeug (d. h. einem anderen Fahrzeug 400) mit eingeschalteten Leuchten 402 vorbeifährt. Das Verfahren 600 beginnt bei Block 604. Während des Fahrzeugbetriebs erkennt die Raumbeobachtungssteuerung 117 bei Block 604, den Zustand der Leuchten 402 (z. B. Rück- und/oder Bremsleuchten) anderer Fahrzeuge 400 im Sinne der Konfidenz L (z. B. eines geparkten Fahrzeugs) unter Verwendung der Kamera 123 oder eines anderen geeigneten Vision-Sensors. Dazu nimmt die Kamera 123 ein Bild des anderen Fahrzeugs 400 auf. Ebenso bestimmt die Raumbeobachtungssteuerung 117 bei Block 604 unter Verwendung der von der Kamera 123 gesammelten Daten (z. B. der Bilder), ob die Leuchten 402 des anderen Fahrzeugs 400 (oder andere Fahrzeuge 400) im Sinne der Konfidenz L EIN oder AUS sind.
Bei Block 604 führt die Raumbeobachtungssteuerung 117 für jedes Fahrzeug 400 einen Algorithmus zum Bestimmen (z. B. Berechnen) und Überwachen des Konfidenzniveaus in Bezug auf das Bestimmen aus, ob der Zustand der Leuchten 402 des anderen Fahrzeugs 400 EIN ist, wie vorstehend in Bezug auf Block 304 erläutert. Wie vorstehend erläutert, wird „das Konfidenzniveau, dass die Leuchten 402 von mindestens einem der anderen Fahrzeuge 400 eingeschaltet sind“ hierin als Konfidenz L bezeichnet und ist ein Hinweis, vorzugsweise in Form eines Zahlenwerts, der eine Messgröße für Sicherheit oder Unsicherheit vermittelt, dass die Leuchten 402 des anderen Fahrzeugs 400 aufgrund der von der Kamera 123 erfassten Informationen (z. B. Bilder) eingeschaltet sind. Das Verfahren 600 fährt dann mit Block 606 fort.
Bei Block 606 aktualisiert die Raumbeobachtungssteuerung 117 die Trajektorienkosten des betreffenden Fahrzeugs 101. In der vorliegenden Offenbarung bedeutet der Begriff „Trajektorienkosten“ einen Wert, der mit einer bestimmten Trajektorie verbunden ist, die von dem betreffenden Fahrzeug aufgenommen werden soll. Während des Betriebs des betreffenden Fahrzeugs 101 werden die Trajektorienkosten verwendet, um die endgültige Trajektorie des betreffenden Fahrzeugs 101 zu erzeugen. Es ist wünschenswert, eine endgültige Trajektorie mit möglichst geringen Trajektorienkosten zu erzeugen. Bei Block 606 aktualisiert die Raumbeobachtungssteuerung 117 die Trajektorienkosten basierend auf der Geschwindigkeit der durch die Trajektorie vorgegebenen und der in Block 604 bestimmten Konfidenz L. Die Trajektorienkosten werden nur für diejenigen Trajektorien aktualisiert, die sich in der Nähe des Fahrzeugs 400 befinden. Insbesondere erhöht die Raumbeobachtungssteuerung 117 die Trajektorienkosten in Abhängigkeit von der durch die Trajektorie vorgegebenen Geschwindigkeit, worin der Anstieg der Trajektorienkosten proportional zu der durch die Trajektorie vorgegebenen Geschwindigkeit ist. Je höher die Geschwindigkeit ist, desto höher sind die Trajektorienkosten. Darüber hinaus erhöht die Raumbeobachtungssteuerung 117 die Trajektorienkosten in Abhängigkeit von der Konfidenz L, wobei die Erhöhung der Trajektorienkosten proportional zur Konfidenz L ist. Je höher also die Konfidenz L, desto höher sind die Trajektorienkosten. Zusätzlich oder ergänzend aktualisiert die Raumbeobachtungssteuerung 117 bei Block 606 auch die maximal zulässige Geschwindigkeit des betreffenden Fahrzeugs in Abhängigkeit von der Konfidenz L. Die maximal zulässige Geschwindigkeit des betreffenden Fahrzeugs 101 ist umgekehrt proportional zur Konfidenz L. Je höher also die Konfidenz L, desto niedriger wird die maximal zulässige Geschwindigkeit sein. Das Verfahren 600 fährt dann mit Block 608 fort.
Bei Schritt 608 bestimmt die Raumbeobachtungssteuerung 117 die Entfernung von einer möglichen Trajektorie des betreffenden Fahrzeugs 101 zum anderen Fahrzeug 400 (nicht die aktuelle Entfernung vom Fahrzeug 400 zum Trägerfahrzeug), beispielsweise unter Verwendung von Daten, die von Lidar-Vorrichtungen gesammelt wurden. Insbesondere erhöht die Raumbeobachtungssteuerung 117 die Trajektorienkosten in Abhängigkeit von der Entfernung vom betreffenden Fahrzeug 101 zu dem anderen Fahrzeug 400, dessen Leuchten 402 EIN sind. Die Trajektorien, die in der Nähe des Fahrzeugs 400 verlaufen, erhöhen ihre Kosten. Insbesondere ist die Erhöhung der Trajektorienkosten umgekehrt proportional zur Entfernung von der potenziellen Trajektorie des betreffenden Fahrzeugs 101 zu dem anderen Fahrzeug 400, dessen Leuchten 402 EIN sind. Je geringer also der Abstand vom betreffenden Fahrzeug 101 zum anderen Fahrzeug 400, desto höher sind die Trajektorienkosten. Zusätzlich oder ergänzend, auch bei Block 608, aktualisiert die Raumbeobachtungssteuerung 117 den minimal zulässigen Abstand vom betreffenden Fahrzeug 101 zum anderen Fahrzeug 400 (dessen Leuchten 402 EIN sind) in Abhängigkeit von der Konfidenz L. Der minimal zulässige Abstand vom betreffenden Fahrzeug 101 zum anderen Fahrzeug 400 (dessen Leuchten 402 eingeschaltet sind) ist direkt proportional zur Konfidenz L. Je höher also die Konfidenz L, desto höher ist der minimal zulässige Abstand vom betreffenden Fahrzeug 101 zum anderen Fahrzeug 400. Das Verfahren 600 fährt dann mit Block 610 fort.
Bei Block 610 bestimmt die Raumbeobachtungssteuerung 117 eine Endtrajektorie des betreffenden Fahrzeugs 101 basierend auf den Trajektorienkosten, der maximal zulässigen Geschwindigkeit des betreffenden Fahrzeugs 101 und dem minimal zulässigen Abstand zwischen dem betreffenden Fahrzeug 101 und dem anderen Fahrzeug 400 (dessen Leuchten 402 EIN sind). Dann steuert die Raumbeobachtungssteuerung 117 (oder eine andere geeignete Steuerung) bei Block 610 die Bewegung des betreffenden Fahrzeugs 101 basierend auf der Endtrajektorie. Damit folgt das betreffende Fahrzeug 101 der endgültigen Trajektorie FT (dargestellt in 8).
Wie beispielsweise in 8 dargestellt, erkennt die Raumbeobachtungssteuerung 117, dass die Leuchten 402 eingeschaltet sind. Weiterhin bestimmt die Raumbeobachtungssteuerung 117 unter Verwendung des Verfahrens 600 eine Endtrajektorie FT, in der ein minimal zulässiger Abstand MD vom betreffenden Fahrzeug 101 und dem anderen Fahrzeug 400 eingehalten wird.
Unter Bezugnahme auf 9 kann ein Verfahren 700 in einem autonomen Fahrzeug (z. B. dem betreffenden Fahrzeug 101) verwendet werden und erleichtert die Suche nach einem Parkplatz, wenn man sich einem oder mehreren Fahrzeugen (z.B. dem anderen Fahrzeug 400) mit eingeschalteten Leuchten 402 nähert. Das Verfahren 700 beginnt bei Block 704. Während des Fahrzeugbetriebs erkennt die Raumbeobachtungssteuerung 117 bei Block 704, den Zustand der Leuchten 402 (z. B. Rück- und/oder Bremsleuchten) anderer Fahrzeuge 400 im Sinne der Konfidenz L (z. B. eines geparkten Fahrzeugs) unter Verwendung der Kamera 123 oder eines anderen geeigneten Vision-Sensors. Dazu nimmt die Kamera 123 ein Bild des anderen Fahrzeugs 400 auf. Ebenso bestimmt die Raumbeobachtungssteuerung 117 bei Block 704 unter Verwendung der von der Kamera 123 gesammelten Daten (z. B. der Bilder), ob die Leuchten 400 des anderen Fahrzeugs 400 im Sinne der Konfidenz L EIN oder AUS sind.
Bei Block 704 führt die Raumbeobachtungssteuerung 117 als Reaktion auf das Bestimmen des Zustands der Fahrzeugleuchten 402 mindestens eines der anderen Fahrzeuge 400 für jedes Fahrzeug 400 mit den Leuchten 402, die eingeschaltet sind, einen Algorithmus zum Bestimmen (z. B. Berechnen) und Überwachen der Konfidenz L in Bezug auf das Bestimmen des Zustands der Fahrzeugleuchten 402 des anderen Fahrzeugs 400 aus, die wie vorstehend mit Bezug auf den Block 304 als eingeschaltet erläutert wurden. Wie vorstehend erläutert, wird „das Konfidenzniveau, dass die Leuchten 402 von jedem der anderen Fahrzeuge 400 eingeschaltet sind“ hierin als Konfidenz L bezeichnet und ist ein Hinweis, vorzugsweise in Form eines Zahlenwerts, der eine Messgröße für Sicherheit oder Unsicherheit vermittelt, dass die Leuchten 402 von jedem der anderen Fahrzeugs 400 aufgrund der von der Kamera 123 erfassten Informationen (z. B. Bilder) eingeschaltet sind. Das Konfidenzniveau kann ein nummerischer Wert sein, der über einen Bereich zwischen 0 % und 100 % stufenlos ist. So kann beispielsweise das Konfidenzniveau basierend auf einer statistischen Wahrscheinlichkeit mit einem geeigneten maschinellen Lernverfahren bestimmt werden. So kann beispielsweise ein neuronales Netzwerk trainiert werden, um die Leuchten als EIN und AUS zu klassifizieren. In diesem Fall kann die Ausgabe des Netzes einfach zwei Zahlen zwischen -1 und 1 sein, welche die Konfidenzwerte L repräsentieren (für die Fälle, in denen ‚alle Leuchten‘ EIN sind). Konkret führt ein Beispiel für ein einfaches neuronales Netzwerk die folgenden Berechnungen durch: $L = tanh (A_1x + B_1)$
wobei x einen Vektor darstellt, der durch Verkettung von Rot-Grün-Blau (RGB)-Werten für alle Pixel in dem von der Kamera 123 aufgenommenen Bild erhalten wird; und
A_1 und B_1 sind Matrizen und Vektoren mit geeigneten Dimensionen und ihren Werten, die durch das Training des neuronalen Netzes ermittelt wurden.
Nach dem Bestimmen (z. B. Berechnen) der Konfidenz L fährt das Verfahren 700 mit Block 706 fort.
Bei Block 706 führt die Raumbeobachtungssteuerung 117 als Reaktion auf das Bestimmen des Zustands der Fahrzeugleuchten 402 der anderen Fahrzeuge 400 für jedes Fahrzeug 400 mit den Leuchten 402, die eingeschaltet sind, einen Algorithmus zum Bestimmen (z. B. Berechnen) und Überwachen der Konfidenz L in Bezug auf das Bestimmen des Zustands der Rückfahrscheinwerfer (z. B. die Leuchten 402) des anderen Fahrzeugs 400 aus, die wie vorstehend mit Bezug auf den Block 304 als eingeschaltet erläutert wurden. Wie vorstehend erläutert, wird „das Konfidenzniveau, dass die Rückfahrscheinwerfer (z. B. die Leuchten 402) von mindestens einem der anderen Fahrzeuge 400 eingeschaltet sind“ hierin als Konfidenz R bezeichnet und ist ein Hinweis, vorzugsweise in Form eines Zahlenwerts, der eine Messgröße für Sicherheit oder Unsicherheit vermittelt, dass die Rückfahrscheinwerfer (z. B. die Leuchten 402) des anderen Fahrzeugs 400 aufgrund der von der Kamera 123 erfassten Informationen (z. B. Bilder) eingeschaltet sind. Das Konfidenzniveau R kann ein nummerischer Wert sein, der über einen Bereich zwischen -1 und 1 stufenlos ist. So kann beispielsweise das Konfidenzniveau R basierend auf einer statistischen Wahrscheinlichkeit mit einem geeigneten maschinellen Lernverfahren bestimmt werden. So kann beispielsweise ein neuronales Netzwerk trainiert werden, um die Leuchten als EIN und AUS zu klassifizieren. In diesem Fall kann die Ausgabe des Netzes einfach zwei Zahlen zwischen -1 und 1 sein, welche die Konfidenzwerte R repräsentieren (für die Fälle, in denen ’alle Leuchten‘ EIN sind). Konkret führt ein Beispiel für ein einfaches neuronales Netzwerk die folgenden Berechnungen durch: $R = tanh (A_2x + B_2)$
wobei x einen Vektor darstellt, der durch Verkettung von Rot-Grün-Blau (RGB)-Werten für alle Pixel in dem von der Kamera 123 aufgenommenen Bild erhalten wird; und
A_2 und B_2 sind Matrizen und Vektoren mit geeigneten Dimensionen und ihren Werten, die durch das Training des neuronalen Netzes ermittelt wurden.
Nach dem Bestimmen (z. B. Berechnen) der Konfidenz R fährt das Verfahren 700 mit Block 708 fort.
Bei Block 708 ermittelt (misst) die Raumbeobachtungssteuerung 117 mit ihrer internen Uhr die bisher aufgewendete Zeit T bis zum Verlassen des Parkplatzes. In Anlehnung daran misst die Raumbeobachtungssteuerung 117 bei Block 708 die Zeit T (z. B. in Sekunden), die verstrichen ist, nachdem sie den Zustand der Leuchten 402 (z. B. Rück- und/oder Bremsleuchten) anderer Fahrzeuge 400, wie beispielsweise eines anderen Fahrzeugs 400 (z. B. eines geparkten Fahrzeugs) mit der Kamera 123 bei Block 704 erfasst hat. Das Verfahren 700 fährt dann mit Block 710 fort.
Bei Block 710 aktualisiert die Raumbeobachtungssteuerung 117 die Kosten für den Aufenthalt an einer Position, von der aus der Parkplatz (nach dem Verlassen) in Abhängigkeit von dem in Block 704 bestimmten Konfidenzniveau L, dem in Block 706 bestimmten Konfidenzniveau R und der in Block 710 bestimmten Zeit T genommen werden kann. Als nicht einschränkendes Beispiel kann die Raumbeobachtungssteuerung 117 bei Block 710 die folgende Gleichung verwenden: $f = α T - β L - γ R$
wobei f die Kosten für den Aufenthalt an einer Position sind, von der aus der Parkplatz bezogen werden kann;
α, β, γ gewichten vorgegebene Konstanten, die basierend auf der für jede Variable gewünschten Gewichtung angepasst werden können;
T ist die bisher verbrachte Zeit bis zum Verlassen des Parkplatzes;
L ist ein Maß für die Sicherheit, dass alle Fahrzeugleuchten 402 des anderen Fahrzeugs 400 eingeschaltet sind; und
R ist ein Maß für die Sicherheit, dass die Rückfahrleuchten (z. B. die Leuchten 402) des anderen Fahrzeugs 400 eingeschaltet sind.
Ebenso steuert die Raumbeobachtungssteuerung 117 bei Block 710 die Bewegung des betreffenden Fahrzeugs 101 basierend auf den Kosten für den Aufenthalt an einer Position, von der aus der Parkplatz bezogen werden kann. Wenn beispielsweise, wie in 10 dargestellt, keine Fahrzeuge (z. B. andere Fahrzeuge 400) den Parkplatz für einen längeren Zeitraum (z. B. Zeit T) verlassen, dann sind die Kosten f aufgrund einer langen Zeit T relativ hoch. Als Reaktion auf die hohen Kosten f weist die Raumbeobachtungssteuerung 117 das betreffende Fahrzeug 101 an, den Parkplatz zu verlassen und nach einem anderen Parkplatz zu suchen. Ebenso, wenn mehrere Fahrzeuge mit den Leuchten 402, die eingeschaltet sind, erkannt werden, dann bewirkt die Senkung der Kosten f, dass das betreffende Fahrzeug 101 an einem Punkt S (10) wartet, von dem aus ein beliebiger Parkplatz genutzt werden kann, sobald das andere Fahrzeug 400 den Parkplatz verlässt.
Unter Bezugnahme auf die 11 und 12 wird ein Verfahren zum Bestimmen des Zustands der Leuchten 402 des anderen Fahrzeugs 400 beschrieben. Das Verfahren 800 verwendet ein Training des neuronalen Netzwerks mit handgekennzeichneten Daten. In einer Ausführungsform beginnt das Verfahren 800 bei Block 802, was bedeutet, dass das andere Fahrzeug 400 (und das andere Fahrzeug im Sichtfeld der Kamera 123) in einem Begrenzungsrahmen BB beschränkt wird. Der Begrenzungsrahmen ist ein virtueller Rahmen. Dementsprechend begrenzt die Raumbeobachtungssteuerung 117 das andere Fahrzeug 400 virtuell innerhalb des von der Kamera 123 aufgenommenen Bildes. Das Verfahren 800 fährt dann mit Block 804 fort.
Bei Block 804 verwendet die Raumbeobachtungssteuerung 117 die Ausrichtung des anderen Fahrzeugs 400, um interessierende Bereiche als mögliche Pixelpositionen für die Leuchten 402 des anderen Fahrzeugs 400 zu identifizieren. Das Verfahren 800 fährt dann mit Block 806 fort. Bei Block 806 sucht die Raumbeobachtungssteuerung 117 in den interessierenden Bereichen nach Pixelfarbbereichen, die üblicherweise in den Leuchten 402 des anderen Fahrzeugs 400 vorzufinden sind. Die Pixelfarbbereiche, die üblicherweise in den Leuchten 402 des anderen Fahrzeugs 400 zu finden sind, werden im Folgenden als die vorgegebenen Pixelfarbbereiche bezeichnet, da diese Farbpixelbereiche zuvor durch statistische Analysen bestimmt wurden. Somit sucht die Raumbeobachtungssteuerung 117 bei Block 804 nach den vorgegebenen Pixelfarbbereichen in den interessierenden Bereichen. Das Verfahren 800 fährt dann mit Block 808 fort.
Bei Block 808 sucht die Raumbeobachtungssteuerung 117 nach einem Helligkeitsunterschied zwischen den interessierenden Bereichen und einem verbleibenden Bereich innerhalb des Begrenzungsrahmens BB. Insbesondere bestimmt die Raumbeobachtungssteuerung 117, ob der Helligkeitsunterschied zwischen den interessierenden Bereichen und dem verbleibenden Bereich innerhalb des Begrenzungsrahmens größer als ein vorgegebener Helligkeitsschwellenwert ist. Das Verfahren 800 fährt dann mit Block 810 fort.
Bei Block 810 bestimmt die Raumbeobachtungssteuerung 117, dass die Leuchten 402 des anderen Fahrzeugs 400 nur dann eingeschaltet sind, wenn: (a) die vorgegebenen Farbpixelbereiche in den interessierenden Bereichen gefunden werden und (b) der Helligkeitsunterschied zwischen den interessierenden Bereichen und dem verbleibenden Bereich innerhalb des Begrenzungsrahmens BB größer als ein vorgegebener Helligkeitsschwellenwert ist. So bestimmt beispielsweise die Raumbeobachtungssteuerung 117, dass die Leuchten 402 des Fahrzeugs 400 nur dann eingeschaltet sind, wenn die Helligkeit in den interessierenden Bereichen relativ höher ist als in anderen Bereichen innerhalb des Begrenzungsrahmens BB und die Pixel in den interessierenden Bereichen eine rötlich-weiße Farbe aufweisen.
Unter Bezugnahme auf 13 ist ein Beispiel für das betreffende Fahrzeug 101 zu sehen, welches das Verfahren 300 (vorstehend in Bezug auf 2 beschrieben) ausführt, um dem Bediener des betreffenden Fahrzeugs 101 Warnhinweise unter Verwendung von Informationen aus den Leuchten 402 anderer Fahrzeuge 400 bereitzustellen. In diesem Beispiel erfasst die Kamera 123 ein Bild I eines anderen Fahrzeugs 400 mit einer Blinkleuchte 402, die eingeschaltet ist. Als Reaktion darauf aktiviert die Raumbeobachtungssteuerung 117 den haptischen Sitz 130, um dem Fahrzeugführer eine haptische Rückmeldung V bereitzustellen.
Unter Bezugnahme auf 14 wird ein Beispiel zum Ausführen des Verfahrens 600 zum Steuern eines autonomen Fahrzeugs beschrieben, wie vorstehend mit Bezug auf 7 beschrieben. In diesem Beispiel erkennt die Raumbeobachtungssteuerung 117 basierend auf dem Bild I, dass die Blinkleuchte 402 des anderen Fahrzeugs 400 eingeschaltet ist. Als Reaktion darauf erhöht die Raumbeobachtungssteuerung 117 die Trajektorienkosten für die Trajektorie, die eine Überfahrt in der Nähe des anderen Fahrzeugs (d. h. der kostenintensiven Trajektorie HT) beinhaltet. Dementsprechend weist die Raumbeobachtungssteuerung 117 das betreffende Fahrzeug 101 an, eine andere Trajektorie (d. h. eine kostengünstige Trajektorie LT) zu wählen, was zu einem Spurwechsel weg vom anderen Fahrzeug 400 führen kann.
Unter Bezugnahme auf 15 wird ein Beispiel zum Ausführen des Verfahrens 600 zum Steuern eines autonomen Fahrzeugs beschrieben, wie vorstehend mit Bezug auf 7 beschrieben. In diesem Beispiel erkennt die Raumbeobachtungssteuerung 117 basierend auf dem Bild I, dass die Notlichtanlage 402 eines Polizeiwagens (d. h. des anderen Fahrzeugs 400) eingeschaltet ist. Als Reaktion darauf erhöht die Raumbeobachtungssteuerung 117 die Trajektorienkosten für die Trajektorie, die eine Überfahrt in der Nähe des anderen Fahrzeugs (d. h. der kostenintensiven Trajektorie HT) beinhaltet. Dementsprechend weist die Raumbeobachtungssteuerung 117 das betreffende Fahrzeug 101 an, eine andere Trajektorie (d. h. eine kostengünstige Trajektorie LT) zu wählen, was zu einem Spurwechsel weg vom Polizeiwagen (d. h. dem anderen Fahrzeug 400) führen kann. 15 zeigt auch ein Beispiel für das betreffende Fahrzeug 101, welches das Verfahren 300 (vorstehend in Bezug auf 2 beschrieben) ausführt, um dem Bediener eines manuellen Fahrzeugs (d. h. des betreffenden Fahrzeugs 101) Warnhinweise bereitzustellen. In diesem Beispiel nimmt die Kamera 123 ein Bild 1 eines Polizeiwagens (d. h. des anderen Fahrzeugs 400) mit der eingeschalteten Notsignalanlage (d. h. der Leuchten 402) auf. Als Reaktion darauf aktiviert die Raumbeobachtungssteuerung 117 den haptischen Sitz 130, um dem Fahrzeugführer eine haptische Rückmeldung V bereitzustellen.
Unter Bezugnahme auf 16 wird ein Beispiel zum Ausführen des Verfahrens 700 zum Steuern eines autonomen Fahrzeugs zur Suche nach einem Parkplatz beschrieben, wie vorstehend in Bezug auf 9 beschrieben. Wenn in diesem Beispiel die Leuchten der anderen Fahrzeuge 400 in Punkt 1 und Punkt 2 eingeschaltet sind, werden die Trajektorienkosten für das Anhalten im Bereich A, Bereich B und Bereich C entsprechend angepasst. Insbesondere werden die Trajektorienkosten für das Anhalten in Bereich A und Bereich C moderat gesenkt, um die Überwachung und möglicherweise die Belegung von Punkt 1 und Punkt 2 nach dem Verlassen zu ermöglichen. Die Trajektorienkosten für das Anhalten im Bereich B werden in größerem Umfang gesenkt, da sie es ermöglichen, jeden der Punkte 1 und 2 nach dem Verlassen zu überwachen und möglicherweise zu belegen. Folglich wird das autonome Fahrzeug (d. h. das betreffende Fahrzeug 101) es vorziehen, im Bereich B zu warten, bis einer der Punkte 1 und 2 verlassen wird.
Die in der vorliegenden Offenbarung offenbarten Verfahren werden als Flussdiagramme dargestellt, die ein exemplarisches Verfahren veranschaulichen. Das kann durch einen Computeralgorithmus, einen maschinenlesbaren Code, ein nicht-flüchtiges computerlesbares Medium oder Softwareanweisungen, die in eine geeignete programmierbare logische Vorrichtung(en) des Fahrzeugs programmiert sind, angewendet werden, wie etwa einer oder mehrerer Steuerung(en), ein Infotainmentmodul, den Fernserver 220, der in Verbindung mit dem Fahrzeug-Computersystem steht, einem Mobilgerät, wie etwa dem handgehaltenen Mobiltelefon oder Tablet (d. h. die tragbare Vorrichtung 19A), die in Verbindung mit dem Fahrzeug-Computersystem und/ oder Server stehen, einer anderen Steuerung im Fahrzeug oder einer Kombination derselben. Obwohl die verschiedenen im Flussdiagramm dargestellten Schritte in zeitlicher Folge erfolgen können, können mindestens einige der Schritte in einer unterschiedlichen Reihenfolge und einige Schritte gleichzeitig oder gar nicht erfolgen.
Während die ausführliche Beschreibung und die Zeichnungen oder Figuren die vorliegenden Lehren unterstützen und beschreiben, wird der Umfang der vorliegenden Lehren jedoch einzig und allein durch die Ansprüche definiert. Während einige der besten Ausführungsformen und anderen Arten zur Ausführung der vorliegenden Lehren ausführlich beschrieben wurden, sind verschiedene alternative Konstruktionen und Ausführungsformen zur Umsetzung der vorliegenden Lehren, die in den hinzugefügten Ansprüchen definiert sind, möglich. So können beispielsweise die in dieser Offenbarung beschriebenen Verfahren miteinander kombiniert werden.

Claims

Verfahren zum Steuern eines fahrenden Fahrzeugs, umfassend: Bestimmen eines Konfidenzniveaus über eine Steuerung, dass eine Leuchte eines anderen Fahrzeugs eingeschaltet ist, basierend auf Bildern, die von einer Kamera des fahrenden Fahrzeugs aufgenommen wurden; und Steuern eines Alarms des fahrenden Fahrzeugs über die Steuerung basierend auf dem Konfidenzniveau, dass die Leuchte des anderen Fahrzeugs eingeschaltet ist.
Verfahren nach Anspruch 1, worin das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung Folgendes beinhaltet: Bestimmen über die Steuerung, dass das Konfidenzniveau größer als ein erster vorgegebener Schwellenwert ist; und Aktivieren des Alarms des fahrenden Fahrzeugs über die Steuerung als Reaktion auf das Bestimmen, dass das Konfidenzniveau größer als der erste vorgegebene Schwellenwert ist.
Verfahren nach Anspruch 2, worin das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung Folgendes beinhaltet: Bestimmen über die Steuerung, dass das Konfidenzniveau kleiner als ein zweiter vorgegebener Schwellenwert ist; und Deaktivieren des Alarms des fahrenden Fahrzeugs über die Steuerung als Reaktion auf das Bestimmen, dass das Konfidenzniveau unter dem zweiten vorgegebenen Schwellenwert liegt; und worin der erste vorgegebene Schwellenwert größer als der zweite vorgegebene Schwellenwert ist.
Verfahren nach Anspruch 3, worin das Steuern des Alarms des fahrenden Fahrzeugs über die Steuerung Folgendes beinhaltet: Bestimmen über die Steuerung, dass das Konfidenzniveau kleiner als der zweite vorgegebene Schwellenwert ist; und Aufrechterhalten des Alarms des fahrenden Fahrzeugs über die Steuerung, das als Reaktion auf das Bestimmen, dass das Konfidenzniveau unter dem ersten vorgegebenen Schwellenwert liegt, deaktiviert wurde.
Verfahren nach Anspruch 1, worin der Alarm eine haptische Rückmeldung beinhaltet, die von einem haptischen Sitz des fahrenden Fahrzeugs ausgeht.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen über die Steuerung, dass das Konfidenzniveau größer als ein erster vorgegebener Schwellenwert ist; und Umverteilung von Rechenressourcen der Steuerung, um eine Zuweisung der Rechenressourcen der Steuerung zu erhöhen, die zur visuellen Analyse des anderen Fahrzeugs als Reaktion auf das Bestimmen, dass das Konfidenzniveau größer als der erste vorgegebene Schwellenwert ist, verwendet wird.
Verfahren nach Anspruch 6, ferner umfassend: Bestimmen über die Steuerung, dass das Konfidenzniveau kleiner als ein zweiter vorgegebener Schwellenwert ist; und Umverteilung von Rechenressourcen der Steuerung, um eine Zuweisung der Rechenressourcen der Steuerung zu verringern, die zur visuellen Analyse des anderen Fahrzeugs als Reaktion auf das Bestimmen, dass das Konfidenzniveau unter dem zweiten vorgegebenen Schwellenwert liegt, verwendet wird.
Verfahren nach Anspruch 1, ferner umfassend das Aktualisieren, über die Steuerung, von Trajektorienkosten basierend auf einer Geschwindigkeit des fahrenden Fahrzeugs und dem Konfidenzniveau.
Verfahren nach Anspruch 8, worin das Aktualisieren der Trajektorienkosten das Erhöhen der Trajektorienkosten in Abhängigkeit vom Konfidenzniveau beinhaltet, worin ein Anstieg der Trajektorienkosten proportional zum Konfidenzniveau ist.
Verfahren nach Anspruch 9, worin das Aktualisieren der Trajektorienkosten das Erhöhen der Trajektorienkosten in Abhängigkeit von einer Geschwindigkeit des fahrenden Fahrzeugs beinhaltet, worin ein Anstieg der Trajektorienkosten proportional zur Geschwindigkeit des fahrenden Fahrzeugs ist.