DE102022126305A1

DE102022126305A1 - Systeme und Verfahren zum Erkennen von Blinkerlichtsignalen

Info

Publication number: DE102022126305A1
Application number: DE102022126305.3A
Authority: DE
Inventors: Daniel R. Kraft; Taylor A. Jakubczak; Amanpal S. Grewal; Darren Khan; Ben Llewellyn
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-03-01
Filing date: 2022-10-11
Publication date: 2023-09-07
Also published as: US20230278553A1; US11951981B2; CN116729425A

Abstract

Systeme und Verfahren zum Erkennen und Validieren eines Blinkers in einem Fahrzeug umfassen das Empfangen optischer Wahrnehmungsdaten von einem optischen Wahrnehmungssystem. Die optischen Wahrnehmungsdaten enthalten Daten, die ein erkanntes Blinkerlicht eines anderen Fahrzeugs beschreiben, das von dem optischen Wahrnehmungssystem wahrgenommen wird, einschließlich eines Status des erkannten Blinkerlichts. Ein Blinkersignal wird in Form einer zeitlich veränderlichen Wellenform auf der Grundlage des Status des erkannten Blinkerlichts erzeugt. Das Tastverhältnis und die Frequenz des Blinkersignals werden ermittelt. Durch Vergleichen des Tastverhältnisses und der Frequenz mit vorgegebenen Grenzwerten wird beurteilt, ob das erkannte Blinkerlicht eine gültige Erkennung ist. Wenn das erkannte Blinkersignal als gültig eingestuft wird, wird eine automatisierte Funktion des Fahrzeugs auf der Grundlage der Daten, die das erkannte Blinkerlicht beschreiben, gesteuert.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf Fahrzeuge, Systeme und Verfahren zur Erfassung von Blinkern.
Einführung
Autonome und teilautonome Fahrzeuge sind in der Lage, ihre Umgebung zu erfassen und auf der Grundlage der erfassten Umgebung zu navigieren. Solche Fahrzeuge erfassen ihre Umgebung mit Hilfe von Erfassungsgeräten wie Radar, Lidar, Bildsensoren und dergleichen. Das Fahrzeugsystem nutzt darüber hinaus Informationen von globalen Positionierungssystemen (GPS), Navigationssystemen, Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Technologie und/oder Drive-by-Wire-Systemen, um das Fahrzeug zu navigieren.
Die Fahrzeugautomatisierung wurde in numerische Stufen eingeteilt, die von Null, d.h. keine Automatisierung mit vollständiger menschlicher Kontrolle, bis Fünf, d.h. vollständige Automatisierung ohne menschliche Kontrolle, reichen. Verschiedene automatisierte Fahrerassistenzsysteme wie Tempomat, adaptiver Tempomat, Spurhaltekontrolle und Einparkhilfe entsprechen niedrigeren Automatisierungsgraden, während echte „fahrerlose“ Fahrzeuge höheren Automatisierungsgraden entsprechen.
Menschliche Fahrer können ihre Absicht, ein Fahrmanöver durchzuführen, mit blinkenden Blinkern mitteilen, um eine Vorwarnung zu geben. Beispiele für Situationen, in denen der Fahrer den Blinker setzt, sind ein geparktes Fahrzeug, das ausfahren will, ein Fahrzeug, das die Spur wechseln will, und ein Fahrzeug, das in eine Seitenstraße einbiegen will. Automatisierte Fahrsysteme können von der Erkennung und Auswertung von Blinkern profitieren, um die Fahrzeugbewegung entsprechend der angezeigten Fahrerabsicht zu steuern. Ein optisches Wahrnehmungssystem kann ein Abbiegelicht aus verschiedenen Gründen falsch erkennen, z.B. aufgrund von schimmerndem Sonnenlicht, Umgebungsfaktoren oder externen künstlichen Lichtern und variablen Schatten über einem Zielfahrzeug.
Dementsprechend ist es wünschenswert, Systeme und Verfahren zur Verfügung zu stellen, die optische Wahrnehmungssysteme bei der Verringerung der Fälle falscher Blinkererkennungen unterstützen. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund ersichtlich.
Beschreibung der Erfindung
In einem Aspekt wird ein Verfahren zum Erkennen und Validieren eines Blinkers in einem Fahrzeug bereitgestellt. Das Verfahren umfasst das Empfangen von optischen Wahrnehmungsdaten von einem optischen Wahrnehmungssystem des Fahrzeugs über einen Prozessor, wobei die optischen Wahrnehmungsdaten Daten enthalten, die ein erkanntes Blinkerlicht eines anderen Fahrzeugs beschreiben, das von dem optischen Wahrnehmungssystem wahrgenommen wird, einschließlich eines Status des erkannten Blinkerlichts. Das Verfahren umfasst das Erzeugen eines Blinkersignals in Form einer zeitlich veränderlichen Wellenform über den Prozessor, basierend auf dem Status des erkannten Blinkerlichts. Das Verfahren umfasst das Ermitteln eines Tastverhältnisses und einer Frequenz des Blinkersignals durch den Prozessor. Das Verfahren umfasst das Beurteilen, durch den Prozessor, ob das erkannte Blinkerlicht eine gültige Erkennung ist, indem das Tastverhältnis und die Frequenz mit vorgegebenen Grenzen verglichen werden. Wenn das erkannte Blinkerlicht als gültig eingestuft wird, wird über den Prozessor ein automatisiertes Merkmal des Fahrzeugs auf der Grundlage der Daten, die das erkannte Blinkerlicht beschreiben, gesteuert.
In einem anderen Aspekt wird ein Fahrzeug bereitgestellt. Das Fahrzeug umfasst ein optisches Wahrnehmungssystem und einen Prozessor, der mit dem optischen Wahrnehmungssystem in Verbindung steht. Der Prozessor ist konfiguriert, Programmanweisungen auszuführen. Die Programmanweisungen sind konfiguriert, den Prozessor zu veranlassen, das Folgende auszuführen: Empfangen von optischen Wahrnehmungsdaten von dem optischen Wahrnehmungssystem des Fahrzeugs, wobei die optischen Wahrnehmungsdaten Daten enthalten, die das erkannte Blinkerlicht eines anderen Fahrzeugs beschreiben, das von dem optischen Wahrnehmungssystem wahrgenommen wird, einschließlich eines Status des erfassten Blinkerlichts; Erzeugen eines Blinkersignals in Form einer zeitlich veränderlichen Wellenform auf der Grundlage des Status des erkannten Blinkerlichts; Ermitteln eines Tastverhältnisses und einer Frequenz des Blinkersignals; Beurteilen, ob das erkannte Blinkerlicht eine gültige Erkennung ist, indem das Tastverhältnis und die Frequenz mit vorbestimmten Grenzen verglichen werden; und wenn das erkannte Blinkerlicht als gültige Erkennung beurteilt wird, dann Steuern eines automatisierten Merkmals des Fahrzeugs auf der Grundlage der Daten, die das erkannte Blinkerlicht beschreiben.
Wenn das erkannte Blinkerlicht als nicht gültig eingestuft wird, wird die automatisierte Merkmal des Fahrzeugs ohne Verwendung der Daten gesteuert, die das erkannte Blinkerlicht beschreiben.
In einigen Ausführungsformen umfasst das Beurteilen ferner das Ableiten einer Metrik für die zeitliche Konsistenz des Tastverhältnisses und der Frequenz und das Vergleichen der Metrik für die zeitliche Konsistenz mit einem erwarteten Grenzwert.
In Ausführungsformen reichen die vorgegebenen Grenzen von 1 bis 2 Hertz für die Frequenz und 30 % bis 75 % Einschaltdauer für das Tastverhältnis, obwohl auch andere Bereiche von Grenzen in Betracht kommen.
In einigen Ausführungsformen umfasst das optische Wahrnehmungssystem eine Maschine mit künstlicher Intelligenz, die konfiguriert ist, das Blinkerlicht auf der Grundlage von Bilddaten von einer oder mehreren Kameras des Fahrzeugs zu erkennen.
In einigen Ausführungsformen umfasst das automatisierte Merkmal des Fahrzeugs Bremsen, Lenken, Antrieb, Alarm- und Warnausgänge.
In Ausführungsformen ist die zeitlich veränderliche Wellenform eine Stufenfunktion.
In einigen Ausführungsformen wird das Tastverhältnis über ein erstes Zeitfenster und die Frequenz über ein zweites Zeitfenster gemessen.
In Ausführungsformen ist die Länge des ersten Zeitfensters gleich der Länge des zweiten Zeitfensters.
In Ausführungsformen umfassen die Daten, die das erkannte Blinkerlicht eines anderen Fahrzeugs beschreiben, den Standort.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:

1 ein funktionales Blockdiagramm ist, das ein autonomes oder teilautonomes Fahrzeugsystem zeigt, das ein Validierungssystem für ein erkanntes Blinkerlicht verwendet, in Übereinstimmung mit verschiedenen Ausführungsformen;
2 ein Datenflussdiagramm ist, das ein autonomes Fahrsystem veranschaulicht, das ein Validierungssystem für ein erkanntes Blinkerlicht enthält, in Übereinstimmung mit verschiedenen Ausführungsformen;
3 ein Systemdiagramm ist, das Funktionsblöcke zur Validierung eines erkannten Blinkerlichts gemäß verschiedenen Ausführungsformen zeigt;
4 ein Flussdiagramm ist, das die Verfahrensschritte eines algorithmischen Prozesses zur Erkennung und Validierung eines Blinkerlichts in Übereinstimmung mit verschiedenen Ausführungsformen darstellt.

Detaillierte Beschreibung
Die folgende detaillierte Beschreibung ist lediglich beispielhafter Natur und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine ausdrückliche oder implizite Theorie gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargelegt ist. Wie hierin verwendet, bezieht sich der Begriff Modul auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltungen (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hierin in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Solche Blockkomponenten können durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten realisiert werden, die so konfiguriert sind, dass sie die angegebenen Funktionen ausführen. Beispielsweise kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder Ähnliches, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus wird der Fachmann erkennen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen verwendet werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken im Zusammenhang mit Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und anderen funktionellen Aspekten der Systeme (und der einzelnen Betriebskomponenten der Systeme) hierin nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Abbildungen dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenlegung vorhanden sein können.
Mit Bezug auf 1 ist ein Fahrzeugsystem, das allgemein mit 100 dargestellt ist, mit einem Fahrzeug 10 in Übereinstimmung mit verschiedenen Ausführungsformen verbunden. Im Allgemeinen umfasst das Fahrzeugsystem 100 ein Validierungssystem 200, das ein von einem optischen Wahrnehmungssystem ausgegebenes Blinkersignal empfängt. Das Blinkersignal repräsentiert einen detektierten Zustand eines Blinkerlichts. Das Validierungssystem charakterisiert das Blinkerlicht-Erkennungssignal in Bezug auf Frequenz und Tastverhältnis und wendet Filterkriterien an, die prüfen, ob die Frequenz und das Tastverhältnis innerhalb der erwarteten Grenzen liegen. Wenn die Prüfung ergibt, dass die Frequenz und das Tastverhältnis innerhalb der Grenzen liegen, wird das Blinkerlicht-Erkennungssignal als gültig betrachtet. Ist dies nicht der Fall, wird das Blinkerlicht-Erkennungssignal als falsch eingestuft.
Wie in 1 dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können zusammen einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke der Karosserie 14 drehbar mit dem Fahrgestell 12 verbunden.
In einigen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Validierungssystem 200 ist in das autonome Fahrzeug 10 (im Folgenden als autonomes Fahrzeug 10 bezeichnet) integriert. Die vorliegende Beschreibung konzentriert sich auf eine beispielhafte Anwendung in autonomen Fahrzeuganwendungen. Es sollte jedoch verstanden werden, dass das hier beschriebene Validierungssystem 200 auch für den Einsatz in teilautonomen Kraftfahrzeugen vorgesehen ist. Insbesondere kann das Validierungssystem 200 in Verbindung mit Fahrerassistenzsystemen wie adaptiver Geschwindigkeitsregelung, Spurhalteassistenz und Kollisionsvermeidungssystemen eingesetzt werden.
Das autonome Fahrzeug 10 ist zum Beispiel ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der gezeigten Ausführungsform als Pkw dargestellt, aber es sollte anerkannt werden, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sport Utility Vehicles (SUVs), Freizeitfahrzeuge (RVs), Wasserfahrzeuge, Flugzeuge usw., ebenfalls verwendet werden kann. In einer beispielhaften Ausführungsform ist das autonome Fahrzeug 10 ein so genanntes Automatisierungssystem der Stufe vier oder fünf. Ein System der Stufe Vier bedeutet „hohe Automatisierung“, d.h. ein automatisiertes Fahrsystem führt alle Aspekte der dynamischen Fahraufgabe durch, auch wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein System der Stufe 5 bedeutet „Vollautomatisierung“, d.h. ein automatisiertes Fahrsystem führt alle Aspekte der dynamischen Fahraufgabe unter allen Straßen- und Umgebungsbedingungen, die ein menschlicher Fahrer bewältigen kann, vollständig aus.
Wie dargestellt, umfasst das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie z.B. einen Fahrmotor, und/oder ein Brennstoffzellen-Antriebssystem umfassen. Das Getriebesystem 22 ist so konfiguriert, dass es die Leistung des Antriebssystems 20 entsprechend wählbarer Geschwindigkeitsverhältnisse an die Fahrzeugräder 16-18 überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein gestuftes Automatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so konfiguriert, dass es ein Bremsmoment auf die Fahrzeugräder 16-18 ausübt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire-Systeme, ein regeneratives Bremssystem, wie z.B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Obwohl zur Veranschaulichung ein Lenkrad dargestellt ist, mag das Lenksystem 24 in einigen Ausführungsformen, die im Rahmen der vorliegenden Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst eine oder mehrere Erfassungsvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Erfassungsvorrichtungen 40a-40n können Radare, Lidare, globale Positionierungssysteme, optische Kameras 140a-140n, Wärmekameras, Ultraschallsensoren und/oder andere Sensoren umfassen, sind aber nicht darauf beschränkt. Die optischen Kameras 140a-140n sind am Fahrzeug 10 angebracht und dienen zur Aufnahme von Bildern (z.B. einer Bildfolge in Form eines Videos) der Umgebung des Fahrzeugs 10. In der dargestellten Ausführungsform gibt es zwei vordere Kameras 140a, 140b, die so angeordnet sind, dass sie jeweils ein Weitwinkel-Sichtfeld in der Nähe und ein Engwinkel-Sichtfeld in der Ferne erfassen. Es kann eine Kamera oder mehrere Kameras geben. Außerdem sind eine linke und eine rechte Kamera 140c, 140e und eine hintere Kamera 140d dargestellt. Die Anzahl und Position der verschiedenen Kameras 140a-140n ist lediglich beispielhaft, und es sind auch andere Anordnungen denkbar. So kann beispielsweise auch nur eine Kamera vorgesehen sein, wie eine nach vorne gerichtete Kamera oder eine Armaturenbrettkamera. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die eine oder mehrere Fahrzeugfunktionen steuern, wie z.B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, ohne darauf beschränkt zu sein. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale außerdem Innen- und/oder Außenmerkmale des Fahrzeugs umfassen, wie z.B. Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert).
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung bei der automatischen Steuerung des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen können die definierten Karten durch ein entferntes System vordefiniert und von diesem bezogen werden. Beispielsweise können die definierten Karten von dem entfernten System zusammengestellt und an das autonome Fahrzeug 10 (drahtlos und/oder drahtgebunden) übermittelt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie zu erkennen ist, kann die Datenspeichervorrichtung 32 Teil der Steuerung 34, getrennt von der Steuerung 34, oder Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und ein computerlesbare Speichervorrichtung oder Speichermedium 46. Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine Zentralprozessoreinheit (CPU), eine Grafikprozessoreinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die mit der Steuerung 34 verbunden sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsets), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen. Die computerlesbaren Speichervorrichtungen oder Speichermedien 46 können flüchtige und nicht-flüchtige Speicher umfassen, z.B. Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare(n) Speichervorrichtung(en) 46 kann/können unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen wie PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrisch PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen implementiert werden, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 bei der Steuerung des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Die Anweisungen, wenn sie vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 aus und erzeugen Steuersignale für das Aktuatorsystem 30, um die Komponenten des autonomen Fahrzeugs 10 auf der Grundlage der Logik, der Berechnungen, der Verfahren und/oder der Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 umfassen, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Merkmale des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Validierungssystem 200 enthalten und bei Ausführung durch den Prozessor 44 so konfiguriert, dass sie die hierin beschriebenen Verfahren und Systeme zur automatischen Validierung der optischen Wahrnehmung von Blinkerlichter implementieren, indem sie überprüfen, ob die Frequenz und das Tastverhältnis des Signals innerhalb der erwarteten Wertebereiche liegen.
Das Kommunikationssystem 36 ist so konfiguriert, dass es drahtlos Informationen zu und von anderen Entitäten 48, wie z.B. anderen Fahrzeugen („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernten Systemen und/oder persönlichen Geräten, übermittelt. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das so konfiguriert ist, dass es über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung von IEEE 802.11-Standards oder unter Verwendung mobiler Datenkommunikation kommuniziert. Zusätzliche oder alternative Kommunikationsmethoden, wie z.B. ein dedizierter Kurzstrecken-Kommunikationskanal (DSRC), werden jedoch im Rahmen der vorliegenden Offenbarung ebenfalls berücksichtigt. DSRC-Kanäle beziehen sich auf ein- oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf eine Reihe von Protokollen und Standards.
Wie zu erkennen ist, bietet der hierin offenbarte Gegenstand bestimmte erweiterte Merkmale und Funktionen gegenüber dem, was als standard- oder basismäßiges autonomes Fahrzeug 10 angesehen werden kann. Zu diesem Zweck kann ein autonomes Fahrzeug und ein auf einem autonomen Fahrzeug basierendes Ferntransportsystem modifiziert, verbessert oder anderweitig ergänzt werden, um die im Folgenden näher beschriebenen zusätzlichen Funktionen bereitzustellen. Der hier beschriebene Gegenstand bezüglich des Validierungssystems 200 ist nicht nur auf Anwendungen des autonomen Fahrens anwendbar, sondern auch auf andere Fahrsysteme mit einem oder mehreren automatisierten Merkmalen, die eine automatische Blinkererkennung nutzen.
In Übereinstimmung mit einer beispielhaften Anwendung für autonomes Fahren implementiert die Steuerung 34 ein autonomes Fahrsystem (Engl.: Autonomous Driving System, ADS) 70, wie in 2 dargestellt. Das heißt, geeignete Software- und/oder Hardware-Komponenten der Steuerung 34 (z.B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) werden verwendet, um ein autonomes Fahrsystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Fahrsystems 70 nach Funktionen, Modulen oder Systemen organisiert sein. Wie in 3 gezeigt, kann das autonome Fahrsystem 70 zum Beispiel ein Computer-Vision-System 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuerungssystem 80 umfassen. Wie zu erkennen ist, können die Anweisungen in verschiedenen Ausführungsformen in einer beliebigen Anzahl von Systemen organisiert werden (z.B. kombiniert, weiter unterteilt usw.), da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Vision-System 74 Sensordaten und sagt das Vorhandensein, den Ort, die Klassifizierung und/oder den Weg von Objekten und Merkmalen in der Umgebung des Fahrzeugs 10 voraus. In verschiedenen Ausführungsformen kann das Computer-Vision-System 74 Informationen von mehreren Sensoren einbeziehen, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radars und/oder eine beliebige Anzahl von anderen Arten von Sensoren. Das Computer-Vision-System 74 umfasst ein optisches Wahrnehmungssystem 144, das optische Wahrnehmungsdaten 146 liefert (siehe 3), die Daten in Bezug auf Blinkerlichter, wie z.B. Lichttyp (z. B. Bremse, Blinker, Warnblinker) und andere Lichtdeskriptoren (Farbe), semantische Bedeutung (z.B. Ein-/Aus-Zustand), linke oder rechte Position am Zielfahrzeug und Bounding-Box-Position enthalten.
Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z.B. eine lokale Position in Bezug auf eine Karte, eine genaue Position in Bezug auf die Fahrspur einer Straße, die Fahrzeugrichtung, die Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu bestimmen. Das Lenksystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um einen Weg zu bestimmen, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zur Steuerung des Fahrzeugs 10 entsprechend dem festgelegten Weg. Das Positionierungssystem 76 kann bei der Bestimmung des Standorts des Fahrzeugs 10 verschiedene Arten von Rohdaten zur Lokalisierung verarbeiten, darunter Daten von Trägheitsmessgeräten, Daten des Global Positioning System (GPS), RTK-Korrekturdaten (Real-Time Kinematic), Mobilfunkdaten und andere drahtlose Daten (z.B. 4G, 5G, V2X usw.) usw.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, z.B. Merkmalserkennung/-klassifizierung, Hindernisvermeidung, Routendurchquerung, Kartierung, Sensorintegration, Bestimmung der Bodenwahrheit und Ähnliches.
Wie oben bereits kurz erwähnt, ist das Validierungssystem 200 von 1 (und 3) bei autonomen Fahranwendungen im ADS 70 enthalten, zum Beispiel in betriebsbereiter Kommunikation mit dem Computer-Vision-System 74, dem Positionierungssystem 76, dem Lenksystem 78 und dem Fahrzeugsteuerungssystem 80. Das Validierungssystem 200 empfängt vom Computer-Vision-System 74 Daten, die Blinkerlichter beschreiben, die in ein impulsförmiges Blinkersignal umgewandelt und in Bezug auf Impulsbreite und Tastverhältnis charakterisiert werden. Das Validierungssystem 200 validiert ein Blinkersignal, indem es prüft, ob die Frequenz und das Tastverhältnis innerhalb der jeweiligen vorgegebenen Grenzen liegen.
Mit Bezug auf 3, unter fortgesetzter Bezugnahme auf die 1 und 2, wird das Validierungssystem 200 gemäß beispielhaften Ausführungsformen näher erläutert. Das Validierungssystem 200 umfasst Funktionsmodule, die durch die oben beschriebenen Programmieranweisungen und andere Systemkomponenten ausgeführt werden. Das Validierungssystem 200 umfasst eine oder mehrere Kameras 140, ein optisches Wahrnehmungssystem 144, ein Blinkersignal-Erzeugungsmodul 148, ein Signalmerkmal-Charakterisierungsmodul 152 und ein Pass/Fail-Entscheidungsmodul 154.
Die eine oder die mehreren Kamera(s) 140 sind bildgebende Geräte, die Bilddaten 142 liefern, die eine digitale Version einer Umgebung um das Fahrzeug 10 darstellen. Die Bilddaten 142 werden in Form einer Folge von Einzelbildern mit einer Bildfrequenz der einen oder mehreren Kameras bereitgestellt. Wie in 1 beschrieben, kann die eine oder die mehrere Kamera(s) nach vorne, nach hinten und/oder zur Seite sehen. Die Bilddaten 142 enthalten Bilder von anderen Verkehrsfahrzeugen (oder Zielfahrzeugen). Wenn das Fahrzeug 10 beispielsweise auf einer Straße fährt, können die Bilddaten 142 ein anderes Fahrzeug in der sichtbaren äußeren Umgebung des Fahrzeugs 10 abbilden. Die Bilddaten 142 anderer Zielfahrzeuge können Beleuchtungseinrichtungen der anderen Zielfahrzeuge wie Bremslichter, Scheinwerfer, Blinker, Warnblinker usw. umfassen. Blinkleuchten sind solche, die blinken (oder wiederholt ein- und ausschalten), um die Absicht des anderen Fahrzeugs anzuzeigen, sich in die angegebene Richtung zu bewegen (z.B. links für das linke Blinkerlicht und rechts für das rechte Blinkerlicht). Die Blinkerlichter können von einem menschlichen Bediener des anderen Fahrzeugs oder von einem automatischen System des anderen Fahrzeugs aktiviert werden.
Die Bilddaten 142 von der einen oder den mehreren Kamera(s) 140 werden an ein optisches Wahrnehmungssystem 144 weitergeleitet, das Teil des Computer Vision Systems 74 sein kann ( 2). Das optische Wahrnehmungssystem 144 kann auf verschiedene Weise ausgeführt sein, um neben anderen optischen Zielen von Interesse auch die Blinker anderer Fahrzeuge zu identifizieren und zu beschreiben. Beispielsweise kann ein neuronales Netz, wie ein Faltungsneuronales Netz, trainiert werden, um den Zustand der Fahrzeugblinkleuchten zu identifizieren. In einem Beispiel kann ein Zielfahrzeug, das in einer Tiefenkarte (z.B. unter Verwendung eines Lidar-Tiefensensors) der Umgebung identifiziert wurde, verwendet werden, um einen Unterabschnitt in den Bilddaten 142 zu identifizieren, der einem fokussierten Bereich des Zielfahrzeugs einschließlich der Blinkleuchten entspricht. Das Faltungsneuronale Netz (cNN) kann so trainiert sein, dass es die Identifizierung des Zustands des Blinkerlichts (und anderer Deskriptoren) durch Verarbeitung des fokussierten Bereichs der Bilddaten durchführt. In einem Beispiel kann das cNN so trainiert sein, dass es Farben erkennt, die innerhalb der fokussierten Bereiche erscheinen, sowie andere Faktoren wie die Position der farbigen Objekte (z. B. „Kleckse“) innerhalb der fokussierten Bereiche. Die Bilddaten 142 können vor der Verarbeitung durch das neuronale Netz in gewissem Umfang vorverarbeitet werden, um den Kontrast der Blinkerlichter (und anderer Signallichter wie Bremslichter) zu verbessern. Dementsprechend umfasst das optische Wahrnehmungssystem 144 eine künstliche Intelligenz zur Erkennung und Extraktion von Merkmalen, die die Blinkerlichter von Zielfahrzeugen in der Umgebung des Fahrzeugs 10 beschreiben. Die künstliche Intelligenz kann mit Techniken wie maschinellem Lernen, Deep Learning, einem neuronalen Netzwerk, einem Faltungsneuronalen Netzwerk (z.B. einem ConvNet), einem rekurrenten neuronalen Netzwerk, Random Forests, genetischen Algorithmen und Reinforcement Learning implementiert werden. Das optische Wahrnehmungssystem 144 kann optische Wahrnehmungsdaten 146 ausgeben, die Merkmale enthalten, die alle erkannten Blinkerleuchten beschreiben, einschließlich solcher Merkmale wie Ort (z.B. Pixelort), Größe, Form, durchschnittliche Intensität (z.B. in Lumen) und/oder Farbe (z.B. weiß, gelb, rot), linker Blinker (Blinkerlicht) EIN, linker Blinker AUS, rechter Blinker EIN und rechter Blinker AUS. Die optischen Wahrnehmungsdaten 146 sind zeitlich variabel dadurch, dass sie sich ändern, wenn neue Bilder der Bilddaten 142 von der einen oder den mehreren Kamera(s) geliefert werden.
Das Blinkersignal-Erzeugungsmodul 148 isoliert und extrahiert Daten, die Blinkerlichter betreffen, entsprechend einer in den Wahrnehmungsdaten 146 enthaltenen Klassifizierung. Das Blinkersignal-Erzeugungsmodul 148 erzeugt ein Blinkersignal 150, das ein zeitlich veränderliches Signal ist, das den Zustand jedes einzelnen Blinkerlichts in den optischen Wahrnehmungsdaten 146 darstellt. In der beispielhaften Ausführungsform von 3 wird das Blinkersignal 150 als Impulswellenform bereitgestellt, die hoch ist, wenn der Status des Blinkerlichts EIN ist, und die niedrig ist, wenn der Status des Blinkerlichts AUS ist (oder andersherum).
Das Signalmerkmal-Charakterisierungsmodul 152 ist so konfiguriert, dass es das Blinkersignal 150 analysiert und das Tastverhältnis und die Frequenz des Blinkersignals 150 charakterisiert. Das Tastverhältnis charakterisiert den prozentualen Anteil der EIN-Zeit über ein erstes Zeitfenster des Blinkersignals oder den prozentualen Anteil der AUS-Zeit. Die Frequenz kann gemessen werden, indem eine durchschnittliche Anzahl von EIN-Zyklen des Blinkersignals 150 über ein zweites Zeitfenster gezählt und durch die Länge des zweiten Zeitfensters geteilt wird. Das erste und das zweite Zeitfenster können gleich lang oder unterschiedlich lang sein und sind einstellbare (kalibrierbare) Werte. Das Tastverhältnis und die Frequenz des Blinkersignals werden als Signalmerkmale 160 von dem Signalmerkmal-Charakterisierungsmodul 152 ausgegeben.
Das Pass/Fail-Entscheidungsmodul 154 wendet Filterkriterien an, um zu sortieren, ob es sich bei den Signalmerkmalen 160 wahrscheinlich um ein Blinkerlicht handelt oder nicht. Blinkerlichter haben im Allgemeinen eine Frequenz und ein Tastverhältnis, die innerhalb vorgegebener Grenzen liegen. Das Pass/Fail-Entscheidungsmodul 154 wendet Frequenzgrenzen und Tastverhältnisgrenzen auf die gemessene Frequenz und das gemessene Tastverhältnis des Blinkersignals 150 an, um zu bestimmen, ob das Blinkersignal gültig als Blinker angenommen werden kann (eine Pass-Bedingung) oder ob die Blinkerdaten in den optischen Wahrnehmungsdaten 146 für jeden erkannten Blinker eine Fehlerkennung darstellen (eine Fail-Bedingung). Das Pass/Fail-Entscheidungsmodul 154 kann eine Pass- oder Fail-Bedingung als Ausgabedaten 156 zusätzlich zu einer Kennung des Blinkerlichts ausgeben, für den die Pass- oder Fail-Bedingung gilt. In einigen Ausführungsformen werden die Grenzen für das Tastverhältnis und die Frequenz dem Pass/Fail-Entscheidungsmodul als Grenzdaten 158 bereitgestellt, die von der computerlesbaren Speichervorrichtung 46 abgerufen werden. Die Grenzen für das Tastverhältnis können zum Beispiel eine Einschaltdauer zwischen 30 % und 75 % erfordern. Die Grenzen für die Frequenz können zum Beispiel 60 bis 120 Blitze (EIN-Zyklen) pro Minute (oder 1 bis 2 Hertz) erfordern.
In einigen Ausführungsformen kann das Pass/Fail-Entscheidungsmodul ein zusätzliches Filterkriterium anwenden, nämlich die Konsistenz der Frequenz und/oder des Tastverhältnisses. Eine Konsistenzmetrik (z.B. eine Standardabweichung) in einer zeitlich variierenden Frequenz und/oder Einschaltdauer kann über ein drittes Zeitfenster abgeleitet werden, und eine bestimmte Mindestkonsistenz muss erreicht werden, damit das Pass/Fail-Entscheidungsmodul 154 das Blinkersignal als gültig für ein Blinkerlicht bestätigt.
Die Ausgabedaten 156 werden dem ADS 70 in einer beispielhaften Ausführungsform zur Verfügung gestellt. Wenn die Ausgabedaten 156 anzeigen, dass ein Blinkerlicht gültig erkannt wurde, kann das ADS 70 dazu übergehen, sich auf die entsprechenden Blinkerlichtdaten in den optischen Wahrnehmungsdaten 146 zu stützen und mindestens ein Fahrzeugmerkmal auf der Grundlage dieser Daten zu steuern. So können beispielsweise der Antrieb, die Lenkung oder die Bremsen auf der Grundlage der für das Blinkerlicht eines Zielfahrzeugs erfassten Daten gesteuert werden. Zusätzlich oder alternativ kann das Fahrzeug eine oder mehrere akustische und/oder visuelle Ausgabevorrichtungen enthalten, die als Reaktion auf die Ausgabedaten eine akustische und/oder visuelle Warnung oder einen Alarm ausgeben. Exemplarische Steueraktion können beispielsweise beinhalten, dass eine Geschwindigkeit des Fahrzeugs 10 bei Erkennung eines nahen einfahrenden Fahrzeugs aufgehängt wird. Wenn die Ausgabedaten 156 anzeigen, dass ein Blinkerlicht fälschlicherweise erkannt wurde, wird die Erkennung des Blinkerlichts ignoriert/entprellt und das ADS 70 steuert das Fahrzeug 10 weiter, als ob das Blinkerlicht nicht erkannt worden wäre.
Nun unter Bezugnahme auf 4 und unter fortgesetzter Bezugnahme auf die 1-3 zeigt ein Flussdiagramm ein Verfahren 300 zur Validierung der Erkennung eines Blinkerlichts gemäß der vorliegenden Offenbarung. Wie im Lichte der Offenbarung erkannt werden kann, ist die Reihenfolge der Abläufe innerhalb des Verfahrens nicht auf die in 4 dargestellte sequentielle Ausführung beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolgen durchgeführt werden, je nach Anwendbarkeit und in Übereinstimmung mit der vorliegenden Offenbarung. In verschiedenen Ausführungsformen kann das Verfahren 300 so geplant werden, dass es auf der Grundlage eines oder mehrerer vorbestimmter Ereignisse abläuft, und/oder es kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen. Wie bereits erwähnt, ist das Verfahren auf autonome, halbautonome und nicht-autonome Fahrzeuge 300 anwendbar, die über eine Blinkerlicht-Erkennung verfügen.
In Schritt 310 werden optische Wahrnehmungsdaten 146 von dem optischen Wahrnehmungssystem 144 empfangen. Die optischen Wahrnehmungsdaten 146 enthalten Blinkerlicht-Beschreibungsdaten für mindestens ein erkanntes Blinkerlicht eines anderen Fahrzeugs in der Umgebung des Fahrzeugs 10. Die Blinkerlicht-Beschreibungsdaten können eine Klassifizierung eines Blinkertyps, einen Status (EIN/AUS) und eine Vielzahl weiterer Deskriptoren wie Ort, Farbe, Helligkeit usw. enthalten. Das optische Wahrnehmungssystem 144 klassifiziert ein Blinkersignal und regressiert den Status und alle weiteren Deskriptoren mit Hilfe einer Maschine für künstliche Intelligenz. Die Maschine für künstliche Intelligenz kann mit Techniken wie maschinellem Lernen, Deep Learning, einem neuronalen Netz, einem faltbaren neuronalen Netz (z.B. einem ConvNet), einem rekurrenten neuronalen Netz, Random Forests, genetischen Algorithmen, Reinforcement Learning und Kombinationen davon implementiert werden.
In Schritt 320 wird ein Blinkersignal 150 aus den in den optischen Wahrnehmungsdaten 146 enthaltenen Blinkerdaten erzeugt. Das Blinkersignal 150 wird in Form einer zeitlich variierenden Impulswelle bereitgestellt, die in Abhängigkeit vom Status des erkannten Blinkerlichts zwischen einem hohen und einem niedrigen Zustand oszilliert. Das heißt, ein hoher Zustand wird ausgegeben, wenn der Blinker als eingeschaltet erkannt wird, und ein niedriger Zustand wird ausgegeben, wenn der Blinker als ausgeschaltet erkannt wird (oder umgekehrt). Die zeitlich veränderliche Pulswelle kann eine Stufenfunktion sein.
In Schritt 330 werden Tastverhältnis und Frequenz des Blinkersignals 150 bestimmt. Das Tastverhältnis und die Frequenz des Blinkersignals können über entsprechende Zeitfenster bestimmt werden, die gleich lang sein können, aber nicht sein müssen. Die Zeitfenster können mindestens einigen Zyklen einer durchschnittlichen Blinkleuchte entsprechen, z.B. mindestens 2 Sekunden.
In Schritt 340 prüft das Verfahren 300, ob das Tastverhältnis und die Frequenz innerhalb gültiger Grenzen liegen. Gültige Grenzen für die Frequenz des Blinkerlichts können zwischen 1 und 2 Hertz liegen. Gültige Grenzen für das Tastverhältnis können zwischen 30 % EIN und 75 % EIN liegen. Diese Bereiche können je nach Vorschriften und Herstellerpräferenzen angepasst werden. Ferner kann geprüft werden, ob die Einschaltdauer und/oder die Frequenz im Zeitverlauf (z.B. in einem Zeitfenster von mindestens 3 Sekunden) nicht hinreichend gleichmäßig sind, indem überprüft wird, ob eine Konsistenzkennzahl (z.B. die Standardabweichung) innerhalb vorgegebener Grenzen liegt.
Wenn die Überprüfung in Schritt 340 ergibt, dass das Tastverhältnis und die Frequenz innerhalb gültiger Grenzen liegen (und wenn das Tastverhältnis und die Frequenz optional über die Zeit hinreichend konsistent sind), fährt das Verfahren 300 in Schritt 350 damit fort, die Blinkerdaten in den optischen Wahrnehmungsdaten 146 bei der Steuerung mindestens einer automatisierten Fahrzeugfunktion zu verwenden. Die automatisierte Fahrzeugfunktion kann im ADS 70 enthalten sein oder eine erweiterte Fahrassistenzfunktion sein. Wenn die Prüfung in Schritt 340 ergibt, dass das Tastverhältnis und die Frequenz nicht innerhalb gültiger Grenzen liegen (und optional, wenn das Tastverhältnis und die Frequenz im Laufe der Zeit ausreichend konsistent sind), werden die Blinkerdaten in den optischen Wahrnehmungsdaten 146 bei der Steuerung des mindestens einen automatisierten Fahrzeugmerkmals in Schritt 360 nicht verwendet.
Die hierin vorgestellten Verfahren und Systeme verwenden Signalfrequenz und Tastverhältnis, um die Erkennung von Blinkerlichtern bei der Bildverarbeitung und Berichterstattung zu rationalisieren. Eine positive Erkennung des Status des Blinkerlichts muss Prüfungen bestehen, um sicherzustellen, dass sie durchgängig innerhalb der erwarteten Grenzen (gemäß den bekannten Hersteller- und behördlichen Anforderungen) für Blinkerfrequenz und Tastverhältnis liegt. Die Systeme und Verfahren verwenden einen Algorithmus, der die falsch-positive Erkennung von Blinkern bei halbautonomen und autonomen Fahrfunktionen reduziert. Der Algorithmus überwacht die Signalfrequenz und das Tastverhältnis, um sicherzustellen, dass sie innerhalb der vorgegebenen Grenzen liegen. Die Zuverlässigkeit des Blinkerstatus kann zu einer besseren Leistung der aktiven Sicherheit und des autonomen Fahrsystems führen. Wenn ein Fahrzeug blinkt oder sich der Kontrast ändert, kann es ohne die hier beschriebenen Validierungssysteme und -verfahren zu einer falschpositiven Erkennung kommen, wenn das Blinken oder die Kontraständerung nicht von den Blinkern herrührt (z.B. durch Licht, das vom Fahrzeug reflektiert wird). Durch die Integration des hier beschriebenen Algorithmus durchläuft eine positive Erkennung des Status des Blinkerlichts Signalcharakterisierungen und Filterkriterien, um sicherzustellen, dass sie konsistent innerhalb der erwarteten Grenzen für die Blinkerfrequenz und das Tastverhältnis liegt, bevor das Signal ausgegeben wird.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte erkannt werden, dass eine Vielzahl von Varianten existieren. Es sollte auch erkannt werden werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es versteht sich, dass verschiedene Änderungen in der Funktion und der Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren gesetzlichen Äquivalenten dargelegt ist, verlassen wird.

Claims

Ein Verfahren zum Erfassen und Validieren eines Blinkers in einem Fahrzeug, das Verfahren umfassend: Empfangen von optischen Wahrnehmungsdaten von einem optischen Wahrnehmungssystem des Fahrzeugs über mindestens einen Prozessor, wobei die optischen Wahrnehmungsdaten Daten enthalten, die mindestens ein erkanntes Blinkerlicht eines anderen Fahrzeugs beschreiben, das von dem optischen Wahrnehmungssystem wahrgenommen wird, einschließlich eines Status des mindestens einen erkannten Blinkerlichts; Erzeugen eines Blinkersignals in Form einer zeitlich veränderlichen Wellenform auf der Grundlage des Status des mindestens einen erkannten Blinkerlichts über den mindestens einen Prozessor; Ermitteln eines Tastverhältnisses und einer Frequenz des Blinkersignals über den mindestens einen Prozessor; Beurteilen, über den mindestens einen Prozessor, ob das mindestens eine erkannte Blinkerlicht eine gültige Erfassung ist, indem das Tastverhältnis und die Frequenz mit vorbestimmten Grenzen verglichen werden; und wenn das mindestens eine erkannte Blinkerlicht als gültige Erkennung bewertet wird, dann Steuern, über den mindestens einen Prozessor, mindestens eines automatisierten Merkmals des Fahrzeugs auf der Grundlage der Daten, die das mindestens eine erkannte Blinkerlicht beschreiben.
Verfahren nach Anspruch 1, wobei, wenn das mindestens eine erfasste Blinkerlicht als nicht gültig erkannt wird, das mindestens eine automatisierte Merkmal des Fahrzeugs ohne Verwendung der Daten gesteuert wird, die das mindestens eine erfasste Blinkerlicht beschreiben.
Verfahren nach Anspruch 1, wobei das Beurteilen ferner das Ableiten einer Metrik für die Konsistenz über die Zeit für mindestens eines aus dem Tastverhältnis und der Frequenz und das Vergleichen der Metrik für die Konsistenz über die Zeit mit einem erwarteten Grenzwert umfasst.
Verfahren nach Anspruch 1, wobei die vorgegebenen Grenzen im Bereich von 1 bis 2 Hertz für die Frequenz und 30 % bis 75 % Einschaltdauer für das Tastverhältnis liegen.
Verfahren nach Anspruch 1, wobei das optische Wahrnehmungssystem eine Maschine mit künstlicher Intelligenz enthält, die konfiguriert ist, das mindestens eine erkannte Blinkerlicht auf der Grundlage von Bilddaten von einer oder mehreren Kameras des Fahrzeugs zu erkennen.
Verfahren nach Anspruch 1, wobei die mindestens eine automatisierte Funktion des Fahrzeugs das Bremsen, das Lenken, den Antrieb und die Ausgabe einer optischen und/oder akustischen Warnung oder eines Alarms über ein optisches und/oder akustisches Ausgabegerät umfasst.
Verfahren nach Anspruch 1, wobei die zeitlich veränderliche Wellenform eine Stufenfunktion umfasst.
Verfahren nach Anspruch 1, wobei das Tastverhältnis über ein erstes Zeitfenster und die Frequenz über ein zweites Zeitfenster gemessen wird.
Verfahren nach Anspruch 1, wobei die Daten, die mindestens ein erkanntes Blinkerlicht eines anderen Fahrzeugs beschreiben, den Standort enthalten.
Ein Fahrzeug, umfassend: ein optisches Wahrnehmungssystem; und mindestens einen Prozessor, der in betriebsfähiger Kommunikation mit dem optischen Wahrnehmungssystem steht, wobei der mindestens eine Prozessor konfiguriert ist, Programmanweisungen auszuführen, wobei die Programmanweisungen konfiguriert sind, den mindestens einen Prozessor zu veranlassen: optische Wahrnehmungsdaten von dem optischen Wahrnehmungssystem des Fahrzeugs zu empfangen, wobei die optischen Wahrnehmungsdaten Daten enthalten, die mindestens ein erkanntes Blinkerlicht eines anderen Fahrzeugs beschreiben, das von dem optischen Wahrnehmungssystem wahrgenommen wird, einschließlich eines Status des mindestens einen erkannten Blinkerlichts; ein Blinkersignal in Form einer zeitlich veränderlichen Wellenform auf der Grundlage des Status des mindestens einen erkannten Blinkerlichts zu erzeugen; ein Tastverhältnis und eine Frequenz des Blinkersignals zu erhalten; zu beurteilen, ob das mindestens eine erkannte Blinkerlicht eine gültige Erfassung ist, indem das Tastverhältnis und die Frequenz mit vorgegebenen Grenzen verglichen werden; und wenn das mindestens eine erkannte Blinkerlicht als gültige Erkennung bewertet wird, dann Steuern mindestens eines automatisierten Merkmals des Fahrzeugs auf der Grundlage der Daten, die das mindestens eine erkannte Blinkerlicht beschreiben.