DE102020103030A1

DE102020103030A1 - Adaptives sensorsystem für fahrzeuge und verfahren zum betreiben desselben

Info

Publication number: DE102020103030A1
Application number: DE102020103030.4A
Authority: DE
Inventors: Lawrence A. Bush; Zachariah E. Tyree; Shuqing Zeng; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-03-08
Filing date: 2020-02-06
Publication date: 2020-09-10
Also published as: CN111665836A; US20200284912A1

Abstract

Ein adaptives Sensorsteuerungssystem für ein Fahrzeug beinhaltet eine Steuerung und ein steuerbares Sensorsystem. Die Steuerung erzeugt eine Einschätzung der Umgebung des Fahrzeugs, einschließlich der Bereitstellung mindestens eines Einschätzungsdatums und eines zugehörigen Unsicherheitsfaktors für verschiedene Bereiche innerhalb der Einschätzung der Umgebung des Fahrzeugs. Die Steuerung bestimmt auch einen oder mehrere Relevanzfaktoren für die verschiedenen Bereiche innerhalb der Einschätzung der Umgebung. Darüber hinaus erzeugt die Steuerung Steuerbefehle, um das Sensorsystem in Abhängigkeit vom Unsicherheitsfaktor und einem oder mehreren Relevanzfaktoren in einen physikalischen Raum in der Umgebung zu steuern. Dementsprechend erhält das Sensorsystem aktualisierte Sensoreingaben für den physikalischen Raum, um das Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.

Description

EINFÜHRUNG
Das technische Gebiet bezieht sich im Allgemeinen auf ein Sensorsystem für ein Fahrzeug und insbesondere auf ein adaptives Sensorsystem für ein Fahrzeug und ein Verfahren zu dessen Betrieb.
Einige Fahrzeuge beinhalten Sensoren, computergestützte Steuerungssysteme und zugehörige Komponenten zum Erfassen der Umgebung des Fahrzeugs, zum Erfassen seiner Position, zum Erfassen von Objekten auf dem Weg des Fahrzeugs und/oder für andere Zwecke. Diese Systeme können dem menschlichen Benutzer Komfort bieten, die Fahrzeugsicherheit erhöhen usw.
Diese Systeme benötigen jedoch oft eine große Menge an Rechenleistung, Speicher und/oder anderen begrenzten Computerressourcen. Dementsprechend ist es wünschenswert, ein System und eine Methodik zur Verfügung zu stellen, um den Bedarf an Rechenressourcen und Leistung eines Fahrzeugsensorsystems zu reduzieren. Außerdem ist es wünschenswert, ein System und eine Methodik für die effizientere Nutzung dieser begrenzten Ressourcen bereitzustellen. Darüber hinaus werden sich weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Figuren und dieser Hintergrunddiskussion ergeben.
BESCHREIBUNG
Für ein Fahrzeug ist ein adaptives Sensorsteuerungssystem vorgesehen. Das adaptive Sensorsteuerungssystem beinhaltet eine Steuerung mit einem Prozessor, der programmiert ist, um eine Einschätzung einer Umgebung des Fahrzeugs zu erzeugen. Dies beinhaltet das Durchführen einer Berechnung an einem Sensoreingang, um als Ausgang mindestens ein Einschätzungsdatum und einen zugehörigen Unsicherheitsfaktor für verschiedene Bereiche innerhalb der Einschätzung der Umgebung des Fahrzeugs bereitzustellen. Darüber hinaus beinhaltet das adaptive Sensorsteuerungssystem ein Sensorsystem, das eingerichtet ist, um den Sensoreingang an den Prozessor zu liefern. Das Sensorsystem ist selektiv in Bezug auf einen physikalischen Raum in der Umgebung gemäß einem Steuersignal steuerbar. Der Prozessor ist programmiert, um einen Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung der Umgebung zu bestimmen. Darüber hinaus ist der Prozessor eingerichtet, um den Steuerbefehl zum Steuern des Sensorsystems auf einen physikalischen Raum in der Umgebung in Abhängigkeit vom Unsicherheitsfaktor und dem für die verschiedenen Bereiche der Einschätzung bestimmten Relevanzfaktor zu erzeugen. Zusätzlich ist das Sensorsystem eingerichtet, um gemäß dem Steuerbefehl in Richtung des physikalischen Raums in der Umgebung zu steuern, um einen aktualisierten Sensoreingang für den Prozessor zu erhalten, um das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.
In einigen Ausführungsformen ist der Prozessor programmiert, um eine Bayes'sche Berechnung am Sensoreingang durchzuführen, um als Ausgang das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für die verschiedenen Bereiche innerhalb der Einschätzung bereitzustellen.
Darüber hinaus ist der Prozessor in einigen Ausführungsformen programmiert, um eine Zelle eines Präsenzgitters mit dem mindestens einen Einschätzungsdatum und dem zugehörigen Unsicherheitsfaktor gemäß der Bayes'schen Berechnung zu erzeugen und zu füllen.
In einigen Ausführungsformen beinhaltet die Steuerung ein Herausrage-Modul, das programmiert ist, um einen Herausrage-Relevanzfaktor für die verschiedenen Bereiche zu bestimmen, indem es auf ein vorprogrammiertes menschliches Blickmodell zugreift. Das Herausrage-Modul ist programmiert, um den Sensoreingang zu verarbeiten, um gemäß dem menschlichen Blickmodell Bedingungen in Bereichen der Einschätzung zu erkennen, die einem im menschlichen Blickmodell gespeicherten Fahrszenario entsprechen; gemäß dem menschlichen Blickmodell anzugeben, welche der Bereiche ein menschlicher Fahrer visuell für die erkannten Bedingungen beachtet; und den Herausrage-Relevanzfaktor zu berechnen, einschließlich der Berechnung höherer Herausrage-Relevanzfaktoren für die Bereiche, die ein menschlicher Fahrer visuell beachtet. Außerdem ist der Prozessor eingerichtet, um den Steuerbefehl zur Steuerung des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Relevanzfaktor zu erzeugen.
Darüber hinaus verarbeitet das Herausrage-Modul in einigen Ausführungsformen den Sensoreingang durch ein tiefes neuronales Faltungsnetzwerk mit einer Mehrzweigarchitektur, die eine Segmentierungskomponente und einen optischen Fluss beinhaltet, der Informationen über die Relativbewegung innerhalb eines im Sensoreingang dargestellten Bildes kodiert.
In einigen Ausführungsformen beinhaltet die Steuerung ein Manöverrisiko-Modul, das programmiert ist, um einen Manöverrisiko-Relevanzfaktor für die verschiedenen Bereiche zu bestimmen, einschließlich der Verarbeitung der Sensoreingabe, um: eine aktuelle Situation des Fahrzeugs zu erkennen und dementsprechend das Risiko der Ausführung eines bestimmten Fahrzeugmanövers vorherzusagen; den Grad des Einflusses zu bestimmen, den die verschiedenen Bereiche auf die Vorhersage haben; und den Manöverrisiko-Relevanzfaktor für die verschiedenen Bereiche gemäß dem bestimmten Grad des Einflusses zu berechnen, einschließlich der Berechnung höherer Manöver-Risikorelevanzfaktoren für Bereiche mit höherem Grad des Einflusses. Der Prozessor ist eingerichtet, um den Steuerbefehl zur Steuerung des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Manöver-Risikorelevanzfaktor zu erzeugen.
In einigen Ausführungsformen ist das Manöverrisiko-Modul so programmiert, dass es ein Markov-Zufallsfeld (MRF) erzeugt, um die aktuelle Situation zu erkennen.
Darüber hinaus beinhaltet das Sensorsystem in einigen Ausführungsformen eine erste Abtastvorrichtung und eine zweite Abtastvorrichtung. Die ersten und zweiten Abtastvorrichtungen haben unterschiedliche Modalitäten, und die ersten und zweiten Abtastvorrichtungen sind eingerichtet, um einen Sensoreingang für einen gemeinsamen Bereich der Einschätzung als Sensoreingang bereitzustellen.
Die erste Abtastvorrichtung beinhaltet ein Kamerasystem und die zweite Abtastvorrichtung beinhaltet in einigen Ausführungsformen ein Lidarsystem.
In einigen Ausführungsformen beinhaltet der Prozessor ein Herausrage-Modul und ein Manöverrisiko-Modul. Das Herausrage-Modul ist eingerichtet, um den Sensoreingang des Kamerasystems zu verarbeiten und Herausrage-Daten bereitzustellen, die dem Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung entsprechen. Das Manöverrisiko-Modul ist eingerichtet, um den Sensoreingang des Lidarsystems zu verarbeiten und Manöverrisikodaten bereitzustellen, die dem Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung entsprechen.
In exemplarischen Ausführungsformen der vorliegenden Offenbarung ist das Sensorsystem eingerichtet, um gemäß dem Steuerbefehl durch mindestens eines von: Einschalten einer Abtastvorrichtung des Sensorsystems zwischen einem AUS-Modus und einem EIN-Modus; Richten eines Signals von der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Betätigen der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Fokussieren der Abtastvorrichtung auf den ausgewählten physikalischen Raum; und Ändern der Sensorauflösung der Abtastvorrichtung in Bezug auf den ausgewählten physikalischen Raum.
Darüber hinaus ist ein Verfahren zum Betreiben eines adaptiven Sensorsteuerungssystems eines Fahrzeugs vorgesehen. Das Verfahren beinhaltet das Bereitstellen von Sensoreingaben von einem Sensorsystem zu einer On-Board-Steuerung mit einem Prozessor. Das Verfahren beinhaltet auch das Erzeugen einer Einschätzung einer Umgebung des Fahrzeugs durch den Prozessor, einschließlich des Durchführens einer Berechnung am Sensoreingang, um als Ausgang mindestens ein Einschätzungsdatum und einen zugehörigen Unsicherheitsfaktor für verschiedene Bereiche innerhalb der Einschätzung der Umgebung des Fahrzeugs bereitzustellen. Zusätzlich beinhaltet das Verfahren das Bestimmen eines Relevanzfaktors für die verschiedenen Bereiche innerhalb der Einschätzung der Umgebung durch den Prozessor. Außerdem beinhaltet das Verfahren das Erzeugen eines Steuerbefehls durch den Prozessor zum Steuern des Sensorsystems in Richtung eines physikalischen Raums in der Umgebung in Abhängigkeit vom Unsicherheitsfaktor und dem für die verschiedenen Bereiche der Einschätzung bestimmten Relevanzfaktor. Darüber hinaus beinhaltet das Verfahren das Steuern des Sensorsystems in Richtung des physikalischen Raums in der Umgebung gemäß dem Steuerbefehl, um einen aktualisierten Sensoreingang für den Prozessor zu erhalten, um das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.
In einigen Ausführungsformen beinhaltet das Erzeugen der Einschätzung: Durchführen einer Bayes'schen Berechnung am Sensoreingang durch den Prozessor, um als Ausgang das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für die verschiedenen Bereiche innerhalb der Einschätzung bereitzustellen; und Füllen einer Zelle eines Belegungsgitters mit dem mindestens einen Einschätzungsdatum und dem zugehörigen Unsicherheitsfaktor gemäß der Bayes'schen Berechnung.
Darüber hinaus beinhaltet das Bestimmen des Relevanzfaktors in einigen Ausführungsformen: das Bestimmen eines Relevanzfaktors für die verschiedenen Bereiche durch Zugriff auf ein vorprogrammiertes menschliches Blickmodell; das Erkennen von Bedingungen in Bereichen der Einschätzung, die einem im menschlichen Blickmodell gespeicherten Fahrszenario entsprechen; das Anzeigen, gemäß dem menschlichen Blickmodell, welcher der Bereiche, die ein menschlicher Fahrer visuell für die erkannten Bedingungen beachtet; und das Berechnen des Relevanzfaktors der Relevanz, einschließlich des Berechnens höherer Relevanzfaktoren für die Bereiche, die ein menschlicher Fahrer visuell beachtet. Außerdem beinhaltet das Erzeugen des Steuerbefehls das Erzeugen des Steuerbefehls zum Steuern des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Relevanzfaktor.
Die Bestimmung des Relevanzfaktors beinhaltet in einigen Ausführungsformen die Bestimmung eines Manöver-Risikorelevanzfaktors für die verschiedenen Bereiche. Dies beinhaltet das Verarbeiten der Sensoreingabe, um: eine aktuelle Situation des Fahrzeugs zu erkennen und dementsprechend das Risiko der Ausführung eines bestimmten Fahrzeugmanövers vorherzusagen; den Grad des Einflusses zu bestimmen, den die verschiedenen Bereiche auf die Vorhersage haben; und den Manöver-Risikorelevanzfaktor für die verschiedenen Bereiche gemäß dem bestimmten Einflussgrad zu berechnen, einschließlich der Berechnung höherer Manöver-Risikorelevanzfaktoren für Bereiche mit höherem Einflussgrad. Außerdem beinhaltet das Erzeugen des Steuerbefehls das Erzeugen des Steuerbefehls zum Steuern des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Manöver-Risikorelevanzfaktor.
Darüber hinaus beinhaltet das Verfahren das Erzeugen eines Markov-Zufallsfeldes (MRF), um die aktuelle Situation in einigen Ausführungsformen zu erkennen.
Das Verfahren beinhaltet in einigen Ausführungsformen das Bereitstellen des Sensoreingangs von einer ersten Abtastvorrichtung und einer zweiten Abtastvorrichtung des Sensorsystems. Die ersten und zweiten Messgeräte haben unterschiedliche Modalitäten. Die erste und zweite Abtastvorrichtung bieten einen Sensoreingang für einen gemeinsamen Bereich der Einschätzung.
Darüber hinaus beinhaltet das Steuern des Sensorsystems in einigen Ausführungsformen des Verfahrens mindestens eines von: Einschalten einer Abtastvorrichtung des Sensorsystems zwischen einem AUS-Modus und einem EIN-Modus; Richten eines Signals von der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Betätigen der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Fokussieren der Abtastvorrichtung auf den ausgewählten physikalischen Raum; und Ändern der Sensorauflösung der Abtastvorrichtung in Bezug auf den ausgewählten physikalischen Raum.
Zusätzlich ist ein Fahrzeug vorgesehen, das eine Steuerung mit einem Prozessor beinhaltet, der programmiert ist, um eine Einschätzung einer Umgebung des Fahrzeugs zu erzeugen. Dazu gehört das Durchführen einer Bayes'schen Berechnung an einem Sensoreingang, um ein Präsenzgitter bereitzustellen, das die Einschätzung darstellt. Das Präsenzgitter wird mit mindestens einem Einschätzungsdatum und einem zugehörigen Unsicherheitsfaktor für verschiedene Zellen innerhalb des Präsenzgitters bestückt. Das Fahrzeug beinhaltet auch ein Sensorsystem, das eingerichtet ist, um den Sensoreingang dem Prozessor zur Verfügung zu stellen, wobei das Sensorsystem selektiv in Bezug auf einen physikalischen Raum in der Umgebung gemäß einem Steuersignal steuerbar ist. Der physikalische Raum entspricht mindestens einer der Zellen des Belegungsgitters. Der Prozessor ist programmiert, um einen Relevanzfaktor für die verschiedenen Zellen innerhalb des Belegungsrasters zu bestimmen. Der Prozessor ist auch programmiert, um einen Manöver-Risikorelevanzfaktor für die verschiedenen Zellen innerhalb des Belegungsrasters zu bestimmen. Darüber hinaus ist der Prozessor eingerichtet, um den Steuerbefehl zum Steuern des Sensorsystems in Richtung des physikalischen Raums in der Umgebung in Abhängigkeit vom Unsicherheitsfaktor, dem Relevanzfaktor der Aussagekraft und dem Risikorelevanzfaktor des Manövers zu erzeugen. Das Sensorsystem ist eingerichtet, um gemäß dem Steuerbefehl in Richtung des physikalischen Raumes zu steuern, um einen aktualisierten Sensoreingang für den Prozessor zu erhalten, um das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.
In einigen Ausführungsformen des Fahrzeugs ist das Sensorsystem eingerichtet, um gemäß dem Steuerbefehl durch mindestens eines von: Einschalten einer Abtastvorrichtung des Sensorsystems zwischen einem AUS-Modus und einem EIN-Modus; Richten eines Signals von der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Betätigen der Abtastvorrichtung auf den ausgewählten physikalischen Raum; Fokussieren der Abtastvorrichtung auf den ausgewählten physikalischen Raum; und Ändern der Sensorauflösung der Abtastvorrichtung in Bezug auf den ausgewählten physikalischen Raum.
Figurenliste
Die exemplarischen Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen und wobei:

1 ist eine schematische Darstellung eines Fahrzeugs mit einem adaptiven Sensorsystem gemäß exemplarischer Ausführungsformen der vorliegenden Offenbarung;
2 ist eine schematische Darstellung einer adaptiven Sensorsteuerung des Fahrzeugs von 1 gemäß exemplarischer Ausführungsformen;
3 ist eine Darstellung eines Gitters mit einer Vielzahl von Zellen, die zusammen eine wahrgenommene Umgebung des Fahrzeugs darstellen, wie sie durch das adaptive Sensorsystem der vorliegenden Offenbarung erzeugt wird;
4 ist eine schematische Darstellung eines Ausstechmoduls des adaptiven Sensorsteuerungssystems der vorliegenden Offenbarung;
5 ist eine schematische Darstellung eines Manöverrisiko-Moduls des adaptiven Sensorsteuerungssystems der vorliegenden Offenbarung; und
6 ist ein kreisförmiges Flussdiagramm, das ein Verfahren zum Betreiben des adaptiven Sensorsystems der vorliegenden Offenbarung gemäß exemplarischen Ausführungsformen der vorliegenden Offenbarung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich exemplarischer Natur und soll die Anwendung und Verwendung nicht einschränken. Darüber hinaus besteht keine Absicht, an eine ausdrückliche oder stillschweigende Theorie gebunden zu sein, die im vorhergehenden technischen Bereich, Hintergrund, einer kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt wird. Wie hierin verwendet, bezieht sich der Begriff Modul auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hierin in Bezug auf funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmwarekomponenten realisiert werden können, die zur Ausführung der angegebenen Funktionen eingerichtet sind. So kann beispielsweise eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder dergleichen, die eine Vielzahl von Funktionen unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus werden die Fachleute verstehen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können und dass die hierin beschriebenen Systeme lediglich exemplarische Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber können konventionelle Techniken der Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und andere funktionale Aspekte der Systeme (und der einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Darüber hinaus sollen die in den verschiedenen Abbildungen dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Der hierin beschriebene Gegenstand offenbart Vorrichtungen, Systeme, Techniken und Artikel zum Betreiben eines adaptiven Sensorsystems eines Fahrzeugs. Die beschriebenen Vorrichtungen, Systeme, Techniken und Artikel sind einem Sensorsystem eines Fahrzeugs sowie einer Steuerung zum Steuern einer oder mehrerer Sensorvorrichtungen des Sensorsystems zugeordnet. Zu diesem Zweck kann die Steuerung mindestens einen adaptiven Algorithmus verwenden, der sich basierend auf den verfügbaren Informationen und apriori Informationen ändert.
Die Sensorvorrichtungen können eine Kombination von Sensoren mit unterschiedlichen Betriebsmodalitäten zur Erfassung einer Vielzahl von Sensordaten beinhalten. So können beispielsweise die Abtastvorrichtungen eine oder mehrere Kameras sowie radar- oder laserbasierte Abtastvorrichtungen (z.B. Lidar-Sensorvorrichtungen) beinhalten.
Mindestens eine Abtastvorrichtung ist in Richtung eines ausgewählten physikalischen Raums in der Umgebung des Fahrzeugs steuerbar, um zu ändern, wie das Sensorsystem Daten sammelt. In diesem Zusammenhang ist der Begriff „lenkbare Abtastvorrichtung“ breit auszulegen, um eine Abtastvorrichtung, unabhängig vom Typ, zu umfassen, die eingerichtet ist, um: a) in Richtung eines ausgewählten Bereichs innerhalb der Fahrzeugumgebung zu betätigen und/oder sich auf diesen zu konzentrieren; b) aus einem AUS-Modus einzuschalten, um Sensordaten aus dem jeweiligen Bereich der Umgebung zu sammeln; c) die Auflösung in einem ausgewählten Bereich innerhalb des Sichtfeldes der Abtastvorrichtung zu ändern; oder d) anderweitig ein Sensorsignal auf einen ausgewählten Raum innerhalb der Fahrzeugumgebung zu richten.
Während des Betriebs sammelt das Sensorsystem Sensordaten, die von einem Prozessor der Steuerung empfangen werden. Der Prozessor kann programmiert werden, um die Sensordaten in eine Einschätzung (d.h. Glauben) über das Fahrzeug und/oder seine Umgebung umzuwandeln. So kann der Prozessor beispielsweise bestimmen, wo sich die umliegenden Fahrzeuge in Bezug auf das betreffende Fahrzeug befinden, den Weg der umliegenden Fahrzeuge vorhersagen, Fahrbahnmarkierungen bestimmen und erkennen, Fußgänger und Radfahrer lokalisieren und ihre Bewegungen vorhersagen und vieles mehr.
In einigen Ausführungsformen erzeugt der Prozessor ein Belegungsgitter mit einer Vielzahl von Zellen, die zusammen die wahrgenommene Umgebung des Fahrzeugs darstellen. Der Prozessor berechnet mindestens ein Einschätzungsdatum für die verschiedenen Zellen innerhalb des Gitters. Das Einschätzungsdatum stellt ein wahrgenommenes Element der Fahrzeugumgebung dar. Der Prozessor berechnet auch einen Unsicherheitsfaktor für die verschiedenen Zellen, wobei der Unsicherheitsfaktor die Unsicherheit des Prozessors über die Einschätzung innerhalb dieser Zelle anzeigt. Die Einschätzungsdaten und Unsicherheitsfaktoren können aus dem Sensoreingang unter Verwendung eines oder mehrerer Bayes'scher Algorithmen berechnet werden.
Die Einschätzung sowie die in den Zellen des Netzes enthaltenen Unsicherheitsfaktoren können während der Fahrt kontinuierlich aktualisiert werden. Zusätzlich bestimmt der Prozessor die situative Relevanz der verschiedenen Zellen innerhalb des Gitters. Die Relevanz kann auf verschiedene Weise bestimmt werden.
In einigen Ausführungsformen kann der Prozessor den Sensoreingang empfangen und verarbeiten, die aktuelle Situation des Fahrzeugs erkennen und entsprechend bestimmen/vorhersagen, wohin der Blick eines Menschen gerichtet sein würde. Diese Bereiche können mit entsprechenden Gitterzellen zusammengeführt werden, und der Prozessor identifiziert diese Zellen als Zellen mit höherer Relevanz als andere Zellen des Gitters. In einigen Ausführungsformen kann der Prozessor einen Relevanzfaktor für die verschiedenen Zellen berechnen.
Darüber hinaus oder alternativ kann der Prozessor den Sensoreingang empfangen und verarbeiten, die aktuelle Situation des Fahrzeugs erkennen und entsprechend das Risiko der Ausführung eines bestimmten Fahrzeugmanövers bestimmen/vorhersagen. Darüber hinaus kann der Prozessor den Grad des Einflusses bestimmen, den verschiedene Bereiche in der Umgebung des Fahrzeugs auf diesen Manöver-Risikovorhersageprozess haben. Die Bereiche, die die Manöverrisikovorhersage stärker beeinflussen, können mit entsprechenden Gitterzellen zusammengeführt werden, und der Prozessor identifiziert diese Zellen als Zellen mit höherer Relevanz als andere Zellen des Gitters. Dementsprechend berechnet der Prozessor einen Manöver-Risikorelevanzfaktor für die verschiedenen Zellen.
Dementsprechend kann der Prozessor bestimmte Operationen durchführen, die von der Verteilung der Unsicherheitsfaktoren, der Relevanzfaktoren für die Hervorhebung und/oder der Manöverrisikorelevanz-Faktorzellen im gesamten Netz abhängig sind. In einigen Ausführungsformen kann der Prozessor beispielsweise Sensorsteuerbefehle entsprechend diesen Faktoren erzeugen. Genauer gesagt, kann der Prozessor die Verteilung der Unsicherheits- und Relevanzfaktoren für das Gitter erzeugen und diejenigen Gitterzellen identifizieren, die relativ hohe Unsicherheitsfaktoren in Kombination mit relativ hohen Relevanzfaktoren aufweisen. Der Prozessor kann Steuerbefehle für das Sensorsystem erzeugen, so dass mindestens eine Abtastvorrichtung in Richtung des entsprechenden Bereichs in der Fahrzeugumgebung gesteuert wird.
Anschließend stellt das Sensorsystem dem Prozessor aktualisierte Sensoreingaben zur Verfügung, einschließlich Sensoreingaben für die Bereiche, die als Bereiche mit höherer Unsicherheit und Relevanz eingestuft werden. Der Prozessor verarbeitet den aktualisierten Sensoreingang und aktualisiert die Einschätzung, indem er beispielsweise das Einschätzungsdatum und die Unsicherheitsfaktoren für mindestens einen Teil der Gitterzellen neu berechnet. In einigen Ausführungsformen aktualisiert der Prozessor diese Faktoren für die Bereiche, die als hochgradig unsicher und relevant identifiziert wurden. Aus diesen Updates generiert der Prozessor zusätzliche Sensorsteuerbefehle, um die Sensorvorrichtungen in Richtung Bereiche mit höherer Unsicherheit/Relevanz zu steuern. Das Sensorsystem stellt mehr Sensoreingaben zur Verfügung, das Steuersystem aktualisiert die Einschätzung und generiert Sensorsteuerbefehle basierend auf den aktualisierten Unsicherheits- und/oder Relevanzfaktoren usw.
Diese Prozesse können sich zyklisch wiederholen, wenn sich das Fahrzeug durch die Umgebung bewegt. Somit passt das System die Sensorvorgänge automatisch und im Wesentlichen in Echtzeit an die aktuelle Umgebung des Fahrzeugs an, so dass das Sensorsystem dazu neigt, physikalische Räume außerhalb des Fahrzeugs zu überwachen, in denen die Einschätzungsunsicherheit höher ist und/oder wo eine relativ hohe Relevanz für die aktuellen Fahrbedingungen besteht.
Das System kann mit reduzierten Rechenressourcen und/oder reduziertem Leistungsbedarf im Vergleich zu bestehenden Systemen betrieben werden, wie im Folgenden erläutert wird. So können beispielsweise die Sensorsysteme verschiedene visuelle Sensorvorrichtungen beinhalten, die durch bestimmte Pixelbudgets begrenzt sind. Die Systeme und Methoden der vorliegenden Offenbarung ermöglichen eine effiziente Nutzung dieser Pixelbudgets. Weitere Vorteile werden im Folgenden erläutert.
1 ist ein Blockdiagramm eines exemplarischen Fahrzeugs 100, das eine oder mehrere Ausführungsformen der vorliegenden Offenbarung verwendet. Das Fahrzeug 100 beinhaltet im Allgemeinen ein Fahrgestell 102 (d.h. einen Rahmen), eine Karosserie 104 und eine Vielzahl von Rädern 106 (z.B. vier Räder). Die Räder 106 sind drehbar mit dem Fahrgestell 102 gekoppelt. Die Karosserie 104 wird vom Fahrgestell 102 getragen und definiert einen Fahrgastraum, einen Stauraum und/oder andere Bereiche des Fahrzeugs 100.
Es ist zu beachten, dass das Fahrzeug 100 von einer Vielzahl von Typen sein kann, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. So kann beispielsweise das Fahrzeug 100 ein Pkw, ein Lastwagen, ein Van, ein Sports Utility Vehicle (SUV), ein Freizeitfahrzeug (RV), ein Motorrad, ein Seeschiff, ein Flugzeug usw. sein. Außerdem kann das Fahrzeug 100 als ein von Fahrgästen angetriebenes Fahrzeug eingerichtet werden, so dass ein menschlicher Benutzer das Fahrzeug 100 letztlich steuert. In weiteren Ausführungsformen kann das Fahrzeug 100 als autonomes Fahrzeug eingerichtet werden, das automatisch gesteuert wird, um Passagiere oder andere Fracht von einem Ort zum anderen zu befördern. In weiteren Ausführungsformen kann das Fahrzeug 100 als teilautonomes Fahrzeug eingerichtet werden, wobei einige Operationen automatisch gesteuert werden und andere Operationen manuell gesteuert werden. Im Falle eines teilautonomen Fahrzeugs können die Lehren der vorliegenden Offenbarung auf ein Geschwindigkeitsregelungssystem, ein adaptives Geschwindigkeitsregelungssystem, ein Parkassistenzsystem und dergleichen angewendet werden.
Das Fahrzeug 100 kann ein Antriebssystem 108, ein Getriebesystem 110, ein Lenksystem 112, ein Bremssystem 114, ein Sensorsystem 116, ein Stellgliedsystem 118, ein Kommunikationssystem 124 und mindestens eine Steuerung 122 beinhalten. In verschiedenen Ausführungsformen kann das Fahrzeug 100 auch innere und/oder äußere Fahrzeugmerkmale beinhalten, die in 1 nicht dargestellt sind, wie beispielsweise verschiedene Türen, ein Kofferraum, eine Klimaanlage, ein Unterhaltungssystem, ein Beleuchtungssystem, Touchscreen-Displaykomponenten (wie sie beispielsweise in Verbindung mit Navigationssystemen verwendet werden) und dergleichen.
Das Antriebssystem 108 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Fahrmotor, und/oder ein Brennstoffzellenantriebssystem beinhalten. Das Getriebesystem 110 kann eingerichtet werden, um die Leistung vom Antriebssystem 108 auf die Fahrzeugräder 106 gemäß einer Vielzahl von wählbaren Geschwindigkeitsverhältnissen zum Antreiben des Fahrzeugs 100 zu übertragen. Das Bremssystem 114 kann eine oder mehrere Bremsen beinhalten, die eingerichtet sind, um das jeweilige Rad 106 selektiv zu verzögern, um dadurch das Fahrzeug 100 zu verzögern.
Das Fahrzeugstellgliedsystem 118 kann eine oder mehrere Betätigungsvorrichtungen 128a-128n beinhalten, die ein oder mehrere Fahrzeugmerkmale steuern, wie beispielsweise das Antriebssystem 108, das Getriebesystem 110, das Lenksystem 112, das Bremssystem 114 und/oder das Sensorsystem 116. Die Betätigungsvorrichtungen 128a-128n können Elektromotoren, Linearantriebe, hydraulische Antriebe, pneumatische Antriebe oder andere Typen umfassen.
Das Kommunikationssystem 124 kann eingerichtet werden, um Informationen drahtlos an und von anderen Einheiten 134 zu übertragen, wie beispielsweise, aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), Netzwerke („V2N“-Kommunikation), Fußgänger („V2P“-Kommunikation), entfernte Transportsysteme und/oder Benutzergeräte. In einer exemplarischen Ausführungsform ist das Kommunikationssystem 124 ein drahtloses Kommunikationssystem, das eingerichtet ist, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung der Standards IEEE 802.11 oder unter Verwendung einer zellularen Datenkommunikation zu kommunizieren. Im Rahmen der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsmethoden, wie beispielsweise ein dedizierter Kurzstreckenkommunikationskanal (DSRC), berücksichtigt. DSRC-Kanäle beziehen sich auf ein- oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz im Automobil entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards.
Das Sensorsystem 116 kann eine oder mehrere Abtastvorrichtungen 126a-126n beinhalten, die beobachtbare Bedingungen der Umgebung des Fahrzeugs 100 erfassen und Sensordaten in Bezug auf diese erzeugen, wie im Folgenden im Detail erläutert wird. Die Abtastvorrichtungen 126a-126n können unter anderem Radarvorrichtungen, Lidarvorrichtungen, Global Positioning Systems (GPS), optische Kameras (z.B. nach vorne gerichtete, 360-Grad, nach hinten gerichtete, nach der Seite gerichtete, Stereoanlage usw.), Bildsensoren, Wärmebildsensoren (z.B. Infrarotkameras), Ultraschallsensoren, Odometriesensoren (z.B. Encoder) und/oder andere Sensoren beinhalten.
Das Fahrzeug 100 kann mindestens zwei Sensorvorrichtungen 126a-126n mit unterschiedlichen Modalitäten beinhalten, die entsprechende Daten für einen gemeinsamen Bereich in der Umgebung des Fahrzeugs 100 bereitstellen. So kann beispielsweise eine Abtastvorrichtung 126a eine Kamera umfassen, während eine andere Abtastvorrichtung 126b Lidar umfassen kann, die beide in der Lage sind, Bedingungen im Allgemeinen innerhalb desselben physikalischen Raums innerhalb der Umgebung des Fahrzeugs zu erfassen. Die erste Abtastvorrichtung 126a (die Kamera in diesem Beispiel) kann ein Bild oder eine Reihe von Einzelbildern eines Raumes vor dem Fahrzeug 100 aufnehmen, und die zweite Abtastvorrichtung 126b (der Lidar) kann gleichzeitig Sensorsignale (Laserstrahlen) auf den gleichen Raum vor dem Fahrzeug 100 richten und Rückmeldungen zum Erfassen von Eigenschaften dieses Raumes empfangen.
Darüber hinaus kann in einigen Ausführungsformen eine oder mehrere der Abtastvorrichtungen 126a-126n selektiv gesteuert werden (d.h. angepasst, gerichtet, fokussiert usw.), um zu ändern, wie das Sensorsystem 116 Daten sammelt. So kann beispielsweise eine oder mehrere der Abtastvorrichtungen 126a-126n gesteuert oder angewiesen werden, sich auf einen bestimmten Raum innerhalb der Umgebung des Fahrzeugs 100 zu konzentrieren, um dadurch Informationen über diesen bestimmten Raum der Umgebung zu sammeln. So kann beispielsweise mindestens eine Abtastvorrichtung 126a-126n selektiv zwischen EIN- und AUS-Modus geschaltet werden, so dass verschiedene Nummern der Abtastvorrichtung 126a-126n zu unterschiedlichen Zeiten zum Sammeln von Sensordaten aus einem selektiv variablen Feld der Umgebung verwendet werden können. Außerdem kann in einigen Ausführungsformen der Fokus von mindestens einer Abtastvorrichtung 126a-126n selektiv eingestellt werden. So kann beispielsweise bei einem Kamerasystem mindestens ein Kameraobjektiv selektiv betätigt werden, um seinen Fokus zu ändern. Außerdem kann in einigen Ausführungsformen die Verstärkung mindestens einer Kamera selektiv eingestellt werden, um die dadurch erfassten visuellen Sensordaten zu variieren. Darüber hinaus kann bei einem Lidar oder einem anderen vergleichbaren System die Anzahl der auf einen bestimmten Raum außerhalb des Fahrzeugs 100 gerichteten Strahlen selektiv so variiert werden, dass das Sensorsystem 116 mehr Informationen über diesen bestimmten Raum sammelt. Darüber hinaus können eine oder mehrere Abtastvorrichtungen 126a-126n die Auflösung für einen bestimmten Bereich in der Umgebung selektiv ändern. Darüber hinaus kann mindestens eine Abtastvorrichtung 126a-126n eine oder mehrere der Betätigungsvorrichtungen 128a-128n aufweisen, die selektiv zum Steuern der Abtastvorrichtung 126a-126n betätigt werden können.
Die Steuerung 122 beinhaltet mindestens einen On-Board-Prozessor 130. Der Prozessor 130 kann ein beliebiger maßgeschneiderter oder kommerziell verfügbarer Prozessor, eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC) (z.B. ein kundenspezifischer ASIC, der ein neuronales Netzwerk implementiert), ein feldprogrammierbares Gate-Array (FPGA), ein Hilfsprozessor unter mehreren der Steuerung 122 zugeordneten Prozessoren, ein halbleiterbasierter Mikroprozessor (in Form eines Mikrochips oder Chipsatzes), eine beliebige Kombination derselben oder allgemein eine Vorrichtung zur Ausführung von Anweisungen sein.
Die Steuerung 122 beinhaltet ferner mindestens eine computerlesbare Speichervorrichtung oder ein Medium 132. Die computerlesbare Speichervorrichtung oder das Medium 132 kann beispielsweise flüchtige und nichtflüchtige Speicher im Nur-Lese-Speicher (ROM), im Direktzugriffsspeicher (RAM) und im Keep-Alive-Speicher (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zum Speichern verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 130 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder das computerlesbare Speichermedium 132 kann unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen wie PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrisch PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 122 zur Steuerung des Fahrzeugs 100 verwendet werden, implementiert werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jedes eine geordnete Liste von ausführbaren Anweisungen zur Implementierung logischer Funktionen umfasst. Die Anweisungen, wenn sie vom Prozessor 130 ausgeführt werden, empfangen und verarbeiten Signale (z.B. Sensordaten) vom Sensorsystem 116, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zum Steuern der verschiedenen Komponenten des Fahrzeugs 100 durch und erzeugen Steuersignale, die an diese Komponenten übertragen werden. Insbesondere kann der Prozessor 130 Steuersignale erzeugen, die an das Stellgliedsystem 118 übertragen werden, um die Komponenten des Fahrzeugs 100 basierend auf der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Darüber hinaus kann der Prozessor 130 Steuerbefehle erzeugen, die an eine oder mehrere der Abtastvorrichtungen 126a-126n des Sensorsystems 116 übertragen werden.
Obwohl nur eine Steuerung 122 in 1 dargestellt ist, können Ausführungsformen des Fahrzeugs 100 eine beliebige Anzahl von Steuerungen 122 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zur automatischen Steuerung von Merkmalen des Fahrzeugs 100 zu erzeugen.
Gemäß verschiedenen Ausführungsformen kann die Steuerung 122 ein adaptives Sensorsteuerungssystem 136 implementieren, wie in 2 dargestellt. Das heißt, es können geeignete Soft- und/oder Hardwarekomponenten der Steuerung 122 (z.B. der Prozessor 130 und das computerlesbare Speichermedium 132) verwendet werden, um das adaptive Sensorsteuerungssystem 136 bereitzustellen, das zum Steuern einer oder mehrerer der Sensorvorrichtungen 126a-126n des Sensorsystems 116 verwendet wird. Wie dargestellt, kann der Sensoreingang 144 von einer oder mehreren der Sensorvorrichtungen 126a-126n von der Sensorsteuerung 136 empfangen werden, die wiederum den Sensoreingang 144 verarbeitet und einen oder mehrere Steuerbefehle als Befehlsausgang 146 zum endgültigen Steuern der Sensorvorrichtungen 126a-126n erzeugt und bereitstellt. In einigen Ausführungsformen kann der Ausgang 146 bewirken, dass eine oder mehrere Abtastvorrichtungen 126a-126n in Richtung eines bestimmten Raumes innerhalb der Umgebung des Fahrzeugs 100 lenken (d.h. gerichtet oder fokussiert sein). Dementsprechend können zusätzliche Sensoreingaben aus dem vorgesehenen Raum gesammelt werden, um dadurch die Einschätzung dieses Raumes zu aktualisieren. So kann ein zusätzlicher Sensoreingang 144 vorgesehen werden, der Prozessor 122 kann der Sensoreingang 144, ein zusätzlicher Befehlsausgang 146 zum Sammeln von mehr Sensoreingang 144 und so weiter kontinuierlich während des Betriebs.
In verschiedenen Ausführungsformen können die Anweisungen der Sensorsteuerung 136 nach Funktion oder System organisiert werden. So kann beispielsweise, wie in 2 dargestellt, das Sensorsteuerungssystem 136 ein Einschätzungsmodul 138, ein Herausrage-Modul 140 und ein Manöverrisiko-Modul 142 beinhalten. Wie zu erkennen ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig vielen Systemen (z.B. kombiniert, weiter unterteilt usw.) organisiert werden, da die Offenlegung nicht auf die vorliegenden Beispiele beschränkt ist.
Im Allgemeinen erzeugt das Einschätzungsmodul 138 aus dem Sensoreingang 144 eine Einschätzung der Fahrzeugumgebung, einschließlich der Bestimmung von Einschätzungsdaten für verschiedene Bereiche innerhalb der Einschätzung und der Bestimmung eines zugehörigen Unsicherheitsfaktors für die verschiedenen Bereiche. Die verschiedenen Bereiche der Einschätzung entsprechen unterschiedlichen physikalischen Räumen in der Umgebung des Fahrzeugs. Das Herausrage-Modul 140 und das Manöverrisiko-Modul 142 erkennen einen oder mehrere Aspekte der aktuellen Umgebung des Fahrzeugs über den Sensoreingang 144. Das Herausrage-Modul 140 bestimmt, wo ein menschlicher Fahrer in einer vergleichbaren Umgebung hinschauen würde, und identifiziert daher diese Bereiche als Bereiche mit höherer Relevanz als andere. Ebenso bestimmt das Manöverrisiko-Modul 142, welche Bereiche für die Bestimmung des Risikos der Durchführung bestimmter Manöver relevanter sind, und identifiziert somit diese Bereiche als Bereiche mit höherer Relevanz als andere. Schließlich erzeugt das Sensorsteuerungssystem 136 die Befehlsausgabe 146 basierend auf den Bestimmungen der Unsicherheit und Relevanz. Dementsprechend können die Abtastvorrichtungen 126a-126n in Richtung Bereiche mit höherer Einschätzungsunsicherheit und in Bereiche mit größerer Relevanz gesteuert werden. Dann können zusätzliche, aktualisierte Sensoreingänge 144 gesammelt werden und der Zyklus kann fortgesetzt werden.
Das Einschätzungsmodul 138 synthetisiert und verarbeitet den von den Abtastvorrichtungen 126a-126n erfassten Sensoreingang 144 und erzeugt eine Einschätzung der Umgebung des Fahrzeugs 100. In einigen Ausführungsformen interpretiert und prognostiziert das Einschätzungsmodul 138 das Vorhandensein, den Standort, die Klassifizierung und/oder den Weg von Objekten und Merkmalen der Umgebung des Fahrzeugs 100. Das Einschätzungsmodul 138 kann Informationen von zwei oder mehr der Abtastvorrichtungen 126a-126n in die Erzeugung der Einschätzung einbeziehen. In einigen Ausführungsformen kann das Einschätzungsmodul 138 mehrere On-Board-Sensoraufgaben gleichzeitig in einem neuronalen Netzwerk unter Verwendung von Deep-Learning-Algorithmen ausführen, die in den computerlesbaren Medien kodiert und von einem oder mehreren Prozessoren ausgeführt werden. Beispielhafte On-Board-Sensoraufgaben, die vom Beispiel-Einschätzungsmodul 138 ausgeführt werden, können Objekterkennung, Freiraumerkennung und Objektlagenerkennung beinhalten. Andere Module im Fahrzeug 100 können Ausgänge der vom Beispiel-Einschätzungsmodul 138 ausgeführten On-Board-Sensoraufgaben verwenden, um aktuelle und zukünftige Weltzustände zu schätzen, um den Betrieb des Fahrzeugs 100 zu unterstützen, beispielsweise in einem autonomen Fahrmodus oder teilautonomen Fahrmodus. Das Einschätzungsmodul 138 kann zusätzlich Merkmale eines Positionierungsmoduls beinhalten, um eine Position (z.B. eine lokale Position relativ zu einer Karte, eine genaue Position relativ zu einer Fahrspur einer Straße, eine Fahrzeugrichtung usw.) des Fahrzeugs 100 relativ zur Umgebung zu bestimmen. Wie zu erkennen ist, kann eine Vielzahl von Techniken zur Durchführung dieser Lokalisierung eingesetzt werden, einschließlich z.B. Simultanlokalisierung und Mapping (SLAM), Partikelfilter, Kalman-Filter, Bayes'sche Filter, Markov-Zufallsfeldgeneratoren und dergleichen. In verschiedenen Ausführungsformen implementiert das Einschätzungsmodul 138 maschinelle Lerntechniken, um die Funktionalität des Einschätzungsmoduls 138 zu unterstützen, wie z.B. Merkmalerfassung/-klassifizierung, Mapping, Sensorintegration, Boden-Wahrheits-Bestimmung und dergleichen.
Insbesondere kann das Einschätzungsmodul 138 in einigen Ausführungsformen den Sensoreingang 144 empfangen und ein Präsenzgitter 150 erzeugen, das in eine Vielzahl von Zellen 152 unterteilt ist, wie in 3 dargestellt. Mit anderen Worten, das Einschätzungsmodul 138 kann programmiert werden, um den Sensoreingang 144 zu verarbeiten und Belegungsrasterkartierungen durchzuführen. Die Zellen 152 können gemeinsam die wahrgenommene Umgebung des Fahrzeugs darstellen. In der veranschaulichten Ausführungsform sind dies Bereiche, die vor dem Fahrzeug 100 liegen. Die Zellen 152 repräsentieren verschiedene physikalische Bereiche der Fahrzeugumgebung.
Wie dargestellt, kann das Raster 150 eine zweidimensionale Matrix sein, wobei die Zellen 152 in Zeilen und Spalten angeordnet sind. (Zeilen sind numerisch und Spalten alphabetisch in 3 zur Diskussion beschriftet.) Das Belegungsraster 150 stellt die Karte der Fahrzeugumgebung als ein gleichmäßig verteiltes Feld von binären Zufallsvariablen dar, die jeweils das Vorhandensein eines Fahrzeugs, eines Fußgängers, eines Bordsteins oder eines anderen Hindernisses an den jeweiligen Stellen darstellen. Es ist jedoch zu beachten, dass es sich hierbei nur um ein Beispiel handelt, das vereinfacht wird, um die Prinzipien der adaptiven Sensorsteuerung 136 zu veranschaulichen. Die Zellen 152 können einer beliebigen Anzahl oder Gruppe von Pixeln entsprechen. Auch in anderen Ausführungsformen können verschiedene Zellen 152 unterschiedliche Größen voneinander aufweisen, und die Anordnung der Zellen 152 kann ungleichmäßig und unregelmäßig sein. In einigen Ausführungsformen kann auch ein Objekt (z.B. ein Nachbarfahrzeug) innerhalb des Gitters 150 eine einzelne Zelle 152 definieren, während ein anderes Objekt (z.B. ein Fußgänger) innerhalb des Gitters 150 eine andere Zelle 152 definiert.
Das Einschätzungsmodul 138 füllt die Zellen 152 des Gitters 150 mit verschiedenen Daten. Insbesondere bestimmt das Einschätzungsmodul 138 die Einschätzungsdaten für die einzelnen Zellen 152 innerhalb des Belegungsrasters 150. Darüber hinaus kann das Einschätzungsmodul 138 eingerichtet werden, um einen Unsicherheitsgrad bezüglich der Einschätzungsdaten für die verschiedenen Zellen zu bestimmen. Mit anderen Worten, das Einschätzungsmodul 138 kann den Sensoreingang 144 von den Abtastvorrichtungen 126a-126n empfangen, die Einschätzung erzeugen und das Einschätzungsmodul 138 kann die Unsicherheit in Bezug auf die erzeugte Einschätzung bewerten. In einigen Ausführungsformen berechnet das Einschätzungsmodul 138 einen Unsicherheitsfaktor für die Vielzahl der Zellen 152.
Der Unsicherheitsfaktor kann von bestimmten Ursachen abhängen. Wenn beispielsweise zwei verschiedene Sensorvorrichtungen 126a-126n widersprüchliche Sensoreingänge 144 über einen bestimmten Bereich der Umgebung bereitstellen, kann das Einschätzungsmodul 138 die Einschätzung als relativ unsicher in der entsprechenden Zelle 152 bewerten. Der berechnete Unsicherheitsfaktor kann diese hohe Unsicherheit widerspiegeln. Im Gegensatz dazu, wenn die verschiedenen Abtastvorrichtungen 126a-126n einen konsistenten Sensoreingang 144 bereitstellen, kann das Einschätzungsmodul 138 die Einschätzung als relativ unsicher bewerten, und der Unsicherheitsfaktor für die jeweilige Zelle 152 kann diese geringe Unsicherheit reflektieren.
In einigen Ausführungsformen kann das Einschätzungsmodul 138 die Einschätzung erzeugen (d.h. die Einschätzungs- und Unsicherheitsdaten für die Zellen 152 berechnen), indem es einen oder mehrere Bayes'sche Algorithmen verwendet. Die Berechnungen werden verwendet, um für verschiedene Zellen 152 den erwarteten Fehler (d.h. den Informationsgewinn) zu quantifizieren, der als wahre Belegung berechnet wird (Ø ∈ {0,1}) abzüglich einer Schätzung (p) im Quadrat, multipliziert mit der Wahrscheinlichkeit in Bezug auf die Belegung. In diesem Zusammenhang werden Belegungsrasteralgorithmen verwendet, um ungefähre posteriore Schätzungen für diese Zufallsvariablen zu berechnen. Anders ausgedrückt, kann der erwartete Vorhersagefehler (d.h. der Unsicherheitsfaktor nach der folgenden Gleichung (1) berechnet werden: $E [{(\emptyset - p)}^{2}] = \sum_{\emptyset \in (0,1)} {(\emptyset - p)}^{2} P (\emptyset) = {(0 - p)}^{2} (1 - p) + {(1 + p)}^{2} p = p (1 - p)$
wobei Ø die wahre Belegung darstellt, p die Schätzung darstellt und P die Wahrscheinlichkeit darstellt. Außerdem kann eine Bayes'sche Aktualisierung für eine gegebene Zelle 152 gemäß der folgenden Gleichung (2) durchgeführt werden: $p_{p o s t} = \frac{{(1 - a)}^{(n - k)} a^{k} p}{{(1 - a)}^{(n - k)} a^{k} p + {(1 - b)}^{(n - k)} b^{k} (1 - p)}$
wobei n die Anzahl der Beobachtungen an einer gegebenen Zelle darstellt, k die Anzahl der Erfassungen darstellt, a die Anzahl der Erfassungen darstellt, b den Falschalarm (P) darstellt und p die Belegung (P) darstellt. Dementsprechend kann das Einschätzungsmodul 138 für eine gegebene Zelle 152 nach Gleichung (2) Posteriors berechnen. Zusätzlich kann das Einschätzungsmodul 138 die erwartete zukünftige Unsicherheit für die Zellen 152 gemäß der folgenden Gleichung (3) berechnen: $E [R M S E] = \sqrt{p (1 - p)} (\sqrt{a b} + \sqrt{{(1 - a) (1 - b))}^{n}}$
Somit kann das Einschätzungsmodul 138 ein heuristisches Modell erzeugen, das zur adaptiven Steuerung der Sensorvorrichtungen 126a-126n verwendet werden kann. Für eine gegebene Zelle 152 innerhalb des Gitters 150 bestimmt das Einschätzungsmodul 138, wie viel Unsicherheit reduziert wird, wenn eine oder mehrere Abtastvorrichtungen 126a-126n in den entsprechenden physikalischen Raum in der Umgebung gefahren werden. In einigen Ausführungsformen stützt sich das adaptive Sensorsteuerungssystem 136 auf diese Informationen (Unsicherheitsreduzierung in den Zellen 152), wenn es Sensorsteuerbefehle an die Sensorvorrichtungen 126a-126n erzeugt.
Das Einschätzungsmodul 138 kann Relevanzdaten aus dem Herausrage-Modul 140 empfangen, um Zellen 152 im Raster 150 zu identifizieren, die für die aktuelle Fahrsituation relevanter sind. Wie in 4 dargestellt, kann das Herausrage-Modul 140 den Sensoreingang 144, der von den Abtastvorrichtungen 126a-126n erfasst wurde, synthetisieren und verarbeiten und Herausrage-Daten 160 liefern, die identifizieren, welche Zellen 152 des Gitters 150 eine höhere Relevanz für die Aufgabe haben, unter anerkannten aktuellen Bedingungen zu fahren. Das Herausrage-Modul 140 kann das Gitter 150 erkennen und vorhersagen, wohin ein menschlicher Blick innerhalb des Gitters 150 gerichtet sein würde. Das Herausrage-Modul 140 kann auf ein menschliches Blickmodell 162 zugreifen, das auf dem Speichermedium 132 gespeichert ist, um diese Operationen durchzuführen.
Das menschliche Blickmodell 162 kann ein vorprogrammiertes Modell sein, das es dem Herausrage-Modul 164 ermöglicht, Muster und/oder andere Merkmale im Sensoreingang 144 zu erkennen, die mit gespeicherten Fahrsituationen korrelieren. Darüber hinaus zeigt das menschliche Blickmodell 162 an, wohin der Blick eines menschlichen Fahrers in den gespeicherten Fahrsituationen gerichtet ist. Das menschliche Blickmodell 162 kann auf verschiedene Weise trainiert werden. So kann beispielsweise ein Testfahrzeug mit einer am Fahrzeug montierten Kamera gefahren werden. Diese Kamera kann ein Testszenario, wie beispielsweise ein Multi-Frame-Video (z.B. ein Sechzehn-Frame-Video) aufnehmen, das das aktuelle Testszenario aufzeichnet. Außerdem kann ein menschlicher Fahrer eine Blickverfolgungseinrichtung mit einer nach außen gerichteten Kamera zur gleichzeitigen Aufzeichnung des Testszenarios tragen, und die tragbare Vorrichtung kann auch einen nach innen gerichteten Sensor beinhalten, der den Blickwinkel des Fahrers während des Szenarios verfolgt. Die Blickverfolgungseinrichtung kann mit einer höheren Bildrate als die beiden nach außen gerichteten Kameras arbeiten; daher kann für ein bestimmtes Bild eine hohe Anzahl von Punkten mit der Augenbewegung verbunden sein, und es kann eine sehr zuverlässige blickbasierte Datenverteilung erreicht werden. Die von der fahrzeugmontierten Kamera und der tragbaren Blickverfolgungseinrichtung aufgezeichneten visuellen Informationen und Blickverfolgungsinformationen können so ausgerichtet, zusammengeführt und zugeordnet werden, dass der Blickwinkel des Fahrers während des Testszenarios erlernt wird. Das menschliche Blickmodell 162 kann auf diese Weise für eine große Anzahl von Testszenarien trainiert werden, und die Daten können auf dem Speichermedium 132 wie das menschliche Blickmodell 162 gespeichert werden. Dementsprechend kann das menschliche Blickmodell 162 widerspiegeln, dass ein Fahrer, während er im erkannten Szenario fährt, dazu neigt, bestimmte Zellen 152 und nicht andere zu betrachten. So kann beispielsweise das Modell 162 widerspiegeln, wie der Blick eines Fahrers den Bordsteinkanten folgt, auf die Räder benachbarter Fahrzeuge gerichtet ist, sich im Kopf- und Gesichtsbereich von Fußgängern und anderen Fahrern aufhält, etc. Im Gegensatz dazu spiegelt das Modell 162 wider, dass der Blick des Fahrers weniger Zeit auf den Himmel, Werbetafeln, entfernte Bereiche und dergleichen verwendet.
Wie in 4 dargestellt, kann das Herausrage-Modul 140 ein neuronales Netzwerk 166 beinhalten, wie beispielsweise ein tiefes neuronales Faltungsnetzwerk mit einer Mehrzweigarchitektur, die eine Segmentierungskomponente 164 und einen optischen Fluss beinhaltet, der Informationen über die relative Bewegung innerhalb eines Bildes kodiert. Während des Betriebs des adaptiven Sensorsteuerungssystems 136 kann das Herausrage-Modul 140 mindestens einen Teil des Sensoreingangs 144 von den Sensorvorrichtungen 126a-126n empfangen. Das Herausrage-Modul 140 kann beispielsweise visuelle Daten von einem Kamerasystem empfangen. Das Herausrage-Modul 140 kann diesen Sensoreingang 144 in die verschiedenen Zellen 152 des Gitters 150 segmentieren, die aktuellen Fahrbedingungen erkennen und bestimmen, welche Zellen 152 der Blick eines menschlichen Fahrers bei einem vergleichbaren Fahrszenario gerichtet wäre. Mit anderen Worten, der Sensoreingang 144 und die Blickinformationen aus dem menschlichen Blickmodell 162 können über ein neuronales Netzwerk 166 verarbeitet werden, um die aktuellen Fahrbedingungen zu erkennen und anzuzeigen, welche Zellen 152 ein menschlicher Fahrer für diese Fahrbedingungen ansieht. Das neuronale Netzwerk 166 kann den Sensoreingang 144 und den menschlichen Blickeingang für die verschiedenen Zellen 152 verarbeiten und die Herausrage-Daten 160 berechnen und den Zellen 152 individuelle Relevanzfaktoren zuweisen (z.B. einen pixelweiten Score, der den Grad der Relevanz angibt). Das Herausrage-Modul 140 kann die Herausrage-Daten 160 an das Einschätzungsmodul 138 ausgeben, um ein Bayes'sche Aktualisierung der verschiedenen Zellen 152 durchzuführen (z.B. unter Verwendung von Gleichung (3), oben). So kann das Einschätzungsmodul 138 das Raster 150 aktualisieren, und in einigen Situationen können die durch das Herausrage-Modul 140 identifizierten hochrelevanten Zellen 152 mit zusätzlichem Sensoreingang 144 aktualisiert werden, wie hier erläutert wird.
Dementsprechend kann das Herausrage-Modul 140 eine prädiktive Ausprägungsverteilung für das Netz 150 bereitstellen. Sie kann eine raumzeitliche, kamerabasierte prädiktive Verteilung umfassen (eine Wahrscheinlichkeitsverteilung, die von dem erkannten Szenario abhängt), und die Verteilung gibt an, wo menschliche Fahrer visuell beachten würden. In einigen Ausführungsformen kann dies ein kontextabhängiger Schätzer sein, der über das hinausgeht, was im Szenario wichtig ist. Darüber hinaus können in einigen Ausführungsformen die Sensorvorrichtungen 126a-126n basierend auf diesen Relevanzdaten gesteuert werden.
Darüber hinaus kann das Manöverrisiko-Modul 142 in verschiedenen Ausführungsformen den Sensoreingang 144 synthetisieren und verarbeiten, der von mindestens einigen der Abtastvorrichtungen 126a-126n (z.B. von einem Kamerasystem, einem Radarsystem und/oder einem Lidarsystem) erfasst wurde. Das Manöverrisiko-Modul 142 kann daher Daten entsprechend den Zellen 152 des Gitters 150 liefern, die für die Umgebung des Fahrzeugs besonders relevant sind. Mit anderen Worten, das Manöverrisiko-Modul 142 kann den Sensoreingang 144 und die Ausgangs-Relevanzfaktoren für eine oder mehrere der Zellen 152 empfangen.
Wie in 5 dargestellt, kann das Manöverrisiko-Modul 142 eine Fahrzeugpositionierungskomponente 170 und eine dynamische Objektkomponente 172 beinhalten. Die Fahrzeugpositionierungskomponente 170 ist eingerichtet, um zu bestimmen, wo sich das Fahrzeug 100 innerhalb des Gitters 150 befindet oder positioniert ist, und die dynamische Objektkomponente 172 ist eingerichtet, um zu bestimmen, wo sich bewegliche Objekte relativ zum Fahrzeug 100 innerhalb des Gitters 150 befinden. Der Sensoreingang 144 der Sensorvorrichtungen 126a-126n kann vom Manöverrisiko-Modul 142 verarbeitet werden, um diese Bestimmungen durchzuführen. Außerdem kommunizieren die Fahrzeugpositionierungskomponente 170 und/oder die dynamische Objektkomponente 172 in einigen Ausführungsformen (über das Kommunikationssystem 124) mit den anderen Einheiten 134, um die relativen Positionen des Fahrzeugs 100 und der umgebenden Fahrzeuge, Fußgänger, Radfahrer und anderen dynamischen Objekte zu bestimmen.
Insbesondere kann der Sensoreingang 144 zum Manöverrisiko-Modul 142 radarbasiert und/oder laserbasiert (Lidar) von einer oder mehreren der Sensorvorrichtungen 126a-126n erfasst werden. Das Manöverrisiko-Modul 142 kann filtern und bestimmen, welche der Erkennungen dynamische Objekte sind (bewegliche Objekte, die sich tatsächlich auf der Straße befinden).
Das Manöverrisiko-Modul 142 kann diese Informationen verarbeiten und ein Markov-Zufallsfeld (MRF) (d.h. Markov-Netzwerk, ungerichtetes grafisches Modell, etc.) erzeugen, um die Abhängigkeiten darin darzustellen. Anhand dieser Informationen und unter Verwendung eines Verstärkertrainingsprozesses kann das Manöverrisiko-Modul 142 das Risiko bestimmen (d.h. vorhersagen), das mit dem Einleiten (d.h. Ausführen) eines bestimmten Manövers (z.B. einer Rechtskurve in den Querverkehr) verbunden ist. Ausgehend von dieser Vorhersagefunktion kann das Manöverrisiko-Modul 142 bestimmen, inwieweit einzelne Zellen 152 die Ausgabe der Risikovorhersage beeinflussen. In einigen Ausführungsformen kann das Manöverrisiko-Modul 142 bestimmen, welche der Abtastvorrichtungen 126a-126n den größten Einfluss auf die Manöverrisikovorhersage haben, und diese Abtastvorrichtungen 126a-126n können mit bestimmten der Zellen 152 korrelieren. Die Zellen 152, die als Zellen mit höherem Einfluss auf die Risikovorhersage identifiziert werden, werden durch das Manöverrisiko-Modul 142 als relevanter identifiziert als die anderen.
Dementsprechend kann das Manöverrisiko-Modul 142 die Manöverrisiko-Daten 173 für die verschiedenen Zellen 152 berechnen und ausgeben und den Zellen 152 entsprechende Manöverrisiko-Relevanzfaktoren zuweisen. Das Manöverrisiko-Modul 142 kann die Manöverrisikodaten 173 an das Einschätzungsmodul 138 ausgeben, um ein Bayes'sche Aktualisierung der verschiedenen Zellen 152 durchzuführen (z.B. unter Verwendung von Gleichung (3), oben). So kann das Einschätzungsmodul 138 das Raster 150 aktualisieren, und in einigen Situationen können die hochrelevanten Zellen 152, die durch das Manöverrisiko-Modul 142 identifiziert wurden, anschließend mit zusätzlichem Sensoreingang 144 aktualisiert werden, wie hier erläutert wird.
Es wird darauf hingewiesen, dass das Manöverrisiko-Modul 142 unterschiedliche Konfigurationen aufweisen kann, je nachdem, ob das Fahrzeug 100 autonom gefahren wird oder nicht. So kann beispielsweise ein autonom angetriebenes Fahrzeug ein separates autonomes Fahrmodul beinhalten, das die auszuführenden Fahrmanöver bestimmt (d.h. die Betätigungsvorrichtungen 128a-128n zum Betätigen von Bremsen, Drehen des Lenkrads usw. steuert). In diesen Ausführungsformen kann das Manöverrisiko-Modul 142 vom autonomen Fahrmodul eine Benachrichtigung über das bevorstehende Fahrmanöver empfangen, auswerten, welche Zellen 152 mehr Einfluss auf die Bestimmung hatten, und den Zellen 152 entsprechende Manöverrisiko-Relevanzfaktoren zuweisen. Für andere Fahrzeuge kann das Manöverrisiko-Modul 142 unabhängiger arbeiten, um die Umgebung zu überwachen, das Risiko der Ausführung von Fahrzeugmanövern vorherzusagen und die Zellen 152, die einen höheren Einfluss auf die Vorhersage haben, als von höherer Relevanz zu identifizieren. In beiden Fällen kann das Manöverrisiko-Modul 142 die Manöverrisiko-Daten 173 an das Einschätzungsmodul 138 ausgeben, um ein Bayes'sche Aktualisierung der verschiedenen Zellen 152 durchzuführen. So kann das Einschätzungsmodul 138 das Raster 150 aktualisieren, und in einigen Situationen können die hochrelevanten Zellen 152, die durch das Manöverrisiko-Modul 142 identifiziert wurden, mit zusätzlichem Sensoreingang 144 aktualisiert werden, wie hier erläutert wird.
Unter Bezugnahme nun auf 6 wird ein Verfahren 200 zum Betreiben des Fahrzeugs 100 anhand von exemplarischen Ausführungsformen diskutiert. Das Verfahren 200 kann bei 202 beginnen, bei dem die Abtastvorrichtungen 126a-126n den Sensoreingang 144 der Steuerung 122 zur Verfügung stellen. Dann, bei 204, kann das Einschätzungsmodul 138 das Gitter 150 erzeugen, einschließlich der Berechnung individueller Einschätzungsdaten und eines zugehörigen Unsicherheitsfaktors für die Zellen 152 darin, unter Verwendung Bayes`scher Algorithmen (z.B. Gleichungen (1) und (2), oben).
Am Beispiel des Rasters 150 von 3 kann das Einschätzungsmodul 138 Merkmale eines ersten Fahrzeugs 301 (das sich an der F3-Zelle befindet) wahrnehmen und einen niedrigeren Unsicherheitsfaktor für diese Zelle 152 berechnen. Im Gegensatz dazu kann das Einschätzungsmodul 138 ein zweites Fahrzeug 302 wahrnehmen (das sich an den Zellen G3 und G4 befindet) und einen höheren Unsicherheitsfaktor für diese Zellen 152 berechnen. Der Unterschied im Unsicherheitsfaktor kann darauf zurückzuführen sein, dass verschiedene Abtastvorrichtungen 126a-126n einheitliche Daten über das erste Fahrzeug 301 und inkonsistente Daten über das zweite Fahrzeug 302 liefern. Der Unterschied im Unsicherheitsfaktor kann auch darauf zurückzuführen sein, dass das zweite Fahrzeug 302 teilweise vor der Sicht der Sensorvorrichtungen 126a-126n verborgen ist. Zusätzlich kann das Einschätzungsmodul 138 die Wolken (in den Zellen B1-G1) erkennen und diesen Zellen 152 aufgrund der mehrdeutigen und sich ändernden Form dieser Wolken eine hohe Unsicherheit zuweisen.
Das Verfahren 200 kann bei 206 fortgesetzt werden. Bei 206 kann das Einschätzungsmodul 138 relevante Vorabdaten aus dem Herausrage-Modul 140 und/oder aus dem Manöverrisiko-Modul 142 erhalten.
Insbesondere kann das Herausrage-Modul 140 (4) die Umgebung des Fahrzeugs von dem an 202 empfangenen Sensoreingang 144 erkennen. Das Herausrage-Modul 140 kann auf das menschliche Blickmodell 162 zugreifen, um zu bestimmen, wo ein menschlicher Fahrer visuell beachten würde. Im Beispiel von 3 kann das Herausrage-Modul 140 die Szene erkennen und vorhersagen, dass ein Mensch eher das erste Fahrzeug 301 als die Wolken betrachtet. Daher kann das Einschätzungsmodul 138 bestimmen, dass die F3-Zelle relevanter ist als die B1-G1-Zellen, und das Einschätzungsmodul 138 kann der F3-Zelle einen höheren Relevanzfaktor zuweisen als die B1-G1-Zellen. Ebenso kann das Einschätzungsmodul 138 vorhersagen, dass der menschliche Fahrer eher auf das zweite Fahrzeug 302 als auf das erste Fahrzeug 301 schaut (z.B. da das zweite Fahrzeug 302 näher in der Nähe ist). Daher kann das Einschätzungsmodul 138 die Herausrage-Daten 160 bereitstellen und die G4-Zelle als relevanter identifizieren als die F3-Zelle. Somit kann das Einschätzungsmodul 138 der G4-Zelle einen höheren Relevanzfaktor zuweisen als die F3-Zelle.
Darüber hinaus kann das Manöverrisiko-Modul 142 (5) bei 206 des Verfahrens 200 den bei 202 empfangenen Sensoreingang 144 verarbeiten. Das Manöverrisiko-Modul 142 kann das mit der Ausführung bestimmter Fahrzeugmanöver verbundene Risiko vorhersagen. Im Beispiel von 3 kann das Manöverrisiko-Modul 142 bestimmen, dass das Risiko einer Rechtsdrehung relativ hoch ist, da es ein Objekt (das zweite Fahrzeug 302) gibt, das ein solches Manöver behindern würde. Das Manöverrisiko-Modul 142 kann bestimmen, dass die der G4-Zelle zugeordnete(n) Sensorvorrichtung(en) 126a-126n diese Manöverrisikovorhersage stärker beeinflussen als die Sensorvorrichtung(en) 126a-126n anderer Zellen 152. Daher stellt das Manöverrisiko-Modul 142 die Manöverrisikodaten 173 zur Verfügung, wodurch der G4-Zelle ein höherer Relevanzfaktor zugeordnet wird als beispielsweise der F3-Zelle.
Anschließend kann das adaptive Sensorsteuerungssystem 136 bei 208 des Verfahrens 200 zusätzliche Bayessche Berechnungen (z.B. ein Bayessche Aktualisierung nach Gleichung (3), oben) für die Zellen 152 unter Berücksichtigung der Unsicherheitsfaktoren (berechnet nach 204) und der Relevanzfaktoren (berechnet nach 206) durchführen. Der Prozessor 130 kann bei diesen Berechnungen den Aufschlagsdaten 160 ein Gewicht über die Manöverrisiko-Daten 173 zuweisen oder umgekehrt. Das adaptive Sensorsteuerungssystem 136 kann Steuerbefehle für eine oder mehrere Sensorvorrichtungen 126a-126n erzeugen.
Insbesondere kann das adaptive Steuersystem 136 die Steuerbefehle so erzeugen, dass eine oder mehrere Abtastvorrichtungen 126a-126n in Richtung des physikalischen Raumes gesteuert werden, der der G4-Zelle von 3 entspricht. Dies liegt daran, dass, wie bereits erwähnt, der G4-Aufruf eine höhere Unsicherheit aufweist als andere Zellen und dass die G4-Zelle eine höhere Relevanz hat als andere Zellen.
Anschließend können bei 210 des Verfahrens 200 die bei 208 erzeugten Steuerbefehle von der Steuerung 122 an das Sensorsystem 116 geliefert werden. So können beispielsweise ein oder mehrere Lidarstrahlen auf den der G4-Zelle entsprechenden physikalischen Raum gerichtet sein. Die anderen Sensorvorrichtungen 126a-126n können ebenfalls eingesetzt werden. In einigen Ausführungsformen können eine oder mehrere Abtastvorrichtungen 126a-126n von anderen Räumen (z.B. dem Himmel) weggeführt werden, so dass ein begrenzter oder gar kein Sensoreingang davon erfasst wird. Auch hier ist der Begriff „gesteuert“ im weiteren Sinne zu verstehen als angepasst, gerichtet, fokussiert usw., um die Art und Weise zu ändern, wie das Sensorsystem 116 Daten sammelt. So kann beispielsweise eine oder mehrere der Abtastvorrichtungen 126a-126n gesteuert oder angewiesen werden, um zu fokussieren, die Auflösung einzustellen, zwischen EIN- und AUS-Modus zu wechseln, die Verstärkung einzustellen, zu betätigen usw. Dementsprechend können Sensorressourcen für Bereiche aufgewendet werden, die eine hohe Einschätzungsunsicherheit und Relevanz aufweisen. Der Informationsgewinn aus diesen Bereichen kann erhöht werden.
Das Verfahren 200 kann bis 202 zurückgeschleift werden, wobei zusätzlicher Sensoreingang 144 von der Steuerung 122 empfangen wird. Im aktuellen Beispiel wird ein zusätzlicher Sensoreingang 144 über den der G4-Zelle entsprechenden Raum empfangen. Anschließend kann das Einschätzungsmodul 138, indem es 204 des Verfahrens 200 wiederholt, die Einschätzungs- und Unsicherheitsfaktoren für die Zellen 152 berechnen. Anschließend können bei 206 die Relevanzprioritäten durch die Herausrage- und/oder Manöverrisiko-Module 140, 142 bestimmt werden, und das adaptive Sensorsteuerungssystem 136 kann zusätzliche Steuerbefehle für die Sensorvorrichtungen 126a-126n erzeugen. Wie bisher können eine oder mehrere Abtastvorrichtungen 126a-126n in Richtung eines Bereichs gesteuert werden, der einer Zelle 152 entspricht und eine hohe Einschätzungsunsicherheit und Relevanz für die aktuelle Situation aufweist. Dann, bei 210, können die Abtastvorrichtungen 126a-126n gemäß den bei 208 bestimmten Steuerbefehlen beauftragt werden. Das Verfahren kann wieder zu 202 zurückgeschleift werden, und so weiter.
Vorteilhaft ist, dass die Systeme und Verfahren der vorliegenden Offenbarung mit hoher Effizienz arbeiten können. In einem Beispiel beinhalten die Abtastvorrichtungen 126a-126n eine Kamera, die für den Betrieb mit einer Auflösung eingerichtet ist, die selektiv auf einen bestimmten physikalischen Raum in der Umgebung eingestellt werden kann, sowie ein Lidarsystem. Sobald eine Zelle 152 als mit höherer Unsicherheit und Relevanz als andere identifiziert wurde, kann der Kamera befohlen werden, die Auflösung (z.B. von 1080p auf 4K) für die identifizierte Zelle 152 zu erhöhen, anstatt Daten mit dieser erhöhten Auflösung für die gesamte Szene zu sammeln. Dementsprechend kann das System die Energie effizient nutzen. Außerdem kann die Menge der als Sensoreingang 144 empfangenen Daten reduziert und damit effizienter verwaltet werden.
Darüber hinaus können aus den relevanten physikalischen Räumen in der Umgebung hochgenaue Informationen gesammelt werden, um so die Menge der in jedem Zeitschritt gewonnenen relevanten Informationen zu erhöhen.
Im Folgenden werden die Merkmale mehrerer Ausführungsformen beschrieben, damit die Fachleute die Aspekte der vorliegenden Offenbarung besser verstehen können. Die Fachleute sollten verstehen, dass sie die vorliegende Offenbarung ohne weiteres als Grundlage für die Gestaltung oder Änderung anderer Prozesse und Strukturen zur Erfüllung der gleichen Zwecke und/oder zur Erzielung der gleichen Vorteile der hierin vorgestellten Ausführungsformen verwenden können. Die Fachleute sollten auch erkennen, dass solche gleichwertigen Konstruktionen nicht vom Geist und Umfang der vorliegenden Offenbarung abweichen und dass sie verschiedene Änderungen, Substitutionen und Änderungen hierin vornehmen können, ohne vom Geist und Umfang der vorliegenden Offenbarung abzuweichen.

Claims

Ein adaptives Sensorsteuerungssystem für ein Fahrzeug, umfassend: eine Steuerung mit einem Prozessor, der programmiert ist, um eine Einschätzung einer Umgebung des Fahrzeugs zu erzeugen, einschließlich dem Durchführen einer Berechnung an einem Sensoreingang, um als Ausgabe mindestens ein Einschätzungsdatum und einen zugehörigen Unsicherheitsfaktor für verschiedene Bereiche innerhalb der Einschätzung der Umgebung des Fahrzeugs bereitzustellen; ein Sensorsystem, das eingerichtet ist, um den Sensoreingang dem Prozessor zur Verfügung zu stellen, wobei das Sensorsystem selektiv in Bezug auf einen physikalischen Raum in der Umgebung gemäß einem Steuersignal steuerbar ist; der Prozessor programmiert ist, um einen Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung der Umgebung zu bestimmen; der Prozessor eingerichtet ist, um den Steuerbefehl zum Lenken des Sensorsystems in Richtung eines physikalischen Raums in der Umgebung in Abhängigkeit vom Unsicherheitsfaktor und dem für die verschiedenen Bereiche der Einschätzung bestimmten Relevanzfaktor zu erzeugen; und das Sensorsystem eingerichtet ist, um gemäß dem Steuerbefehl in Richtung des physikalischen Raums in der Umgebung zu lenken, um einen aktualisierten Sensoreingang für den Prozessor zu erhalten, um das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.
Das System nach Anspruch 1, wobei der Prozessor programmiert ist, um eine Bayes'sche Berechnung am Sensoreingang durchzuführen, um als Ausgabe das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für die verschiedenen Bereiche innerhalb der Einschätzung bereitzustellen; und wobei der Prozessor programmiert ist, um eine Zelle eines Belegungsgitters mit dem mindestens einen Einschätzungsdatum und dem zugehörigen Unsicherheitsfaktor gemäß der Bayes'schen Berechnung zu erzeugen und zu füllen.
Das System nach Anspruch 1, wobei die Steuerung ein Herausrage-Modul beinhaltet, das programmiert ist, um einen Herausrage-Relevanzfaktor für die verschiedenen Bereiche durch Zugriff auf ein vorprogrammiertes menschliches Blickmodell zu bestimmen, wobei das Herausrage-Modul programmiert ist, um den Sensoreingang zu verarbeiten, zum: Erkennen, gemäß dem menschlichen Blickmodell, von Bedingungen in Bereichen der Einschätzung, die einem im menschlichen Blickmodell gespeicherten Fahrszenario entsprechen; und Angeben, gemäß dem menschlichen Blickmodell, welchen der Bereiche ein menschlicher Fahrer für die erkannten Bedingungen visuell beachtet, und Berechnen des Herausrage-Relevanzfaktors, einschließlich dem Berechnen höherer Herausrage-Relevanzfaktoren für die Bereiche, die ein menschlicher Fahrer visuell beachtet; und wobei der Prozessor eingerichtet ist, um den Steuerbefehl zum Lenken des Sensorsystems in Abhängigkeit von dem Unsicherheitsfaktor und dem Relevanzfaktor zu erzeugen.
Das System nach Anspruch 1, wobei die Steuerung ein Manöverrisiko-Modul beinhaltet, das programmiert ist, um einen Manöverrisiko-Relevanzfaktor für die verschiedenen Bereiche zu bestimmen, einschließlich dem Verarbeiten des Sensoreingangs zum: Erkennen einer aktuellen Situation des Fahrzeugs und dementsprechend Vorhersagen des Risikos der Ausführung eines bestimmten Fahrzeugmanövers; Bestimmen des Einflussgrades, den die verschiedenen Bereiche auf die Vorhersage haben; Berechnen, gemäß dem bestimmten Einflussgrad, des Manöverrisiko-Relevanzfaktors für die verschiedenen Bereiche, einschließlich dem Berechnen höherer Manöverrisiko-Relevanzfaktoren für Bereiche mit höherem Einflussgrad, und wobei der Prozessor eingerichtet ist, um den Steuerbefehl zum Lenken des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Manöverrisiko-Relevanzfaktor zu erzeugen.
Das System nach Anspruch 1, wobei das Sensorsystem eine erste Abtastvorrichtung und eine zweite Abtastvorrichtung beinhaltet, wobei die ersten und zweiten Abtastvorrichtungen unterschiedliche Modalitäten aufweisen, wobei die ersten und zweiten Abtastvorrichtungen eingerichtet sind, um Sensoreingang für einen gemeinsamen Bereich der Einschätzung als Sensoreingang bereitzustellen.
Das System nach Anspruch 5, wobei die erste Abtastvorrichtung ein Kamerasystem und die zweite Abtastvorrichtung ein Lidarsystem beinhaltet; wobei der Prozessor ein Herausrage-Modul und ein Manöverrisiko-Modul beinhaltet; wobei das Herausrage-Modul eingerichtet ist, um den Sensoreingang von dem Kamerasystem zu verarbeiten und Herausrage-Daten bereitzustellen, die dem Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung entsprechen; wobei das Manöverrisiko-Modul eingerichtet ist, um den Sensoreingang von dem Lidarsystems zu verarbeiten und Manöverrisikodaten bereitzustellen, die dem Relevanzfaktor für die verschiedenen Bereiche innerhalb der Einschätzung entsprechen.
Ein Verfahren zum Betreiben eines adaptiven Sensorsteuerungssystems eines Fahrzeugs, umfassend: Bereitstellen von Sensoreingang von einem Sensorsystem zu einer fahrzeugseitigen Steuerung mit einem Prozessor; Erzeugen, durch den Prozessor, einer Einschätzung einer Umgebung des Fahrzeugs, einschließlich Durchführen einer Berechnung des Sensoreingangs, um als Ausgang mindestens ein Einschätzungsdatum und einen zugehörigen Unsicherheitsfaktor für verschiedene Bereiche innerhalb der Einschätzung der Umgebung des Fahrzeugs bereitzustellen; Bestimmen, durch den Prozessor, eines Relevanzfaktors für die verschiedenen Bereiche innerhalb der Einschätzung der Umgebung; Erzeugen, durch den Prozessor, eines Steuerbefehls zum Steuern des Sensorsystems in Richtung eines physikalischen Raums in der Umgebung in Abhängigkeit vom Unsicherheitsfaktor und dem für die verschiedenen Bereiche der Einschätzung bestimmten Relevanzfaktor; und Steuern des Sensorsystems in Richtung des physikalischen Raums in der Umgebung gemäß dem Steuerbefehl, um einen aktualisierten Sensoreingang für den Prozessor zu erhalten, um das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für den physikalischen Raum zu aktualisieren.
Das Verfahren nach Anspruch 7, wobei das Erzeugen der Einschätzung Folgendes beinhaltet: Durchführen, durch den Prozessor, einer Bayes'schen Berechnung am Sensoreingang, um als Ausgabe das mindestens eine Einschätzungsdatum und den zugehörigen Unsicherheitsfaktor für die verschiedenen Bereiche innerhalb der Einschätzung bereitzustellen; und Füllen einer Zelle eines Belegungsgitters mit dem mindestens einen Einschätzungsdatum und dem zugehörigen Unsicherheitsfaktor gemäß der Bayes'schen Berechnung.
Das Verfahren nach Anspruch 7, wobei das Bestimmen des Relevanzfaktors Folgendes beinhaltet: Bestimmen eines Herausrage-Relevanzfaktors für die verschiedenen Bereiche durch Zugriff auf ein vorprogrammiertes menschliches Blickmodell; Erkennen, gemäß dem menschlichen Blickmodell, von Bedingungen in Bereichen der Einschätzung, die einem im menschlichen Blickmodell gespeicherten Fahrszenario entsprechen; Angeben, gemäß dem menschlichen Blickmodell, welchen der Bereiche ein menschlicher Fahrer für die erkannten Bedingungen visuell beachtet, und Berechnen des Herausrage-Relevanzfaktors, einschließlich der Berechnung höherer Herausrage-Relevanzfaktoren für die Bereiche, die ein menschlicher Fahrer visuell beachtet; und wobei das Erzeugen des Steuerbefehls das Erzeugen des Steuerbefehls zum Lenken des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Herausrage-Relevanzfaktor beinhaltet.
Das Verfahren nach Anspruch 7, wobei das Bestimmen des Relevanzfaktors das Bestimmen eines Manöver-Risikorelevanzfaktors für die verschiedenen Bereiche beinhaltet, einschließlich des Verarbeitens des Sensoreingangs zum: Erkennen einer aktuelle Situation des Fahrzeugs und dementsprechendes Vorhersagen des Risikos der Ausführung eines bestimmten Fahrzeugmanövers; Bestimmen des Einflussgrades, den die verschiedenen Bereiche auf die Vorhersage haben; und Berechnen des Manöverrisiko-Relevanzfaktors für die verschiedenen Bereiche gemäß dem bestimmten Einflussgrad, einschließlich der Berechnung höherer Manöverrisiko-Relevanzfaktoren für Bereiche mit höherem Einflussgrad, und wobei das Erzeugen des Steuerbefehls das Erzeugen des Steuerbefehls zum Lenken des Sensorsystems in Abhängigkeit vom Unsicherheitsfaktor und dem Manöver-Risikorelevanzfaktor beinhaltet.