DE102021114620A1

DE102021114620A1 - Präsentation von dynamischer bedrohungsinformation basierend auf bedrohungs- und trajektorienvorhersage

Info

Publication number: DE102021114620A1
Application number: DE102021114620.8A
Authority: DE
Inventors: Yael Shmueli Friedland; Claudia V. Goldman-Shenhar; Asaf Degani; Lisa M. Talarico; Ron M. Hecht
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-12-16
Filing date: 2021-06-08
Publication date: 2022-06-23
Also published as: US20220189307A1; CN114633691A

Abstract

Ein System zum Benachrichtigen eines Benutzers eines Fahrzeugs umfasst ein Empfangsmodul, das konfiguriert ist, um Erfassungsdaten zu empfangen; und ein Bedrohungsanalysemodul, das konfiguriert ist, um Objekterfassungsdaten zu empfangen, die sich auf ein erfasstes Objekt in einer Umgebung um das Fahrzeug beziehen, ein vorhergesagte Trajektorie des erfassten Objekts zu beschaffen und zu bestimmen, ob das erfasste Objekt eine Bedrohung basierend auf der vorhergesagten Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie bildet. Das System umfasst ebenfalls ein Bedrohungsanzeigemodul, das konfiguriert ist, um ein Betriebsszenario basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau zu bestimmen und eine Benachrichtigung an den Benutzer zu erzeugen, welche die Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagten Trajektorie des erfassten Objekts umfasst. Mindestens eines der visuellen Darstellung und des visuellen Indikators wird basierend auf dem Betriebsszenario angepasst.

Description

EINFÜHRUNG
Die Gegenstandsoffenbarung betrifft die Technik des Präsentierens erfasster Bedrohungen und ihrer Trajektorie und der Erfassung und Minderung. Genauer gesagt betrifft die Gegenstandsoffenbarung ein System und ein Verfahren zum Vorhersagen oder Beurteilen von Bedrohungszuständen und Erzeugen von Benutzerwarnungen.
Die Bedrohungserfassung ist ein bedeutender Aspekt von vielen modernen Fahrzeugen und findet Nutzung in sowohl manuellen Fahrzeugen als auch Fahrzeugen mit autonomer und semi-autonomer Fähigkeit. Kameras und/oder andere Bildgebungsvorrichtungen und Sensoren sind zunehmend in Fahrzeugen enthalten, um den Betrieb des Fahrzeugs zu erleichtern und die Erfassung von potentiellen Bedrohungen zu ermöglichen. Eine wirksame Bedrohungserfassung und eine Benachrichtigung von potentiellen Bedrohungen können eine Herausforderung insbesondere in dynamischen Situationen sein, in denen sich potentielle Bedrohungen bewegen und/oder in Situationen, in denen ein Fahrer oder Benutzer in einem abgelenkten Zustand ist.
ZUSAMMENFASSUNG
In einer beispielhaften Ausführungsform umfasst ein System zum Benachrichtigen eines Benutzers eines Fahrzeugs ein Empfangsmodul, das konfiguriert ist, um Erfassungsdaten von einem oder mehreren Sensoren zu empfangen, und ein Bedrohungsanalysemodul, das konfiguriert ist, um Objekterfassungsdaten zu empfangen, die sich auf ein erfasstes Objekt in einer Umgebung um das Fahrzeug beziehen, eine vorhergesagte Trajektorie des erfassten Objekts zu beschaffen und zu bestimmen, ob das erfasste Objekt eine Bedrohung basierend auf der vorhergesagten Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie bildet. Das System umfasst ebenfalls ein Bedrohungsanzeigemodul, das konfiguriert ist, um ein Betriebsszenario basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau zu bestimmen und eine Benachrichtigung an den Benutzer zu erzeugen, welche die Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagten Trajektorie des erfassten Objekts umfasst. Mindestens eines der visuellen Darstellung und des visuellen Indikators wird basierend auf dem Betriebsszenario angepasst.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird der Betriebsmodus aus einem manuellen Betriebsmodus, einem teilweisen autonomen Betriebsmodus und einem vollständig autonomen Betriebsmodus ausgewählt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Betriebsszenario eine Bedrohungsstruktur, die aus einer diskreten Bedrohung und einer kombinierten Bedrohung ausgewählt wird.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Benachrichtigung eine visuelle Darstellung einer Abhängigkeit zwischen mehreren Objekten, welche die kombinierte Bedrohung darstellt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmalen ist das Bedrohungsanzeigemodul konfiguriert, um mindestens eines einer auditiven Warnung und einer haptischen Warnung in der Benachrichtigung basierend auf einem Bestimmen aufzunehmen, dass ein Bedrohungsniveau über einem ausgewählten Wert ist, und/oder basierend auf einem Bestimmen aufzunehmen, dass der Benutzer unaufmerksam relativ zu dem erfassten Objekt ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird eine Eigenschaft von mindestens eines der visuellen Darstellung des erfassten Objekts, des visuellen Indikators der vorhergesagte Trajektorie, der auditiven Warnung und der haptische Warnung allmählich in Echtzeit geändert, wenn sich das Bedrohungsniveau ändert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird die Eigenschaft mindestens eines der visuellen Darstellung und des visuellen Indikators aus mindestens eines einer Farbe, einer Opazität, einer Helligkeit, einer Blinkrate, einer Textur und einer Intensität ausgewählt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Benachrichtigung eine Einstellung der Innenbeleuchtung in dem Fahrzeug basierend auf mindestens eines des Bedrohungsniveaus und der Benutzeraufmerksamkeit.
In einer beispielhaften Ausführungsform umfasst ein Verfahren zum Benachrichtigen eines Benutzers eines Fahrzeugs ein Empfangen von Erfassungsdaten von einem oder mehreren Sensoren, Empfangen von Objekterfassungsdaten, die ein erfasstes Objekt in einer Umgebung um das Fahrzeug betreffen, basierend auf den Erfassungsdaten, Erfassen einer vorhergesagten Trajektorie des erfassten Objekts und Bestimmen, ob das erfasste Objekt eine Bedrohung bildet, basierend auf der vorhergesagte Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie. Das Verfahren umfasst ebenfalls basierend auf dem Bestimmen, dass das erfasste Objekt eine Bedrohung bildet, das Bestimmen eines Betriebsszenarios basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau und das Erzeugen einer Benachrichtigung an den Benutzer, welche die Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagten Trajektorie des erfassten Objekts darstellt. Mindestens eines der visuellen Darstellung und des visuellen Indikators wird basierend auf dem Betriebsszenario angepasst.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird der Betriebsmodus aus einem manuellen Betriebsmodus, einem teilweisen autonomen Betriebsmodus und einem vollständig autonomen Betriebsmodus ausgewählt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Betriebsszenario eine Bedrohungsstruktur, die aus einer diskreten Bedrohung und einer kombinierten Bedrohung ausgewählt wird.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Benachrichtigung eine visuelle Darstellung einer Abhängigkeit zwischen mehreren Objekten, welche die kombinierte Bedrohung darstellen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist ein Bedrohungsanzeigemodul konfiguriert, um mindestens eines einer auditiven Warnung und einer haptischen Warnung in die Benachrichtigung basierend auf dem Bestimmen aufzunehmen, dass ein Bedrohungsniveau über einem ausgewählten Wert ist, und/oder basierend auf dem Bestimmen, dass der Benutzer relativ zu dem erfassten Objekt unaufmerksam ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird eine Eigenschaft von mindestens eines der visuellen Darstellung des erfassten Objekts, des visuellen Indikators der vorhergesagte Trajektorie, der auditiven Warnung und der haptische Warnung allmählich in Echtzeit geändert, wenn sich das Bedrohungsniveau ändert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird die Eigenschaft mindestens eines der visuellen Darstellung und des visuellen Indikators aus mindestens eines einer Farbe, einer Opazität, einer Helligkeit, einer Blinkrate, einer Textur und einer Intensität ausgewählt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Benachrichtigung eine Einstellung der Innenbeleuchtung in dem Fahrzeug basierend auf mindestens eines dem Bedrohungsniveau und der Benutzeraufmerksamkeit.
In einer beispielhaften Ausführungsform umfasst ein Fahrzeugsystem einen Speicher mit computerlesbaren Anweisungen und einer Verarbeitungsvorrichtung zum Ausführen der computerlesbaren Anweisungen. Die computerlesbaren Anweisungen steuern die Verarbeitungsvorrichtung, um das Empfangen von Erfassungsdaten von einem oder mehreren Sensoren durchzuführen, Objekterfassungsdaten, die sich auf ein erfasstes Objekt in einer Umgebung um das Fahrzeug beziehen, basierend auf den Erfassungsdaten zu empfangen, einer vorhergesagte Trajektorie des erfassten Objekts zu beschaffen und zu bestimmen, ob das erfasste Objekt eine Bedrohung basierend auf der vorhergesagte Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie bildet. Die Anweisungen steuern ebenfalls die Verarbeitungsvorrichtung um basierend auf dem Bestimmen, dass das erfasste Objekt eine Bedrohung bildet, das Bestimmen eines Betriebsszenario basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau durchzuführen und eine Benachrichtigung an der Benutzer zu erzeugen, welche die Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagte Trajektorie des erfassten Objekts umfasst. Mindestens eines der visuellen Darstellung und des visuellen Indikators wird basierend auf dem Betriebsszenario angepasst.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist ein Bedrohungsanzeigemodul konfiguriert, um mindestens eines einer auditiven Warnung und einer haptischen Warnung in die Benachrichtigung basierend auf dem Bestimmen aufzunehmen, dass ein Bedrohungsniveau über einem ausgewählten Wert ist, und/oder basierend auf dem Bestimmen aufzunehmen, dass der Benutzer relativ zu dem erfassten Objekt unaufmerksam ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird eine Eigenschaft von mindestens eines der visuellen Darstellung des erfassten Objekts, des visuellen Indikators der vorhergesagte Trajektorie, der auditiv Warnung und der haptische Warnung allmählich geändert in Echtzeit geändert, wenn sich das Bedrohungsniveau ändert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Benachrichtigung eine Einstellung der Innenbeleuchtung in dem Fahrzeug basierend auf mindestens eines des Bedrohungsniveaus und der Benutzeraufmerksamkeit.
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der Offenbarung sind ohne Weiteres aus der folgenden detaillierten Beschreibung ersichtlich, wenn sie in Verbindung mit den beigefügten Figuren genommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen beispielhaft in der folgenden detaillierten Beschreibung, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:

1 eine Draufsicht eines Motorfahrzeugs ist, die Aspekte eines Bedrohungserfassungs- und Benachrichtigungssystem gemäß einer beispielhaften Ausführungsform umfasst;
2 ein Computersystem anschaulich darstellt, das konfiguriert ist, um Aspekte der Bedrohungserfassung und Benachrichtigung gemäß einer beispielhaften Ausführungsform durchführen;
3 ein Ablaufdiagramm ist, das Aspekte eines Verfahrens zum Erfassen von Bedrohungen anschaulich darstellt, und Benachrichtigungen präsentiert, wobei das Verfahren das Bestimmen eines Fahrszenarios, das Erzeugen einer Vorhersage einer Objekttrajektorie und das Ausgestalten und Präsentieren einer Benachrichtigung gemäß einer beispielhaften Ausführungsform umfasst;
4 Aspekte eines Verfahrens zum Bestimmen eines Fahrszenarios gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
5A und 5B Aspekte eines Verfahrens zum Ausgestalten einer Benachrichtigung anschaulich darstellt, was die Auswahl einer oder mehrerer Anzeigemodalitäten gemäß einer beispielhaften Ausführungsform umfasst;
6 ein Beispiel des Verfahrens von 5 anschaulich darstellt, was die Auswahl einer oder mehrerer Modalitäten als eine Funktion des Bedrohungsniveaus gemäß einer beispielhaften Ausführungsform umfasst;
7 Aspekte eines Verfahrens zum Ausgestalten einer Benutzerbenachrichtigung für eine Cluster-Anzeige gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
8 Aspekte eines Verfahrens zum Ausgestalten einer Benutzerbenachrichtigung für eine Augmented-Reality-Anzeige gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
9 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Cluster-Anzeige erzeugt wird, wobei die Benutzerbenachrichtigung ein Objekt darstellt, das identifiziert ist, ein hohes Bedrohungsniveau aufzuweisen, und eine vorhergesagte Objekttrajektorie gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
10 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Cluster-Anzeige erzeugt wird, wobei die Benutzerbenachrichtigung ein Objekt darstellt, das mit einer mittleren Bedrohungsniveau identifiziert ist, und eine vorhergesagte Objekttrajektorie gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
11 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Cluster-Anzeige erzeugt wird, wobei die Benutzerbenachrichtigung ein Kind, einen Ball (als eine Bedrohung identifiziert) und eine vorhergesagte Trajektorie des Balls umfasst, gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
12 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Cluster-Anzeige erzeugt wird, wobei die Benutzerbenachrichtigung mehrere Straßenbenutzer (Fahrzeugen) darstellt, die als Bedrohungen gekennzeichnet sind, gemäß einer beispielhaften Ausführungsform anschaulich darstellt;
13 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Cluster-Anzeige eines Objekts erzeugt wird, das als einer Bedrohung mit seiner vorhergesagten Trajektorie identifiziert ist, während eines autonomen Betriebsmodus, gemäß einer beispielhaften Ausführungsform anschaulich darstellt; und
14 ein Beispiel einer Benutzerbenachrichtigung, die auf einer Augmented-Reality, Heads-up-Display eines Objekts erzeugt wird, das als eine Bedrohung mit seiner vorhergesagten Trajektorie identifiziert ist, gemäß einer beispielhaften Ausführungsform anschaulich darstellt.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung weist lediglich beispielhaften Charakter auf und ist nicht bestimmt, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Es sei zu verstehen, dass in den Zeichnungen durchgehend entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale angeben.
Gemäß einer oder mehreren beispielhaften Ausführungsformen werden Verfahren und Systemen bereitgestellt zum Überwachen einer Umgebung um ein Fahrzeug (oder anderen Maschine, Vorrichtung oder System für die/das eine Bedrohungs- oder Objekterfassung wünschenswert ist), Erfassen potentieller Bedrohungen und Präsentieren von Kontextbenachrichtigungen an einen Benutzer (z.B., Fahrer oder Fahrgast) des Fahrzeugs. Eine Ausführungsform eines Systems ist konfiguriert, um Erfassungsdaten von einem oder mehreren Fahrzeugsensoren zu erfassen und Daten bezogen auf Fahrzeugdynamik (z.B., Geschwindigkeit, Richtung) und eine oder mehrere potentielle Bedrohungen zu identifizieren, die durch die erfassten Objekte dargestellt werden. Das System erfasst oder bestimmt eine vorhergesagte Trajektorie eines erfassten Objekts und erzeugt eine Benachrichtigung an den Benutzer, die Benutzeraufmerksamkeit und Bedrohungsniveau berücksichtigt, dem Benutzer Informationen über prädiktive Dynamik einer Bedrohung (oder kombinierten Bedrohung), relevanten Kontext bereitzustellen und die Aufmerksamkeit des Benutzers zu lenken. Wie hier nachstehend ferner erläutert, wird die Benachrichtigung basierend auf dem Bedrohungsniveau und der Aufmerksamkeit angepasst, um dem Benutzer ein Niveau an Detail und ausreichenden Anreiz bereitzustellen, um sicherzustellen, dass der Benutzer auf eine Bedrohung aufmerksam gemacht wird, und ausreichenden Kontext aufweist, um zu reagieren.
Das System erfasst in einer Ausführungsform Daten, die sich auf einen Benutzerzustand beziehen, wie beispielsweise Bewusstsein und Aufmerksamkeit des Fahrers (z.B. ist der Benutzer auf die Straße fokussiert, schaut der Benutzer in Richtung der Bedrohung, ist der Benutzer abgelenkt usw.) unter Verwendung eines Fahrüberwachungssystems (DMS) oder einer anderen geeigneten Erfassungsvorrichtung oder - system. Umgebungsdaten können ebenfalls erfasst werden, welche die Umgebung und den Fahr-Kontext des Fahrzeugs angeben (z.B., Straßenlayout, Wetter, Verkehr usw.). Basierend auf den obigen Informationen schätzt das System eine Bedrohungsstruktur (eine einzige Bedrohung oder eine kombinierte Bedrohung) und ein einem erfassten Objekt oder Objekten ein Bedrohungsniveau zugeordnet und eine Benachrichtigung unter Verwendung einer oder mehrerer verfügbarer Modalitäten erzeugt, die basierend auf der Bedrohungsniveau und dem Benutzeraufmerksamkeitsniveau kontextualisiert sin.
Die Benachrichtigung benutzt eines oder mehreres von verschiedenen Modalitäten, einschließlich einer visuellen Modalität (Graphik, Text usw.), einer auditiven Modalität (z.B., eines Pieptons oder einer Reihe davon) und einer haptische Modalität (z.B., Lenkrad- und/oder Sitzschwingungen). Die haptischen und auditiven Modalitäten können als Richtungssignale konfiguriert sein, um den Benutzer aufzufordern, Aufmerksamkeit auf einen Ort einer Bedrohung zu richten. In einer Ausführungsform umfassen die Modalitäten die Verwendung der Innenbeleuchtung, um den Benutzer zu warnen. Die Kombination und/oder die Merkmale jeder Modalität werden verwendet, um eine Benachrichtigung zu erzeugen, die Benutzerbewusstsein eines gegebenen Kontexts verstärkt, ohne den Benutzer übermäßig abzulenken.
Hier beschriebene Ausführungsformen präsentieren eine Anzahl von Vorteilen. Das System stellt Vorteile bereit, einschließlich eines verstärkten Situationsbewusstsein, sowohl beim Bereitstellen relevanter Informationen an den Benutzer in einer intuitiven Art und Weise sowie auch wirksames und promptes Übermitteln der Ernsthaftigkeit einer erfassten Bedrohung und ihrer vorhergesagten Trajektorie. Das System verbessert somit die Reaktionszeit des Benutzers und verstärkt Unfallvermeidung im Vergleich mit herkömmlichen Systemen.
Ausführungsformen werden nachstehend im Kontext des Fahrzeugbetriebs beschrieben. Die Ausführungsformen sind nicht derart beschränkt und können in beliebigen verschiedenen Kontexten verwendet werden, wobei das Situationsbewusstsein eines Benutzers ein Faktor ist. Somit versteht sich, dass hier beschriebene Ausführungsformen auf beliebige verschiedene Kontexte (z.B., Betrieb von Leistungswerkzeugen, Flugzeugen, Bautätigkeiten, Fabrikautomaten (z.B., Roboter) und andere) anwendbar sind.
1 zeigt eine Ausführungsform eines Motorfahrzeugs 10, das eine Fahrzeugkarosserie 12 umfasst, die mindestens teilweise einen Insassenraum 14 definiert. Die Fahrzeugkarosserie 12 unterstützt ebenfalls an verschiedenen Fahrzeugsubsysteme einschließlich eines Maschinensystems 16 (z.B., Verbrennung, elektrisch und andere) und anderen Subsystemen, um Funktionen des Maschinensystems 16 und anderen Fahrzeugkomponenten zu unterstützen, wie beispielsweise ein Bremssubsystem, ein Lenksubsystem und andere.
Das Fahrzeug umfasst ebenfalls ein Bedrohungserfassungs- und Benachrichtigungssystem 18, wobei Aspekte desselben in das Fahrzeug 10 aufgenommen oder mit diesem verbunden werden können. Das System 18 umfasst in dieser Ausführungsform eine oder mehrere optische Kameras 20, die konfiguriert sind, um Bilder aufzunehmen, die Standbilder und/oder Videobilder sein können. Zusätzliche Vorrichtungen oder Sensoren können in dem System 18 enthalten sein, wie beispielsweise eine oder mehreren Radaranordnungen 22, die in dem Fahrzeug 10 enthalten sind. Das System 18 ist nicht derart beschränkt und kann andere Typen von Sensoren umfassen, wie beispielsweise einen Infrarotsensor.
Das Fahrzeug 10 und das System 18 umfassen ebenfalls ein On-Board-Computersystem 30, das eine oder mehreren Verarbeitungsvorrichtungen 32 und eine Benutzerschnittstelle 34 umfasst. Die Benutzerschnittstelle 34 kann einen berührungsempfindlichen Bildschirm (Touchscreen), ein Spracherkennungssystem und/oder verschiedenen Schaltflächen umfassen, um es einem Benutzer zu ermöglichen, mit Merkmalen des Fahrzeugs wechselzuwirken. Die Benutzerschnittstelle 24 kann konfiguriert sein, um mit dem Benutzer über visuelle Kommunikationen (z.B., Text und/- oder graphische Anzeigen), taktile Kommunikationen oder Alarme (z.B., Schwingungen) und/oder hörbare Kommunikationen wechselzuwirken. Das Onboard-Computersystem 30 kann ebenfalls Vorrichtungen zur Überwachung des Benutzers umfassen oder kommunizieren, wie beispielsweise Innenraumkameras und Bildanalysekomponenten. Derartige Vorrichtungen können in ein Fahrerüberwachungssystem (DMS) aufgenommen sein.
Zusätzlich zu der Benutzerschnittstelle kann das Fahrzeug 10 andere Typen von Anzeigen und/oder andere Vorrichtungen umfassen, die mit einem Benutzer wechselwirken und/oder Informationen vermitteln können. Beispielsweise kann zusätzlich zu oder alternativ das Fahrzeug 10 einen Anzeigebildschirm (z.B., einen Vollanzeige-Spiegel (Full Display Mirror; FDM) umfassen, der in ein Rückspiegel 36 aufgenommen ist und/oder einen oder mehreren Seitenspiegel 38 umfasst. In einer Ausführungsform umfasst das Fahrzeug 10 eine oder mehrere Heads-up-Displays (HUDs). Andere Vorrichtungen, die aufgenommen sein können, umfassen Anzeigeleuchten, haptische Vorrichtungen, Innenbeleuchtung, auditive Kommunikationsvorrichtungen und andere. Haptische Vorrichtungen (taktile Schnittstellen) umfassen beispielsweise schwingende Vorrichtungen in dem Fahrzeug Lenkrad und/oder Sitz des Fahrzeugs.
Die verschiedenen Anzeigen, haptische Vorrichtungen, Leuchten und auditiven Vorrichtungen sind konfiguriert, um in verschiedenen Kombinationen verwendet zu werden, um Informationen einem Benutzer (z.B. einem Fahrer, Bediener oder Fahrgast) in verschiedenen Formen zu präsentieren. Beispiele von derartigen Formen umfassen Text, Graphik, Video, Audio, Haptik und/oder anderen Formen, durch die Informationen dem Benutzer kommuniziert werden. Diese Formen der Kommunikation werden kombiniert und/oder basierend auf dem Kontext angepasst, um sicherzustellen, dass der Benutzer zeitnah auf jeglichen erfassten Bedrohungen aufmerksam gemacht wird, wie hier erläutert.
2 veranschaulicht Aspekte einer Ausführungsform eines Computersystems 40, das in Kommunikation mit oder Teil des Bedrohungserfassungs- und Benachrichtigungssystem 18 ist, und das verschiedenen Aspekte hier beschriebener Ausführungsformen durchführen kann. Das Computersystem 40 umfasst mindestens eine Verarbeitungsvorrichtung 42, die im Allgemeinen einen oder mehrere Prozessoren zum Durchführen hier beschriebener Aspekte von Bildaufnahme- und Analyseverfahren umfasst. Die Verarbeitungsvorrichtung 42 kann in das Fahrzeug 10 beispielsweise als die Onboard-Verarbeitungsvorrichtung 32 integriert sein oder kann eine Verarbeitungsvorrichtung getrennt von dem Fahrzeug 10 sein, wie beispielsweise ein Server, ein Personalcomputer oder eine mobile Vorrichtung (z.B. ein Smartphone oder Tablet).
Komponenten des Computersystem 40 umfassen die Verarbeitungsvorrichtung 42 (wie beispielsweise eine oder mehrere Prozessoren oder Verarbeitungseinheiten), einen Systemspeicher 44 und einen Bus 46, der verschiedene Systemkomponenten einschließlich des Systemspeichers 44 mit der Verarbeitungsvorrichtung 32 koppelt. Der Systemspeicher 44 kann eine Vielfalt von lesbaren Medien des Computersystems umfassen. Derartige Medien können jegliche verfügbaren Medien sein, die von der Verarbeitungsvorrichtung 42 zugänglich sind, und umfassen sowohl flüchtige als auch nichtflüchtigen Medien und entfernbare und nichtentfernbaren Medien oder.
Der Systemspeicher 44 umfasst beispielsweise einen nichtflüchtigen Speicher 48, wie beispielsweise eine Festplatte, und kann ebenfalls einen flüchtigen Speicher 50 umfassen, wie beispielsweise einen Direktzugriffspeicher (RAM) und/oder Cache-Speicher. Das Computersystem 40 kann ferner weitere entfernbare/nichtentfernbare, flüchtige/nichtflüchtige Computersystem-Speicherungsmedien umfassen.
Der Systemspeicher 44 kann mindestens ein Programmprodukt mit einem Satz (z.B., mindestens einen) von Programmmodulen umfassen, die konfiguriert sind, um Funktionen der hier beschriebenen Ausführungsformen auszuführen. Beispielsweise speichert der Systemspeicher 44 verschiedene Programmmodule, die im Allgemeinen die Funktionen und/oder Verfahrensabläufe von hier beschriebenen Ausführungsformen durchführen. Ein Empfangsmodul 52 kann umfasst sein, um Funktionen durchzuführen, die das Erfassen und Verarbeiten empfangener Bilder und Informationen von Erfassungsvorrichtungen durchführen, ein Bedrohungsanalysemodul 54 kann zur Analyse von erfassten Bilder und Bedrohungsschätzung umfasst sein, und ein Bedrohungsanzeigemodul 56 zum Anzeigen von Informationen an einen Benutzer basierend auf den erfassten Bedrohungen umfassen. Das System 40 ist nicht so begrenzt, weil andere Module umfasst sein können. Der Systemspeicher 44 kann ebenfalls verschiedene Datenstrukturen speichern, wie beispielsweise Datendateien oder andere Strukturen, die Daten bezogen auf Bildgebung und Bildverarbeitung speichern. Wie hier verwendet, bezieht sich der Begriff „Modul“ auf Verarbeitungsschaltungen, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam benutzt, fest zugeordnet oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine Kombinationslogikschaltung und/oder andere geeignete Komponenten, welche die beschriebene Funktionalität bereitstellen.
Die Verarbeitungsvorrichtung 42 kann ebenfalls mit einer oder mehreren externen Vorrichtungen 58 kommunizieren, wie beispielsweise einer Tastatur, einer Zeigevorrichtung und/oder beliebigen Vorrichtungen (z.B., Netzwerkkarte, Modem usw.), welche die Verarbeitungsvorrichtung 42 befähigen, mit einer oder mehreren anderen Rechenvorrichtungen zu kommunizieren. Außerdem kann die Verarbeitungsvorrichtung 32 mit einer oder mehreren Vorrichtungen kommunizieren, wie beispielsweise den Kameras 20 und den Radaranordnungen 22, die zur Bildanalyse verwendet werden. Die Verarbeitungsvorrichtung 32 kann mit einer oder mehreren Anzeigevorrichtungen 60 (z.B. einem Onboard-Touchscreen, Cluster, Mittelstapel, HUD, Spiegelanzeigen (FDM) und andere) und Steuervorrichtungen oder Systeme des Fahrzeugs 62 (z.B. für teilweise autonome (z.B., Fahrerassistenz) und/oder vollständig autonome Fahrzeugsteuerung) kommunizieren. Eine Kommunikation mit verschiedenen Vorrichtungen kann über Eingabe/Ausgabe-(E/A)-Schnittstellen 64 und 65 stattfinden.
Die Verarbeitungsvorrichtung 32 kann ebenfalls mit einem oder mehreren Netzwerke 66 kommunizieren, wie beispielsweise einem Lokalbereichsnetzwerk (LAN), einem allgemeinen Weitbereichsnetzwerk (WAN) und/oder einem öffentlichen Netzwerk (z.B. dem Internet) über einen Netzwerkadapter 68. Es sei zu verstehen, dass obwohl nicht gezeigt, andere Hardware- und/oder Softwarekomponenten in Verbindung mit dem Computersystem 40 verwendet werden können. Beispiele umfassen, sind jedoch nicht begrenzt auf: Mikrocode, Vorrichtungstreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerk-Arrays, RAID-Systemen und Speichersysteme zur Datenaktivierung usw.
3 stellt eine Ausführungsform eines Verfahrens 80 bereit, um eine Fahrzeugumgebung zu überwachen, um eine Bedrohungsbenachrichtigung und die prädiktive Trajektorie der Bedrohung einem Benutzer anschaulich darzustellen. Das System 18 oder eine andere Verarbeitungsvorrichtungen oder ein anderes System kann zum Durchführen von Aspekten des Verfahrens 80 benutzt werden. Das Verfahren 80 wird in Verbindung mit Blöcken 81-86 erläutert. Das Verfahren 80 ist nicht auf die Anzahl oder die Reihenfolge von Schritten begrenzt, weil einige durch Blöcke 81-86 dargestellte Schritte in einer unterschiedlichen Reihenfolge als die durchgeführt werden kann, die unter beschrieben wird, oder weniger als alle der Schritte kann durchgeführt werden.
Es sei bemerkt, dass das Verfahren 80 und anschließend erläuterte Verfahren beschrieben werden, als durch eine Verarbeitungsvorrichtung, wie beispielsweise Prozessor(s) in dem Fahrzeug 10 und/oder dem Computersystem 40, durchgeführt zu werden. Die Verfahren können jedoch von jeder geeigneten Verarbeitungsvorrichtung oder jedem geeigneten System durchgeführt werden. Außerdem können die Verfahren auf verschiedenen Fahrzeugzuständen, Fähigkeiten und Umgebungen Anwendung finden. In einer Ausführungsform wird das Verfahren unter Fahrbedingungen durchgeführt, bei denen Reaktionszeit und Bedrohungserfassung als eine Priorität angesehen werden (z.B., das Fahrzeug bewegt sich mit einer Schwellengeschwindigkeit wie beispielsweise 8 mph).
Die hier erläuterten Verfahren werden in Verbindung mit dem Fahrzeug 10 beschrieben, sind jedoch derart beschränkt und können in Verbindung mit verschiedenen Fahrzeugen (z.B., Automobile, Lastwagen, Flugzeuge) und/oder anderen Systemen (z.B., Bauausrüstung, Herstellungssysteme, Roboter usw.) verwendet werden.
Bei Block 81 überwacht die Verarbeitungsvorrichtung die Fahrzeugumwelt oder die Fahrzeugumgebung unter Verwendung einer oder mehreren verschiedenen Überwachungsvorrichtungen während des Betriebs eines Fahrzeugs. Beispielsweise kann die Verarbeitungsvorrichtung die Umgebung um das Fahrzeug unter Verwendung von optischen Kameras und Bildanalyse und/oder unter Verwendung von Radar überwachen. Das Fahrzeug 10 wird als ein Beobachter eingeschätzt und kann als ein „Ego-Fahrzeug“ bezeichnet werden.
Die Verarbeitungsvorrichtung erfasst, ob es irgendwelche Objekte in der Umgebung gibt, oder Daten erfasst oder empfängt, die sich auf erfasste Objekte beziehen (z.B., von einer anderen Verarbeitungsvorrichtung oder System) und bestimmt, ob irgendwelche erfassten Objekte eine Bedrohung sind. Ein Objekt wird als eine Bedrohung eingeschätzt, wenn das Objekt bei einem vorhergesagten Pfad des Fahrzeugs 10 lokalisiert ist, bei einem Ort, der innerhalb einer ausgewählten Entfernung ist, sich in einer Richtung bewegt, die das Fahrzeug stören oder mit diesem kollidieren könnte oder anderweitig in einer Position ist, die eine Störung verursachen könnte.
Bei Block 82 sammelt die Verarbeitungsvorrichtung Daten, die sich auf den Fahrer beziehen oder den Zustand des Fahrers angeben („Benutzererfassungsdaten“), Daten, die sich auf eine Umgebung um das Fahrzeug beziehen („Umgebungsdaten“), und Daten, die sich auf die Dynamik des Fahrzeugs beziehen („Fahrzeugdynamikdaten“). Das Fahrzeug sammelt Benutzerdaten 90 über ein Fahrerüberwachungssystem (DMS). Im Allgemeinen werden die Benutzerdaten benutzt, um einen Zustand des Benutzers zu bestimmen, der sich auf eine Aufmerksamkeit des Benutzers bezieht. In einer Ausführungsform wird ein Benutzer als „aufmerksam“ eingeschätzt, wenn die Benutzerdaten 90 (z.B. Augenverfolgungsdaten) angeben, dass die Aufmerksamkeit des Benutzers zu einem erfassten Objekt oder einem Ort oder einer Region hin gerichtet ist, das/der/die von der Bedrohung betroffen ist, auf die Straße blickt oder anderweitig in einem Zustand ist, in welcher der Benutzer aufmerksam ist. Ein Benutzer wird als „unaufmerksam“ eingeschätzt, wenn der Blick des Benutzers weg von der Straße oder einem erfassten Objekt oder einer Region ist oder wenn der Zustand des Benutzers abgelenkt ist.
Außerdem sammelt die Verarbeitungsvorrichtung Umgebungsdaten 92, die sich auf Zustände oder Kontexte einer Umgebung beziehen, in der das Fahrzeug lokalisiert ist und/oder betrieben wird. Umgebungsdaten 92 umfassen beispielsweise Straßenlayout, umgebende Merkmale und Strukturen, Kartendaten, Verkehrsinformationen, Wetterdaten, Straße Typ Daten, Verkehr light Daten und andere.
Die Verarbeitungsvorrichtung sammelt ebenfalls Fahrzeugdynamikdaten 94, wie beispielsweise Geschwindigkeit und Richtung. Das Fahrzeug 10 wird hier anschließend als das „Ego-Fahrzeug“ bezeichnet.
Bei Block 83 wird ein Betriebs- oder Fahrszenario basierend auf einer oder mehreren der folgenden Faktoren bestimmt. Die Faktoren umfassen Benutzer (z.B. FahrerAufmerksamkeit, Sichtfeld (FOV), Betriebsmodus (z.B., manuell, autonom), Anzeigentyp, Bedrohungsniveau und Bedrohungsstruktur. Das Fahrszenario kann alle der obigen Faktoren (d.h., Aufmerksamkeit, FOV, Betriebsmodus, Anzeigentyp, Bedrohungsniveau und Bedrohungsstruktur) oder eine Teilmenge der obigen Faktoren umfassen.
Benutzer- oder Fahreraufmerksamkeit betrifft eine Beurteilung davon, ob eine Aufmerksamkeit des Benutzers zu einem erfassten Objekt oder einer Region oder einem Bereich gerichtet ist, bei dem/die/dem ein erfasstes Objekt lokalisiert ist oder erwartungsgemäß lokalisiert ist. Benutzeraufmerksamkeit wird in einer Ausführungsform bestimmt als „aufmerksam“ zu sein, wenn Benutzerdaten (z.B., einer DMS) angeben, dass der Benutzer ein gegebenes Objekt oder Region beachtet. Aufmerksamkeit können bestimmt werden basierend auf Augenverfolgung, um die Richtung des Blicks des Benutzers zu bestimmen. Ein Benutzer kann als aufmerksam oder unaufmerksam basierend auf anderen Angaben bewertet werden, wie beispielsweise die emotionale Verfassung des Benutzers (z.B. bestimmt, durch Gesichtsbildanalyse) und Benutzerverhalten.
Das FOV des Benutzers wird mit dem Ort von erfassten Objekten verglichen, um zu bestimmen, ob das Objekt dem Benutzer sichtbar ist. Die Benachrichtigung kann, wie nachstehend erläutert, basierend darauf angepasst sein, ob das Objekt im Sichtfeld des Benutzers oder außerhalb des FOV ist.
Das Betriebsszenario kann den Typ von Anzeige oder Anzeige Fähigkeiten verfügbare in dem Ego-Fahrzeug umfassen. Beispielen von Anzeigetypen umfassen Cluster-Anzeigen (z.B., digitale Instrumententafel und Graphik), Heads-up-Displays (HUD), Spiegelanzeigen, Augmented-Reality-Displays und andere.
Das Bedrohungsniveau gibt die Dringlichkeit einer erfassten Bedrohung an. Das Bedrohungsniveau kann durch eine numerische Punktzahl oder diskrete Niveaus, wie beispielsweise hoch, mittel und niedrig, dargestellt werden. Das Bedrohungsniveau kann basierend auf Gesichtspunkten, wie beispielsweise Ego-Fahrzeug Geschwindigkeit, Ego-Fahrzeugtrajektorie, Entfernung zwischen das Ego-Fahrzeug und ein erfassten Objekt und ihre prädiktiven Trajektorien, geschätzte Zeit bis zur Kollision und/oder beliebigen anderen Gesichtspunkten bestimmt werden, die eine Auswirkung auf die Dringlichkeit der Bedrohung und der erforderlichen Reaktionszeit aufweisen.
Die Bedrohungsstruktur umfasst eine diskrete Bedrohung und eine kombinierte Bedrohung. Eine diskrete Bedrohung betrifft ein einziges erfasstes Objekt, das die Bedrohung darstellt, und eine kombinierte Bedrohung betrifft eine Bedrohung, die mehrere Objekte umfasst. Eine kombinierte Bedrohung kann sowohl die Objekte als auch ihre tatsächlichen und vorhergesagte Wechselwirkungen umfassen. Ein Beispiel einer kombinierten Bedrohung ist eine Situation, bei der mehrere vor dem Ego-Fahrzeug vorausfahrende Autos bremsen.
Bei Block 84 wird die Trajektorie jedes erfassten Objekts (d.h., Objekt, das als eine Bedrohung oder eine potentielle Bedrohung eingeschätzt wird) erfasst oder basierend auf Sensordaten berechnet. Außerdem kann die Ego-Fahrzeug Objekttrajektorie erfasst oder berechnet werden. Beispielsweisekönnen Radarerfassungen eines Objekts oder des Ego-Fahrzeuge aufgetragen werden, um eine Trajektorie des Objekts oder Ego-Fahrzeugs zu schätzen.
Bei Block 85 wird eine vorhergesagte Trajektorie jedes erfassten Objekts und des Ego-Fahrzeugs erfasst oder berechnet. Erfassungsdaten, wie beispielsweise Ort, Geschwindigkeit, die berechnete Trajektorie werden verwendet, um die Trajektorie vorherzusagen. Basierend auf den vorhergesagten Trajektorien kann die Verarbeitungsvorrichtung bestimmen, wann und wo eine Objekttrajektorie und das Ego-Fahrzeug sich kreuzen werden oder innerhalb eines Schwellenabstand einer anderen in ein gegebenen Prädiktionszeitraum (unter der Annahme, dass das Ego-Fahrzeug seine aktuelle Geschwindigkeit und Richtung aufrechterhält). Jede vorhergesagte Trajektorie und die Vorhersage hinsichtlich einer Kreuzung können eine Konfidenzpunktzahl oder ein Konfidenzniveau P zugewiesen werden.
Bei Block 86 werden die Orte und Trajektorien und die vorhergesagte Trajektorien des Betriebsszenarios, des aktuellen Objekts und des Ego-Fahrzeugs verwendet, um eine Benutzerbenachrichtigung basierend auf der Bedrohung, seiner Trajektorie und dem spezifischen Kontext der Bedrohung zu erzeugen. Beispielsweise umfasst die Benutzerbenachrichtigung eine visuelle oder graphische Anzeige, bei der erfasste Objekte, ihre Trajektorien und eine Angabe eines vorhergesagten Kollisionspunkts oder eines betroffenen Bereichs visuell anschaulich dargestellt werden. Basierend auf dem Bedrohungsniveau und dem Bedrohungszustand, sind visuelle Darstellungen sind enthalten in der Anzeige mit Merkmalen enthalten, die ausgestaltet sind, um einem Benutzer eine Bedrohung mitzuteilen und sicherzustellen, dass die Benutzeraufmerksamkeit auf die Bedrohung und auf die prädiktive Trajektorie der Bedrohung gerichtet ist. Beispielsweise können die Darstellungen des Objekts und/oder der Trajektorie farbcodiert, schattiert, verstärkt oder anderweitig betont werden, um dem Benutzer einen schnellen und intuitiven Eindruck der Bedrohung zu geben. In einer Ausführungsform kann sich die Intensität der Darstellungen allmählich verändern, wenn das Bedrohungsniveau zunimmt (z.B., das Ego-Fahrzeug bewegt sich näher zu einem erfassten Objekt).
Außerdem ist der Typ und/oder die Intensität der Benachrichtigung abhängig von dem Niveau der Bedrohung und davon, ob es eine kombinierte Bedrohung gibt. Wenn eine kombinierte Bedrohung bestimmt ist, kann die Benachrichtigung beispielsweise zusätzliches Detail hinsichtlich Abhängigkeiten zwischen erfassten Objekten oder Bedrohungen bereitstellen.
Die Benachrichtigung kann eine oder mehrere Modalitäten einschließlich einer visuellen Modalität, einer auditiven Modalität und/oder einer haptischen Modalität umfassen. Der Typ und die Kombination der Modalität kann von dem Betriebsszenario, dem Bedrohungsniveau und/oder der Bedrohungsstruktur abhängen. Beispielsweise können Bedrohungen niedrigen Niveaus zu einer Benachrichtigung mit einer einzigen Modalität führen, wie beispielsweise einer visuellen Anzeige. Für Bedrohungen höheren Niveaus (oder wenn das Bedrohungsniveau zunimmt) können zusätzliche Modalitäten (auditiv und/oder haptisch) hinzugefügt werden, um das dem Benutzer übermittelte Gefühl von Dringlichkeit zu erhöhen.
Beispielsweise erzeugt die Verarbeitungsvorrichtung eine Benachrichtigung 96, die eine beliebige Kombination einer visuellen Anzeige 96a, eines haptischen Signals 96b, einer (z.B., tonalen oder verbalen) Audiowarnung 96c und ein Beleuchtungssignal 96d umfassen kann.
Beispielsweise wird die Benachrichtigung durch unterschiedliche Modalitäten bereitgestellt, die visuellen (z.B., einschließlich Schwenken und Zoomen in und out nach Bedarf), gerichtete Ton/Haptik (isoliert oder kombinierte) und gesprochene Alarme, abhängig von der geschätzten Reaktionszeit des Fahrers Beleuchtungssignal. Die Innenbeleuchtung kann ebenfalls manipuliert werden, um die Benutzeraufmerksamkeit zu fokussieren, wenn benötigt.
4 stellt eine Ausführungsform eines Verfahren 110 zum Bestimmen eines Fahrszenarien anschaulich dar. Das Verfahren 110 kann Teil des oben in Verbindung mit Block 83 beschriebenen Verfahrens 80.
Bei Block 111 empfängt die Verarbeitungsvorrichtung Fahrzeugdaten, die Fahrzeugbedingungen einschließlich Fahrzeugdynamik und Betriebsmodus angeben. Beispielsweise ist der Betriebsmodus ein automatisierter oder autonomer Fahrmodus (Block 112). Der Betriebsmodus kann ebenfalls ein manueller Fahrmodus sein. Der autonome Fahrmodus kann ein vollständiger autonomer Modus oder ein teilweiser autonomer Modus sein, wie beispielsweise Fahrerassistenzmodus, Abstandsregel- und Spurhalteassistenzmodus, Parkassistenzmodus und andere (z.B. Modi, bei denen ein Benutzer Geschwindigkeit und/oder Lenken zu bestimmten Zeiten oder unter bestimmten Bedingungen nicht steuert). Der autonome Modus kann verschiedene Niveaus der Automatisierung beim halbautonomen Fahren (z.B., Niveau 2 und 3 der Automatisierungsniveaus) umfassen.
Bei Block 113 werden Benutzererfassungsdaten erfasst und verwendet, um das Niveau der Benutzeraufmerksamkeit zu beurteilen (d.h., ist der Benutzer aufmerksam oder unaufmerksam). Beispielsweise kann eine DMS-Kamera den Fahrer auf Angaben von Stress überwachen (z.B. Farbe und Ausdruck des Gesichts) und auf Augenblickrichtung verfolgen, um zu bestimmen, wohin der Fahrer schaut. Die Bestimmung der Aufmerksamkeit kann ein Konfidenzniveau umfassen.
Bei Block 114 werden Umgebungsdaten von externen Sensoren erfasst, wie beispielsweise Kameras und/oder Radaranordnungen. In einer Ausführungsform werden die Umgebungsdaten verarbeitet, um eine Gitternetzdarstellung von erfassten Objekten in der Umgebung bereitzustellen, und um Bedrohungspunktzahlen (z.B., basierend auf Objektort, Geschwindigkeit und/oder Trajektorie) bereitzustellen. Die Gitternetzdarstellung kann Objektcharakteristika umfassen oder diesen zugeordnet sein (z.B. isoliert oder geclustert, statisch/statisch, innerhalb oder außerhalb des FOV).
Bei Block 115 schätzt die Verarbeitungsvorrichtung eine Erfassungswahrscheinlichkeit, um eine Wahrscheinlichkeit zu bestimmen, ob der Benutzer auf einen gegebenen Ort in dem Gitter schaut. Die Erfassungswahrscheinlichkeit kann für jeden gewünschten Ort, Pixel, Gitter, Region und/oder erfasstes Objekt berechnet werden.
Beispielsweise werden Objekte (potentielle Bedrohungen) in dem Gitter identifiziert und das Gitter wird dem Benutzer präsentiert. Augenabtastinformationen werden verwendet, um eine Dauer zu schätzen, bei welcher der Blick eines Benutzers auf Orte fokussiert ist, die jedem Objekt zugeordnet sind. Die Dauer wird verwendet, um einen Wahrscheinlichkeitswert (z.B. Bruchteil oder Prozentsatz) für jedes Objekt abzuleiten.
Das Gitter wird verarbeitet, um eine Matrix von Pixeln zu erzeugen, wobei jedes Pixel einer Region des Gitters und einer Bedrohungspunktzahl zugeordnet ist. Eine Bedrohungspunktzahl von Null kann für jene Pixel bevölkert werden, bei denen kein Objekt lokalisiert ist und/oder keine Objekttrajektorie erwartet wird, die Pixel zu schneiden. Ein Multiplizieren der Erfassungswahrscheinlichkeit mit der Bedrohungspunktzahl für jedes Pixel führt zu einem „Erfassungswahrscheinlichkeit“-Wert. Der Erfassungswahrscheinlichkeitswert kann als die durchschnittliche (oder maximale) Erfassungswahrscheinlichkeit aller einem gegebenen Objekt zugeordneten Pixeln berechnet werden.
Bei Block 116 bestimmt die Verarbeitungsvorrichtung, ob irgendwelche Objekte oder Objekt-Cluster in der Benachrichtigung zu betonen sind. Beispielsweise werden Objekte, die im Pfad des Fahrzeugs lokalisiert sind (und jene mit einer Trajektorie, bei der vorhergesagt wird, dass sie den Fahrzeugpfad kreuzt), und/oder Objekte, bei denen die Erfassungswahrscheinlichkeit niedrig (unter einem Schwellenwert) ist, werden zur größeren Betonung ausgewählt.
Bei Block 117 gibt die Verarbeitungsvorrichtung Daten aus oder unterhält diese, um sie zur Ausgestaltung der Benachrichtigung zu verwenden. Beispiele umfassen einen Fahreraufmerksamkeitszustand 120a, eine Bedrohungsstruktur und Angaben 120b von welchem(n) Objekt(en) betont werden sollten, und eine Bedrohungspunktzahl oder ein Bedrohungsniveau 120c.
Der Fahreraufmerksamkeitszustand 120a, die Bedrohungsstruktur und die Angaben 120b und die Bedrohungspunktzahl oder das Bedrohungsniveau 120c werden bereitgestellt. Obwohl in 4 nicht gezeigt, werden eine Angabe des Fahrzeugsteuerungszustands (automatisiertes Fahrniveau) 120d und eine vorhergesagte Bedrohungstrajektorie (von einem oder mehreren Objekten) 102e bereitgestellt. Es sei bemerkt, dass der Fahreraufmerksamkeitszustand 120a, die Bedrohungsstruktur und die Angaben 120b und die Bedrohungspunktzahl 120c als Eingaben in das Verfahren angewendet werden können, wie durch 5A und 5B anschaulich dargestellt wird (wie durch Elemente „A“, „B“ und „C“ dargestellt).
Basierend auf diesen Eingaben kann eine Benutzerbenachrichtigung anzeigt werden, welche das Benutzerbewusstsein einer Situation verstärkt. Die Benutzerbenachrichtigung stellt eine visuelle und/oder graphische Anzeige bereit, die dem Benutzer potentielle Bedrohungen und ihre vorhergesagten Trajektorien mitteilt. Die Benutzerbenachrichtigung stellt Informationen einschließlich der vorhergesagten Trajektorie von Objekten bereit, die als Bedrohungen identifiziert sind, und/oder eine Vorhersage hinsichtlich dessen, ob die Objekttrajektorie die Ego-Fahrzeugtrajektorie kreuzen wird, und kann ebenfalls Angaben umfassen, die an das Bedrohungsniveau und/oder die Benutzeraufmerksamkeit angepasst sind. Andere Informationen umfassen Bedrohungspunktzahlen, Konfidenzpunktzahlen, die Wahrscheinlichkeit einer Kreuzung usw.
5A und 5B stellen eine Ausführungsform eines Verfahrens 130 zum Auswählen von Modalitäten und Attribute einer Benachrichtigung anschaulich dar. Das Verfahren 130 umfasst Schritten oder Niveaus, die durch Blöcke 131-160 dargestellt werden. Die verschiedenen Modalitäten und Attribute werden für veranschaulichende Zwecke bereitgestellt und sind nicht bestimmt, beschränkend zu sein, weil weniger als alle der Modalitäten und Attribute bei der Ausgestaltung einer Benachrichtigung eingesetzt werden können. Es sei bemerkt, dass das Verfahren 130 bei 5A beginnt und bei 5B fortgesetzt wird. Wie gezeigt, verbindet sich Block 140 mit Blöcken 141-143 (wie durch Element „D“ dargestellt), Block 144 mit Blöcken 145-147 (wie durch Element „E“ dargestellt) und Block 155 mit Blöcken 156-158 (wie durch Element „F“ dargestellt),
Bei Block 131 werden Eingabedaten bereitgestellt. Beispielsweise werden die Ausgaben 120a-c sowie auch der Betriebsmodus 120d und die vorhergesagte Trajektorie 120e eines oder mehrerer Objekte bereitgestellt, die als Bedrohungen identifiziert sind. Darauf basierend wird eine Benachrichtigung durch Auswählen geeigneter Modalitäten und ihrer Charakteristika erzeugt.
In diesem Beispiel kann die Verarbeitungsvorrichtung visuelle/graphische Modalitäten (Block 132), haptische Modalitäten, wie beispielsweise Schwingungen (Block 133), auditive Modalitäten, wie beispielsweise Pieptöne, Sprachalarme und andere (Block 134) und/oder Beleuchtungsmodalitäten (Block 135) auswählen.
Visuelle Modalitäten umfassen jegliche Darstellungen, die dem Benutzer sichtbar sind, und können Text, Alphanumerik, Graphik, symbolische und/oder irgendeinen anderen Typ von visueller Angabe sein. Visuelle Modalitäten können ebenfalls basierend auf den verfügbaren visuellen Anzeigetypen ausgewählt werden. Bei Block 136 bestimmt die Verarbeitungsvorrichtung die verfügbaren Typen von Anzeige. Beispielsweise kann die Verarbeitungsvorrichtung kann eine Cluster-Anzeige (z.B., digital Instrumententafel) bei Block 137 auswählen, eine Augmented-Reality-FDM bei Block 138 auswählen, eine Augmented-Reality-HUD bei Block 139 auswählen oder eine Kombination davon auswählen.
Die Verarbeitungsvorrichtung kann bei Block 140 bestimmen, ob mehrere Ansichten verfügbar sind. Wenn verfügbar, kann die Verarbeitungsvorrichtung aus einer oder mehreren einer Ebenenansicht (Block 141), einer Vogelperspektive (Block 142) und einer Draufsicht (Block 143) wählen.
Bei Block 144 passt das System die visuelle Anzeige basierend auf Faktoren an, wie beispielsweise Konfidenzniveau P (Wahrscheinlichkeit der Fehlerfassung), Bedrohungsniveau basierend auf Vorhersage und betroffene Bereiche der Umgebung und entsprechenden Orten in der visuellen Anzeige. Beispielsweise bestimmt das System das Konfidenzniveau bei Block 145, das Bedrohungsniveau bei Block 146 und den betroffenen Bereich bei Block 147.
Die Verarbeitungsvorrichtung passt die visuelle Anzeige beispielsweise durch Hinzufügen oder Aufnehmen visueller Indikatoren an, welche die Bedrohung oder potentielle Bedrohung betonen, und entsprechende vorhergesagte Trajektorie oder Trajektorien an. Die visuelle Anzeige kann durch ein Bedrohungsniveau (z.B., rot für hohe Bedrohung, gelb für mittlere Bedrohung usw.) bei Block 148 farbcodiert sein und visuelle Darstellungen von Objekten können eine Opazität basierend auf dem Bedrohungsniveau bei Block 149 angeben. Außerdem kann die Textur einer Darstellung (z.B., einer Trajektorienlinie, einer Skizze um ein Objekt) ausgewählt werden, um ein Bedrohungsniveau und/oder eine Konfidenz anzugeben (Block 150).
In Augmented-Reality-Anzeigen können bei Block 151 visuelle Indikatoren hinzugefügt oder basierend auf Kontext-Salienz betont werden. Eine Kontext-Salienz eines visuellen Indikators oder Merkmals ist ein Merkmal, das basierend auf Kontext manipuliert wird, wie beispielsweise Bedrohungsniveau und Benutzeraufmerksamkeit. Beispielsweise können Merkmalen von visuellen Komponenten (z.B., erfassten Objekten und Trajektorien) allmählich geändert werden (z.B., Übergang zwischen Farben, allmähliches Erhellen, Blinkrate, Transparenz), wenn das Bedrohungsniveau zunimmt oder abnimmt.
Auditive und/oder haptische Benachrichtigungen können ebenfalls basierend auf Bedrohungsniveau, Aufmerksamkeit und anderen Faktoren ausgewählt oder angepasst werden. Beispielsweise bestimmt die Verarbeitungsvorrichtung bei Block 152, ob Richtungsindikatoren verwendet werden sollten, und wählt einen zentralen (nicht gerichteten) Indikator bei Block 153 und ein Richtungsindikator bei Block 154 aus. Direktionalität kann verwendet werden, um den Benutzer aufzufordern, Aufmerksamkeit auf einen spezifizierten Ort einer Bedrohung oder eine potentielle Bedrohung zu richten.
Bei Block 155 kann die Verarbeitungsvorrichtung die auditiven und/oder haptischen Indikatoren beispielsweise durch Einstellen zeitlicher und/oder spektraler Eigenschaften davon anpassen. Beispielsweise können auditive oder haptische Pulsdauern (Block 156), Anzahl von Pulswiederholungen (Block 157) und Pausenddauer (Block 158) ausgewählt werden. Außerdem kann die Intensität von Ton oder haptischen Signale basierend auf das Bedrohungsniveau und/oder die Aufmerksamkeit bei Block 159 eingestellt werden. Angriff und Freigabe (die Rate der Zunahme und Abnahme der Intensität eines Ton- oder Haptiksignals) kann ebenfalls bei Block 160 eingestellt werden.
In einer Ausführungsform dient visueller Inhalt als eine Grundlinienmodalität. Zusätzliche Modalitäten können zu einer Benachrichtigung basierend auf ein Bedrohungsniveau und einer Aufmerksamkeit hinzugefügt werden. Beispielsweise werden Haptik und Ton als zusätzliche Schicht(en) hinzugefügt, um Aufmerksamkeit auf sich zu ziehen, wenn benötigt. Über die ausgewählte Modalität oder Modalitäten zu entscheiden ist beispielsweise eine Funktion des Fahrautomatisierungsniveaus, der Dringlichkeit der Situation und des Aufmerksamkeitszustands des Benutzers. Beispielsweise werden bei hoher Dringlichkeit Situationen aller drei Modalitäten verwendet. In Situationen mittlerer Dringlichkeit werden visuelle und haptische Signale eingesetzt, wenn der Benutzer aufmerksam ist, und Ton wird hinzugefügt, wenn unaufmerksam. In Situationen niedriger Dringlichkeit kann die Anzeige visuell sein, wobei lediglich, wenn der Fahrer ist aufmerksam, eine milde Haptik hinzugefügt wird, wenn der Benutzer unaufmerksam ist.
Duale Kombinationen von Modalitäten können bestimmt werden, wenn weniger als alle Modalitäten verfügbar sind. Wenn Haptik beispielsweise nicht verfügbar ist, werden visuelle und Ton-Modalitäten in Situationen hoher Dringlichkeit verwendet. In Situationen mittlerer Dringlichkeit werden visuelle Modalitäten eingesetzt, wenn der Benutzer aufmerksam ist, und Ton mit Charakteristika mittlere Dringlichkeit wird hinzugefügt, wenn unaufmerksam.
6 veranschaulicht ein Verfahren 170 zum Zuteilen von Medien zum Erzeugen einer Benutzerbenachrichtigung. Das Verfahren 170 umfasst Schritten oder Niveaus, die durch Blöcke 171-182 dargestellt werden.
Bei Block 171 werden Eingabedaten verwendet, um den Inhalt für eine visuelle Anzeige bestimmen. Die Verarbeitungsvorrichtung bestimmt das Bedrohungsniveau bei Block 172, was in diesem Beispiel als niedrig, mittel oder hoch kategorisiert wird.
Wenn das Bedrohungsniveau niedrig ist (Block 173), bestimmt die Verarbeitungsvorrichtung bei Block 174, ob der Benutzer oder Fahrer aufmerksam oder unaufmerksam ist. Bei Block 175 kann, wenn der Benutzer unaufmerksam ist, eine Haptik hinzugefügt werden.
Wenn das Bedrohungsniveau mittel ist (Block 176), bestimmt die Verarbeitungsvorrichtung bei Block 177, ob der Benutzer aufmerksam oder unaufmerksam ist. Wenn der Fahrer aufmerksam ist, wird bei Block 178 eine Haptik hinzugefügt. Wenn der Fahrer unaufmerksam ist, kann ein Ton, wie beispielsweise ein Benachrichtigungs-Piepton, bei Block 179 hinzugefügt werden. Wenn das Bedrohungsniveau hoch ist (Block 180), dann können sowohl Ton (Block 181) als auch Haptik (Block 182) hinzugefügt werden.
In einer Ausführungsform überwacht die Verarbeitungsvorrichtung das Bedrohungsniveau kontinuierlich und geht von einem Niveau in das andere durch Einstellen der visuellen und/oder anderen Modalitäten gemäß dem(den) Verfahren.
Eine Innenbeleuchtung kann in die Benachrichtigung aufgenommen werden. Beispielsweise kann eine Innenbeleuchtung in einer scharfen Art und Weise verstärkt werden, wenn eine Benachrichtigung verlangt, dass der Bediener (oder ein Fahrgast in einem autonomen Modus) seine Aufmerksamkeit fokussiert.
7 stellt ein Beispiel eines Verfahren 190 zum Anpassen einer Benutzerbenachrichtigung durch Bereitstellen verschiedener visuellen Darstellungen von Bedrohungen und vorhergesagte Trajektorien anschaulich dar, die zugeordneten statischen Ereignissen zugeordnet sind. In diesem Beispiel ist die Fahrzeuganzeige eine Cluster-Anzeige. Das Verfahren 190 umfasst eine Anzahl von Schritten oder Niveaus, die durch Blöcke 191-213 dargestellt werden.
Bei Block 191 empfängt die Verarbeitungsvorrichtung Eingabedaten, und wenn ein Objekt oder Ziel als eine Bedrohung erfasst ist, bestimmt das System die geeignete Ansicht, die in einer visuellen Anzeige zu verwenden ist (Block 192). Wenn das erfasste Objekte sichtbar sind, kann eine Vogelperspektive ausgewählt werden (Block 193). Wenn ein Objekt oder Ziel für den Benutzer nicht sichtbar ist, kann eine Draufsicht verwendet werden. Wenn ein erfasstes Objekt beispielsweise im hinteren Teil oder seitlich des Fahrzeugs ist, oder wenn ein vorhergesagter Aufprall fern ist, kann die Draufsicht verwendet werden, um zu verkleinern („zoom out“) und vollen Kontext der Szene bereitzustellen (Block 194). Kippen kann verwendet werden, um sich zwischen den beiden Ansichten zu bewegen.
Bei Block 195 wird das Bedrohungsniveau bestimmt und bei Block 196 wird die erfasste und/oder vorhergesagte Trajektorie des(der) erfassten Objekts(e) und des Ego-Fahrzeugs bestimmt.
Um erfasste Objekte und Trajektorien darzustellen, kann visueller Inhalt auf verschiedenen Weisen angepasst werden. Objekte und/oder Trajektorien werden durch visuelle Elemente dargestellt, deren Attribute basierend auf Bedrohungsniveau, Bedrohungsstruktur, Aufmerksamkeit und/oder anderen Faktoren ausgewählt werden. Beispielsweise kann die Objektgröße ausgewählt werden (z.B. geringfügig größer für eine größere Bedrohung) (Block 203) und die Form eines visuellen Elements wird ausgewählt (Block 208), um das Bedrohungsniveau anzugeben. Außerdem können visuelle Elemente durch Opazität (Block 209) und/oder Textur (Block 212) angepasst werden. Der Trajektorie oder dem Pfad eines erfassten Objekts und/oder dem Ego-Fahrzeug kann eine Farbe gegeben werden, die beispielsweise ausgewählt wird, um einen Bedrohungsschweregrad anzugeben (Block 213).
Beispielsweise können in einer Cluster-Anzeige bestimmte Objekte von ihren vorhergesagten Pfaden unter Verwendung unterschiedlicher Niveaus von Opazität und Texturen unterschieden werden. Die Opazität kann transparent (Block 210), opag oder halbdurchlässig sein (Block 211).
Bei Block 204 können Konturen und/oder Linien enthalten sein, um beispielsweise Objekt- und Ego-Fahrzeugtrajektorien und potentielle Aufprall- oder Kollisionsorte und/oder betroffene Bereiche darzustellen. Linien können voll oder durchgezogen (Block 205), gestrichelt (Block 206), verschwommen (Block 207) oder anderweitig manipuliert sein. Beispielsweise können aktuelle Objektorte durch eine durchgezogene Linie dargestellt werden und vorhergesagte Trajektorien und Kreuzungen von vorhergesagten Trajektorien können gestrichelte Linien oder Umrisse aufweisen. Formen und/oder Linien kann verschwommen sein, Objekte und Linien können halbdurchlässig sein und/oder ein schwacher Lichtstrahl kann verwendet werden. Andere Ausgestaltungsverfahren sind ebenfalls möglich, solange wie die Unterscheidung zwischen dem erfassten Objekt und den Vorhersagen in einer intuitiven Art und Weise präsentiert wird.
In einer Ausführungsform kann die Anzeige konfiguriert sein, um darzustellen und zwischen validierten und spekulativen Bedrohungen oder Objekten zu unterscheiden. „Validierte“ Bedrohungen oder Objekte sind Objekte oder Zustände in einem Bereich, die tatsächlich erfasst und von der Verarbeitungsvorrichtung interpretiert wurden. „Spekulative“ Bedrohungen oder Objekte sind jene, die nicht direkt erfasst wurden, sondern stattdessen von der Verarbeitungsvorrichtung gefolgert werden. Eine spekulative Bedrohung kann in der Anzeige unterschieden werden, in dem der spekulativen Bedrohung ein anderes visuelles Merkmal als das einer validierten Bedrohung zugewiesenen Merkmals zugewiesen wird. Beispielsweise können validierte Bedrohungen in dem Anzeigesichtfeld oder an einem Rand der Anzeige (wenn die validierte Bedrohung außerhalb des Sichtfelds ist) durch durchgezogene Linien oder opake Symbole oder Bilder dargestellt werden, wohingegen spekulative Bedrohungen durch gestrichelte Linien oder halbtransparente Symbole oder Bilder dargestellt werden können. Ähnliche Prinzipien wie jene, die oben erläutert sind, können bei der Präsentation von Augmented-Reality beinhaltet sein (z.B. Windschutzscheibe, FDM). In Augmented-Reality-Anzeigen ist es wünschenswert, die visuellen Szene klar und leicht zu bearbeiten zu lassen. Kontext-Salienz-Prinzipien für eine bestimmte Szene oder Objekt können angewandt werden, um Aufmerksamkeit auf sichtbare Ziele zu lenken, während aufmerksames Einfangen vermieden wird (z.B., Änderungen von Helligkeit verwenden, Kontrastbetonung, Farbenmodifikationen, Blinken und andere Modifikationen).
Für Augmented-Reality-(AR) Anzeigen werden in einer Ausführungsform die folgenden Regeln angewandt: vorhergesagte Trajektorien sind begrenzt auf die Nähe von erfassten Objekte, unter Verwendung eines dezenten oder unauffälligen visuellen Indikators, wie beispielsweise eines Umrisses oder eines dezenten Glühens, das die Szene visuell nicht unkenntlich machen wird. Visualisierung in Augmented-Reality-Anzeigen können mit entsprechenden Indikatoren in einer Cluster-Anzeige (oder anderen Nicht-AR-Anzeige) für Alarme mittlerer und hoher Dringlichkeit kompatibel sein, die eine Referenz für ein erfasstes Objekt(e) in der realen Welt bilden. Vorhergesagte Objekte im Umfang der AR-Anzeige (bald in die Szene eintretend) werden durch ein dezentes gerichtetes Flimmern im Rahmen der Windschutzscheibe reflektiert, wobei die Richtung, in der das Ziel erscheinen wird, genau festgelegt wird.
Form, Größe und/oder Textur (oder andere Manipulationen) können verwendet werden, um vorhergesagte Trajektorien zu visualisieren und Kontext-Visualisierung bereitzustellen. Beispielsweise kann eine visuelle Darstellung eines vorhergesagten Pfads eingestellt werden, um das Konfidenzniveau der Berechnung widerzuspiegeln. Außerdem kann die Visualisierung des vorhergesagten Pfades eingestellt werden (z.B., dicker, heller gemacht werden), um die Visualisierung stärker und weniger unkenntlich zu machen, wenn sich das Ego-Fahrzeug einem erfassten Objekt oder vorhergesagten Pfad des erfassten Objekts nähert (z.B., Zeit bis zur Kollision (TTC) mit dem Host-Fahrzeug).
Eine Farbcodierung kann als ein Mittel dienen, um eine Hierarchie in den Dringlichkeitsniveaus der Situation zu erzeugen. Beispielsweise können Objekte und/oder Trajektorien durch die herkömmlichen Farbcodierungen von Rot für dringende, Orange für mittlere Dringlichkeit und Grün (oder die ursprüngliche Farbe des Objekts) für Ereignisse niedriger Dringlichkeit dargestellt werden. In einer Ausführungsform wird die Farbe und/oder ein anderes Attribut eines visuellen Elements allmählich geändert, um eine Zunahme in dem Bedrohungsniveau und/oder wenn sich das Ego-Fahrzeug nähert, darzustellen. Beispielsweise kann die Farbe in „kontinuierlich“ durch allmähliches Ändern der Farbe durch Schatten zwischen unterschiedlichen Farbecodes geändert werden. Andere Visualisierungen als Farbe können verwendet werden, um die Dringlichkeit anzugeben, wie beispielsweise Helligkeit, Dicke usw.
Eine unterschiedliche visuelle Hierarchie kann ebenfalls in derartigen Strategien angewandt werden (z.B., Manipulieren des Helligkeitsniveau, der Dickenwerte etc.).
Blöcke 197-202 stellen verschiedenen Möglichkeiten dar, dass das Ego-Fahrzeug in einer visuellen Anzeige dargestellt werden kann. Der betroffene Bereich oder die Aufprallregion des Ego-Fahrzeugs (Block 197) können durch Farbcodierung, Erhellen oder anderweitiges Betonen der Bereiche des Ego-Fahrzeugs (Block 198) dargestellt werden, die durch eine Kollision mit einem erfassten Objekt beeinflusst werden würden. Konturen oder Linien (Block 199) können mit Farbe verwendet werden, um den betroffenen Bereich oder die Aufprallregion anzugeben, oder das erfasste Objekt mit einem vorhergesagten Ort in Beziehung zu bringen, bei dem vorhergesagt wird, dass eine Kollision auftritt (Block 200). Der geschätzte Haltebereich (Block 201) des Ego-Fahrzeugs kann innerhalb des Gitters oder des Bereichs einer visuellen Anzeige platziert werden (202).
8 stellt ein Beispiel eines Verfahrens 220 zum Anpassen einer Benutzerbenachrichtigung für eine Augmented-Reality-HUD-Anzeige anschaulich dar. Das Verfahren 220 umfasst eine Anzahl von Schritten oder Niveaus, die durch Blöcke 221-233 dargestellt werden.
Bei Block 221 empfängt die Verarbeitungsvorrichtung Eingabedaten, und wenn ein Objekt oder Ziel als eine Bedrohung erfasst ist, bestimmt das System, ob das erfasste Objekt innerhalb des Sichtfelds der Anzeige sichtbar ist (Block 222). Falls so, wird das Objekt gemäß Kontext-Salienz-Prinzipien dargestellt, die oben erläutert sind (Block 223). Wenn das erfasste Objekt nicht sichtbar ist, wird das Objekt auf der HUD gemäß dem vorhergesagten Punkt des Eintritts des erfassten Objekts in das Sichtfeld dargestellt (Block 224). Bei Block 225 wird das Bedrohungsniveau bestimmt und bei Block 226 wird das erfasste Objekt (Ziel) durch Hinzufügen visueller Merkmale in Relation zu dem Bild des erfassten Objekts in der Anzeige visualisiert. Visuelle Merkmale können auf den Köper des Objekts angewandt werden (Block 227), beispielsweise durch Anwenden eines Umrisses und/oder einer Farbe auf dem Körper oder Manipulieren der Transparenz oder Helligkeit des Objekts. Andere Visualisierungen umfassen Konturen oder Linien, um beispielsweise ein Bedrohungsniveau (Block 228) und visuelle Merkmale (z.B., Linien, Lichtstrahlen, leuchtende Regionen) anzugeben, um die vorhergesagte Richtung des Objekts (Block 229) anzugeben. Beispiele von visuellen Merkmalen, die manipuliert werden können, umfassen Helligkeit (Block 230), Blinkmerkmale mit ausgewählten Blinkraten (Block 231), Transparenz (Block 232) und Farbe (Block 233).
Richtungsanzeigen können enthalten sein, um Situationsbewusstsein zu verstärken, wenn eine Bedrohung eine Richtungsbedeutung aufweist. Beispielsweise kann der betroffene Bereich hervorgehoben oder betont werden, wie oben erläutert (z.B. die Vorderseite, Rückseite oder Seitenbereiche der Ego-Fahrzeug-Darstellung werden hervorgehoben). Gerichteter Ton und gerichtete Haptik können in Verbindung mit der visuellen Anzeige enthalten sein, um Richtung anzugeben.
Für hörbare und/oder haptische Elemente einer Benachrichtigung können spektrale und temporale Pulsationscharakteristika gesteuert werden, um die potentielle Dringlichkeit der Situation zu kommunizieren. Beispielsweise kann in Situationen hoher Dringlichkeit (z.B. ein hohes Bedrohungsniveau) ein Puls hoher Intensität mit scharfem Angriff und Abfall des Stimuli-Envelopes emittiert werden, und die Stimuli umfassen kurze Pulse mit kurzen Inter-Pulsintervallen und einer hohen Anzahl von Wiederholungen. Für Situationen mittlere Dringlichkeit können auditive und/oder haptische Signale über einen Puls mittlerer Intensität mit scharfem Angriff und glatteren Abfall des Stimuli-Envelopes emittiert werden, und die Stimuli umfassen längere Pulse mit längeren Interpulsintervallen und weniger Wiederholungen. Für niedrige bis mittlere Dringlichkeit können die Signale als ein Puls niedriger Intensität mit mittleren Angriff und langen Abfall des Stimuli-Envelopes emittiert werden, und die Stimuli umfassen lange Pulse mit langen Interpulsintervallen und einer kleinen Anzahl von Wiederholungen, um dem Benutzer ein Gefühl niedriger Dringlichkeit zu geben.
Wenn ein Objekt weit entfernt ist, ist die Dringlichkeit einer Bedrohung (und das Konfidenzniveau der Vorhersage) im Allgemeinen niedriger und lediglich eine visuelle Benachrichtigung kann ausreichen. Für beliebige der Modalitäten kann die Benachrichtigung verstärkt werden, wenn ein Benutzer unaufmerksam wird.
Das Folgende ist eine Beschreibung von Beispielen von Benachrichtigungen, die unter manuellen Betrieb für verschiedenen Bedrohungsniveaus und für Fälle, in denen ein Fahrer aufmerksam oder unaufmerksam ist, erzeugt wurden.
Wenn das Bedrohungsniveau hoch ist und der Benutzer aufmerksam ist, ist die Benachrichtigung ausgestaltet, um hohe Dringlichkeit unter Verwendung von visuellen, auditiven und haptischen Modalitäten auszudrücken. Die Benachrichtigung umfasst eine visuelle Anzeige, die ein erfasstes (validiertes) Objekt oder Objekte beispielsweise durch Verwenden roter Graphik hervorhebt, um die Dringlichkeit auszudrücken. Außerdem unterscheidet die visuelle Anzeige zwischen erfassten Objekten, die innerhalb des Sichtfelds sind und ihrem vorhergesagten Pfad, und erfassten Objekten außerhalb des Sichtfelds. Ferner kann die visuelle Anzeige zwischen validierten Objekten und spekulativen Objekten unterscheiden (z.B. durch Skizzieren validierter Objekte mit durchgezogenen Linien und spekulativer Objekte mit gestrichelten Linien oder durch Zuweisen von unterschiedlichen Niveaus der Transparenz).
Wenn ein erfasstes Objekt (ein vorhergesagtes Ziel) beispielsweise außerhalb des Sichtfelds ist, kann ein graphischer Indikator bei einem Umfang der Augmented-Reality-Anzeige (oder auf einer anderen Anzeige, wie beispielsweise einer Seitenspiegelanzeige, wenn verfügbar) zusammen mit vorhergesagter Trajektorie positioniert sein. Das erfasste Objekt, das eine Bedrohung darstellt, wird ebenfalls durch die Anzeige von anderen Objekten in einer Szene unterschieden, die für sich genommen keine Bedrohung darstellt. Validierte und spekulative Objekte außerhalb des Sichtfelds können am Umfang unter Verwendung von graphischen Indikatoren dargestellt werden, die spekulative und validierte Objekte unterscheiden.
Gerichteter Ton und Haptik mit dringenden Charakteristika sind enthalten, um Situationsbewusstsein zu optimieren (z.B. werden ein Puls hoher Intensität mit scharfen Angriff und Abfall des Stimuli-Enveloppe und ein kurzer Puls mit kurzen Intervallen und einer hohen Anzahl von Wiederholungen dem Benutzer ein hohes Gefühl von Dringlichkeit geben).
Wenn der Benutzer unaufmerksam ist, kann eine ähnliche Benachrichtigung (d.h., ähnlich der Benachrichtigung für einen aufmerksamen Benutzer) jedoch mit einer früheren Eskalation auf höhere Dringlichkeit erzeugt werden. Mit anderen Worten ist die Dringlichkeit der Bedrohung (z.B., Abstand zwischen dem Objekt und dem Ego-Fahrzeug), die erforderlich ist, um von einem mittleren auf ein hohes Bedrohungsniveau umzuschalten, niedriger für einen unaufmerksamen Fahrer als für einen aufmerksamen Fahrer. Somit wird das Bedrohungsniveau von mittel auf hoch früher umschalten, wenn der Fahrer unaufmerksam ist.
Wenn das Bedrohungsniveau mittel und der Benutzer aufmerksam ist, kann die Benachrichtigung dieses Niveau der Dringlichkeit in den visuellen und haptischen Modalitäten ausdrücken. Beispielsweise wird ein erfasstes Objekt unter Verwendung von orangener Graphik hervorgehoben, um mittlere Dringlichkeit auszudrücken. Gerichtete Haptiken sind mit mittleren Dringlichkeitscharakteristika enthalten, um Situationsbewusstsein zu optimieren (z.B. wird ein Puls mittlerer Intensität mit scharfen Angriff und glatterem Abfall des Stimuli-Envelopes und ein längeren Puls mit längeren Intervallen und kleiner Anzahl von Wiederholungen dem Benutzer ein Gefühl mittlerer Dringlichkeit geben). Wenn der Benutzer unaufmerksam ist, kann die Benachrichtigung die gleiche visuelle und gerichtete Haptik wie aufmerksam plus zusätzlicher gerichteter Ton verwenden. Eine äquivalente Manipulation für unaufmerksame Benutzer kann durch ein Inkrement der spektralen und zeitlichen Charakteristika von Haptik oder Ton vorgenommen werden, wenn lediglich eine Modalität zu der der visuellen Anzeige hinzugefügt wird. Toncharakteristika können an die haptischen Charakteristika angepasst werden, um eine synchronisierte Ausgabe zu bilden. Des Weiteren wird das Bedrohungsniveau von niedrig auf mittel früher in der Zeit umschalten, wenn der Fahrer unaufmerksam ist.
Wenn das Bedrohungsniveau niedrig und der Benutzer aufmerksam ist, umfasst die Benachrichtigung visuelle Modalitäten ohne zusätzliche Modalitäten. Die Benachrichtigung ist in diesem Fall ausgestaltet, um niedrige Dringlichkeit in dem visuellen Kanal auszudrücken. Beispielsweise wird grüne Graphik (oder einfach die ursprüngliche Farbe des Objekts) verwendet, um niedrige Dringlichkeit auszudrücken. Wenn der Benutzer unaufmerksam ist, umfasst die Benachrichtigung ähnliche visuelle Modalitätenplus milde gerichtete Haptik, wenn benötigt, um Aufmerksamkeit auf sich zu ziehen. Eine Eskalation (Schalten von niedrig auf mittel oder mittel auf hoch) kann über alle Modalitäten durchgeführt werden, wenn der Benutzer unaufmerksam ist.
Die Haptikwird mit Charakteristika niedriger Dringlichkeit angewandt (z.B. wird ein Puls niedriger Intensität mit mittlerem Angriff und langem Abfall des Stimuli-Enveloppes und ein langer Puls mit längeren Intervallen und sehr wenigen Wiederholungen dem Benutzer ein Gefühl von niedriger Dringlichkeit geben).
In einem vollständigen autonomen Modus (z.B., für ein autonomes Fahrzeug) ist für ein beliebiges gegebenes Bedrohungsniveau die Benachrichtigung ähnlich zu der, die für manuelle Steuerung erläutert wurde, um ein besseres Situationsbewusstsein für die Fahrgäste bereitzustellen. Eine Eskalation zwischen Benachrichtigungen mittleren und hohen Bedrohungsniveaus kann durch Ändern der spektralen und temporalen Aspekte der Modalitäten manifestiert werden, wenn das Bedrohungsniveau zunimmt (z.B., wenn die Zeit bis zur Kollision abnimmt). Wenn der Benutzer unaufmerksam ist, wird die Eskalation in allen Modalitäten manifestiert und kann früher eskaliert werden, als wenn der Benutzer aufmerksam ist. Die Innenbeleuchtung kann ebenfalls manipuliert werden, um die Aufmerksamkeit des Benutzers zurück auf die Szene zu lenken. Die Beleuchtung kann für niedrige Bedrohungspunktzahlen abgedunkelt bleiben. In einem semiautonomen Fahrzeug in einem teilweisen autonomen Modus kann, wenn die Benutzersteuerung außer Eingriff und der teilweise autonome Modus aktiv ist, die Benachrichtigung kann ähnlich der Benachrichtigung des vollständig autonomen Fahrzeugs sein. Eine erläuternde Schicht kann in beiden autonomen Modi hinzugefügt werden, wenn eine geeignete Verarbeitung durch die Zeit zugelassen wird.
9-11 zeigen Beispiele einer Cluster-Anzeige einschließlich visuellen Darstellungen konfiguriert, wie oben erläutert. In diesen Beispielen ist der Betriebsmodus manuell und der Fahrer ist aufmerksam.
Bezugnehmend auf 9 wird ein Beispiel einer Cluster-Anzeige 300 für eine Situation gezeigt, bei der ein erfasstes Objekt außerhalb des FOV ist, die Bedrohungsstruktur diskret (eine einzige Bedrohung) und das Bedrohungsniveau hoch ist. In diesem Beispiel wird ein Motorrad erfasst, welches sich dem Fahrzeug von hinten und zur Linken nähert, um zu überholen. Die Anzeige kombiniert eine Ego-Fahrzeugbild 302, eine Trajektorie 304 des Motorrads und eine potentielle Aufprallgraphik 306, um die Bereiche des Fahrzeugs zu zeigen, die von einer Kollision betroffen werden könnten. Die aktuelle Position des Motorrads wird durch ein rotes Bild 308 gezeigt und die vorhergesagte Position des Motorrads wird durch eine Motorradgraphik 310. Die Anzeige 300 kann das Motorrad in anderen Weisen beispielsweise durch Hervorheben des vorhergesagten Pfades des Motorrads unter Verwendung eines Lichtstrahls, einer gestrichelten Linie usw. darstellen.
Wenn das Motorrad außerhalb des Sichtfelds erfasst wird (unter der Annahme, dass es nicht in einer Vogelperspektive betrachtet werden kann), ist die Anzeige als eine Draufsicht konfiguriert, um Kontext mit dem Benutzer bereitzustellen. Das Motorrad ist in seinem aktuellen Ort in durchgezogenem rot markiert. Der betroffene Bereich (die Aufprallgraphik 306) wird ebenfalls in einer durchgezogenen gekrümmten Linie rot markiert. Der vorhergesagte Pfad und der prädizierte Ort wird in einer gestrichelten roten Linie markiert.
In diesem Beispiel ist die visuelle Aufmerksamkeit auf einen fokussierten Bereich auf dem Bildschirm gerichtet, wobei irgendein rotes Symbol anderswo vermieden wird und keine erläuternde Schicht enthalten ist, um zu vermeiden, dass anderswo beim manuellen Fahren Aufmerksamkeit erregt wird. Ein gerichteter Ton und Haptik (hinten links) kann hinzugefügt werden, um dem aufmerksamen Benutzer die Direktionalität der Bedrohung verständlich zu machen und auf den Cluster zu schauen, wenn die Dringlichkeit hoch ist.
Bezugnehmend auf 10 wird ein anderes Beispiel einer Cluster-Anzeige 300 für eine Situation gezeigt, bei dem das erfasste Objekt außerhalb des FOV ist, die Bedrohungsstruktur diskret (eine einzige Bedrohung) und das Bedrohungsniveau mittel ist. In diesem Beispiel wird ein Wild erfasst, dem vorhergesagt wird, mit dem Fahrzeug zu kreuzen. Die Anzeige kombiniert ein Ego-Fahrzeugbild 322, ein Bild 324 des Wildes und kann ebenfalls gestrichelte Linien umfassen, um eine Trajektorie anzugeben. Eine Graphik eines potentiellen Aufpralls 326 zeigt Bereiche des Fahrzeugs, die von einer Kollision betroffen sein könnten.
Das Bild 324 des Wildes ist in seinem aktuellen Ort in einem halbdurchlässigen Orange markiert. Der betroffene Bereich ist ebenfalls in einer Graphik 328 markiert, die eine gestrichelte orangene Linie mit einem sachten Gelb umfasst. Visuelle Aufmerksamkeit wird auf einen fokussierten Bereich auf der Anzeige 320 gerichtet, um irgendein orangenes Symbol anderswo zu vermeiden, und keine erläuternde Schicht wird beim manuellen Fahren bereitgestellt. Ein gerichteter haptischer Puls (vorne links) kann emittiert werden, um dem aufmerksamen Benutzer die Direktionalität der Bedrohung verständlich zu machen, und auf den Cluster zu schauen, wenn Dringlichkeit mittel ist. In diesem Beispiel wurde das Wild tatsächlich erfasst und wird somit als bestimmt betrachtet. Wenn ein oder mehrere Objekte oder Bedrohungen spekulativ sind, können sie von dem Wild beispielsweise unter Verwendung von gestrichelten Umrissen unterschieden werden.
Bezugnehmend auf 11 ist ein Beispiel einer Cluster-Anzeige 300 für eine Situation gezeigt, bei der erfasste Objekte innerhalb des FOV sind, die Bedrohungsstruktur kombiniert (mehrere Bedrohungen) und das Bedrohungsniveau hoch ist. In diesem Beispiel nähern sich ein Fußgänger und ein Ball einer Straße nahe einer Kreuzung. Die Anzeige kombiniert ein Ego-Fahrzeugbild 342, ein Fußgängerbild 344, ein aktuelles Bild 346 des Balls, eine vorhergesagte Trajektorie 348 und eine Graphik 350 des Balls in einem vorhergesagten Ort. Eine potentielle Aufprallgraphik 352 zeigt Bereiche des Fahrzeugs, die von einer Kollision betroffen sein könnten.
Der Ball in seinem aktuellen Ort und der betroffene Bereich des Autos sind in einer durchgezogenen roten gekrümmten Linie markiert. Der vorhergesagte Pfad, der Ort und der Fußgänger (Kind), der nach dem Ball läuft, sind in einer gestrichelten roten Linie markiert und keine erläuternde Schicht ist enthalten. Ein gerichteter Ton und eine Haptik (front pedestrian brake alert; FPB) wird den Benutzer dazu bringen, die Direktionalität der Bedrohung zu erfassen, um auf den Cluster und dann geradeaus auf die Szene zu blicken.
Das Beispiel von 11 veranschaulicht ebenfalls ein Beispiel einer Darstellung einer validierten Bedrohung oder eines Objekts in Kombination mit einer Darstellung einer spekulativen Bedrohung. In diesem Beispiel ist der Ball dadurch sicher, dass er tatsächlich durch ein Bedrohungserfassungssystem in dem Ego-Fahrzeug erfasst wurde. Der Fußgänger ist dadurch spekulativ, dass das System aus dem Kontext der Situation folgert, dass es ein Kind sein kann, das dem Ball folgt. Somit umfasst das Bild 346 des Balls einen durchgezogenen Umriss (Kreis) und das Fußgängerbild 344 eine gestrichelte Linie. Bezugnehmend auf 12 wird ein Beispiel einer Cluster-Anzeige 300 für eine kombinierte Bedrohungsstruktur mit einem mittleren bis niedrigen Bedrohungsniveau gezeigt. In diesem Beispiel umfasst die Anzeige ein Ego-Fahrzeugbild 362 und Fahrzeugbilder 364 und 366, welche die dem Ego-Fahrzeug vorausfahrenden Fahrzeuge darstellen. In dieser Situation bremst ein dem Ego-Fahrzeug vorausfahrendes Fahrzeug, was veranlasst, dass die durch Objekte 364 und 366 dargestellten Fahrzeuge abbremsen. Die Anzeige ist eine Draufsicht, um das Präsentieren des Inhalts von dem Ego-Fahrzeug zu unterstützen, der dem Benutzer nicht sichtbar sein kann.
In diesem Beispiel werden die Fahrzeugbilder 364 und 366 mit einem orangenen Leuchten präsentiert und gestrichelte orangene Linien 368 stellen den vorhergesagten Stoppeffekt dar. Eine orangene Linie 370 markiert den vorhergesagten Aufprallbereich. Ein gerichtetes Haptiksignal kann emittiert werden, um den aufmerksamen Benutzer dazu zu bringen, die Direktionalität der Bedrohung zu bestimmen und auf die Cluster-Anzeige zu schauen.
13 zeigt ein Beispiel einer Cluster-Anzeige 300 für ein Fahrzeug, das in einem autonomen Modus arbeitet (für ein vollständig autonomes oder semi-autonomes Fahrzeug). In diesem Beispiel ist die Bedrohungsstruktur einzeln und das Bedrohungsniveau hoch. Das erfasste Objekt ist ein Wild, das durch ein Bild des Wildes 372 dargestellt wird, und das Ego-Fahrzeug wird durch ein Ego-Fahrzeugobjekt 374 dargestellt. Wie gezeigt, wird ein erläuternder Text („Wild Voraus, Auto bremst“) bereitgestellt, um sicherzustellen, dass der Benutzer den vollen Kontext der Szene erfasst.
In dem Obigen sind die Benachrichtigungen ausgestaltet, um die Aufmerksamkeit des Benutzers auf spezifische Bereiche der Anzeige zu richten. Andere Objekte, die nicht als eine Bedrohung eingeschätzt werden, können in einer gedämpften oder dezenteren Art und Weise als die Objekte dargestellt werden, die als eine Bedrohung eingeschätzt werden. Beispielsweise werden andere Fahrzeuge in den obigen Anzeigen durch graue graphische Objekte dargestellt.
14 zeigt ein Beispiel einer Augmented-Reality-(AR) Anzeige, wie beispielsweise einer HUD 390. In diesem Beispiel werden graphische Objekte und Merkmale auf ein Minimum gehalten, das benötigt wird, um die Benutzer zu warnen. Eine visuelle Schicht, wie beispielsweise ein temporäres Highlight 392, wird auf das Wild in der HUD 390 überlagert. Eine visuelle Schicht wird zu der HUD 390 hinzugefügt, um ein besseres Situationsbewusstsein bereitzustellen. Vorübergehendes Hervorheben von Objekten, die übergangen werden können, die mit der Visualisierung in dem Cluster kompatibel sind, kann verwendet werden, um eine Bezugnahme zu der Bedrohung in der realen Welt vorzusehen. Gerichteter Ton und Haptik können enthalten sein, um den Benutzer zu warnen. In diesem Beispiel wird das Wild als gesichert bestimmt; irgendwelche spekulativen Objekte oder Bedrohungen können beispielsweise an einem Umfang der HUD 390 in einer Art und Weise dargestellt werden, dass sie von dem Wild (oder anderen bestimmten Objekten oder Bedrohungen) unterschieden werden können.
Die hier verwendete Terminologie dient nur zum Zwecke der Beschreibung bestimmter exemplarischer Ausführungsformen und ist nicht bestimmt, die vorliegende Offenbarung einzuschränken. Wie hier verwendet, sind die Singularformen „ein“, „eine“ und „der/die/das“ bestimmt, auch die Pluralformen zu beinhalten, außer der Kontext zeigt deutlich das Gegenteil an. Es sei ferner zu verstehen, das die Begriffe „umfasst“, „umfassend“, wenn in dieser Spezifikation verwendet, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Umfang abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine spezifische Situation oder ein spezifisches Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Umfang abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen umfassen wird, die in ihren Umfang fallen.

Claims

System zum Benachrichtigen eines Benutzers eines Fahrzeugs, umfassend: ein Empfangsmodul, das konfiguriert ist, um Erfassungsdaten von einem oder mehreren Sensoren zu empfangen; ein Bedrohungsanalysemodul, das konfiguriert ist, um Objekterfassungsdaten zu empfangen, die sich auf ein erfasstes Objekt in einer Umgebung um das Fahrzeug beziehen, eine vorhergesagte Trajektorie des erfassten Objekts zu beschaffen und zu bestimmen, ob das erfasste Objekt eine Bedrohung basierend auf der vorhergesagten Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie bildet; und ein Bedrohungsanzeigemodul, das konfiguriert ist, um basierend auf dem Bestimmen, dass das erfasste Objekt eine Bedrohung bildet: ein Betriebsszenario basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau zu bestimmen; und eine Benachrichtigung an den Benutzer zu erzeugen, welche die Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagten Trajektorie des erfassten Objekts umfasst, wobei mindestens eines der visuellen Darstellung und des visuellen Indikators basierend auf dem Betriebsszenario angepasst wird.
System gemäß Anspruch 1, wobei der Betriebsmodus aus einem manuellen Betriebsmodus, einem teilweisen autonomen Betriebsmodus und einem vollständigen autonomen Betriebsmodus ausgewählt wird.
System gemäß Anspruch 1, wobei das Betriebsszenario eine Bedrohungsstruktur umfasst, die aus einer diskreten Bedrohung und einer kombinierten Bedrohung ausgewählt wird, und die Benachrichtigung eine visuelle Darstellung einer Abhängigkeit zwischen mehreren Objekten umfasst, welche die kombinierte Bedrohung darstellen.
System gemäß Anspruch 1, wobei das Bedrohungsanzeigemodul konfiguriert ist, um mindestens eines einer auditiven Warnung und einer haptischen Warnung in die Benachrichtigung aufzunehmen, basierend auf mindestens eines von: Bestimmen, dass ein Bedrohungsniveau über einem ausgewählten Wert ist; und Bestimmen, dass der Benutzer relativ zu dem erfassten Objekt unaufmerksam ist.
System gemäß Anspruch 4, wobei eine Eigenschaft mindestens eines der visuellen Darstellung des erfassten Objekts, dem visuellen Indikator der vorhergesagten Trajektorie, der auditiven Warnung und der haptischen Warnung in Echtzeit allmählich geändert wird, wenn sich das Bedrohungsniveau ändern.
System gemäß Anspruch 1, wobei die Benachrichtigung eine Einstellung der Innenbeleuchtung in dem Fahrzeug basierend auf mindestens eines des Bedrohungsniveaus und der Benutzeraufmerksamkeit umfasst.
Verfahren zum Benachrichtigen eines Benutzers eines Fahrzeugs, umfassend: Empfangen von Erfassungsdaten von einem oder mehreren Sensoren; Empfangen von Objekterfassungsdaten, die sich auf ein erfasstes Objekt in einer Umgebung um das Fahrzeug beziehen, basierend auf den Erfassungsdaten, Beschaffen einer vorhergesagten Trajektorie des erfassten Objekts und Bestimmen, ob das erfasste Objekt eine Bedrohung bildet, basierend auf der vorhergesagten Trajektorie des erfassten Objekts und einer Fahrzeugtrajektorie; basierend auf dem Bestimmen, dass das erfasste Objekt eine Bedrohung bildet, Bestimmen eines Betriebsszenarios basierend auf einer Benutzeraufmerksamkeit, einem Sichtfeld, einem Betriebsmodus und einem Bedrohungsniveau; und Erzeugen einer Benachrichtigung an den Benutzer, die eine Bedrohung darstellt, wobei die Benachrichtigung eine visuelle Darstellung des erfassten Objekts und einen visuellen Indikator der vorhergesagten Trajektorie des erfassten Objekts umfasst, wobei mindestens eines der visuellen Darstellung und des visuellen Indikators basierend auf dem Betriebsszenario angepasst wird.
Verfahren gemäß Anspruch 7, wobei ein Bedrohungsanzeigemodul konfiguriert ist, um mindestens eines einer auditiven Warnung und einer haptischen Warnung in die Benachrichtigung aufzunehmen, basierend auf mindestens eines von: Bestimmen, dass ein Bedrohungsniveau über einem ausgewählten Wert ist; und Bestimmen, dass der Benutzer relativ zu dem erfassten Objekt unaufmerksam ist.
Verfahren gemäß Anspruch 8, wobei eine Eigenschaft mindestens einer der visuellen Darstellung des erfassten Objekts, des visuellen Indikators der vorhergesagten Trajektorie, der auditiven Warnung und der haptischen Warnung allmählich in Echtzeit geändert wird, wenn sich das Bedrohungsniveau ändert.
Verfahren gemäß Anspruch 9, wobei die Eigenschaft von mindestens eines der visuellen Darstellung und des visuellen Indikators aus mindestens eines einer Farbe, einer Opazität, einer Helligkeit, einer Blinkrate, einer Textur und einer Intensität ausgewählt wird.