DE102017130414A1 - Fahrzeug-systeme zur kontextabhängigen beurteilung - Google Patents

Abstract

Benutzerorientiertes Fahrunterstützungssystem zur Implementierung auf einem Transportfahrzeug. Das System in verschiedenen Ausführungen beinhaltet einen oder mehrere Fahrzeugsensoren, wie zum Beispiel eine Kamera, ein RADAR und ein LiDAR sowie eine hardwarebasierte Verarbeitungseinheit. Das System beinhaltet ferner ein nichtflüchtiges, computerlesbares Speichermedium mit einer Aktivitätseinheit und einer Ausgabestrukturierungseinheit. Die Aktivitätseinheit bestimmt, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird, basierend auf kontextabhängigen Eingabeinformationen, mindestens eines der Ergebnisse einer Alarmbeurteilung und einer Szenenwahrnehmung, worin die kontextabhängigen Eingabeinformationen den Ausgang des Fahrzeugsensors beinhaltet. Die Ausgabestrukturierungseinheit bestimmt, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird, eine Handlung, die am Fahrzeug durchgeführt werden soll, basierend auf mindestens einer der Alarmbeurteilungsausgaben und der durch die Aktivitätseinheit ermittelten Szenenwahrnehmung. Die Technologie in verschiedenen Implementierungen beinhaltet sowohl die Speichervorrichtung allein als auch benutzerorientierte fahrerunterstützende Prozesse, die mithilfe der Vorrichtung und anderer Fahrzeugkomponenten durchgeführt werden.

Description

• TECHNISCHES GEBIET
• Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Fahrzeugfahrsysteme und insbesondere auf Systeme und Verfahren zum Beurteilen einer Fahrsituation basierend auf Benutzerkontext, Fahrkontext und/oder Umgebungsunordnung.
• HINTERGRUND
• Dieser Abschnitt bietet Hintergrundinformationen zur vorliegenden Offenbarung, wobei es sich nicht notwendigerweise um den Stand der Technik handelt.
• Der Sensorausgang wird zunehmend im modernen Fahrbetrieb eingesetzt. Informationen von Kameras, z. B. RADAR und LiDAR, werden einem Fahrzeugführer zur Verfügung gestellt oder von einem autonomen Fahrsystem genutzt.
• In verschiedenen Anwendungen werden Sensorinformationen zu einer Standardobjektliste zusammengeführt. Die Standardobjektliste identifiziert beispielsweise nahgelegene Fahrzeuge und Fußgänger.
• Für jedes Objekt der Standardobjektliste kann ein Time-to-Collision (TTC)-Wert ermittelt werden, der lediglich die Dynamiken - relative Positionierung und Bewegung berücksichtigt.
• ZUSAMMENFASSUNG
• Eine verbesserte Fahrassistenz wird durch die Verwendung von Daten aus dem Benutzerkontext, dem Fahrkontext und/oder der Umgebungsunordnung erreicht.
• Die vorliegende Technologie bezieht sich in verschiedenen Aspekten auf ein nutzerzentriertes Fahrunterstützungssystem zur Implementierung an einem Transportfahrzeug. Das System beinhaltet in verschiedenen Ausführungsformen eine hardwarebasierte Verarbeitungseinheit und einen oder mehrere Fahrzeugsensoren, wie zum Beispiel eine Kamera, ein RADAR und ein LiDAR. Das System beinhaltet ferner ein nichtflüchtiges, computerlesbares Speichermedium mit einer Aktivitätseinheit und einer Ausgabestrukturierungseinheit. Die Aktivitätseinheit bestimmt, wenn sie durch die Verarbeitungseinheit ausgeführt wird, basierend auf kontexabhängigen Eingabeinformationen, mindestens eines der Ergebnisse einer Alarm-Bewertungs-Ausgabe und einer Szenen-Wahmehmungsausgabe. Die kontextabhängigen Eingabeinformationen beinhalten oder werden über die Ausgabe des Fahrzeugsensors erzeugt.
• Die Ausgabestrukturierungseinheit bestimmt beim Ausführen eine Aktion, die am Fahrzeug durchzuführen ist, und zwar basierend auf mindestens einem der Ergebnisse der Alarmbewertung und der durch die Aktivitätseinheit ermittelten Szenenwahrnehmung.
• In verschiedenen Ausführungsformen beinhalten die kontextabhängigen Eingabeinformationen den Benutzerkontext, der sich auf einen Zustand oder eine Bedingung eines Fahrzeugbenutzers bezieht.
• Der Zustand oder die Bedingung des Nutzers wird in verschiedenen Ausführungsformen basierend auf (i) biometrischen Daten aus Benutzermessungen, (ii) Benutzeraktivität, (iii) Fahrzeugbelegung und/oder (iv) Benutzerblick bestimmt.
• In einigen Fällen wird der Zustand oder die Bedingung zumindest teilweise basierend auf mindestens einem Benutzermodell erzeugt.
• Das Benutzermodell kann beispielsweise im Fahrzeug, auf einer mobilen Vorrichtung oder auf einem entfernten Server gespeichert werden. Das Benutzermodell beinhaltet Daten, die auf aktuelle oder vergangene Handlungen, Tendenzen, Reaktionen oder andere Interaktionen (mit dem Fahrzeug oder anderen Anreizen), Präferenzen, dergleichen und andere Merkmale im Zusammenhang mit einer Anwesenheit, einem Gegenstand, einem Benutzer und/oder anderen Benutzern hinweisen. Die verwendeten Benutzermodelldaten können aktuelle Daten sein, die in Echtzeit über das Fahrzeugsystem erhalten und berücksichtigt werden, und/oder historische Daten über den jeweiligen Benutzer und/oder andere Fahrzeugnutzer.
• Historische Daten können beispielsweise als Grundlage zum Anpassen oder Interpretieren der aktuellen und/oder vergangenen Handlungen oder Interaktionen mit dem jeweiligen Benutzer herangezogen werden. Die Verwendung historischer Daten wird im Folgenden näher beschrieben.
• In verschiedenen Ausführungsformen beinhalten die kontextabhängigen Eingabeinformationen den Fahrkontext, der sich auf die aktuellen Fahrbedingungen des Fahrzeugs bezieht.
• Die kontextabhängigen Eingabeinformationen beinhalten Clutter-Informationen, die sich auf eine Menge visueller Elemente in einer Umgebung außerhalb des Fahrzeugs beziehen, die der Fahrzeugsensor oder der Benutzer in verschiedenen Ausführungsformen wahrnehmen kann.
• In verschiedenen Ausführungsformen umfasst die Alarm-Bewertungsausgabe eine Alarm-Bewertung.
• Die Aktivitätseinheit, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird, (i) empfängt eine Basisobjektliste, die zumindest basierend auf der Ausgabe des Fahrzeugsensors erstellt wurde, und (ii) passt die Basisobjektliste basierend auf den kontextabhängigen Eingangsinformationen an, wobei eine angepasste Objektliste, die die Szenenwahrnehmungsausgabe bildet, in verschiedenen Ausführungsformen erzeugt wird.
• In verschiedenen Ausführungsformen umfasst die durch die Ausgabestrukturierungseinheit bestimmte Handlung das Steuern von (i) einem Zeitpunkt, zu dem eine fahrzeugbezogene Benachrichtigung über eine Fahrzeugausgabevorrichtung erfolgt, (ii) eine Substanz der fahrzeugbezogenen Benachrichtigung, (iii) eine Modalität oder Modalitäten für die Benachrichtigung und (iv) eine Menge oder Art der Hervorhebung für die Benachrichtigung.
• Die durch die Ausgabestrukturierungseinheit bestimmte Handlung umfasst in verschiedenen Ausführungsformen das Steuern einer automatisierten Fahrkomponente des Fahrzeugs.
• In verschiedenen Ausführungsformen umfasst die durch die Ausgabestrukturierungseinheit bestimmte Handlung das Erzeugen einer Kommunikation zur Übergabe an eine Zielcomputervorrichtung, die nicht zum Fahrzeug gehört.
• Verschiedene Aspekte der vorliegenden Technologie beinhalten nichtflüchtige computerlesbare Speichervorrichtungen, Verarbeitungseinheiten und Algorithmen, die dazu konfiguriert sind, beliebige der beschriebenen Operationen auszuführen.
• Weitere Aspekte der vorliegenden Technologie werden sich im Folgenden teilweise erschließen und teilweise explizit erwähnt werden.
• Figurenliste
• 1 veranschaulicht schematisch ein exemplarisches Transportfahrzeug mit lokalen und entfernten Computervorrichtungen gemäß Ausführungsformen der vorliegenden Technologie.
• 2 veranschaulicht schematisch einige Einzelheiten eines exemplarischen Fahrzeugcomputers von 1 in Verbindung mit den lokalen und entfernten Computervorrichtungen .
• 3 zeigt eine weitere Ansicht des Fahrzeugs, wobei exemplarische Speicherkomponenten einschließlich Systemeinheiten hervorgehoben werden.
• 4 zeigt das Zusammenspiel zwischen den Komponenten von 3, einschließlich externer Vorrichtungen.
• Die Figuren sind nicht unbedingt maßstabsgerecht und einige Merkmale können vergrößert oder verkleinert dargestellt sein, um die Einzelheiten bestimmter Komponenten zu veranschaulichen.
• AUSFÜHRLICHE BESCHREIBUNG
• Nach Bedarf werden hier ausführliche Ausführungsformen der vorliegenden Offenbarung offenbart. Die offenbarten Ausführungsformen dienen lediglich als Beispiele, die in verschiedenen alternativen Formen und Kombinationen derselben ausgebildet werden können. Wie hierin verwendet, beziehen sich beispielsweise exemplarische und ähnliche Begriffe in erhöhtem Maße auf Ausführungsformen, die als eine Veranschaulichung, eine Probe, ein Modell oder Muster dienen.
• In einigen Fällen wurden bekannte Komponenten, Systeme, Materialien oder Prozesse nicht im Detail beschrieben, um eine um Verschleierung der vorliegenden Offenbarung zu vermeiden. Folglich sind die offenbarten aufbau- und funktionsspezifischen Details nicht als Beschränkungen zu verstehen, sondern lediglich als Basis für die Ansprüche sowie als repräsentative Grundlage, um den Fachleuten auf dem Gebiet die verschiedenen Einsatzmöglichkeiten der vorliegenden Offenbarung zu vermitteln.
• Technologieeinführung
• Die vorliegende Offenbarung beschreibt durch verschiedene Ausführungsformen, Systeme und Verfahren zum Beurteilen einer Fahrsituation basierend auf Benutzerkontext, Fahrkontext und/oder Umweltunordnung.
• Benutzerkontextinformationen zeigen einen oder mehrere Faktoren an, welche die Fähigkeit eines Benutzers beeinflussen, Entscheidungen in Bezug auf das Fahren oder den Betrieb des Fahrzeugs zu treffen. Der Begriff Benutzer beinhaltet eine Person, die das Fahrzeug vollständig bedient, oder eine Person, die das Fahrzeug teilweise mit teilautonomen Fahrweisen bedient, oder eine Person, die vollautonomes Fahren nutzt. Der Begriff Fahrer kann hierin austauschbar mit dem Benutzer verwendet werden und kann sich somit auch auf eine Person beziehen, die vollständig autonome Funktionen verwendet. Der Begriff Fahrer kann sich auch auf ein oder mehrere relevante Fahrzeugsysteme in Implementierungen beziehen, in denen das Fahrzeug teilweise oder vollständig autonome Funktionen ausführt. Wenn beispielsweise eine Komponente oder Einheit der vorliegenden Technologie eine Benachrichtigung über eine unmittelbare Bedrohung ausgibt - etwa ein Fahrzeug in der Nähe oder ein großes Schlagloch - kann die Benachrichtigung dem Fahrer oder Benutzer, der einen menschlichen Bediener, einen menschlichen Benutzer (z. B. eine Person, die die Kontrolle über das Fahrzeug übernimmt oder dem Fahrzeug, das autonom fährt, Anweisungen gibt) ist, und/oder einem oder mehreren relevanten Fahrzeugsystemen übermittelt werden.
• Im Allgemeinen beinhalten Benutzerkontextinformationen Benutzeraktivitäten oder ähnliche Situationen, durch die der Benutzer teilweise von der Fahrszene abgelenkt wird, unabhängig davon, ob der Benutzer teilweise, vollständig oder nicht (z. B. während des autonomen Fahrens) das Fahrzeug zu diesem Zeitpunkt fährt. Ein Beispiel eines Benutzerkontexts beinhaltet den Benutzer, der an einem Telefongespräch teilnimmt oder anderweitig eine persönliche Vorrichtung oder ein Gerät benutzt - z. B. ein Buch. In einem weiteren Beispiel beinhaltet der Benutzerkontext, bei dem sich andere Personen im Fahrzeug befinden und möglicherweise auch alle Interaktionen zwischen ihnen und dem Fahrer, wie beispielsweise ein Kleinkind, das anwesend ist und weint, oder ein Erwachsener, der anwesend ist und mit dem Fahrer spricht.
• Der Benutzerkontext beinhaltet in verschiedenen Ausführungsformen auch mentale oder andere physische Eigenschaften des Benutzers. So kann das System beispielsweise als Benutzerkontext, eine bekannte Seh- oder Hörschwäche des Benutzers in Betracht ziehen. Als weiteres Beispiel kann der Benutzerkontext bekannte oder bestimmte langsame oder beeinträchtigte Benutzerreflexe oder die Fähigkeit, auf Reize zu reagieren, wie z. B. ein erforderliches Fahrmanöver oder eine Anregung, die den Benutzer einlädt, eine Entscheidung im Zusammenhang mit dem autonomen Fahren zu treffen, beinhalten.
• In verschiedenen Implementierungen kann der Benutzerkontext auch Einstellungen oder Parameter des Benutzermodells beinhalten. Das System kann so konfiguriert werden, dass es aktuelle Werte oder andere Daten oder Schätz- oder Vorhersagewerte, die mit dem Benutzer in Verbindung stehen, einstellt - wie beispielsweise Werte oder Daten, die das Aufmerksamkeitsniveau des Benutzers anzeigen, ob der Benutzer ein Objekt in der Fahrszene bemerkt usw. In verschiedenen Implementierungen werden Werte oder Daten mit einem akzeptablen Maß an Unsicherheit geschätzt oder vorhergesagt, wobei das System jedoch feststellen kann, ob die Werte oder Daten vor der Verwendung der Werte oder Daten zumindest über ausreichende Sicherheit verfügen.
• Andere Eingaben zu Entscheidungseinheiten, die sich auf die Umgebung und die Fahrbedingungen beziehen, wie zum Beispiel Umgebungsunordnung oder Straßen- oder Wetterbedingungen, werden in einigen Ausführungsformen in den Benutzerkontext integriert.
• In verschiedenen Ausführungsformen verwendet das System benutzerorientierte Gefahrenbeurteilungen oder Alarmbeurteilungen, um einen Wert oder eine Punktzahl zu ermitteln. Der benutzerorientierte Alarm-Beurteilungswert kann vom System oder anderen Vorrichtungen - wie zum Beispiel Fahrzeugen in der Nähe oder Fußgängertelefonen - verwendet werden, um die nächsten Handlungen zu ermitteln.
• Nächste Handlungen können zum Beispiel die Steuerung des Fahrzeugs, das Einleiten der Kommunikation mit dem Benutzer und das Einleiten der Steuerung des Betriebs oder der Kommunikation zu (und möglicherweise zu und von) der anderen Vorrichtung beinhalten.
• Der Begriff Umgebungsunordnung bezieht sich im Allgemeinen auf Szenarien, in denen eine Umgebung um das Fahrzeug herum, die von einem oder mehreren Fahrzeugsensoren erfasst wird, eine relativ hohe Menge an visuellen Informationen aufweist, die der Benutzer bei der Beurteilung der Umgebung für Fahrzwecke verarbeiten muss. Eine Szene rund um ein Fahrzeug, das am Times Square, New York, fährt oder gefahren wird, mit vielen Schildern, Fußgängern, Taxis und anderen Fahrzeugen, hätte typischerweise mehr Umgebungsunordnung als zum Beispiel eine Szene bei einer Fahrt über Land.
• Die Clutter-Informationen in verschiedenen Ausführungsformen beinhalten eine Vielzahl relevanter Objekte - z. B. andere Fahrzeuge, Fußgänger, Schlaglöcher - wie beispielsweise in einem Sichtfeld. In geplanten Implementierungen können die Clutter-Informationen auch andere Qualität/en des Objekts anzeigen, z. B. in Bezug auf die Position des Objekts. Die Clutter-Informationen können Daten beinhalten, die das Clustern von Objekten, die Standorte von Objekten oder Clustern anzeigen, Unterscheidungen, die anzeigen, welche Objekte oder Cluster bedrohlicher oder wichtiger sind, wie beispielsweise dadurch, dass sie sich in einem Fahrzeugpfad befinden oder vorhergesagt werden, gegenüber Objekten, von denen erwartet wird, dass sie angrenzend an den Fahrzeugpfad bleiben.
• Das Clutter-Maß wird in verschiedenen Ausführungsformen verwendet, um eine Wahrscheinlichkeit zu schätzen, dass der Fahrer eines oder mehrere der Objekte in der Fahrumgebung wahrnimmt. Im Allgemeinen ist die Wahrscheinlichkeit, dass der Fahrer ein Objekt bemerkt, bei einem größeren Durcheinander geringer. Die Wahrscheinlichkeit wird verwendet, um eine Alarmstrategie zu ermitteln, durch die der Fahrer über das/die Objekt(e) informiert wird.
• Während ausgewählte Beispiele der vorliegenden Technologie Transportfahrzeuge oder Fahrmodi und insbesondere Automobile beschreiben, ist die Technik nicht durch die Fokussierung begrenzt. Die Konzepte können auf eine Vielzahl von Systemen und Vorrichtungen erweitert werden, wie zum Beispiel andere Transport- oder fahrende Fahrzeuge, einschließlich Flugzeuge, Wasserfahrzeuge, Lastkraftwagen, Busse, Wagen, Züge, Handels- oder Produktionsanlagen (z. B. Gabelstapler), Baumaschinen und landwirtschaftliche Maschinen, Lagereinrichtungen, Haushaltsgeräte, Personal- oder Mobil-Computervorrichtungen, dergleichen und andere.
• II. Trägerfahrzeug - Figur 1
• Wendet man sich nun den Figuren und insbesondere der ersten Figur zu, zeigt 1 eine exemplarische Aufnahmestruktur oder Vorrichtung 10 in Form eines Fahrzeugs.
• Das Fahrzeug 10 beinhaltet eine hardwarebasierte Steuerung oder ein Steuerungssystem 20. Das hardwarebasierte Steuerungssystem 20 beinhaltet ein Kommunikations-Subsystem 30 zur Kommunikation mit mobilen oder lokalen Computergeräten 34, und externen Netzwerken 40.
• Durch die externen Netzwerke 40, wie beispielsweise das Internet, ein lokales Netz, ein Mobilfunk- oder Satellitennetzwerk, eine Fahrzeug-zu-Fahrzeug-, Fußgänger-zu-Fahrzeug- oder andere Infrastrukturkommunikation usw., kann das Fahrzeug 10 mobile oder lokale Systeme 34, oder entfernte Systeme 50, wie beispielsweise entfernte Server, erreichen.
• Mobile oder lokale Vorrichtungen 34 beinhalten zum Beispiel, sind aber nicht beschränkt auf, ein Benutzer-Smartphone 31, eine erste exemplarische tragbare Benutzer-Vorrichtung 32 in Form einer intelligenten Uhr und eine zweite exemplarische tragbare Benutzer-Vorrichtung 33 in Form eines Tablets. Andere exemplarische Wearables (tragbare Geräte) 32, 33 beinhalten intelligente Kleidung, wie ein Hemd oder einen Gurt, ein Zubehör, wie Armreifen oder schicker Schmuck, wie Ohrringe, Halsketten und Lanyards.
• Ein weiteres Beispiel einer mobilen oder lokalen Vorrichtung ist eine Benutzer-Plug-In-Vorrichtung, wie beispielsweise ein USB-Massenspeichergerät oder eine derartige Vorrichtung, die dazu konfiguriert ist, drahtlos zu kommunizieren.
• Noch ein weiteres Beispiel einer mobilen oder lokalen Vorrichtung ist eine fahrzeuginterne Vorrichtung (OBD) (nicht näher dargestellt), wie beispielsweise ein Bremssensor, ein Beschleunigungsmesser, ein Rotor-Verschleißsensor, ein Drosselklappensensor, ein Lenkwinkelsensor, eine Drehzahl-(RPM)-Anzeige, ein Bremsmomentsensor, sonstige Fahrzeugzustands- oder dynamikbezogene Sensoren für das Fahrzeug, mit dem das Fahrzeug nach der Herstellung nachgerüstet wird. Die OBD(s) können einen Teil des Sensorsubsystems beinhalten oder sein, welches nachfolgend mit dem Bezugszeichen 60 bezeichnet ist.
• Das Fahrzeugsteuerungssystem 20, das in beabsichtigten Ausführungsformen einen oder mehrere Mikrocontroller beinhaltet, kann über ein Steuerbereichsnetzwerk (CAN-Controller Area Network) und/oder Ethernet kommunizieren. Das CAN/Ethernet nachrichtenbasierte Protokoll ist typischerweise für die Multiplex-Elektroverdrahtung mit Automobilen ausgelegt und die CAN/ETHERNET Infrastruktur kann einen CAN/ETHERNET Bus beinhalten. Die OBD kann auch als Fahrzeug-CAN/ETHERNET Schnittstelle (VCI, VEI usw.) Komponenten oder Produkte bezeichnet werden, und die vom CAN/ETHERNET übertragenen Signale können als CAN/ETHERNET-Signale bezeichnet werden. Die Kommunikation zwischen den OBD(s) und der primären Steuerung oder dem Mikrocontroller 20 wird in anderen Ausführungsformen über ein ähnliches oder ein anderes nachrichtenbasiertes Protokoll ausgeführt.
• Das Fahrzeug 10 weist auch verschiedene Befestigungsstrukturen 35 auf. Die Befestigungsstrukturen 35 beinhalten ein Lenkrad, eine Mittelkonsole und ein Armaturenbrett oder eine Instrumententafel. Die Befestigungsstruktur 35 beinhaltet oder beherbergt auch einen Plug-In-Anschluss 36 - zum Beispiel einen USB-Anschluss - eine visuelle Anzeige 37, wie eine berührungsempfindliche, Eingabe-/Ausgabe-Mensch-Maschine-Schnittstelle (HMI).
• Das Fahrzeug 10 weist auch ein Sensor-Subsystem mit Sensoren auf, die der Steuerung 20 Informationen zur Verfügung stellen. Der Sensoreingang zur Steuerung 20 ist schematisch rechts unter der Motorhaube von 1 dargestellt. Exemplarische Sensoren mit der Basiszahl 60 - 60₁, 60₂ usw. - sind dargestellt.
• Die Sensordaten beziehen sich auf Merkmale, wie Fahrzeugbetrieb, Fahrzeugposition und Fahrzeughaltung, Benutzermerkmale, wie Biometrie oder physiologische Maßnahmen sowie Umweltmerkmale, die einen Fahrzeuginnenraum oder die Außenseite des Fahrzeugs 10 betreffen.
• Exemplarische Sensoren beinhalten eine Kamera 60₁ die in einem Rückspiegel des Fahrzeugs 10 positioniert ist, eine Kuppel- oder Deckenkamera 60₂ die in einem Header des Fahrzeugs 10 positioniert ist, eine auf die Umwelt gerichtete Kamera 60₃ (abgewandt vom Fahrzeug 10) und einen auf die Umwelt gerichteten Bereichssensor 60₄. Inter-Fahrzeugfokussierte Sensoren 60₁, 60₂, wie Kameras und Mikrofone, sind konfiguriert, um die Präsenz von Menschen, Aktivitäten oder Menschen, oder andere Kabinenaktivitäten oder Merkmale zu erfassen. Die Sensoren können auch für Authentifizierungszwecke in einer Registrierungs-oder Neuregistrierungsroutine verwendet werden. Diese Teilmenge von Sensoren ist nachfolgend näher beschrieben.
• Der Umwelt zugewandte Sensoren 60₃, 60₄ Erfassungsmerkmale über eine Umgebung 11 umfassen beispielsweise Plakate, Gebäude, andere Fahrzeuge, Verkehrszeichen, Ampeln, Straßenzustand, Hindernisse, Fußgänger usw.
• Die erwähnten OBDs können als lokale Vorrichtungen, Sensoren des Untersystems 60 oder beide in verschiedenen Ausführungsformen betrachtet werden.
• Lokale Vorrichtungen 34 - zum Beispiel Benutzertelefon, Benutzer tragbare- oder Benutzer-Plug-In-Geräte - können auch als Sensoren 60 betrachtet werden, wie beispielsweise in Ausführungsformen, in denen das Fahrzeug 10 Daten verwendet, die von der lokalen Vorrichtung basierend auf der Ausgabe eines lokalen Vorrichtungssensors bereitgestellt werden. Das Fahrzeugsystem kann Daten von einem Benutzer-Smartphone verwenden, beispielsweise Anzeigen von physiologischen Daten, die von einem biometrischen Sensor des Telefons erfasst werden.
• Das Fahrzeug 10 beinhaltet auch Kabinenausgangskomponenten 70, wie beispielsweise Audio-Lautsprecher 70₁ und eine Instrumententafel oder ein Display 70₂. Die Ausgangskomponenten können auch ein Armaturenbrett oder Mittelkonsolen-Anzeigebildschirm 70₃, einen Rückspiegel-Bildschirm 70₄ (zum Anzeigen der Bilderfassung einer Fahrzeug-Heck-/Backup-Kamera), jede Fahrzeug-Sichtvorrichtung 37, autonome Fahrkomponenten (Lenkung, Bremsen usw.) und Steuerkomponenten zum Steuern dieser Komponenten, beinhalten.
• III. On-Board-Computing-Architektur - Figur 2
• 2 veranschaulicht ausführlicher das hardwarebasierte Rechen- oder Steuerungssystem 20 von 1. Das Steuerungssystem 20 kann durch andere Begriffe, wie beispielsweise eine Rechenvorrichtung, eine Steuereinheit, eine Steuerungsvorrichtung oder einen derartigen beschreibenden Begriff bezeichnet werden und kann ein oder mehrere Mikrocontroller sein, wie vorstehend erwähnt.
• Das Steuerungssystem 20 ist in verschiedenen Ausführungsformen Teil des erwähnten größeren Systems 10, wie beispielsweise eines Fahrzeugs.
• Das Steuerungssystem 20 beinhaltet ein hardwarebasiertes computerlesbares Speichermedium oder eine Datenspeichervorrichtung 104 und eine hardwarebasierte Verarbeitungseinheit 106. Die Verarbeitungseinheit 106 ist über eine Kommunikationsverbindung 108, wie beispielsweise einen Computerbus oder drahtlose Komponenten, mit der computerlesbaren Speichervorrichtung 104 verbunden oder verbindbar.
• Die Verarbeitungseinheit 106 kann durch andere Namen, wie beispielsweise Prozessor, Verarbeitungshardwareeinheit, dergleichen oder andere, referenziert werden.
• Die Verarbeitungshardwareeinheit 106 kann mehrere Prozessoren beinhalten oder aus diesen bestehen, wobei verteilte Prozessoren oder Parallelprozessoren in einer einzelnen Maschine oder mehreren Maschinen beinhaltet sein können. Die Verarbeitungseinheit 106 kann zur Unterstützung einer virtuellen Verarbeitungsumgebung verwendet werden.
• Die Verarbeitungseinheit 106 kann zum Beispiel eine Zustandsmaschine, eine anwendungsspezifische integrierte Schaltung (ASIC) oder eine programmierbare Gate-Anordnung (PGA) mit einem Field PGA (FPGA) beinhalten. Verweise hierin auf die Verarbeitungseinheit, die einen Code oder Anweisungen zum Durchführen von Operationen, Maßnahmen, Aufgaben, Funktionen, Schritten, oder Ähnlichem ausführt, könnten die Verarbeitungseinheit beinhalten, die die Operationen direkt und/oder eine andere Vorrichtung oder Komponente zur Durchführung der Operationen erleichtert, leitet oder zusammenarbeitet.
• In verschiedenen Ausführungsformen, ist die Datenspeichervorrichtung 104 ein beliebiges flüchtiges Medium, ein nichtflüchtiges Medium, ein entfernbares Medium und ein nichtentfernbares Medium.
• Der Begriff computerlesbare Medien und Varianten davon, wie sie in der Beschreibung und den Ansprüchen verwendet werden, beziehen sich auf materielle Speichermedien. Das Medium kann ein Gerät sein und kann nichtflüchtig sein.
• In einigen Ausführungsformen beinhalten die Speichermedien flüchtige und/oder nichtflüchtige, entnehmbare und/oder nicht entnehmbare Medien, wie beispielsweise Arbeitsspeicher (RAM), Nur-Lese-Speicher (ROM), elektrisch lösch- und programmierbare Nur-Lese-Speicher (EEPROM), Festspeicher oder andere Speichertechnologie, CD-ROM, DVD, BLU-RAY oder andere optische Plattenspeicher, Magnetband, Magnetplattenspeicher oder andere magnetische Speichergeräte.
• Die Datenspeichervorrichtung 104 beinhaltet ein oder mehrere Speichereinheiten oder -module 110, die computerlesbaren Code oder Anweisungen speichern, die durch die Verarbeitungseinheit 106 ausführbar sind, um die Funktionen des hierin beschriebenen Steuerungssystems 20 auszuführen. Die Einheiten oder Module und Funktionen werden weiter unten in Verbindung mit den 3 und 4 beschrieben.
• Die Datenspeichervorrichtung 104 beinhaltet in einigen Ausführungsformen auch Hilfs- oder Unterstützungskomponenten 112, wie beispielsweise zusätzliche Software und/oder Datenunterstützungsleistungen der Prozesse der vorliegenden Offenbarung, wie beispielsweise ein oder mehrere Benutzerprofile oder eine Gruppe von Standard- und/oder Benutzer-eingestellte Präferenzen.
• Wie vorgesehen, beinhaltet das Steuerungssystem 20 auch ein Kommunikationsuntersystem 30 zum Kommunizieren mit lokalen und externen Vorrichtungen und Netzwerken 34, 40, 50. Das Kommunikationsuntersystem 30 in verschiedenen Ausführungsformen beinhaltet eine beliebige drahtgebundene Eingabe/Ausgabe (I/O) 116, mindestens einen drahtlosen Fernsendeempfänger 118 und einen oder mehrere Kurz- und/oder Mittelbereichs-Funksender 120. Die Komponente 122 ist exemplarisch dargestellt, um zu betonen, dass das System zur Aufnahme einer oder mehrerer anderer Arten von verdrahteten oder drahtlosen Verbindungen konfiguriert ist.
• Der langreichweitige Empfänger 118 ist in einigen Ausführungsformen konfiguriert, um die Kommunikation zwischen dem Steuerungssystem 20 und einem Satelliten und/oder einem Mobilfunknetz zu erleichtern, was lediglich auch als schematisch mit dem Bezugszeichen 40 bezeichnet werden kann.
• Der Kurz- oder Mittelstrecken-Empfänger 120 ist konfiguriert, um eine Kurz- oder Mittelstreckenkommunikation, wie die Kommunikation mit anderen Fahrzeugen, in Fahrzeug-zu-Fahrzeug (V2V) Kommunikationen und Kommunikation mit der Verkehrssystem-Infrastruktur (V2I) zu erleichtern. Im Großen und Ganzen kann Fahrzeug-zu-Entität (V2X) auf Nahbereichskommunikationen mit jeder Art von externer Entität (z. B. Geräte, die mit Fußgängern oder Radfahrern verbunden sind usw.) verweisen.
• Zur Kommunikation V2V, V2I oder um mit anderen extra-Fahrzeug Vorrichtungen, wie beispielsweise lokalen Kommunikationsroutern usw., zu kommunizieren, kann der Kurz-oder Mittelstreckenkommunikations-Empfänger 120 dazu konfiguriert sein, über eine oder mehrere Kurz- oder Mittelstrecken-Kommunikationsprotokolle zu kommunizieren. Beispiel-Protokolle beinhalten Nahbereichskommunikation (DSRC), Wi-Fi®, BLUETOOTH®, Infrarot-, Infrarot-Datenvereinigung (IRDA), Nahfeldkommunikation (NFC), dergleichen oder deren Verbesserungen davon (WI-FI ist eine eingetragene Marke der WI-FI Alliance Austin, Texas; BLUETOOTH ist eine eingetragene Marke der Bluetooth SIG, Inc., der Bellevue, Washington).
• Durch kurz-, mittel- und/oder weitreichende drahtlose Kommunikation kann das Steuerungssystem 20 über den Betrieb des Prozessors 106 Informationen senden, wie beispielsweise in Form von Nachrichten oder paketierten Daten, zu und von einem oder mehreren Kommunikationsnetzwerken 40.
• Die entfernten Vorrichtungen 50, mit denen das Teilsystem 30 kommuniziert, sind in verschiedenen Ausführungsformen in der Nähe des Fahrzeugs 10, entfernt zum Fahrzeug oder beides.
• Die entfernten Vorrichtungen 50 können mit einer beliebigen geeigneten Struktur konfiguriert werden, um die hierin beschriebenen Operationen durchzuführen. Die exemplarische Struktur beinhaltet jegliche oder alle Strukturen, wie sie in Verbindung mit der Fahrzeugrechenvorrichtung 20 beschrieben sind. Eine entfernte Vorrichtung 50 beinhaltet beispielsweise eine Verarbeitungseinheit, ein Speichermedium mit Einheiten oder Modulen, einen Kommunikationsbus und eine Eingabe-/Ausgabe-Kommunikationsstruktur. Diese Funktionen werden als für die entfernte Vorrichtung 50 in 1 und die durch diesen Absatz bereitgestellten Querverweise betrachtet.
• Während lokale Vorrichtungen 34 innerhalb des Fahrzeugs 10 in den 1 und 2 gezeigt sind, kann jede von ihnen außerhalb des Fahrzeugs und in externer Verbindung mit dem Fahrzeug sein.
• Exemplarische entfernte Systeme 50 beinhalten einen entfernten Server (zum Beispiel einen Anwendungsserver) oder eine entfernte Daten-, Kundendienst- und/oder Steuerzentrale. Eine Benutzer-Rechen- oder Elektronikvorrichtung 34, wie beispielsweise ein Smartphone, kann auch vom Fahrzeug 10 abgewandt sein und mit dem Teilsystem 30 in Verbindung stehen, beispielsweise über das Internet oder ein anderes Kommunikationsnetzwerk 40.
• Eine exemplarische Steuerungszentrale ist die OnStar®-Steuerungszentrale mit Einrichtungen für die Interaktion mit Fahrzeugen und Benutzern, sei es über das Fahrzeug oder anderweitig (zum Beispiel Mobiltelefon), über Langstreckenkommunikation, wie Satellit oder Mobilfunkverbindungen. ONSTAR ist ein eingetragenes Warenzeichen der OnStar Corporation, einer Tochtergesellschaft der General Motors Company.
• Wie erwähnt, beinhaltet das Fahrzeug 10 auch ein Sensorsubsystem 60, das Sensoren umfasst, die dem Steuerungssystem 20 Informationen über Objekte bereitstellen, wie beispielsweise Fahrzeugoperationen, Fahrzeugposition, Fahrzeugstellung, Benutzereigenschaften, wie Biometrie oder physiologische Maßnahmen, und/oder die Umgebung um das Fahrzeug 10. Die Anordnung kann so konfiguriert sein, dass das Steuerungssystem 20 über drahtgebundene oder kurzreichweitige drahtlose Kommunikationsverbindungen 116, 120 mit Signalen von Sensoren des Sensorsubsystems 60 kommuniziert oder zumindest Signale empfängt.
• In verschiedenen Ausführungsformen beinhaltet das Sensorsubsystem 60 mindestens eine Kamera und mindestens einen Bereichssensor 60₄, wie beispielsweise Radar oder Sonar, weg vom Fahrzeug gerichtet, wie zum Beispiel zur Unterstützung des autonomen Fahrens. In einigen Ausführungsformen wird zum Erfassen des Bereichs eine Kamera verwendet.
• Visual-light-Kameras 60₃ die vom Fahrzeug 10 abgewandt sind, können eine monokulare, vorausschauende Kamera beinhalten, wie sie beispielsweise bei Spurhalteassistenz (LDW)-Systeme verwendet werden. Andere Ausführungsformen können andere Kameratechnologien, wie eine Stereokamera oder eine trifokale Kamera beinhalten.
• Sensoren, die dazu konfiguriert sind, äußere Bedingungen zu erfassen, können in einer Vielzahl von Richtungen angeordnet oder ausgerichtet sein, ohne dabei vom Umfang der vorliegenden Offenbarung abzuweichen. So können beispielsweise die Kameras 60₃ und der Bereichssensor 60₄ an jeder Position oder einer ausgewählten Position von (i) nach vorne von einem vorderen Mittelpunkt des Fahrzeugs 10 ausgerichtet sein, (ii) von einem hinteren Mittelpunkt des Fahrzeugs 10 nach hinten gerichtet sein, (iii) seitlich des Fahrzeugs von einer Seitenposition des Fahrzeugs 10 und/oder (iv) zwischen diesen Richtungen und jeweils bei oder zu einer beliebigen Erhöhung ausgerichtet sein.
• Der Bereichssensor 60₄ kann zum Beispiel einen beliebigen Nahbereichsradar (SRR) ein Ultraschallsensor, ein Langstreckenradar, wie jene, die in autonomen oder adaptiven Tempomat-(ACC)-Systemen, Sonar oder einem Light Detection And Ranging (LiDAR) Sensor verwendet werden, beinhalten.
• Andere exemplarische Sensorsubsysteme 60 beinhalten die erwähnten Innenraumsensoren (60₁, 60₂ usw.), die konfiguriert und angeordnet sind (zum Beispiel positioniert und im Fahrzeug eingebaut), um Aktivität, Personen, Innenraumbedingungen oder andere Merkmale in Bezug auf das Innere des Fahrzeugs zu erfassen. Exemplarische Innenraumsensoren (60₁, 60₂ usw.) beinhalten Mikrofone, fahrzeuginterne visuelle Lichtkameras, Sitzgewichtssensoren, Benutzer-Salinität, Netzhaut oder andere Benutzermerkmale, Biometrie oder physiologische Maßnahmen und/oder die Umgebung um das Fahrzeug 10.
• Die Innenraumsensoren (60₁, 60₂ usw.) der Fahrzeugsensoren 60 können eine oder mehrere temperaturempfindliche Kameras (zum Beispiel (3D, RGB, RGB-D), Infrarot oder Thermographie) oder Sensoren beinhalten. In verschiedenen Ausführungsformen sind Kameras vorzugsweise an einer hohen Position im Fahrzeug 10 positioniert. Exemplarische Positionen beinhalten einen Rückspiegel und einen Deckenraum.
• Eine höhere Positionierung verringert die Beeinträchtigung von seitlichen Hindernissen, wie beispielsweise Sitzlehnen der Vorderseite, welche die Passagiere der zweiten oder dritten Reihe blockieren oder mehr von diesen Passagieren blockieren. Eine höher positionierte Kamera (lichtbasiert (zum Beispiel RGB, RGB-D, 3D oder thermisch oder infrarot) oder ein anderer Sensor wird wahrscheinlich in der Lage sein, die Temperatur von jedem Passagierkörper zu erfassen - zum Beispiel Oberkörper, Bein, Füße.
• Zwei exemplarische Stellen für die Kamera(s) sind in 1 mit dem Bezugszeichen 60₁, 60₂ usw. - am Rückspiegel und einer am Fahrzeug-Header angegeben.
• Andere Sensorsubsysteme 60 beinhalten dynamische Fahrzeugsensoren 134, wie eine Trägheitsmomenteinheit (IMU) mit einem oder mehreren Beschleunigungsmessern, einen Radsensor oder einen dem Lenksystem zugeordneten Sensor (z. B. Lenkrad) des Fahrzeugs 10.
• Die Sensoren 60 können jeden Sensor zum Messen einer Fahrzeugposition oder einer anderen Dynamik, wie Position, Geschwindigkeit, Beschleunigung oder Höhe - zum Beispiel einen Fahrzeughöhensensor, beinhalten.
• Die Sensoren 60 können jeden bekannten Sensor zum Messen einer Umgebung des Fahrzeugs einschließlich der vorstehend erwähnten und andere, wie beispielsweise einen Niederschlagssensor zum Erfassen, ob und wie viel es regnet oder schneit, einen Temperatursensor und andere, beinhalten.
• Sensoren zum Erfassen von Benutzermerkmalen beinhalten jeglichen biometrischen oder physiologischen Sensor, wie beispielsweise eine Kamera zur Netzhaut- oder Augenerkennung, Gesichtserkennung oder Fingerabdruckerkennung, einen Thermosensor, ein Mikrofon, das für Sprach- oder andere Benutzererkennung verwendet wird, andere Arten von benutzeridentifizierenden kamerabasierten Systemen, einen Gewichtssensor, Atem-Qualitätssensoren (z. B. Alkoholtester), einen Benutzer-Temperatursensor, einen Elektrokardiogramm-(ECG)-Sensor, Elektrodermale Aktivität (EDA) oder Galvanische Hautreaktion (GSR) Sensoren, Blutvolumenstrom-(BVP)-Sensoren, Herzfrequenz (HR) Sensoren, Elektroenzephalogramm-(EEG)-Sensor, Elektromyographie (EMG), einen Sensor zum Messen der Salinität, dergleichen oder andere.
• Benutzer-Fahrzeugschnittstellen, wie beispielsweise eine berührungsempfindliche Anzeige 37, Tasten, Knöpfe, dergleichen oder andere können auch als Teil des Sensorsubsystems 60 betrachtet werden.
• 2 zeigt auch die vorstehend erwähnten Kabinenausgangskomponenten 70. Die Ausgangskomponenten in verschiedenen Ausführungsformen beinhalten einen Mechanismus zum Kommunizieren mit Fahrzeuginsassen. Die Komponenten beinhalten, sind aber nicht beschränkt auf, Audio-Lautsprecher 140, visuelle Anzeigen 142, wie Instrumententafel, Mittelkonsolen-Anzeigebildschirm und Rückspiegelbildschirm und die haptischen Ausgänge 144, wie beispielsweise das Lenkrad oder Sitzschwingungsstellglieder. Das vierte Element 146 in diesem Abschnitt 70 ist vorgesehen, um hervorzuheben, dass das Fahrzeug eine Vielzahl anderer Ausgangskomponenten beinhalten kann, wie beispielsweise Komponenten der Fahrzeugsteuerung, wie zum Beispiel autonome Lenkung, Bremsen oder andere autonome Steuerungen oder Komponenten.
• IV. Zusätzliche Fahrzeugkomponenten - Figur 3
• 3 zeigt eine alternative Ansicht 300 des Fahrzeugs 10 der 1 und 2, die exemplarische Speicherkomponenten hervorhebt und zugehörige Vorrichtungen zeigt.
• Wie erwähnt, beinhaltet die Datenspeichervorrichtung 104 ein oder mehrere Einheiten und Module 110 zum Durchführen der Prozesse der vorliegenden Offenbarung. Und die Vorrichtung 104 kann prozessübergreifende Komponenten 112 beinhalten, wie beispielsweise zusätzliche Software und/oder Daten, welche die Durchführung der Verfahren der vorliegenden Offenbarung unterstützen. Die prozessübergreifenden Komponenten 112 können beispielsweise zusätzliche Software und/oder Daten sein, welche die Durchführung der Prozesse der vorliegenden Offenbarung unterstützen, wie beispielsweise ein oder mehrere Benutzerprofile oder eine Gruppe von Standard- und/oder Benutzereinstellungen.
• Beispiele für Benutzerprofildaten beinhalten Daten, die vom Fahrzeugprozessor empfangen oder erzeugt werden und die Merkmale des Benutzers angeben, wie beispielsweise, ob der Fahrer vorübergehend beeinträchtigt ist oder ob er eine Art von Behinderung hat, die das Fahren beeinträchtigt, selbst wenn sie geringfügig ist, wie zum Beispiel eingeschränktes Sehen oder Hören. Merkmale können beispielsweise anhand von Daten angezeigt werden, die von einem Remote-Server 50 empfangen werden.
• Jeder der beschriebenen Codes oder Anweisungen kann ein Teil von mehr als einer Einheit oder einem Modul sein. Und alle hierin beschriebenen Funktionen können durch Ausführen von Anweisungen in einem oder mehreren Modulen durchgeführt werden, obwohl die Funktionen primär in Verbindung mit einer Einheit oder einem Modul mithilfe eines primären Beispiels beschrieben werden können. Jede der Einheiten, Sub-Einheiten, Module oder Submodule kann durch eine beliebige Anzahl an Namen bezeichnet werden, beispielsweise durch einen Begriff oder eine Phrase, die seine Funktion angibt.
• Subeinheiten oder Submodule können bewirken, dass die hardwarebasierte Verarbeitungseinheit 106 spezifische Operationen oder Routinen von Funktionen der Einheiten oder Module ausführt. Jede Subeinheit oder jedes Submodul kann auch durch eine beliebige Anzahl an Namen bezeichnet werden, beispielsweise durch einen Begriff oder eine Phrase, die seine Funktion angibt.
• Exemplarische Einheiten 110 und konstituierende Subeinheiten beinhalten:
• - Eingabeeinheit 310
  • o eine optisch Unordnungs-Subeinheit 312;
  • o eine Subeinheit des Fahrerkontexts 314;
  • o eine Subeinheit des Fahrkontexts 316;
• - Aktivitätseinheit 320
  • ○ eine benutzerorientierte Gefahr oder Warnung, Beurteilungssubeinheit 322;
  • ○ eine Einheit zum Schätzen der Szenenwahrnehmung 324;
• - Ausgabestrukturierungseinheit 330
  • ○ Bedrohungsbeurteilung oder Alarmbeurteilung, Ausgabe-Subeinheit 332, die zum Beispiel ein automatisiertes Entscheidungsfindungs-Subsystem beinhalten kann;
  • ○ Szenen-Beurteilungssubeinheit 334, die das gleiche oder ein separates automatisiertes Entscheidungsfindungssubsystem beinhalten kann; und
• - Implementierungseinheit 340
  • ○ eine Ausgangsschnittstellen-Subeinheit 342.
• Andere Fahrzeugkomponenten, die in 3 dargestellt sind, beinhalten das Fahrzeugkommunikations-Subsystem 30 und das Fahrzeugsensor-Subsystem 60. Diese Subsysteme wirken zumindest teilweise als Eingangsquellen zu den Einheiten 110 und insbesondere zum Eingangsschnittstellen-Submodul 312.
• Exemplarische Eingänge aus dem Kommunikations-Subsystem 30 beinhalten Benutzerkenndaten, die Benutzerqualitäten, wie Alter, Geschlecht, Stimmung, Aufmerksamkeitskapazität oder -einschränkung, Hör- oder Sehbehinderung, dergleichen oder ähnliches angeben.
• Der Faktor kann entsprechend jedem geeigneten Format, Maßstab oder Protokoll bereitgestellt werden. So kann beispielsweise eine Aufmerksamkeitskapazität auf einer Skala von 1 bis 10 bereitgestellt werden. Ein Stimmungsfaktor kann auch auf einer Skala oder nach Kategorien angegeben werden - z. B. normal, müde, besorgt, verärgert, ängstlich usw.
• Das Kommunikations-Subsystem 30 empfängt und liefert der Eingabeeinheit 410 Daten von beliebigen Quellen, einschließlich Quellen, die vom Fahrzeug 10 getrennt sind, wie beispielsweise lokale oder mobile Vorrichtungen 34, einschließlich Vorrichtungen von Fußgängern, anderen Fahrzeugsystemen, lokaler Infrastruktur (lokale Stationen, Mobilfunkmasten usw.) Satellitensystemen und entfernten Systemen 50, die eine Vielzahl von Informationen bereitstellen, wie beispielsweise Benutzeridentifizierungsdaten, Benutzerverlaufsdaten, Benutzerauswahlen oder Benutzerpräferenz-Kontextdaten (Wetter, Straßenbedingungen, Navigation usw.), Programm- oder System-Updates - entfernte Systeme können beispielsweise Anwendungsserver beinhalten, die den am Fahrzeug 10 arbeitenden Anwendungen entsprechen und allen relevanten Benutzervorrichtungen 34, Computer eines Benutzers oder Supervisors (Eltern, Arbeitsverantwortlicher), Fahrzeughändler (z. B. Service-Abteilung), Fahrzeugbediener, Kunden-Leitstellensystem, wie beispielsweise der erwähnten OnStar ® Steuerzentrale oder eines Fahrzeugbetreibersystems, wie das eines Taxiunternehmens, das eine Flotte betreibt, zu der das Fahrzeug 10 gehört, oder eines Betreibers eines Fahrverteilungsdienstes.
• Exemplarische Eingaben vom Fahrzeugsensor-Subsystem 60 beinhalten und sind nicht beschränkt auf:
• - Umgebungssensoren die Daten über Bedingungen eines Fahrzeugs, wie beispielsweise von einer externen Kamera, Abstandssensoren (zum Beispiel LiDAR, Radar) sowie Temperatursensoren, Niederschlags- oder Feuchtigkeitssensoren oder ein beliebiger Sensor zum Erfassen oder Messen von Eigenschaften einer Umgebung des Fahrzeugs.
• - Fahrzeugdynamiksensoren, wie beispielsweise ein Fahrzeuggeschwindigkeitssensor (zum Beispiel ein Reifenrotationssensor), eine Fahrzeugbeschleunigung oder eine andere Bewegung, wie beispielsweise eine Inertial-Impuls-Einheit (IMU), mit einem oder mehreren Beschleunigungsmessern, einer Fahrzeugstellung oder einer anderen Dynamik, wie beispielsweise Position, Geschwindigkeit, Beschleunigung oder Höhe - zum Beispiel Fahrzeughöhensensor, Bremssensoren, Lenkwinkelsensor, alle anderen Sensoren zur Bereitstellung von Fahrzeuglehren oder Telematikinformationen;
• - Biometrische/physiologische Sensoren Bereitstellung von biometrischen Daten über Fahrzeuginsassen, wie beispielsweise Gesichtsmerkmale, Spracherkennung, Herzfrequenz, Salinität, Haut- oder Körpertemperatur für jeden Insassen usw.;
• - Fahrzeuginsassen-Eingabevorrichtungen, wie zum Beispiel Mensch-Maschine-Schnittstellen (HMIs) für Fahrzeuge, wie z. B. ein berührungsempfindlicher Bildschirm, Tasten, Knöpfe, Mikrofone, persönliche mobile Vorrichtungen (tragbare Vorrichtungen, persönliche Telefone, persönliche Tablets, dergleichen und andere), und, in einigen Ausführungsformen, fahrzeuginterne Vorrichtungen, wie Tablets, Projektoren, Virtual-Reality-Vorrichtungen, die in das Fahrzeug eingebaut oder leicht aus dem Fahrzeug herausnehmbar sind; und
• - Innenraumsensoren die Daten über die Merkmale innerhalb des Fahrzeugs bereitstellen, wie beispielsweise Fahrzeuginnenraumtemperatur, Sitzgewichtssensoren und Bewegungserkennungssensoren.
• Die Ansicht zeigt ebenfalls exemplarische Fahrzeugausgänge 70 und Benutzereinrichtungen 34, die im Fahrzeug 10 positioniert sein können. Die Ausgänge 70 beinhalten und sind nicht beschränkt auf:
• - Audio-Ausgangskomponente, wie beispielsweise Fahrzeuglautsprecher 70₁;
• - visuelle Ausgabekomponenten, wie beispielswiese Fahrzeugbildschirme 70₄;
• - Fahrzeugkinematik- oder Dynamik-Stellglieder, beispielsweise diejenigen, die das autonome Fahren beeinflussen (z. B. Fahrzeugbremse, Drosselklappe oder Lenkgetriebe) - ein Lenkrad ist exemplarisch dargestellt;
• - Lokale Vorrichtungen 34 und entfernte Systeme 34/50, an die das System eine Vielzahl von Informationen bereitstellen kann, wie beispielsweise Benutzeridentifizierungsdaten, benutzerbiometrische Daten, Benutzerhistoriendaten, Kontextdaten (Wetter, Straßenverhältnisse usw.), Anweisungen oder Daten zur Verwendung bei der Bereitstellung von Mitteilungen, Warnungen oder Nachrichten an den Benutzer oder an relevante Einrichtungen, wie beispielsweise Behörden, Ersthelfer, Eltern, Fahrzeughändler (z. B. Service-Abteilung), einen Betreiber oder Besitzer eines Objektfahrzeugs 10 oder ein Kundendienstzentrum, wie z. B. die OnStar ® Steuerzentrale; und
• - Steuerungskomponenten, sofern sie nicht in diesen Vorrichtungen enthalten sind, zum Steuern einer dieser Komponenten.
• Die Einheiten, Subeinheiten und ihre Funktionen werden im Folgenden näher beschrieben.
• Systemfunktionen und Algorithmen - Figur 4
• A. Einführung in die Algorithmen
• 4 zeigt schematisch eine Ansicht 400 der Systemkomponenten von 3 und verschiedene Wechselwirkungen zwischen diesen bei der Ausführung ihrer Funktionen. Funktionen und Interaktionen werden nach einem oder mehreren exemplarischen Algorithmen, Prozessen oder Routinen ausgeführt, die durch den gezeigten Ablauf gemäß den Ausführungsformen der vorliegenden Technologie schematisch dargestellt werden. Die Algorithmen, Prozesse und Routinen werden zeitweise hierin zur Vereinfachung gemeinsam als Prozesse oder Verfahren bezeichnet.
• Obwohl ein einzelner Ablauf zur Vereinfachung dargestellt ist, können beliebige Funktionen oder Operationen in einem oder mehreren oder Prozessen, Routinen oder Subroutinen eines oder mehrerer Algorithmen durch ein oder mehrere Vorrichtungen oder Systeme ausgeführt werden. Die Schritte, Operationen oder Funktionen der Prozesse werden nicht notwendigerweise in einer bestimmten Reihenfolge dargestellt und die Leistung einiger oder aller Operationen ist auch in einer anderen Reihenfolge möglich und vorgesehen. Die Prozesse können auch kombiniert oder überlappend sein, z. B. indem ein oder mehrere Operationen eines oder mehrerer Prozesse in einem der anderen Prozesse ausgeführt werden. Die Bedienungen wurden im Sinne einer einfacheren Beschreibung und Veranschaulichung in der dargestellten Reihenfolge erläutert. Es können Bedienungen hinzugefügt, weggelassen und/oder gleichzeitig durchgeführt werden, ohne dass dabei vom Geltungsbereich der beigefügten Ansprüche abgewichen wird. Es ist ferner zu beachten, dass die veranschaulichten Prozesse jederzeit beendet werden können.
• In bestimmten Ausführungsformen werden einige oder alle Operationen der Prozesse und/oder im Wesentlichen äquivalente Operationen von einem Computerprozessor, wie der hardwarebasierten Verarbeitungseinheit 106, einer Verarbeitungseinheit einer mobilen Benutzervorrichtung und/oder der Einheit einer entfernten Vorrichtung, die auf einer nichtflüchtigen computerlesbaren Speichervorrichtung der jeweiligen Vorrichtung gespeicherte computerausführbare Anweisungen ausführt, wie beispielsweise die Datenspeichereinrichtung 104 des Fahrzeugsystems 20, durchgeführt.
• Der Prozess kann enden oder beliebige oder mehrere Operationen des Prozesses können erneut durchgeführt werden.
• B. Systemkomponenten und Funktionen
• In 4 empfängt die Eingabeeinheit 310 Eingangssignale aus einer Vielzahl von Quellen. Eingangsquellen sind Fahrzeugsensoren 60, wie Kamera, RADAR und LiDAR, um nur einige zu nennen, und lokale oder entfernte Vorrichtungen 34, 50, wie Datenspeicherkomponenten davon. Die Eingänge von den Zusatzvorrichtungen 34, 50 werden über das Fahrzeugkommunikations-Subsystem 30 empfangen. Die Eingangsquellen beinhalten auch alle anderen Einheiten 320, 340, 350 in verschiedenen Ausführungsformen - einige dieser Rückmeldeverbindungen sind schematisch durch einen Pfeil in 4 dargestellt.
• Die Eingabeeinheit 310 besteht aus der Visual-Clutter-Subeinheit 312, der Fahrer-Kontext-Subeinheit 314 und der Fahrkontext-Subeinheit 316.
• Die Visual-Clutter-Subeinheit 312 erhält und/oder erzeugt in verschiedenen Ausführungsformen Daten, die zum Ermitteln der visuellen Unordnung in der Fahrumgebung relevant sind. Die Daten beinhalten Objektdaten, die die Position von Objekten in der Fahrumgebung anzeigen, die durch die Fahrzeugsensoren erfasst werden. Ein Teil oder alle Objektdaten werden in den vorgesehenen Ausführungsformen von einem oder mehreren anderen Fahrzeugen, mobilen Vorrichtungen oder Straßeninfrastrukturen, stammen oder anderweitig von einer Zusatz-Fahrzeugvorrichtung empfangen werden, übernommen. Die Daten können beispielsweise Informationen über den Standort und die Dynamik anderer Objekte beinhalten - Daten von einem nahegelegenen Fahrzeug können beispielsweise Positions- und Bewegungsinformationen über dieses nahegelegene Fahrzeug oder über ein anderes nahegelegenes Fahrzeug anzeigen.
• Bewegungsinformationen können beispielsweise eine Objektbahn oder eine vorhergesagte Position zu einem bestimmten zukünftigen Zeitpunkt sein - z. B. in 0,5 Sekunden von nun an.
• In verschiedenen Ausführungsformen beinhaltet der Sensoreingang somit zwei Arten: die Anwesenheit von Objekten und die Bewegungskurve von Objekten. Zumindest das Vorhandensein von Objekten wirkt sich auf die Unordnungsberechnung aus.
• Das System ist in verschiedenen Ausführungsformen so konfiguriert, dass es ein nahegelegenes Objekt als problematisch, risikoreich oder hochgefährlich einstuft, wenn Position und Dynamik des Objekts gegenüber dem gleichen Objekt für das betreffende Fahrzeug 10 innerhalb eines Schwellenwerts liegt. Wenn zum Beispiel eine Time-to-Collision (TTC), basierend auf aktuellen Positionen und Dynamiken, 2 Sekunden beträgt, kann das Objekt als hohes Risiko eingestuft werden, wiederum abhängig von den Systemeinstellungen. Der Schwellenwert kann anders sein, beispielsweise ein größerer oder kleinerer TTC oder die Verwendung anderer Variablen, beispielsweise eine strikte Entfernung zum Fahrzeug 10.
• Die gesammelten Daten, die zum Ermitteln der visuellen Unordnung relevant sind, werden zur Verwendung über die Szenen-Wahrnehmungsschätzungs-Ausgabeeinheit 334 weitergeleitet, die im Folgenden näher beschrieben wird.
• In verschiedenen Ausführungsformen beinhalten die visuellen Clutter-Daten eine Standardobjektliste, die basierend auf der Dateneingabe erstellt wird, wie zum Beispiel Fahrzeugsensordaten. Die Standardobjektliste bezeichnet ein oder mehrere Objekte in einem Umfeld des Fahrzeugs 10. Wie im Folgenden näher beschrieben, ist das System in einigen Ausführungsformen so konfiguriert, dass es die Standardobjektliste basierend auf zusätzlichem Kontext - Fahrerkontext und/oder Fahrkontext - anpasst, z. B. um eine angepasste Objektliste zu erhalten.
• Die Fahrkontext-Subeinheit 316 erhält oder erzeugt Daten über das aktuelle Fahrszenario. Beispiele für Fahrkontextinformationen beinhalten die Fahrbahnart - Form, Zustand usw. - Verkehr, Wetterbedingungen, Vorhandensein von Fahrzeugen oder Gegenständen in der Umgebung, deren Positionen, Bewegungsmerkmale, Fahrzeugbelegung, Fahrzeugtyp oder Fähigkeiten - wie zum Beispiel Brems- oder Kurvenverhalten und dergleichen.
• Die Fahrerkontext-Subeinheit 314 erhält oder erzeugt Daten über die Bedingungen, die den Fahrer betreffen, unabhängig davon, ob es sich bei dem Fahrer um einen menschlichen Benutzer und/oder das Fahrzeug handelt, wie beispielsweise beim teilautonomen Fahren. Fahrer-Kontext-Informationen können Informationen beinhalten oder basierend auf den Ausgaben der beiden anderen Eingangsmodule 312, 316, wie in 4 schematisch dargestellt, wie zum Beispiel Fahrzeugbelegungsinformationen, Wetterinformationen und Informationen über visuelle Störungen, erzeugt werden. In verschiedenen Ausführungsformen können Fahrer-Kontextinformationen jede Art von Informationen beinhalten, wie beispielsweise Fahrzeugbelegungsinformationen, unabhängig davon, ob sie von einer anderen Einheit 312, 316 empfangen wurden.
• Beispiele für Fahrer-Kontextdaten beinhalten Informationen, die den Zustand des Fahrers oder des Benutzers anzeigen, oder Informationen über Bedingungen, die die Aufmerksamkeit des Fahrers oder des Benutzers bezüglich der Fahrzeugführung beeinflussen. Beispiele für Informationen über den Zustand des Benutzers beinhalten Informationen über Sehkraft, physiologische Messgrößen, aktuelle Aktivitäten, Alter, Aufmerksamkeitskapazität, visuelle Störungen und andere vom Fahrer wahrgenommene Stimulationen.
• Beispiele physiologischer Messgrößen, die die Aufmerksamkeit des Fahrers in Bezug auf das Fahrszenario beeinflussen können, sind die Benutzertemperatur, das Elektrokardiogramm (EKG), die elektrodermale Aktivität (EDA) oder die galvanische Hautreaktion (GSR), Blutvolumenimpuls (BVP), Herzfrequenz (HR), Elektroenzephalogramm (EEG), Elektromyographie (EMG), Blutalkohol oder andere Substanzwerte, Augenzwinkern oder Schließung oder ein sonstiges Augenmaß, Salzgehalt, ähnliches, anderes und jede semantische oder andere Interpretation eines derartigen Faktors. Diese Faktoren können auf eine Sicherheit oder eine hohe Wahrscheinlichkeit hindeuten, dass der Fahrer oder Benutzer ängstlich, betrunken, abgelenkt oder anderweitig unfähig ist, die notwendigen Bestimmungen bezüglich des aktuellen Fahrens zu schätzen, wie zum Beispiel, wie das Fahrzeug zu manövrieren oder zu unterweisen ist.
• Wie erwähnt, schließt in verschiedenen Ausführungsformen, Zustand oder Bedingung des Fahrers das Sehvermögen mit ein. Das System beinhaltet eine Struktur zum Ermitteln und Analysieren des Sehvermögens des Benutzers, wie zum Beispiel einen semantischen Sehbeobachter und eine geeignete zugrundeliegende Software. Blickinformationen können beispielsweise darauf hindeuten, dass der Fahrer ein Kind auf dem Rücksitz, direkt oder über einen Rückspiegel, scheinbar kurz ansieht.
• In einigen Fällen wird der Zustand oder die Bedingung zumindest teilweise basierend auf den Handlungen oder dem Zusammenwirken mit mehreren Benutzern im Laufe der Zeit erzeugt. Für derartige Benutzermodelle kann das ausführende System diese historischen Mehrbenutzerdaten in Kombination mit aktuellen und/oder vergangenen Handlungen oder Zusammenwirken mit einem betreffenden Benutzer verwenden. Die historischen Daten können beispielsweise als Grundlage zum Anpassen oder Interpretieren der aktuellen und/oder vergangenen Handlungen oder Interaktionen mit dem jeweiligen Benutzer herangezogen werden. Das Erzeugen des Modells kann die Berücksichtigung persönlicher Merkmale des Benutzers, wie beispielsweise demographische Daten (Alter, Geschlecht, Größe usw.) und/oder Merkmale der anderen Benutzer beinhalten. Das System kann gemeinsame Merkmale miteinander korrelieren, wenn es Erkenntnisse über aktuelle Handlungen oder Wechselwirkungen mit dem betreffenden Fahrer ableitet. Historische Informationen, die anzeigen, wie aufmerksam oder befähigt auf eine Situation oder auf Reize, andere Benutzer und/oder den betreffenden Benutzer zu reagieren ist, können verwendet werden, um eine aktuelle, ähnliche Situation zu interpretieren, und eine derartige Information kann nützlicher sein, wenn zuerst festgestellt wird, dass es Gemeinsamkeiten zwischen früheren und aktuellen Situationen gibt. In einer Ausführungsform beschränkt das System historische Daten nur auf Daten, die einen Schwellenwert von Bedeutung erfüllen, z. B. durch Bezugnahme auf den betroffenen Benutzer und/oder auf einen Benutzer, dessen Situation hinreichend ähnlich ist, wie durch einen Systemdesigner definiert. Benutzereigenschaften werden in verschiedenen Ausführungsformen explizit von den Benutzern eingegeben und können in einigen Fällen im Zusammenhang mit einer Erfahrung oder Erfahrungen aus dem System gelernt werden. Die historischen Daten in verschiedenen Ausführungsformen weisen auf Muster, Benutzeraktionen oder Interaktionen hin, die vom System ermittelt und zur Interpretation einer aktuellen Situation herangezogen werden können.
• Die Fahrerkontext-Subeinheit 314 kann die Informationen auf verschiedene Weise nutzen, z. B. um zu ermitteln, ob ein Benutzer ein Objekt oder eine dargebotene Fahrzeugkommunikation möglicherweise wahrnimmt oder in vollem Umfang einschätzt.
• In verschiedenen Ausführungsformen wird das Benutzermodell während der Fahrt vom Fahrzeugsystem verwendet, und das System kann das Benutzermodell auch während der Fahrt anpassen. Das Benutzermodell kann vom System während und/oder zwischen den Fahrten mit Werten oder anderen Daten aktualisiert werden, die auf Aktivitäten oder Tendenzen des Fahrers hinweisen (z. B. Reaktionszeit auf bestimmte Reize, wie zum Beispiel Zeit, um ein Objekt wahrzunehmen, das von rechts in den Fahrzeugweg einfährt), Manierismen, Interaktionen mit dem Fahrzeug, Präferenzen, dergleichen und anderes. Updates können auch das Hinzufügen eines anderen Benutzers beinhalten, wie zum Beispiel ein Familienmitglied, ein neuer Benutzer eines Mietwagens, ein neuer Mitarbeiter eines Flottenfahrzeugs, dergleichen oder ähnliches.
• Die Subeinheit 314 ist konfiguriert, um eine Wahrnehmungskarte zu erzeugen, die auf den Blickbewegungsinformationen in verschiedenen Implementierungen basiert. Die Erzeugung kann dynamisch erfolgen, indem die Karte als in Reaktion auf andere Systemaktivitäten geändert wird, wie zum Beispiel in Reaktion auf das Erkennen, dass ein bestimmtes Objekt nun in unmittelbarer Nähe ist und/oder sich als eine Gefahr für das Fahren qualifiziert, oder dass der Fahrer die Gefahr offenbar nicht bemerkt oder nicht wahrnimmt.
• Das System ist in verschiedenen Ausführungsformen konfiguriert, um basierend auf einem dynamischen Benutzermodell den Fahrer- oder Benutzerstatus zu ermitteln. Das Modell kann Daten über den Benutzer und/oder andere Benutzer verwenden, sei es online, in realen Fahrsituationen und/oder offline, wie zum Beispiel durch Fragen an den Benutzer. Das resultierende Modell oder Benutzerprofil kann lokal, am Fahrzeug 10 oder entfernt, z. B. in einem Cloud-Server gespeichert werden. Das Benutzermodell, das in verschiedenen Ausführungsformen dynamisch ist, beinhaltet das Lernen des Systems über die Zeit, um das Modell zu verbessern, wie zum Beispiel basierend auf einer Rückmeldung in Bezug auf aktuelle und/oder historische Aktivitäten, Interaktionen usw. für den betreffenden Fahrer und/oder andere Fahrer, bezogen auf einen einzelnen aktuellen oder früheren Fahrer und/oder mehrere Fahrer.
• Ein Beispiel für Fahrer-Kontextdaten kann auch frühere oder aktuelle Informationen über einen bestimmten Fahrer und/oder andere Fahrer beinhalten oder daraus erzeugt werden. Die Daten können beispielsweise statistische Informationen über eine frühere Durchführung oder Erfahrungen mit dem betreffenden Fahrer oder anderen Fahrern beinhalten, wie zum Beispiel die Reaktion auf bestimmte Reize, Reaktionszeiten und Art und Weise der Reaktion auf bestimmte Umgebungsbedingungen und/oder Fahrzeugwarnungen.
• Unterstützende Daten können von verschiedenen Quellen empfangen werden, einschließlich Fahrzeugsensoren und Quellen außerhalb des Fahrzeugs, z. B. durch Crowd-Sourcing, nahegelegene Fahrzeuge, mobile Vorrichtungen, Infrastruktur oder Remote-Server 50.
• Die Aktivitätseinheit 320 bestimmt unter fortgesetzter Bezugnahme auf die Struktur von 4 die Aktivitätsergebnisse, die vom Fahrzeug 10 verwendet werden können, um zu ermitteln, wie eine bessere Interaktion mit dem Fahrer, eine Verbesserung des autonomen Fahrverhaltens und/oder die Kommunikation mit einer zusätzlichen Fahrzeugvorrichtung zur Verbesserung eines aktuellen Fahrszenarios erreicht werden kann.
• Verbesserte Interaktionen mit dem Benutzer können beispielsweise eine frühere Benachrichtigung des Benutzers über ein in der Nähe befindliches Objekt, ein erforderliches Manöver (Wendung usw.) oder anderes beinhalten oder die Benachrichtigung selektiv akzentuieren.
• Ein Beispiel für die Akzentuierung von Benachrichtigungen ist das Erhöhen der Sichtbarkeit oder des Volumens, des Klangs, der Anzahl der Modalitäten - vom visuellen Alarm bis hin zum visuellen und haptischen Alarm und dem akustischen Alarm - bei der Bereitstellung eines Alarms - oder anderer Verfahren zum Erhöhen der Wahrscheinlichkeit, dass der Benutzer die Benachrichtigung wahrnimmt.
• Die Akzentuierung in verschiedenen Ausführungsformen beinhaltet die Akzentuierung einer bestimmten Komponente einer Benachrichtigung, z. B. durch Vergrößerung, Aufhellung oder eine andere Farbe auf einem Bildschirm, ein wichtiges oder gefährliches Objekt, das der Benutzer möglicherweise nicht vollständig wahrnimmt oder zu beurteilen weiß - wie beispielsweise eine Benachrichtigung, die lediglich auf das Vorhandensein des Objekts hinweist, oder eine Zeit oder Entfernung bis zum Aufprall.
• In den vorgesehenen Ausführungsformen erfolgt eine Benachrichtigung in einem Heads-up-Display oder einer Art Virtual-Reality-Display, bei dem die Benachrichtigung an der Position am Fahrzeug erfolgt, so dass der Fahrer die Benachrichtigung in Verbindung mit seiner Wahrnehmung des eigentlichen Objekts oder Bereichs sieht. Wenn das System beispielsweise aufgrund der Ablenkung des Fahrers oder der hohen Störungen feststellt, dass der Fahrer die unmittelbare Nähe eines Fußgängers oder die Notwendigkeit einer Wendung, die zur Navigation oder zur Vermeidung eines Objekts erforderlich ist, nicht oder wahrscheinlich nicht zu beurteilen vermag, kann das System das Objekt oder den Bereich in einer Anzeige neben oder an der Windschutzscheibe oder dem Fenster des Fahrzeugs hervorheben.
• In verschiedenen Ausführungsformen wird dem Benutzer über eine Benutzervorrichtung, wie zum Beispiel ein Telefon oder Smartwatch, eine Benachrichtigung für einen Fahrzeugbenutzer zur Verfügung gestellt. Diese Anordnung kann besonders bei teilweisen oder besonders vollständig autonomen Fahrsituationen nützlich sein, in denen der Benutzer möglicherweise nicht in Position oder anderweitig darauf vorbereitet ist, Benachrichtigungen wahrzunehmen, die zum Empfangen durch einen Fahrer in Fahrposition und -stellung vorgesehen sind.
• Anstelle oder mit einer derartigen Hervorhebung kann das System relevanten Text, Symbole, Audio (Ton, Worte usw.), haptische Ausgabe usw. durch beliebige Fahrzeugausgabekomponenten bereitstellen. Obwohl in einigen Ausführungsformen die Hervorhebung auf einer grundlegenden Ebene in Reaktion auf Bestimmungen des Systems vorgesehen ist, wird in anderen Ausführungsformen die Hervorhebung des Fahrzeugs 10 in Reaktion auf die Bestimmungen verstärkt, sodass eine niedrigere Benachrichtigungsstufe vorgesehen ist, wenn der Fahrer oder Benutzer nicht als abgelenkt oder anderweitig mit geringerer Wahrscheinlichkeit die Fahrszene vollständig wahrnehmen kann, erfasst ist.
• Hinsichtlich des teil- oder vollautonomen Fahrens können die Ergebnisse der Aktivität der Aktivitätseinheit 320 akzentuierte Anweisungen beinhalten, die das Fahrzeug veranlassen, Manöver sicherer oder auf andere Weise effektiver durchzuführen. Wenn die Einheit 320 beispielsweise bestimmt, dass die Fahrumgebung sehr unübersichtlich ist, wie das erwähnte Times-Square Beispiel, und vor allem bei starkem Regen, Blendung oder anderen Faktoren, die die Sicht einschränken, können die Aktivitätsergebnisse dazu führen, dass das Fahrzeug langsamer wird als das Fahrzeug, wenn es nur die Entfernung zu einem führenden Fahrzeug berücksichtigt. Im Falle des Anpassens einer autonomen Fahrfunktion in einem Szenario mit hoher Unübersichtlichkeit besteht ein Grund für eine derartige Änderung darin, die Möglichkeit zu kompensieren, dass Bestimmungen von Anwesenheit und Position - von Fahrzeugsensoren, von anderen Fahrzeugdaten, die von anderen Fahrzeugen oder von nahe gelegenen Infrastrukturen empfangen werden usw. - möglicherweise nicht so zuverlässig sind, wie dies in einem Szenario mit geringer Unübersichtlichkeit der Fall wäre.
• In verschiedenen Ausführungsformen beinhaltet die Ausgangsstrukturierungseinheit 330 eine Alarmbewertungsausgabe-Subeinheit 332 und die Szenenwahrnehmungsausgabeeinheit 334, um die Ausgabe der benutzerzentrierten Alarmbewertungs-Subeinheit 322 oder der Szenenwahrnehmungsausgabeeinheit 334 zu verarbeiten.
• Die Ausgabe-Subeinheiten 332, 334 können jeweils oder zusammengefasst ein automatisiertes Entscheidungsfindungssystem beinhalten oder als Subsystem bezeichnet werden. Die Subeinheiten ermitteln Anweisungen, Meldungen, Signale oder andere geeignete Strukturen basierend auf den Punkt- und Clutter-Informationen der Umgebung, die von der anwenderorientierten Alarmbewertungs-Subeinheit 322 sowie von der Szenen-Wahrnehmungsschätz-Ausgabeeinheit 334 ausgegeben werden.
• In verschiedenen Ausführungsformen bestimmt die benutzerorientierte Alarmbeurteilungs-Subeinheit 322 basierend auf den genannten Fahrer-Kontextinformationen einen Gefahrenbeurteilungswert oder -punktwert oder eine andere nützliche Ausgabe. Die benutzerorientierte Alarmbeurteilungs-Subeinheit 322 kann die genannten Fahrkontextinformationen und Umgebungsinformationen auch separat betrachten oder, wie angegeben, eine oder beide dieser Informationen in die Fahrer-Kontextinformationen aufnehmen.
• Der benutzerorientierte Punktwert für die Alarmbeurteilung kann nach jedem geeigneten Maßstab, Protokoll oder Format erstellt werden, wie zum Beispiel auf einer Skala von 0,0 bis 10,0, 1 bis 1000, Level 1-5 oder Ähnlichem.
• Der benutzerorientierte Alarm-Beurteilungswert kann vom Fahrzeug 10 oder anderen Vorrichtungen, wie zum Beispiel Fahrzeugen oder Benutzervorrichtungen in der Nähe - Fußgängertelefonen usw. - verwendet werden, um die nächsten Handlungen zu ermitteln.
• Nächste Handlungen können zum Beispiel die Steuerung des Fahrzeugs, das Einleiten der Kommunikation mit dem Benutzer und das Einleiten der Steuerung des Betriebs oder der Kommunikation zu (und möglicherweise zu und von) der anderen Vorrichtung beinhalten.
• In verschiedenen Ausführungsformen verwendet die Szenen-Beurteilungsschätzung 324 Sensordaten und/oder andere Daten, wie beispielsweise von einer zusätzlichen Fahrzeugvorrichtung zum Berechnen einer Menge visueller Unordnung in einer Umgebung. Unordnung kann beispielsweise basierend auf Kameraeingaben und Radareingaben erfolgen und Objekttrajektoriendaten und Daten, die hochgefährliche Objekte anzeigen, verwenden.
• Das Maß der Unordnung wird in verschiedenen Ausführungsformen verwendet, um eine Wahrscheinlichkeit zu schätzen, ob der Fahrer ein oder mehrere bestimmte Objekte in der Fahrumgebung wahrnimmt. Bei einer höheren Unordnung ist die Wahrscheinlichkeit, dass der Fahrer ein Objekt wahrnimmt, im Allgemeinen geringer. Die Wahrscheinlichkeit wird verwendet, um eine Alarmstrategie zu ermitteln, durch die der Fahrer über das/die Objekt(e) informiert wird.
• Wie bei der benutzerorientierten Gefahrenbeurteilung kann das Maß der Unordnung vom Fahrzeug 10 oder anderen Vorrichtungen, wie beispielsweise Fahrzeugen in der Nähe oder mobilen Kommunikationsvorrichtungen, verwendet werden, um die nächsten Handlungen zu ermitteln. Auch hier können die nächsten Handlungen zum Beispiel die Steuerung des Fahrzeugs, das Einleiten der Kommunikation mit dem Benutzer und das Einleiten der Steuerung des Betriebs oder der Kommunikation zu (und möglicherweise zu und von) der anderen Vorrichtung beinhalten.
• In verschiedenen Ausführungsformen wird die benutzerorientierte Gefahrenbeurteilung mithilfe von mindestens einer von zwei Techniken ermittelt: einer regelbasierten Technik und einer maschinenbasierten Technik.
• Die regelbasierte Technik erhält oder bestimmt eine Kollisionsvermeidungszeit - ACT. Obwohl sich der Begriff auf Kollisionen konzentriert, die sich normalerweise auf Kollisionen beziehen, die eine Fahrzeugkarosserie betreffen, kann das Konzept auf andere Objekte, wie zum Beispiel Schlaglöcher oder Manöver, wie zum Beispiel eine Wendung des Fahrzeugs, die benötigt wird, um der Navigation zu folgen. Die ACT wird basierend auf einem beliebigen Fahrerkontext, Fahrkontext und Clutter-Informationen bestimmt.
• Die ACT stellt eine Zeitspanne dar, die ein Fahrer benötigt, um auf eine Gefährdung zu reagieren oder um ein erforderliches Manöver entsprechend durchzuführen. Ein Fahrer, der keine Beeinträchtigungen (z. B. Sehkraft, Aufmerksamkeit) oder Ablenkungen (z. B. Telefonanruf, Unordnung) zeigt, kann als Standardfahrer bezeichnet und beispielsweise einer Standard-ACT zugeordnet werden.
• Die Reaktionsfähigkeit des Fahrers beim Argumentieren mit einem Beifahrer ist geringer als wenn der Fahrer alleine und entspannt fährt. Wenn die ermittelte Kapazität des Fahrers geringer ist, ist die entsprechende ACT in Bezug auf den Fahrer und alle in der Nähe befindlichen Objekte größer. Eine der möglichen Ausgaben, um das Fähigkeitsdefizit zu beheben, ist es, den Fahrer früher über ein sich näherndes Objekt, ein Objekt, das man sich nähert, ein erforderliches Manöver oder dergleichen zu informieren.
• In verschiedenen Ausführungsformen wird die ACT als Funktion einer Time-to-Collision (TTC) bestimmt - die Zeitspanne vor einem Ereignis, wie zum Beispiel einer Kollision, dem Auftreffen auf ein Schlagloch oder dem Erreichen eines Punktes des erforderlichen Manövers. TTC basiert auf der aktuellen Dynamik (Fahrzeug- und Objektabstand und Dynamiken) und ist nicht benutzerspezifisch.
• In verschiedenen Ausführungsformen ist das System konfiguriert, um ATC für jeden Kontext und jeden Treiber an eine neue, angepasste ACT anzupassen, und zwar abhängig von einem oder mehreren Faktoren, wie beispielsweise Fahrerkontext, Fahrkontext, Clutter-Informationen und TTC.
• Als Beispiel nehmen wir an, dass die ACT, die einem älteren Fahrer entspricht, der telefoniert, 3 Sekunden beträgt. Daher sollte der Fahrer bei einer ACT von mindestens 3 Sekunden gewarnt werden, auch wenn das System im Normalfall erst nach einer TTC von 1,8 Sekunden bereitgestellt wird.
• Für die regelbasierte Technik zum Ermitteln des Gefahreneinschätzungswertes umfasst die Alarmbeurteilungs-Ausgabeeinheit 332 einen Code, der mindestens eine Regel zum Ermitteln des Wertes basierend auf verschiedenen Faktoren definiert.
• Als Beispiel kann eine Regel Folgendes angeben:
• Wenn (Fahrer am Telefon) und (Alter > 55 Jahre), dann ACT = 3 Sek.
• Als Beispiel kann eine weitere Regel Folgendes angeben:
• Wenn (Wetter = Regen) und (Alter > 55), dann ACT = 3 Sek.
• Wenn die bestimmte ACT größer als die TTC ist, dann führen Sie die Aktion X durch, worin:
• X = warnt den Fahrer früher als die TTC-Zeit vor dem Ereignis (Kollision, Schlagloch usw.) und mindestens bis zur ACT-Zeit vor dem Ereignis.
• Wenn die bestimmte ACT kleiner als die TTC ist, dann Y, worin:
• Y = Die Warnung bei der TTC ist ausreichend und bei der ACT akzeptabel.
• In einigen Ausführungsformen beinhaltet Y auch die Beratung des Benutzers, wie zum Beispiel mit dem Vorschlag, dass der Benutzer einem Kind, das auf die Straße getreten ist und nicht leicht oder früh erkannt wurde, rät, vorsichtiger vorzugehen oder dem Benutzer zu raten, aufmerksamer oder weniger abgelenkt zu sein (z. B. während der Fahrt nicht zu telefonieren).
• Für den Ansatz des maschinellen Lernens zum Ermitteln des Gefährdungsbeurteilungserwertes wird die Alarm-Ausgabeeinheit 332 mit Code konfiguriert, um ACT statistisch zu ermitteln, z. B. basierend auf einer Wahrscheinlichkeitsfunktion. In verschiedenen Ausführungsformen wird die Wahrscheinlichkeitsfunktion im Laufe der Zeit basierend auf der Benutzerleistung in ähnlichen oder unterschiedlichen Situationen erlernt.
• In einigen Implementierungen ist die Warnungsbeurteilungs-Ausgabeeinheit 332 so konfiguriert, dass unter bestimmten Umständen (die u. a. den vorherrschenden Fahrerkontext, den Fahrkontext und die Clutter-Informationen beinhalten können) eine aktuelle Situation oder ein Objekt als problematisch oder gefährlich eingestuft werden kann, selbst wenn ein bestimmter ACT-Wert kleiner oder früher als eine TTC für das Objekt ist.
• In verschiedenen Ausführungsformen verwendet das maschinelle Lernen ein tiefes Lernen oder ein Theorem wie die Bayes-Regel zum Ermitteln der Wahrscheinlichkeit, dass ein aktueller Zustand problematisch ist. Die Verarbeitung hinsichtlich der Wahrscheinlichkeit (P), dass der aktuelle Zustand (CS) gefährlich ist, kann beispielsweise Folgendes beinhalten:
• ■ Wenn TTC > Schwellenwert (T), dann P(CS) = gefährlich (d. h. der aktuelle Zustand ist wahrscheinlich gefährlich) und sollte daher die Aktion X ausführen, worin X Folgendes beinhaltet:
• ■ Anpassen der TTC an die ACT; und/oder
• ■ Einleiten weiterer Maßnahmen, die mithilfe der automatisierten Entscheidungsunterstützungskomponenten, die mit der Warnungsbeurteilungs-Ausgabeeinheit 332 verknüpft sind, bestimmt werden, wie beispielsweise durch Ermitteln einer Handlung basierend auf dem Fahrerkontext, dem Fahrkontext und/oder den Clutter-Informationen - z. B. Hervorheben einer Benachrichtigung an den Benutzer, Senden einer Mitteilung an eine mobile Fußgängervorrichtung, Übernehmen einer gewissen Kontrolle durch den Fahrer für ein vorübergehendes autonomes Handling unter diesen Umständen.
• ■ Wenn TTC < Schwellenwert (T), dann P(CS) ≠ gefährlich, und somit ist kein gesondertes Eingreifen erforderlich.
• Der Schwellwert (T) ist in verschiedenen Implementierungen ein Konfidenzniveau, und die Szenen-Wahrnehmungsschätzungs-Ausgabesubeinheit 334 bestimmt, dass ein aktueller Zustand problematisch ist, wenn die TTC über dem Schwellwert (T) liegt.
• Wie bereits erwähnt, kann der benutzerorientierte Gefahrenbewertungswert vom Fahrzeug 10 oder anderen Vorrichtungen, wie zum Beispiel Fahrzeugen in der Nähe oder Benutzervorrichtungen (z. B. Fußgängertelefone), zum Ermitteln der nächsten Handlungen verwendet werden. Die nächsten Handlungen können zum Beispiel die Steuerung des Fahrzeugs 10, die Kommunikation mit dem Benutzer des Fahrzeugs 10, den Betrieb des Fahrzeugs oder die Kommunikation mit den jeweiligen Benutzern der anderen Vorrichtung oder die Steuerung der anderen Vorrichtungen betreffen.
• Die Anweisungen oder die Steuerung sind so konfiguriert, dass sie die Wahrscheinlichkeit erhöhen, dass der Benutzer ein oder mehrere Objekte in der Nähe wahrnimmt oder ein anderes Manöver durchführen muss, wie zum Beispiel bei der folgenden Navigation.
• Zusätzlich zu den Ausführungsformen, bei denen die Umgebungsunordnung beim Ermitteln des Benutzerkontextes berücksichtigt wird, kann die Umgebungsunordnung auch in den Funktionen zur Szenenwahrnehmung im System verwendet werden. Die Funktionen, die von der Szenen-Wahrnehmungsschätzungs-Ausgabesubeinheit 334 in verschiedenen Ausführungsformen ausgeführt werden, beinhalten unter anderem das Anpassen der vorstehend erwähnten Standardobjektliste, woraus die angepasste Objektliste resultiert. Die Standardobjektliste zeigt zum Beispiel für jedes relevante Objekt eine beliebige Position des Objekts, die Bewegungsrichtung des Objekts, die Drehzahl oder Geschwindigkeit des Objekts, die Größe oder andere Abmessungen oder Geometrie des Objekts und den Objekttyp an.
• Das Anpassen erfolgt basierend auf verschiedenen Faktoren, wie zum Beispiel dem Fahrerkontext und/oder dem Fahrkontext. Die angepasste Objektliste kann so erstellt werden, dass Faktoren berücksichtigt werden, die den Fahrer bis zu einem gewissen Grad davon ablenken, die Gegenstände beim Fahren zu schätzen und vollständig und entsprechend darauf zu reagieren, oder dass er die Warnung des Fahrzeugs bezüglich des Fahrens, wie beispielsweise im Falle des vollständigen menschlichen Fahrens oder des halb- oder vollständig autonomen Fahrens, würdigt oder entsprechend darauf reagiert.
• Als einfaches Beispiel kann die angepasste Objektliste die effektive Position eines Objekts, wie beispielsweise eines risikoreichen Objekts, wie beispielsweise eines Fußgängers, an eine Position in der Nähe des Fahrzeugs verschieben, um so den Benutzer früher über das Vorhandensein oder die Nähe des Objekts zu informieren. Dies kann nützlich sein, wenn das System Informationen aufweist oder bestimmt hat, dass der Benutzer langsame Reflexe besitzt oder anderweitig beeinträchtigt ist und von der frühzeitigen Benachrichtigung profitieren kann.
• Die angepasste Objektliste kann zusätzlich zu den erwähnten Funktionen der Standardobjektliste einen Wahrnehmungs- oder Wahrscheinlichkeitsfaktor[P(Wahrnehmung) oder einfach (P)] bezüglich eines in der Nähe wahrgenommen Objekts beinhalten oder dazu verwendet werden, was auf eine Wahrscheinlichkeit hindeutet, dass der Fahrer die Anwesenheit, Dynamik oder Gefahr - zum Beispiel die unmittelbare Nähe - eines nahegelegenen Objekts wahrnimmt oder vollständig einschätzt.
• Variablen zum Erzeugen der Wahrnehmungswahrscheinlichkeit beinhalten Objektinformationen (Position, Dynamik usw.), Blick des Benutzers (z. B. Richtung, Zeit oder Timing), visuelle Unordnung, Aufmerksamkeit des Fahrers oder andere Indikatoren für den Fahrerkontext.
• Die Wahrscheinlichkeit (P) kann gemäß jeder geeigneten Skala, jedem geeigneten Format oder Protokoll angegeben werden, wie zum Beispiel einem Prozentsatz der Wahrscheinlichkeit (0-100%), einer Skala von 1-10, dergleichen oder anderen.
• In verschiedenen Ausführungsformen wird die Wahrscheinlichkeit (P), dass der Benutzer ein bestimmtes Objekt (z. B. ein Fahrzeug in der Nähe) wahrnimmt, auf einen voreingestellten Wert gesetzt oder auf einem voreingestellten Wert gehalten, wie zum Beispiel einen Wert von 1, wenn die grundlegenden Anforderungen erfüllt sind. Beispiele für Anforderungen beinhalten: (i) ein Blick des Fahrers wird auf das jeweilige Objekt gerichtet (z. B. irgendwann in den letzten zwei Sekunden oder eine beliebige Zeitspanne, die ein Designer für geeignet hält, das System zu verwenden), (ii) der Fahrer ist nicht schläfrig, und (iii) die visuelle Unordnung in der Szene liegt unterhalb eines kritischen Schwellenwerts (T). Und um ansonsten die Wahrscheinlichkeit auf 2 zu setzen.
• Oder das Basisniveau kann 0 sein, das eingestellt werden kann (auf P0, wenn die Anforderungen erfüllt sind, und ansonsten 1. Oder eine beliebige effektive Konvention.
• Diese Ansätze können als die regelbasierte Technik zum Ermitteln einer Wahrscheinlichkeit (P) bezeichnet werden, mit der der Benutzer ein Objekt wahrnimmt.
• In einigen Ausführungsformen ist das System so konfiguriert, dass es die Wahrscheinlichkeit (P) mithilfe einer erlernten Regressions- und/oder Simulationsumgebung berechnet. Die Wahrscheinlichkeit (P) kann beispielsweise als Lernregression von Eingabeparametern unter Berücksichtigung aller in einer Simulationsumgebung gesammelten Daten bestimmt werden. Dieser Ansatz kann als maschinelles Lernen bezeichnet werden.
• Wie bei der benutzerorientierten Gefahrenbeurteilungswert werden Anweisungen oder Steuerungen erzeugt, die am Fahrzeug 10 oder an anderen Vorrichtungen - anderen Fahrzeugen, Fußgängern usw. implementiert werden - und kann basierend auf der angepassten Objektliste oder Wahrnehmungswahrscheinlichkeit so konfiguriert werden, dass die Wahrscheinlichkeit erhöht wird, dass der Benutzer ein oder mehrere Objekte in der Nähe wahrnimmt oder dass er ein Manöver durchführen muss, um der Navigation zu folgen oder eine Gefahr zu vermeiden.
• Anweisungen zur Beeinflussung der Fahrzeugsteuerung, der Steuerung anderer Vorrichtungen oder der Kommunikation mit den Benutzern des Fahrzeugs oder anderer Vorrichtungen sind in verschiedenen Ausführungsformen konfiguriert, basierend auf einem oder mehreren der benutzerorientierten Gefahrenbeurteilungspunkte, der angepassten Objektliste und der Wahrnehmungswahrscheinlichkeit (P).
• Die Implementierungseinheit 340 beinhaltet, wie vorgesehen, eine Ausgabeschnittstellen-Subeinheit 342. Die Ausgabeschnittstellen-Subeinheit 342 verarbeitet die Ausgabe der Aktivitätseinheit 330 in beliebiger Weise, um daraus resultierende Anweisungen, Nachrichten oder Signale an Ziele zu senden. Exemplarische Ziele beinhalten ein Fahrzeugsystem, wie zum Beispiel ein Kommunikationssystem im Fahrzeug oder ein autonomes Fahrsystem. Andere Ziele beinhalten beispielsweise Empfängervorrichtungen für Zusatzfahrzeuge, an welche Anweisungen zum Kommunizieren mit einem Benutzer der Vorrichtung oder zum Steuern der Vorrichtung gesendet werden. Die Verarbeitung kann auch das Formatieren der Ausgabe beinhalten, zum Beispiel zur Verwendung am Zielort. In verschiedenen Ausführungsformen beinhaltet die Verarbeitung das Vorbereiten des Signals oder der Nachrichten zum Senden, wobei auch das Einleiten des Sendens an den Bestimmungsort und das tatsächliche Durchführen des Sendens eingeschlossen sein kann.
• Durch die Implementierungseinheit 340 oder eine Zielvorrichtung - Fahrzeugkommunikation oder autonome Fahrsysteme, andere Fahrzeugsysteme usw. - wird die Kommunikation über das Fahrzeug oder die Vorrichtung, die Fahrzeug- oder Vorrichtungssteuerung oder eine andere Aktion durchgeführt.
• VI. Zusätzliche Struktur, Algorithmus-Merkmale und Operationen
• In Kombination mit oder an Stelle von beliebigen der anderen hierin beschriebenen Ausführungsformen, kann die vorliegende Technologie jede Struktur beinhalten oder beliebige Funktionen wie folgt ausführen:
1. a) In verschiedenen Ausführungsformen quantifizieren die vorhandenen Systeme und Prozesse eine Alarmierungs- oder Gefahrenstufe durch die Integration von Fahrerkontext, Fahrkontext und/oder Clutter-Informationen.
2. b) In verschiedenen Ausführungsformen geben benutzerorientierte Alarmbeurteilungs- und Szenen-Wahrnehmungsfunktionen Werte und/oder Strukturen aus - wie beispielsweise ein Alarmbewertungsergebnis und eine angepasste Objektliste -, die genauere Erkenntnisse über eine Fahrsituation, einschließlich der Dringlichkeit der Fahrsituation, wie zum Beispiel Zeit bis zur Kollision, potenzielle Schäden, andere beteiligte Fahrzeuge oder Personen wie Fußgänger, Fahrer oder Passagiere, erfassen.
3. c) Mithilfe der Ergebnisse der Alarmbeurteilung kann bestimmt werden, ob Maßnahmen zur Reduzierung der Dringlichkeitsstufe erforderlich sind. Beispiele für Aktionen beinhalten:
   • Bereitstellen einer früheren Benachrichtigung des Fahrers, um sicherzustellen, dass er das Objekt wahrnimmt und entsprechend darauf reagiert oder ein erforderliches Manöver entsprechend ausführt;
   • das Bereitstellen einer geschmückten oder hervorgehobenen Benachrichtigung - wie zum Beispiel eine, die hervorgehoben ist, mit einer höheren Lautstärke, bestimmten Farben, dergleichen oder ähnlichem - an den Fahrer, um sicherzustellen, dass er das Objekt erkennt und angemessen auf das Objekt reagiert oder ein erforderliches Manöver entsprechend durchführt;
   • Bestimmung und Implementierung eines Stufenwarnsystems, um Fehlalarme zu vermeiden, wenn die TTC früher als üblich eingestellt wird;
   • Senden von Benachrichtigungen an Zusatz-Fahrzeugvorrichtungen, wie zum Beispiel andere Fahrzeuge und mobile Fußgängervorrichtungen;
   • Aufzeigen von Warnungen oder Benachrichtigungen im Fahrzeug durch Modalitäten, die unter den gegebenen Umständen am besten geeignet sind - z. B. durch haptische Warnung, mit oder ohne andere Modalitäten, wenn der Geräuschpegel in der Fahrzeugkabine hoch ist;
   • • Steuern oder Einstellen von Fahrzeugsystemen, wie zum Beispiel Einstellungen für die automatische Geschwindigkeitsregelung, andere autonome Fahrfunktionen, Infotainment-Einstellungen (z. B. Lautstärke des Radios), dergleichen und andere;
   • Übertragen der teilweisen oder vollständigen Fahrverantwortung auf den Fahrer von jeder Ebene des autonomen Fahrens - die Übertragung erfolgt in verschiedenen Ausführungsformen mit oder nach der Benachrichtigung des Fahrers, dass die Übertragung durchgeführt wird - z. B. „Benutzereingriff erforderlich; bitte nehmen Sie das Lenkrad“ oder eine andere beratende und/oder tröstliche Kommunikation; und
   • • Übertragen einer teilweisen oder vollständigen Fahrverantwortung vom Fahrer auf das Fahrzeug - das System kann die Übertragung mit einer Benachrichtigung begleiten, dass die Übertragung durchgeführt wird und/oder dass alles in Ordnung ist - z. B. „Fahrzeug interveniert, um vorübergehend beim Fahren zu assistieren“, „alles unter Kontrolle“ oder andere beratende und/oder tröstende Kommunikation.
4. d) Jede der hierin beschriebenen Funktionen kann mit Techniken der künstlichen Intelligenz (KI) ausgeführt werden.
5. e) In verschiedenen Ausführungsformen führen die aktuellen Systeme und Prozesse zur Unterstützung der Bestimmung, wie die Fahrzeugoperationen angepasst oder die Kommunikation mit dem Fahrzeug oder anderen Vorrichtungen - anderen Fahrzeugen, Fußgängern usw. - eingeleitet werden kann, eine beliebige Funktion aus: (1) Erfassen der Fahrszene des Fahrzeugs (Straßenzustand, Fahren auf der Gegenfahrbahn, Gefahrensituation, Überquerung, Fußgänger, Hindernisse), (2) Ermitteln eines Fahrerzustands und (3) Ermitteln eines Fahrkontexts und Interpretieren dieser Eingaben zusammen, um über eine Punktzahl zu entscheiden, die mit dem Gefährdungsgrad der Situation verbunden ist.
6. f) In verschiedenen Ausführungsformen filtert die Technologie effektiv Umweltgeräusche oder andere Eingaben an den Fahrer in Bezug auf das Fahren, um einfach zu fahren und wichtige Dinge hervorzuheben, die der Fahrer anderweitig nicht wahrnehmen oder verstehen würde. Exemplarische Elemente sind beispielsweise Fahrzeuganweisungen oder Objekte im Sichtfeld des Fahrers (FOV).
7. g) In verschiedenen Ausführungsformen ermöglicht das System einen Prozess zum Schätzen des Wahrnehmungsverhaltens des Fahrers gegenüber einem oder mehreren Objekten in der Nähe des Fahrzeugs. Das System ist konfiguriert, um eine Wahrscheinlichkeit zu schätzen, dass der Fahrer ein bestimmtes Objekt in der Szene wahrnimmt. Das System kann die Maßnahme nutzen, um eine Alarmstrategie eines aktiven Sicherheitsmerkmals - z. B. Fahrerassistenzsystem - zu erweitern oder anderweitig zu beeinflussen. In einigen Implementierungen führt dies zu einer geringeren Anzahl an Gesamtwarnungen bei gleichzeitiger Aufrechterhaltung eines Sicherheitsniveaus, das dem entspricht, was das Fahrzeug ohne die Verbesserung bereitstellen würde.
• VII. Auswahl der Vorteile
• Viele der Vorteile und Vorzüge der vorliegenden Technologie sind vorstehend beschrieben. Der vorliegende Abschnitt hebt einige dieser noch einmal hervor und verweist zudem auf weitere. Die beschriebenen Vorteile sind nicht erschöpfend für die Vorzüge der vorliegenden Technologie.
• Die Technologie steigert die Akzeptanz und das Vertrauen der Benutzer in das Fahrzeug und seine aktiven Sicherheitsmerkmale.
• Das System senkt die Ablenkung des Fahrers, indem es dem Fahrer relevante Informationen entsprechend den aktuellen Gegebenheiten - wie z. B. Fahrkontext, Fahrerkontext und Unordnung - zur Verfügung stellt und/oder indem es die Informationen früher und/oder in hervorgehobener Weise bereitstellt, Gefährdungen früher vermeidet und Manöver früher anzeigt, wodurch die Notwendigkeit fortgeschrittener, übergeordneter Warnmeldungen vermieden wird.
• Das System in verschiedenen Ausführungsformen arbeitet als semantischer Parser von Eingaben, die vom Fahrzeug erfasst werden, wobei die daraus resultierenden Fahrzeugbenachrichtigungen an den Benutzer und ggf. die Fahrzeugsteuerung auf den aktuellen Sachverhalt zugeschnitten sind - einschließlich Fahrerkontext, Fahrkontext und/oder Clutter-Informationen - und nicht, wie bei herkömmlichen Systemen, nur auf der relativen Position des Fahrzeugs und nahegelegener Objekte basieren.
• VIII. Schlussfolgerung
• Es wurden hierin verschiedene Ausführungsformen der vorliegenden Offenbarung offenbart. Die offenbarten Ausführungsformen dienen lediglich als Beispiele, die in verschiedenen alternativen Formen und Kombinationen derselben ausgebildet werden können.
• Die zuvor beschriebenen Ausführungsformen sind lediglich Veranschaulichungsbeispiele für Umsetzungen, um ein leichtes Verstehen der Grundgedanken der Offenbarung zu ermöglichen.
• Hierin angegebene Referenzen darüber, wie ein Merkmal angeordnet ist, können sich unter anderem darauf beziehen, wie das Merkmal in Bezug auf andere Merkmale positioniert ist. Hierin angegebene Referenzen darüber, wie ein Merkmal konfiguriert ist, können sich unter anderem darauf beziehen, welche Größe das Merkmal hat, welche Form das Merkmal hat und/oder aus welchem Material das Merkmal besteht. Der Einfachheit halber kann der Begriff konfiguriert dazu verwendet werden, sowohl auf die vorstehend in diesem Absatz beschriebene Konfiguration und Vorrichtung Bezug zu nehmen.
• Orientierbare Verweise werden hier meist zur Vereinfachung der Beschreibung und zur vereinfachten Beschreibung der exemplarischen Zeichnungen bereitgestellt und die beschriebenen Systeme können in jeder beliebigen einer weiten Vielfalt von Ausrichtungen implementiert werden. Bezugnahmen hierin die die Richtung angeben, werden nicht in Begrenzungssensoren gemacht. Zum Beispiel sind Bezugnahmen auf obere, untere, oben, unten, oder seitliche nicht vorgesehen, um die Art und Weise, in der die Technologie der vorliegenden Offenbarung implementiert werden kann, zu begrenzen. Während beispielsweise eine obere Oberfläche referenziert wird, kann die referenzierte Oberfläche jedoch nicht vertikal nach oben oder oben in einem Entwurfs-, Fertigungs- oder Betriebsreferenzrahmen sein. Die Oberfläche kann beispielsweise in verschiedenen Ausführungsformen beiseite oder unterhalb anderer Komponenten des Systems sein.
• Jede Komponente, die in den Figuren als ein einziges Element beschrieben oder gezeigt ist, kann durch mehrere derartige Elemente ersetzt werden, die dazu konfiguriert sind, die Funktionen des einzelnen Artikels auszuführen. Ebenso können beliebige mehrere Elemente durch ein einzelnes Element ersetzt werden, das dazu konfiguriert ist, die Funktionen der verschiedenen beschriebenen Elemente auszuführen.
• Die zuvor beschriebenen Ausführungsformen können abweichen, geändert oder kombiniert werden, ohne dabei vom Schutzumfang der Ansprüche abzuweichen. Diese Änderungen, Modifizierungen und Kombinationen sind hierin über folgende Ansprüche in dem Schutzumfang dieser Offenbarung beinhaltet.

Claims (10)

1. Benutzerorientiertes Fahrunterstützungssystem, umfassend: mindestens einen Fahrzeugsensor; eine hardwarebasierte Verarbeitungseinheit; und eine nichtflüchtige computerlesbare Speichervorrichtung, umfassend: eine Aktivitätseinheit, die, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird, basierend auf kontextabhängigen Eingabeinformationen mindestens eine von einer Ausgabe einer Alarmbeurteilung und einer Ausgabe einer Szenenwahrnehmung bestimmt, worin die kontextabhängige Eingabeinformation den Ausgang des Fahrzeugsensors beinhaltet oder durch diesen erzeugt wird; und eine Ausgabestrukturierungseinheit, die, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird, eine Handlung bestimmt, die an einem Fahrzeug durchzuführen ist, basierend auf mindestens einer der Alarmbeurteilungsausgaben und der Szenen-Wahrnehmungsausgabe, die durch die Aktivitätseinheit bestimmt wird.
2. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die kontextabhängigen Eingabeinformationen zumindest teilweise auf einem Benutzermodell basieren, das unter Verwendung vergangener Merkmale eines aktuellen Benutzers und/oder anderer Benutzer erzeugt wurde.
3. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die kontextabhängigen Eingabeinformationen einen Benutzerkontext beinhalten, der sich auf einen Zustand oder eine Bedingung eines Benutzers des Fahrzeugs bezieht.
4. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 3, worin der Zustand oder die Bedingung des Benutzers basierend auf (i) biometrischen Daten aus Benutzermessungen, (ii) Benutzeraktivität, (iii) Fahrzeugbelegung und/oder (iv) Benutzerblick bestimmt wird.
5. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die kontextabhängigen Eingabeinformationen einen Benutzerkontext beinhalten, der sich auf die aktuellen Fahrbedingungen bezieht.
6. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die kontextabhängigen Eingabeinformationen Clutter-Informationen beinhalten, die sich auf eine Menge oder Qualität von visuellen Objekten in einer Umgebung außerhalb des Fahrzeugs beziehen.
7. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die Ausgabe der Alarmbeurteilung einen Alarmbeurteilungswert umfasst.
8. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin: die Aktivitätseinheit, wenn sie durch die hardwarebasierte Verarbeitungseinheit ausgeführt wird: eine Standardobjektliste empfängt oder erzeugt, die zumindest basierend auf der Ausgabe des Fahrzeugsensors erstellt wurde; und die Standardobjektliste basierend auf den kontextabhängigen Eingabeinformationen anpasst und eine angepasste Objektliste ausgibt; und die Szenenwahrnehmungsausgabe die angepasste Objektliste beinhaltet.
9. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die durch die Ausgangsstrukturierungseinheit bestimmte Handlung die Steuerung einer oder mehrerer der folgenden Schritte umfasst: (i) einen Zeitpunkt, zu dem eine fahrzeugbezogene Benachrichtigung über eine Fahrzeugausgabevorrichtung übermittelt wird, (ii) eine Substanz der fahrzeugbezogenen Benachrichtigung, (iii) eine Modalität oder Modalitäten für die Verwendung bei der Bereitstellung der Benachrichtigung, (iv) eine Hervorhebung für die Verwendung bei der Bereitstellung der Benachrichtigung und (v) eine Art Hervorhebung für die Verwendung bei der Bereitstellung der Benachrichtigung.
10. Benutzerorientiertes Fahrunterstützungssystem nach Anspruch 1, worin die durch die Ausgabestrukturierungseinheit bestimmte Handlung eine oder beide der folgenden Komponenten umfasst: das Steuern einer automatisierten Antriebskomponente des Fahrzeugs; und das Erzeugen einer Kommunikation zur Übergabe an eine andere Zielvorrichtung als das Fahrzeug.

Images