-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft intelligente Helme bei Fahrzeugen mit Sattelsitz.
-
HINTERGRUND
-
Ermüdung aufgrund alltäglicher Bedingungen, wie etwa unzureichend Schlaf, langanhaltende mentale oder physische Arbeit, Schichtarbeit, längere Zeiträume unter Stress oder Besorgnis usw., kann bewirken, dass sich ein Fahrer müde, matt oder schläfrig fühlt. Ermüdung kann die Konzentration und das Leistungsniveau eines Fahrers beeinflussen. Ermüdung kann sogar Unfälle während des Fahrzeugbetriebs verursachen, einschließlich jene bei Fahrern eines zweirädrigen Fahrzeugs, bei denen die volle Aufmerksamkeit des Fahrers zu allen Zeiten unerlässlich sein kann.
-
Es stehen auf dem Markt mehrere Vorrichtungen in der Form von am Kopf oder am Handgelenk getragenen Geräten zur Verfügung, um die Ermüdung eines Autofahrers zu überwachen. Diese Vorrichtungen verwenden Bewegungssensoren, EEG, Augenlidbewegungssensoren und andere Sensoren, um die Wachsamkeit des Fahrers, hauptsächlich für Autofahrer oder Industriearbeiter, zu detektieren. Es gibt jedoch keine Vorrichtung, die spezifisch Fahrer eines zweirädrigen Fahrzeugs anzielt.
-
KURZFASSUNG
-
Gemäß einer Ausführungsform beinhaltet ein Helm einen oder mehrere Sensoren, die sich in dem Helm befinden und ausgelegt sind zum Erhalten kognitiver Belastungsdaten, die eine kognitive Belastung eines Fahrers eines Fahrzeugs angeben, einen drahtlosen Sendeempfänger in Kommunikation mit dem Fahrzeug, eine Steuerung in Kommunikation mit dem einen oder den mehreren Sensoren und dem drahtlosen Sendeempfänger, wobei die Steuerung ausgelegt ist zum Bestimmen einer kognitiven Belastung des Passagiers unter Verwendung zumindest der kognitiven Belastungsdaten und Senden eines drahtlosen Befehls zu dem Fahrzeug unter Verwendung des drahtlosen Sendeempfängers, um Befehle zum Anpassen einer Fahrerassistenzfunktion auszuführen, wenn die kognitive Belastung über einer Schwelle liegt.
-
Gemäß einer Ausführungsform beinhaltet ein Helm einen oder mehrere Sensoren, die sich in dem Helm befinden und ausgelegt sind zum Erhalten kognitiver Belastungsdaten, die eine kognitive Belastung eines Fahrers eines Fahrzeugs mit Sattelsitz angeben, einen drahtlosen Sendeempfänger in Kommunikation mit dem Fahrzeug, eine Steuerung in Kommunikation mit dem einen oder den mehreren Sensoren und dem drahtlosen Sendeempfänger, wobei die Steuerung ausgelegt ist zum Bestimmen einer kognitiven Belastung des Passagiers unter Verwendung zumindest der kognitiven Belastungsdaten und Senden eines Befehls zu dem Fahrzeug, um Befehle zum Anpassen einer Fahrerassistenzfunktion auszuführen, wenn die kognitive Belastung über einer ersten Schwelle liegt.
-
Gemäß einer Ausführungsform beinhaltet ein Verfahren zum Überwachen eines einen Helm tragenden Fahrers auf einem Fahrzeug mit Sattelsitz Erhalten kognitiver Belastungsdaten, die eine kognitive Belastung eines Fahrers des Fahrzeugs mit Sattelsitz angeben, Kommunizieren von Informationen mit einem Fernserver und dem Fahrzeug mit Sattelsitz, Bestimmen einer kognitiven Belastung des Fahrers unter Verwendung zumindest der kognitiven Belastungsdaten, und Ausführen von Befehlen, die zu dem Fahrzeug mit Sattelsitz zu senden sind, um eine Fahrerassistenzfunktion des Fahrzeugs mit Sattelsitz anzupassen, wenn die kognitive Belastung über einer Schwelle liegt.
-
Figurenliste
-
- 1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm 101 und ein Motorrad 103 beinhaltet.
- 2 ist ein Beispiel eines Systems, das einen Smart-Helm beinhaltet, der eine kognitive Belastung identifizieren kann.
- 3 ist ein beispielhaftes Flussdiagramm 300 zum Identifizieren einer kognitiven Belastung eines Fahrers eines Fahrzeugs mit Sattelsitz.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; manche Merkmale könnten übertrieben oder minimiert sein, um Einzelheiten spezieller Komponenten zu zeigen. Die hier offenbarten speziellen strukturellen und funktionalen Details sind daher nicht als beschränkend aufzufassen, sondern lediglich als eine repräsentative Basis, um einem Fachmann zu lehren, die Ausführungsformen verschiedentlich einzusetzen. Durchschnittsfachleute auf dem Gebiet werden verstehen, dass verschiedene unter Bezugnahme auf irgendeine der Figuren veranschaulichte und beschriebene Merkmale mit in einer oder mehreren anderen Figuren veranschaulichten Merkmalen kombiniert werden können, um Ausführungsformen zu produzieren, die nicht explizit veranschaulicht oder beschrieben sind. Die Kombinationen von veranschaulichten Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der mit den Lehren dieser Offenbarung konsistenten Merkmale könnten jedoch für spezielle Anwendungen oder Implementierungen erwünscht sein.
-
Diese Offenbarung nimmt Bezug auf Helme und Fahrzeuge mit Sattelsitz. Es sollte verstanden werden, dass sich ein „Fahrzeug mit Sattelsitz“ typischerweise auf ein Motorrad bezieht, aber einen beliebigen Typ von Kraftfahrzeug einschließen kann, bei dem der Fahrer typischerweise auf einem Sattel sitzt und bei dem typischerweise Helme getragen werden, da es keinen Fahrgastraum zum Schutz der Fahrer gibt. Außer einem Motorrad kann dies auch andere angetriebene zweirädrige (PTW: Powered Two-Wheeler) Fahrzeuge wie etwa Geländemotorräder, Motorroller und dergleichen beinhalten. Dies kann auch angetriebene dreirädrige oder vierrädrige Fahrzeuge wie etwa ein Geländefahrzeug (ATV: All-Terrain Vehicle) und dergleichen beinhalten. Jegliche Bezüge spezifisch auf ein Motorrad, Fahrzeug oder Fahrrad können auch für ein beliebiges anderes Fahrzeug mit Sattelsitz gelten, insofern nicht anders angemerkt.
-
Der Helm oder das PTW kann auch eine elektrische Steuereinheit (ECU) beinhalten. Die ECU kann allgemeiner als eine Steuerung bezeichnet werden und kann eine beliebige Steuerung sein, die beispielsweise in der Lage ist, Informationen von verschiedenen Sensoren zu empfangen, die Informationen zu verarbeiten und Anweisungen zum Anpassen von Fahrassistenzfunktionen auszugeben. In dieser Offenbarung können sich die Begriffe „Steuerung“ und „System“ auf Prozessorhardware (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt, und Speicherhardware (gemeinsam genutzt, dediziert oder Gruppe) beziehen, die durch die Prozessorhardware ausgeführten Code speichert, Teil davon sein oder diese beinhalten. Der Code ist konfiguriert zum Bereitstellen der Merkmale der hierin beschriebenen Steuerung und Systeme. In einem Beispiel kann die Steuerung einen Prozessor, einen Speicher und eine nichtflüchtige Speicherung beinhalten. Der Prozessor kann eine oder mehrere Vorrichtungen beinhalten, die aus Mikroprozessoren, Mikrocontrollern, Digitalsignalprozessoren, Mikrocomputern, Zentralverarbeitungseinheiten, feldprogrammierbaren Gate-Arrays, programmierbaren Logikvorrichtungen, Zustandsmaschinen, Logikschaltungen, analogen Schaltungen, digitalen Schaltungen oder beliebigen anderen Vorrichtungen ausgewählt sind, die (analoge oder digitale) Signale basierend auf computerausführbaren Anweisungen manipulieren, die sich in dem Speicher befinden. Der Speicher kann eine einzige Speichervorrichtung oder mehrere Speichervorrichtungen beinhalten, die unter anderem Direktzugriffsspeicher („RAM“), flüchtigen Speicher, nichtflüchtigen Speicher, statischen Direktzugriffsspeicher („SRAM“), dynamischen Direktzugriffsspeicher („DRAM“), Flash-Speicher, Cache-Speicher oder eine beliebige andere Vorrichtung, die zum Speichern von Informationen in der Lage ist, beinhalten. Die nichtflüchtige Speicherung kann eine oder mehrere beständige Datenspeicherungsvorrichtungen beinhalten, wie etwa eine Festplatte, ein optisches Laufwerk, ein Bandlaufwerk, eine nichtflüchtige Solid-State-Vorrichtung oder eine beliebige andere Vorrichtung, die zum beständigen Speichern von Informationen in der Lage ist. Der Prozessor kann ausgelegt sein zum Lesen in den Speicher und Ausführen von computerausführbaren Anweisungen, die ein oder mehrere Softwareprogramme verkörpern, die sich in der nichtflüchtigen Speicherung befinden. Programme, die sich in der nichtflüchtigen Speicherung befinden, können ein Betriebssystem oder eine Anwendung beinhalten oder Teil davon sein und können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erschaffen wurden, einschließlich unter anderem, und entweder allein oder in Kombination, Java, C, C++, C#, Objective-C, Fortran, Pascal, Java Script, Python, Perl und PL/SQL. Die computerausführbaren Anweisungen der Programme können bei Ausführung durch den Prozessor ausgelegt sein, eine Aktivierung von Fahrerassistenzfunktionen zu bewirken, wenn zum Beispiel eine kognitive Schwelle überschritten ist.
-
Implementierungen des Gegenstands und der in dieser Patentschrift beschriebenen Operationen können in einer digitalen elektronischen Schaltungsanordnung oder in Computersoftware, die auf einem greifbaren Medium verkörpert ist, Firmware oder Hardware implementiert werden, einschließlich der in dieser Patentschrift offenbarten Strukturen und ihrer strukturellen Äquivalente, oder in Kombinationen einer oder mehrerer von diesen. Implementierungen des in dieser Patentschrift beschriebenen Gegenstands können als ein oder mehrere Computerprogramme, die auf einem greifbaren Medium verkörpert sind, implementiert werden, d. h. ein oder mehrere Module von Computerprogrammanweisungen, die auf einem oder mehreren Computerspeicherungsmedien codiert sind, zur Ausführung durch eine oder zur Steuerung des Betriebs einer Datenverarbeitungseinrichtung. Ein Computerspeicherungsmedium kann eine computerlesbare Speicherungsvorrichtung, ein computerlesbares Speicherungssubstrat, ein/e Direkt- oder Seriell-Zugriffsspeicherarray oder -vorrichtung oder eine Kombination eines oder mehrerer von diesen sein oder in diesen enthalten sein. Das Computerspeicherungsmedium kann auch eine oder mehrere separate Komponenten oder Medien (z. B. mehrere CDs, Platten oder andere Speicherungsvorrichtungen) sein oder in diesen enthalten sein. Das Computerspeicherungsmedium kann greifbar und nichttransitorisch sein.
-
Ein Computerprogramm (auch als Programm, Software, Softwareanwendung, Script oder Code bekannt) kann in einer beliebigen Form von Programmiersprache geschrieben sein, einschließlich kompilierten Sprachen, interpretierten Sprachen, deklarativen Sprachen und prozeduralen Sprachen, und das Computerprogramm kann in einer beliebigen Form eingesetzt werden, einschließlich als ein unabhängiges Programm oder als ein Modul, eine Komponente, eine Subroutine, ein Objekt oder eine andere Einheit, die sich zur Verwendung in einer Rechenumgebung eignet. Ein Computerprogramm kann, muss aber nicht, einer Datei in einem Dateisystem entsprechen. Ein Programm kann in einem Teil einer Datei, der andere Programme oder Daten hält (z. B. ein oder mehrere Scripts, die in einem Markup-Sprache-Dokument gespeichert sind), in einer einzelnen Datei, die dem Programm in Frage dediziert ist, oder in mehreren koordinierten Dateien (z. B. Dateien, die ein/e oder mehrere Module, Bibliotheken, Teilprogramme oder Teile von Code speichern) gespeichert sein. Ein Computerprogramm kann so eingesetzt werden, dass es auf einem Computer oder auf mehreren Computern ausgeführt wird, die sich an einem Ort befinden oder über mehrere Orte verteilt und durch ein Kommunikationsnetzwerk miteinander verbunden sind.
-
Die in dieser Patentschrift beschriebenen Prozesse und Logikflüsse können durch einen oder mehrere programmierbare Prozessoren durchgeführt werden, die ein oder mehrere Computerprogramme ausführen, um Handlungen durch Operieren an Eingabedaten und Erzeugen einer Ausgabe durchzuführen. Die Prozesse und Logikflüsse können auch durch eine Spezialzweck-Logikschaltungsanordnung, z. B. ein feldprogrammierbares Gate-Array („FPGA“) oder eine anwendungsspezifische integrierte Schaltung („ASIC“), durchgeführt werden und eine Einrichtung kann als diese implementiert werden. Eine solche Spezialzweckschaltung kann als ein Computerprozessor bezeichnet werden, selbst wenn sie kein Allzweckprozessor ist.
-
Ein Smart-Helm kann ein Merkmal zum Identifizieren und Bestimmen eines kognitiven Zustands einschließlich Ermüdung beinhalten. Zusätzlich kann der Smart-Helm Identifizierungsmerkmale für Alkoholkonsum beinhalten. Die nachstehend beschriebenen Ausführungsformen können Gehirnwellen und andere physiologische Signale, Fahrmuster, Tageszeit, Zweck der Fahrt, Umgebungsbedingungen usw. messen. Ein Sensor kann am Helm genutzt werden, um direkt mit einem Schädel des Fahrers verbunden zu werden, um Gehirnwellen und andere Messungen leicht zu verfolgen. Solche Eingaben können fusioniert werden, um den kognitiven Zustand des Fahrers zu identifizieren und gewisse Sicherheitsmerkmale des Fahrzeugs (z. B. Motorrads) auszulösen.
-
1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm 101 und ein Motorrad 103 beinhaltet. Der Smart-Helm 101 und das Motorrad 103 können verschiedene miteinander interagierende Komponenten und Sensoren beinhalten. Der Smart-Helm 101 kann sich auf das Sammeln von Daten bezüglich der Körper- und Kopfbewegung eines Fahrers konzentrieren. In einem Beispiel kann der Smart-Helm 101 eine Kamera 102 beinhalten. Die Kamera 102 des Helms 101 kann einen Primärsensor beinhalten, der zur Positions- und Orientierungserkennung von sich bewegenden Fahrzeugen genutzt wird. Somit kann die Kamera 102 zur Außenseite des Helms 101 ausgerichtet sein, um andere Fahrzeuge und Objekte im Umfeld eines Fahrers zu verfolgen. Die Kamera 102 kann Schwierigkeiten haben, Dynamiken solcher Objekte und Fahrzeuge zu erfassen. In einem anderen Beispiel kann der Helm 101 zusätzlich zu oder anstelle der Kamera 102 mit Radar- oder LIDAR-Sensoren ausgestattet sein.
-
Der Helm 101 kann auch eine inertiale Helm-Messeinheit 104 (Helm-IMU) beinhalten. Die Helm-IMU 104 kann zum Verfolgen einer hochdynamischen Bewegung des Kopfes eines Fahrers genutzt werden. Somit kann die Helm-IMU 104 zum Verfolgen der Richtung, in die ein Fahrer schaut, oder der Fahrerblickrichtung genutzt werden. Zusätzlich kann die Helm-IMU 104 zum Verfolgen plötzlicher Bewegungen und anderer auftretender Bewegungen genutzt werden. Eine IMU kann einen oder mehrere Bewegungssensoren beinhalten.
-
Eine inertiale Messeinheit (IMU) kann eine spezifische Kraft des Körpers, eine Winkelrate und manchmal das Erdmagnetfeld unter Verwendung einer Kombination von Beschleunigungsmessern und Gyroskopen, manchmal auch Magnetometern, messen und melden. IMUs werden typischerweise zum Manövrieren eines Flugzeugs, einschließlich unter anderem unbemannten Luftfahrzeugen (UAVs), und eines Raumfahrzeugs, einschließlich Satelliten und Landefahrzeugen, verwendet. Die IMU kann als eine Komponente von inertialen Navigationssystemen genutzt werden, die in verschiedenen Fahrzeugsystemen verwendet werden. Die von den Sensoren der IMU gesammelten Daten können einem Computer ermöglichen, eine Motorposition zu verfolgen.
-
Eine IMU kann durch das Detektieren der aktuellen Beschleunigungsrate unter Verwendung einer oder mehrerer Achsen funktionieren und Änderungen von Drehattributen wie Nicken, Rollen und Gieren unter Verwendung einer oder mehrerer Achsen detektieren. Typischerweise beinhaltet eine IMU auch ein Magnetometer, das zur Unterstützung der Kalibration gegenüber Orientierungsdrift durch Verwenden der Messungen des Erdmagnetfeldes verwendet werden kann. Inertiale Navigationssysteme enthalten IMUs, die Winkel- und Linear-Beschleunigungsmesser (für Positionsänderungen) aufweisen; manche IMUs beinhalten ein Gyroskopelement (zum Beibehalten einer absoluten Winkelreferenz). Winkelratenmesser messen, wie sich ein Fahrzeug im Raum drehen kann. Es kann mindestens einen Sensor für jede der drei Achsen geben: Nicken (Nase auf und ab), Gieren (Nase links und rechts) und Rollen (im Uhrzeigersinn oder gegen den Uhrzeigersinn vom Cockpit). Linear-Beschleunigungsmesser können nicht-gravitative Beschleunigungen des Fahrzeugs messen. Da er sich in drei Achsen bewegen kann (auf & ab, links & rechts, vorwärts & rückwärts), kann es einen Linear-Beschleunigungsmesser für jede Achse geben. Die drei Gyroskope sind üblicherweise in einem ähnlichen orthogonalen Muster angeordnet und messen die Rotationsposition in Bezug auf ein beliebig gewähltes Koordinatensystem. Ein Computer kann die aktuelle Position des Fahrzeugs kontinuierlich berechnen. Für jeden der sechs Freiheitsgrade (x, y, z und Ox, Oy und Oz) kann er die erfasste Beschleunigung, zusammen mit einer Schätzung der Schwerkraft, nach der Zeit integrieren, um die aktuelle Geschwindigkeit zu berechnen. Er kann auch die Geschwindigkeit integrieren, um die aktuelle Position zu berechnen. Manche der durch eine IMU bereitgestellten Messungen sind nachstehend aufgelistet:
(â
B, (ω̂
B) sind die Rohmessungen von der IMU im Körperrahmen der IMU. a
w, ω
B sind die erwartete korrekte Beschleunigung und die Gyroskopratenmessungen. b
a, b
g sind die Bias-Offsets im Beschleunigungsmesser und im Gyroskop. η
a, η
g sind das Rauschen im Beschleunigungsmesser und im Gyroskop.
-
Der Helm 101 kann auch einen Augen-Tracker 106 beinhalten. Der Augen-Tracker 106 kann zum Bestimmen einer Richtung, in die ein Fahrer des Motorrads 103 schaut, genutzt werden. Der Augen-Tracker 106 kann auch zum Identifizieren von Schläfrigkeit und Müdigkeit eines Fahrers des PTW genutzt werden. Der Augen-Tracker 106 kann verschiedene Teile des Auges identifizieren (z. B. Netzhaut, Hornhaut usw.), um zu bestimmen, wohin ein Benutzer blickt. Der Augen-Tracker 106 kann eine Kamera oder einen anderen Sensor beinhalten, um die Verfolgung der Augenbewegung eines Fahrers zu unterstützen.
-
Der Helm 101 kann auch einen Helm-Prozessor 108 beinhalten. Der Helm-Prozessor 107 kann zur Sensorfusion von Daten genutzt werden, die durch die verschiedenen Kameras und Sensoren sowohl des Motorrads 103 als auch des Helms 101 gesammelt werden. In einer anderen Ausführungsform kann der Helm einen oder mehrere Sendeempfänger beinhalten, die zur Kurzstreckenkommunikation und Langstreckenkommunikation genutzt werden. Die Kurzstreckenkommunikation des Helms kann eine Kommunikation mit dem Motorrad 103 oder anderen nahegelegenen Fahrzeugen und Objekten beinhalten. In einer anderen Ausführungsform kann die Langstreckenkommunikation eine Kommunikation mit einem bordexternen Server, dem Internet, der „Cloud“, eine Zellularkommunikation usw. beinhalten. Der Helm 101 und das Motorrad 103 können unter Verwendung von Drahtlosprotokollen miteinander kommunizieren, die durch einen Sendeempfänger implementiert werden, der sich sowohl an dem Helm 101 als auch dem Motorrad 103 befindet. Solche Protokolle können Bluetooth, WiFi usw. beinhalten. Der Helm 101 kann auch ein Heads-Up-Display (HUD) beinhalten, das zum Ausgeben grafischer Bilder auf einem Visier des Helms 101 genutzt wird.
-
Das Motorrad 103 kann eine vorwärts gerichtete Kamera 105 beinhalten. Die vorwärts gerichtete Kamera 105 kann sich an einem Scheinwerfer oder einem anderen ähnlichen Bereich des Motorrads 103 befinden. Die vorwärts gerichtete Kamera 105 kann zur Unterstützung der Identifizierung, wohin sich das PTW bewegt, genutzt werden. Ferner kann die vorwärts gerichtete Kamera 105 verschiedene sich vor dem Motorrad 103 befindliche Objekte oder Fahrzeuge identifizieren. Die vorwärts gerichtete Kamera 105 kann somit verschiedene Sicherheitssysteme unterstützen, wie etwa eine intelligente Geschwindigkeitsregelung oder Kollisionsdetektionssysteme.
-
Das Motorrad 103 kann eine Motorrad-IMU 107 beinhalten. Die Motorrad-IMU 107 kann an einem Scheinwerfer oder einem anderen ähnlichen Bereich des PTW angebracht sein. Die Motorrad-IMU 107 kann inertiale Daten sammeln, die zum Verständnis der Bewegung des Motorrads genutzt werden können. Die Motorrad-IMU 107 weist einen Mehrachsen-Beschleunigungsmesser auf, typischerweise in drei orthogonalen Achsen. Gleichermaßen kann die Motorrad-IMU 107 auch mehrere Gyroskope beinhalten.
-
Das Motorrad 103 kann eine Fahrerkamera 109 beinhalten. Die Fahrerkamera 109 kann zum Verfolgen eines Fahrers des Motorrads 103 genutzt werden. Die Fahrerkamera 109 kann an verschiedenen Orten entlang des Lenkers des Motorrads oder an anderen Orten montiert sein, sodass sie zum Fahrer ausgerichtet ist. Die Fahrerkamera 109 kann zum Erfassen von Bildern oder Video des Fahrers genutzt werden, die im Gegenzug für verschiedene Berechnungen genutzt werden, wie etwa das Identifizieren verschiedener Körperteile oder der Bewegung des Fahrers. Die Fahrerkamera 109 kann auch zum Fokussieren auf die Augen des Fahrers genutzt werden. Demnach kann eine Augenblickrichtungsbewegung bestimmt werden, um herauszufinden, wohin der Fahrer schaut.
-
Das Motorrad 103 kann eine elektronische Steuereinheit 111 beinhalten. Die ECU 111 kann zum Verarbeiten von durch Sensoren an dem Motorrad gesammelten Daten sowie von durch Sensoren an dem Helm gesammelten Daten genutzt werden. Die ECU 111 kann die von den verschiedenen IMUs und Kameras empfangenen Daten nutzen, um verschiedene Positionen zu verarbeiten und zu berechnen oder eine Objekterkennung durchzuführen. Die ECU 111 kann mit der Fahrerkamera 109 sowie der vorwärts gerichteten Kamera 105 in Kommunikation stehen. Beispielsweise können die Daten von den IMUs in die ECU 111 eingespeist werden, um eine Position bezüglich eines Referenzpunkts sowie eine Orientierung zu identifizieren. Wenn Bilddaten mit solchen Berechnungen kombiniert werden, kann die Bewegung des Motorrads genutzt werden, um die Richtung zu identifizieren, in die ein Fahrer blickt oder auf die er sich konzentriert. Die Bilddaten von sowohl der vorwärts gerichteten Kamera am Motorrad als auch der Kamera am Helm werden verglichen, um die relative Orientierung zwischen dem Motorrad und dem Kopf des Fahrers zu bestimmen. Der Bildvergleich kann basierend auf weniger zahlreichen Merkmalen, die von beiden Kameras (z. B. Fahrerkamera 109 und vorwärts gerichteten Kamera 105) extrahiert werden, durchgeführt werden. Das Motorrad 103 kann eine Motorrad-Zentralverarbeitungseinheit 113 beinhalten, um die ECU zu unterstützen. Das System kann somit die Aufmerksamkeit, Haltung, Position, Orientierung, Kontakte (z. B. Griff am Lenker) des Fahrers, Fahrerrutschgrad (z. B. Kontakt zwischen Fahrer und Sitz), Fahrer-zu-Fahrzeug-Beziehung und Fahrer-zu-Welt-Beziehung kontinuierlich überwachen.
-
2 offenbart ein Beispiel für einen Smart-Helm, der Sensoren zur Unterstützung der Identifikation einer kognitiven Belastung eines Fahrers beinhaltet. Der Smart-Helm 200 kann einen Elektroenzephalogramm(EEG)-Sensor 201 beinhalten. Der Smart-Helm 200 kann typische Merkmale eines Helms beinhalten, der zum Bereitstellen von Sicherheit für einen Fahrer genutzt wird, einschließlich eines Visiers, einer harten Außenschale und einer weichen Innenschale, die den gesamten Kopf eines Fahrers bedeckt. Die EEG-Sensoren 201 können Elektroenzephalogramm(EEG)-Signale von einem oder mehreren EEG-Sensoren erfassen, die zum Erfassen von EEG-Signalen vom Kopf eines Benutzers angeordnet sind. Das System kann die Signale zum Überwachen der EEG-Aktivitätssignale nutzen, die durch den Benutzer aufgezeigt und durch die Sensoreinheit erfasst werden. Das integrierte System kann ferner eine Datenverarbeitungseinheit zum Verarbeiten mehrerer EEG-Signale und Kommunizieren mit der Datenverarbeitungseinheit des Smart-Helms beinhalten. Die Prozesse zum Analysieren der erfassten EEG-Signale können an der Datenverarbeitungseinheit durchgeführt werden oder können die Verarbeitungseinheit der portablen elektronischen Vorrichtung nutzen.
-
Der Smart-Helm 200 kann auch einen Fahrmustersensor 203 beinhalten. Der Fahrmustersensor 203 kann zum Identifizieren eines Fahrverhaltens des Fahrers genutzt werden. Falls ein Fahrer beispielsweise immer zum Abweichen in andere Fahrbahnen tendiert, kann er solche Informationen nutzen. Eine Fahrerleistungsbeurteilungsvorrichtung kann Fahrerleistung basierend auf dynamischen Daten des PTW beurteilen, die entweder über eine eingebettete Datenquelle (wie etwa den CAN-Bus) oder eine installierte Datenquelle (wie etwa Gyroskop usw.) gesammelt werden. Die Fahrerleistungsbeurteilungsvorrichtung könnte für eine Entscheidung verwendet werden, ob sich ein Fahrer ausreichend auf die Fahraufgabe konzentriert oder ob der Fahrer fähig ist, mit der aktuellen Fahrumgebung umzugehen. Die von Fahrerleistungsdaten gesammelten Daten können auch zum Identifizieren einer kognitiven Belastung des Fahrers verwendet werden.
-
Der Smart-Helm 200 kann auch ein Fahrzweckidentifizierungsmerkmal 205 beinhalten. Das Fahrzweckidentifizierungsmerkmal 205 kann den Zweck der Fahrt bestimmen, die in die kognitive Belastung des Benutzers mit einzubeziehen ist. Falls das Fahrzweckidentifizierungsmerkmal 205 beispielsweise erkennt, dass die Pendelstrecke eine vertraute Pendelstrecke auf vertrauten Straßen ist, die nicht die gleiche kognitive Belastung erfordern als eine neue Erfahrung, wie etwa Fahren in einem dichten städtischen Bereich, in dem der Fahrer niemals zuvor gefahren ist, kann es annehmen, dass die kognitive Belastung des Fahrers reduziert sein würde. Das Fahrzweckidentifizierungsmerkmal 205 kann mit einem Navigationssystem arbeiten, um einen identifizierten Bestimmungsort zu bestimmen.
-
Der Smart-Helm 200 kann auch einen Umgebungseinflusssensor 207 (z. B. Kamera, Radar, LiDAR, fahrzeuginterne Kamera, Geschwindigkeitssensor, Scheibenwischersensor, biometrischer Sensor usw.) sowie fahrzeugexterne Server zum Verständnis der Umgebungsbedingungen bezüglich der Umgebung des Fahrers beinhalten. Das PTW kann andere Sensoren nutzen, wie etwa Nebelleuchten, Scheibenwischer, Regensensoren, Feuchtigkeitssensoren usw., die auch als Eingaben zum Bestimmen der kognitiven Belastung genutzt werden können. Wenn beispielsweise eine Nebelleuchte aktiviert ist oder sich die Scheibenwischer schneller bewegen oder ein Regensensor einen höheren Niederschlag identifiziert, kann die kognitive Belastung des Fahrers hoch sein. Fahrzeugexterne Daten können zum Identifizieren von Faktoren genutzt werden, bei denen sich ein Benutzer durchgehend ganz auf das Fahren konzentriert und die die kognitive Belastung erhöhen können. Beispielsweise können Wetterdaten von einem fahrzeugexternen Server Wetterbedingungen identifizieren. Die Wetterdaten können Unwetteraktualisierungen, schlechte Fahrbedingungen (z. B. glatte Straße) und andere Dinge identifizieren, die die kognitive Belastung eines Fahrers beeinflussen können.
-
Der Smart-Helm 200 kann auch Sensoren zum Identifizieren der Tageszeit 209 nutzen, die in die kognitive Belastung mit einzubeziehen ist. Solche Sensoren können eine Uhr oder einen Photozellensensor, einen Photowiderstand, einen lichtdetektierenden Widerstand oder einen anderen Sensor beinhalten, der in der Lage ist, Licht oder das Nichtvorhandensein von Licht zu detektieren. Somit kann der Sensor basierend auf einer Zeit oder einer Lichtintensität außerhalb des Motorrads verstehen, dass es Tageszeit oder Nachtzeit ist. Der Sensor kann sich an einer Außenfläche des Helms befinden. In einer anderen Ausführungsform kann ein GPS-Empfänger genutzt werden, um Abend- und Morgendämmerung für das PTW zu identifizieren.
-
Der Smart-Helm 200 kann auch physiologische Sensoren 211 beinhalten. Die physiologischen Sensoren können Sensoren beinhalten, die in der Lage sind, Herzrate, Atmungsrate oder Blutdruck zu identifizieren. Die physiologischen Sensoren 211 können auch Blutvolumendruck, Blutvolumenpuls des Kopfes, Elektrokardiographie, elektrodermale Aktivität (mit einem Q-Sensor), Elektromyographie (EMG), Emotionssensor (ECG) usw. beinhalten. Solche physiologischen Sensoren können einen Wärmeflusssensor zum Messen einer Temperatur des Benutzers oder verschiedene Sensoren einschließlich On-Chip-Bild- und -Farbsensoren beinhalten, und Sensoren, die pH-Wert, Temperatur und Druck messen, können ein schnelles und genaues Diagnosewerkzeug zum Detektieren gastrointestinaler Anomalien bieten. Datenverarbeitungsschritte wie Filtern, Rauschunterdrückung und Verstärkung können angewendet werden, um die Genauigkeit zu verbessern.
-
Der Smart-Helm 200 kann auch verschiedene Sensoren zum Überwachen der Verkehrsbedingungen im Umfeld des PTW nutzen. Fahrzeugexterne Daten können zum Identifizieren von Verkehrsfaktoren genutzt werden, bei denen sich ein Benutzer durchgehend ganz auf das Fahren konzentriert und die die kognitive Belastung erhöhen können. Beispielsweise können Verkehrsdaten von einem fahrzeugexternen Server schwere Verkehrsbedingungen oder Unfälle identifizieren. Die Verkehrsdaten können Verkehrsflussaktualisierungen, Unfälle und andere Ereignisse identifizieren, die den Verkehrsfluss und im Gegenzug die kognitive Belastung des Fahrers beeinflussen können.
-
Ein OMS, das in dem Helm oder an einem geeigneten Ort montiert sein kann, könnte die Interaktion des Benutzers mit dem PTW oder jegliche anderen Ablenkungen beobachten. Das OMS evaluiert die tatsächlichen kognitiven Anforderungen oder potenzielle kognitiven Anforderungen aus dem Interagieren mit dem PTW. Falls das OMS beispielsweise detektiert, dass der Benutzer aktiv schnell fährt, während er einen Telefonanruf an dem Freisprechsystem entgegennimmt, kann seine kognitive Belastung als hoch evaluiert werden. Falls das OMS in einem anderen Beispiel einen anderen Passagier auf dem PTW als den Fahrer detektiert, kann das OMS vorhersagen, dass sich die kognitive Anforderung des Benutzers möglicherweise bald erhöhen wird.
-
Der Smart-Helm 200 oder ein Fernserver kann genutzt werden, um die verschiedenen Sensordaten zum Identifizieren einer kognitiven Belastung oder eines mentalen Zustands unter Verwendung einer Merkmalsextraktion 215 zu sammeln. Die Merkmalsextraktion 215 kann Roheingangssignale oder Statistiken der Signale nehmen und sie zum Trainieren eines maschinellen Lernmodells 217 nutzen, um den mentalen Zustand 221 oder den Alkoholkonsum 219 des Fahrers vorherzusagen. Andere Klassifizierer für maschinelles Lernen als die traditionellen, wie etwa Entscheidungsbaum und Support-Vektor-Maschine, bis hin zu fortgeschrittenen Verfahren wie etwa Deep Learning, können bei 217 verwendet werden. Ein Multitasking-Klassifizierer wird an den extrahierten Merkmalen trainiert, um 219 und 221 vorherzusagen. Die Vorhersagen des mentalen Zustands des Fahrers können zum Warnen des Fahrers verwendet werden, indem Töne oder Vibrationen am Motorradlenker geplant werden. Die Alkoholeinflussergebnisse können verwendet werden, um den Fahrer daran zu hindern, das Fahrzeug zu betreiben. Beispielsweise kann der Smart-Helm unter Verwendung eines in den Helm eingebauten Alkoholtestgeräts identifizieren, dass der Fahrer unter Alkoholeinfluss steht, und im Gegenzug sendet der Helm Befehle zu dem PTW, um Merkmale zu aktivieren oder den Betrieb des PTW zu sperren.
-
3 ist ein beispielhaftes Flussdiagramm 300 zum Identifizieren einer kognitiven Belastung eines Fahrers eines PTW. Das Flussdiagramm 300 kann an einer PTW-seitigen Anwendung in einer Fahrzeugsteuerung oder fahrzeugextern bei einem Fernserver implementiert werden. Das System kann bei Schritt 201 Sensordaten und beliebige andere Daten sammeln, die zum Identifizieren der kognitiven Belastung des Fahrers genutzt werden. Das System kann mit Sensoren in dem Helm oder PTW sowie fahrzeugexternen Servern kommunizieren. Solche Sensoren und Daten können jene beinhalten, die oben in 1 und 2 beschrieben sind.
-
Das System kann bei Schritt 203 auch bestimmen, ob eine kognitive Belastung des Benutzers vorhanden ist. Das System kann verschiedene Sensoren im Helm nutzen, um die Identifizierung einer kognitiven Belastung des das PTW steuernden Fahrers zu unterstützen. Der Helm kann auch mit dem PTW kommunizieren, um andere Informationen zum Identifizieren einer kognitiven Belastung zu sammeln. Beispielsweise kann das System einen Fahrzeuggeschwindigkeitssensor nutzen, um zu identifizieren, wie schnell das Fahrzeug fährt. Auf hoher Ebene, je schneller das Fahrzeug fährt, als desto größer kann die kognitive Belastung des Fahrers angenommen werden (z. B. konzentriert sich der Fahrer auf das Fahren anstatt die Aufgabe). Je höher die kognitive Belastung, desto mehr kann somit der Benutzer mit zusätzlichen Aufgaben abgelenkt sein, die den Benutzer daran hindern werden, in der Lage zu sein, sich auf zusätzliche Informationen auf einer Schnittstelle zu konzentrieren, wenn eine Videokonferenzsitzung stattfindet. Die oben beschriebenen Ausführungsformen können auch bei einer Mehrstufen-Präsentations-HMI basierend auf der kognitiven Arbeitslast des Benutzers angewendet werden. Beispielsweise könnte die höchste Stufe von HMI alle Merkmale eines Konferenzanrufs beinhalten. Die verbleibenden Stufen werden nur einen reduzierten Satz der Konferenzanrufmerkmale beinhalten.
-
Auf anderer Ebene kann die kognitive Belastung des Fahrers durch ein am PTW befindliches DSM (z. B. zum Fahrer zeigende Kamera) bestimmt werden, dass das Verhalten des Passagiers überwacht, einschließlich Gesichtsbewegung, Augenbewegung usw. Die kognitive Belastung des Fahrers kann durch ein DSM bestimmt werden, das die umliegende Fahrzeugumgebung überwacht, einschließlich der Verkehrsbedingungen, der Nähe zu anderen Fahrzeugen, des Komplexitätsniveaus der Straßenstruktur und der Anzahl von Objekten im Umfeld des PTW usw. Falls sich beispielsweise viele Fahrzeuge oder Objekte im Umfeld des Fahrzeugs befinden, kann die kognitive Belastung des Fahrers höher sein. Falls das DSM daran scheitert, Objekte zu identifizieren, oder nur eine beschränkte Anzahl von Objekten identifiziert, kann die kognitive Belastung des Fahrers niedrig sein.
-
Ferner können Informationen zum Identifizieren eines Fahrers des Fahrzeugs genutzt werden, um eine Schwelle für eine kognitive Belastung des Fahrers anzupassen. Beispielsweise kann ein Alter oder die Fahrerfahrung des Fahrers mit einspielen, dass die kognitive Belastungsschwelle eines Fahrers niedriger ist. Die Identifikation eines Fahrers kann durch Benutzerprofildaten oder Informationen bestimmt werden, die von einem Mobiltelefon, einer Kamera (z. B. Gesichtserkennung) oder Fahrzeugeinstellungen erhalten werden. Das System kann bestimmen, wie lange der Fahrer ein PTW gefahren hat (z. B. Erfahrung), sowie Alter, Unfallgeschichte, Strafzettel usw. bestimmen. Das System kann eine Schwelle für die kognitive Belastung aufweisen, die zum Bestimmen, ob das PTW zu betreiben ist oder nicht, Warnen des Fahrers oder Aktivieren einiger Fahrerassistenzfunktionen gesetzt ist. Falls beispielsweise eine kognitive Belastung eines Fahrers als hoch bestimmt wird, kann ein adaptives Geschwindigkeitsregelungsmerkmal aktiviert werden. Das System kann die kognitiven Belastungsdaten zum Identifizieren oder Schätzen einer kognitiven Belastung des Fahrers nutzen.
-
Bei Schritt 305 kann das System bestimmen, ob die kognitive Belastung des Fahrers eine Schwelle überschreitet. Das System kann die Schwelle basierend auf verschiedenen Faktoren im PTW anpassen, wie etwa einem Fahrer des PTW. Die Schnittstelle oder fahrergestützten Funktionen können auch eine automatische Anpassung der Schwelle ermöglichen, die durch den Fahrer oder über die Schnittstelle gesetzt werden kann. Demnach können die kognitiven Belastungsdaten gesammelt und analysiert werden, um gemessen und mit der Schwelle verglichen zu werden, sodass bestimmt wird, wie das PTW Anpassungen vornehmen kann, um den Fahrer zu warnen (z. B. Töne abspielen oder Vibration am Motorradlenker), oder ein Fahrassistenzmerkmal zu aktivieren, oder in manchen Umständen den Betrieb des Motorrads zu stoppen. Das System kann mehr als eine Schwelle aufweisen. Falls mehrere Schwellen verwendet werden, kann das System somit mehrere Schnittstellen nutzen, die variierende Inhaltsniveaus für jede Schwelle aufweisen. Anstatt nur zwei verschiedene Gegenmaßnahmen für die kognitive Belastung aufzuweisen, kann das System somit drei, vier, fünf, sechs usw. verschiedene Gegenmaßnahmen aufweisen, die durch Variieren von Schwellen oder Niveaus angepasst werden.
-
Bei Schritt 308 kann das Fahrzeugsystem Befehle zum Anpassen eines Fahrassistenzmerkmals ausführen, wenn die kognitive Belastung über einem Schwellenbetrag liegt. Falls ein Fahrer als überlastet (z. B. der Fahrer bewegt sich nicht, Fahren bei freier Bahn, autonomes/teilautonomes Fahrsystem hilft aus) bestimmt wird, kann das System somit annehmen, dass der Fahrer Unterstützung zum Betreiben des PTW braucht, und eine Benachrichtigung an den Fahrer liefern oder eine Fahrerassistenzfunktion aktivieren. Die Benachrichtigung kann Vibrieren des Sattels oder des Lenkers des PTW sowie eine Benachrichtigung beinhalten, die auf der Anzeige des HUD des Helms gezeigt oder hörbar von Lautsprechern im Helm ausgegeben wird. Die Fahrerassistenzfunktion kann Aktivieren (über einen drahtlosen Befehl, der vom Helm zum PTW gesendet wird) eines adaptiven Geschwindigkeitsregelungssystems, von teilautonomen Fahren, einer Spurhalteassistenzfunktion usw. beinhalten. Falls die kognitive Belastung hoch ist, kann der Helm in einem Beispiel einen drahtlosen Befehl zu dem PTW senden, um den Betrieb des PTW sicher zu beenden. Das System kann verschiedene Schwellen zum Betreiben verschiedener Funktionen beinhalten. Das System kann somit eine Vielfalt von Merkmalen, die bei einer ersten Schwelle zu aktivieren sind, und andere Merkmale bei höheren Schwellen beinhalten. Falls basierend auf den Daten eine kognitive Belastung als hoch erachtet wird oder der Fahrer als unter Alkoholeinfluss angenommen wird, kann der Betrieb des Fahrzeugs abgeschaltet werden. Das System kann eine Benachrichtigung vor dem Aktivieren der Fahrerassistenzfunktion senden, die dem Fahrer ermöglichen kann, die Aktivierung des Merkmals abzubrechen oder die Aktivierung des Merkmals zu bestätigen.
-
Bei Schritt 309 kann das Fahrzeugsystem damit fortfahren, die kognitive Belastung selbst nach der Aktivierung der Benachrichtigung oder der Fahrerassistenzfunktion zu überwachen. Die Benachrichtigung kann Vibrieren des Sattels oder des Lenkers des PTW sowie eine Benachrichtigung beinhalten, die auf der Anzeige des HUD des Helms gezeigt oder hörbar von Lautsprechern im Helm ausgegeben wird. Das System kann eine Funktion deaktivieren oder den Betrieb gewisser Fahrzeugfunktionen ermöglichen, falls die kognitive Belastung letztendlich unter die Schwelle fällt. Falls ein Fahrer als nicht überlastet (z. B. das PTW bewegt sich nicht, Fahren bei freier Bahn, autonomes/teilautonomes Fahrsystem hilft aus usw.) bestimmt wird, kann das System somit annehmen, dass der Fahrer das PTW betreiben kann und keine Unterstützung braucht. Somit kann das System die Daten einfach nur kontinuierlich überwachen.
-
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können lieferbar sein an/implementiert werden durch eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer, welche bzw. welcher eine beliebige existierende programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit beinhalten kann. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und durch eine Steuerung oder einen Computer ausführbare Anweisungen in vielen Formen gespeichert werden, unter anderem einschließlich Informationen, die auf nichtbeschreibbaren Speichermedien, wie etwa ROM-Vorrichtungen, permanent gespeichert sind, und Informationen, die auf beschreibbaren Speichermedien, wie etwa Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien, änderbar gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen in Gänze oder teilweise unter Verwendung geeigneter Hardwarekomponenten umgesetzt werden, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten.
-
Obgleich oben beispielhafte Ausführungsformen beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen durch die Ansprüche eingeschlossenen Formen beschreiben. Die in der Beschreibung verwendeten Ausdrücke sind eher Ausdrücke der Beschreibung statt der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben wurde, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung auszubilden, die möglicherweise nicht explizit beschrieben oder veranschaulicht wurden. Obgleich verschiedene Ausführungsformen als Vorteile ergebend oder gegenüber anderen Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehrerer erwünschter Charakteristiken bevorzugt beschrieben worden sein können, erkennen Durchschnittsfachleute auf dem Gebiet, dass ein oder mehrere Merkmale oder Charakteristiken beeinträchtigt werden können, um erwünschte Gesamtsystemattribute zu erzielen, die von der speziellen Anwendung und Implementierung abhängen. Diese Attribute können unter anderem Kosten, Stärke, Haltbarkeit, Lebenszykluskosten, Vermarktungsfähigkeit, Erscheinungsbild, Aufmachung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. beinhalten. Von daher liegen jegliche in dem Maße als weniger wünschenswert als andere Ausführungsformen oder Implementierungen im Stand der Technik bezüglich eines oder mehreren Charakteristiken beschriebene Ausführungsformen nicht außerhalb des Schutzumfangs der Offenbarung und können für gewisse Anwendungen wünschenswert sein.