DE102020215630A1

DE102020215630A1 - System und verfahren zur fahrzeugbewussten gestenerkennung in fahrzeugen mit smart-helmen

Info

Publication number: DE102020215630A1
Application number: DE102020215630.1A
Authority: DE
Inventors: Liu Ren; Shabnam Ghaffarzadegan; Zeng Dai; Benzun Pious Wisely BABU
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-12-23
Filing date: 2020-12-10
Publication date: 2021-06-24
Anticipated expiration: 2040-12-11
Also published as: US11500470B2; CN113080560A; JP2021098923A; US20210191518A1; DE102020215630B4

Abstract

Ein Helm beinhaltet einen Sendeempfänger, der ausgelegt ist zum Empfangen von Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren, eine inertiale Messeinheit (IMU Inertial Measurement Unit), die ausgelegt ist zum Sammeln von Helmbewegungsdaten des mit einem Fahrer des Fahrzeugs assoziierten Helms, und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren, Bestimmen einer Geste als Reaktion auf die Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und die Helmbewegungsdaten von der IMU, und Ausgeben, auf einem Display des Helms, einer Statusschnittstelle bezüglich des Fahrzeugs als Reaktion auf die Geste.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft intelligente Helme, wie etwa jene, die bei Motorrädern oder anderen Fahrzeugen einschließlich Geländemotorrädern, dreirädrigen Fahrzeugen oder vierrädrigen Fahrzeugen wie etwa einem Geländefahrzeug oder dergleichen eingesetzt werden.
HINTERGRUND
Smart-Helme können durch Fahrer zweirädriger Fahrzeuge genutzt werden, um Informationen bezüglich am Kopf angebrachter Dursichtdisplays bereitzustellen. Die Helme können eine ungehinderte Sicht der Umgebung bereitstellen, während Warnungen, Benachrichtigungen und Statusinformationen für den Benutzer oder Fahrer überlagert werden. Die Interaktion mit solchen Informationen kann für eine immersive Benutzererfahrung unentbehrlich sein. Gegenwärtige Helme ermöglichen eine Sprachinteraktion, die zum Navigieren und Auswählen der Displayelemente zu verwenden ist. Während der Fahrer mit hoher Geschwindigkeit fährt, kann eine Sprachinteraktion jedoch vergleichsweise langsam und beschränkt sein. In den meisten Fällen kann die Sprachinteraktion mit der Fahrergegensprechanlage gemultiplext sein, was der Funktionalität Beschränkungen auferlegt. Zusätzlich kann die Sprachinteraktion dem Fahrer im Vergleich zu anderen Interaktionsmodalitäten eine höhere kognitive Belastung auferlegen. Das Ergänzen der Sprachinteraktion mit zusätzlichen Interaktionsmodalitäten kann vorteilhaft sein.
KURZFASSUNG
Gemäß einer Ausführungsform beinhaltet ein Helm einen Sendeempfänger, der ausgelegt ist zum Empfangen von Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren, eine inertiale Messeinheit (IMU: Inertial Measurement Unit), die ausgelegt ist zum Sammeln von Bewegungsdaten des durch den Fahrer des Fahrzeugs getragenen Helms, und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren, Bestimmen einer Geste als Reaktion auf die Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und die Helmbewegungsdaten von der IMU, und Ausgeben, auf einem Display des Helms, einer Statusschnittstelle bezüglich des Fahrzeugs als Reaktion auf die Geste.
Gemäß einer zweiten Ausführungsform beinhaltet ein System, das einen Helm und ein Fahrzeug mit mindestens zwei Rädern beinhaltet, einen Helm-Sendeempfänger, der ausgelegt ist zum Empfangen von Fahrzeugdaten von einem oder mehreren sich an dem Fahrzeug befindlichen Sensoren, eine inertiale Helm-Messeinheit (Helm-IMU), die ausgelegt ist zum Sammeln von mit dem Helm assoziierten Helmbewegungsdaten, eine dem Fahrer zugewandte, sich an dem Fahrzeug befindliche Kamera, die ausgelegt ist zum Überwachen eines Fahrers des Fahrzeugs und Sammeln von Fahrerbilddaten, und einen Prozessor in dem Helm in Kommunikation mit dem Helm-Sendeempfänger und der Helm-IMU. Der Prozessor ist ferner programmiert zum Empfangen, über den Sendeempfänger, von Gestendaten von dem Helm-Sendeempfänger und Fahrzeugbewegungsdaten von einer Fahrzeug-IMU, Bestimmen einer Geste als Reaktion auf die Gestendaten und Kompensieren von dieser mit den Fahrzeugbewegungsdaten, und Ausgeben, auf einem Display eines Helms, einer Handlung als Reaktion auf die Geste.
Gemäß einer dritten Ausführungsform beinhaltet ein Helm einen Sendeempfänger, der ausgelegt ist zum Empfangen von Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren, eine inertiale Messeinheit (IMU), die ausgelegt ist zum Sammeln von Helmbewegungsdaten des mit einem Fahrer des Fahrzeugs assoziierten Helms, und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren, Bestimmen einer Geste als Reaktion auf die Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und die Helmbewegungsdaten von der IMU und Ausführen eines Befehls als Reaktion auf die Geste.
Figurenliste

1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm 101 und ein Motorrad 103 beinhaltet.
2 ist ein Beispiel eines Systemdesigns für einen Smart-Helm und ein Motorrad, das eine Gestenerkennung ermöglicht.
3 ist ein beispielhaftes Flussdiagramm eines Smart-Helms, der eine Gestenerkennung ermöglicht.

AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; manche Merkmale könnten übertrieben oder minimiert sein, um Einzelheiten spezieller Komponenten zu zeigen. Die hier offenbarten speziellen strukturellen und funktionalen Details sind daher nicht als beschränkend aufzufassen, sondern lediglich als eine repräsentative Basis, um einen Fachmann zu lehren, die Ausführungsformen verschiedentlich einzusetzen. Durchschnittsfachleute auf dem Gebiet werden verstehen, dass verschiedene unter Bezugnahme auf irgendeine der Figuren veranschaulichte und beschriebene Merkmale mit in einer oder mehreren anderen Figuren veranschaulichten Merkmalen kombiniert werden können, um Ausführungsformen zu produzieren, die nicht explizit veranschaulicht oder beschrieben sind. Die Kombinationen von veranschaulichten Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der mit den Lehren dieser Offenbarung konsistenten Merkmale könnten jedoch für spezielle Anwendungen oder Implementierungen erwünscht sein.
Diese Offenbarung nimmt Bezug auf Helme und Fahrzeuge mit Sattelsitz. Es sollte verstanden werden, dass sich ein „Fahrzeug mit Sattelsitz“ typischerweise auf ein Motorrad bezieht, aber einen beliebigen Typ von Kraftfahrzeug einschließen kann, bei dem der Fahrer typischerweise auf einem Sattel sitzt und bei dem typischerweise Helme getragen werden, da es keinen Fahrgastraum zum Schutz des Fahrers gibt. Außer einem Motorrad kann dies auch angetriebene zweirädrige (PTW: Powered Two-Wheeler) Fahrzeuge wie etwa Geländemotorräder, Motorroller und dergleichen beinhalten. Dies kann auch angetriebene dreirädrige oder vierrädrige Fahrzeuge wie etwa ein Geländefahrzeug (ATV: All-Terrain Vehicle) und dergleichen beinhalten. Jegliche Bezüge spezifisch auf ein Motorrad oder Bike können auch für ein beliebiges anderes Fahrzeug mit Sattelsitz gelten, insofern nicht anders angemerkt.
Ein System kann zum Erkennen von Kopfgesten auf einem zwei (oder mehr) rädrigen Fahrzeug für das Interagieren mit einem Smart-Helm-Display genutzt werden. Die detektierten Gesten können zum Steuern des Display-Layouts auf dem Smart-Helm verwendet werden. Übliche Kopfgesten wie etwa Nicken, Kippen, Hochschauen, Schwenken und Kopfneigung usw. können zum Interagieren mit dem Smart-Helm verwendet werden. Somit muss der Fahrer möglicherweise nicht seine Hände nutzen, die den Lenker halten können, um das System zu betreiben. Die Bewegungsmessungen vom Motorrad können verwendet werden, um die Bewegungsmessungen vom Kopf des Fahrers zu kompensieren, wodurch ermöglicht wird, bestehende Gestenerkennungsmodule zu verwenden.
Die folgende Offenbarung beschreibt ein System, das einem Fahrer ermöglicht, mit einem Smart-Helm basierend auf Kopfgesten zu interagieren. Das System verwendet Sensoren am Smart-Helm in Verbindung mit den Sensoren am Motorrad, um Gesten robust zu detektieren. Die detektierten Gesten werden zum Steuern des Display-Layouts auf dem Smart-Helm verwendet. Übliche Kopfgesten wie etwa Nicken, Kippen, Hochschauen, Schwenken und Kopfneigung werden zum Interagieren mit dem Smart-Helm verwendet. Diese Gesten können durchgeführt werden, während der Fahrer weiterhin die Straße aufmerksam betrachtet. Da diese Interaktionen natürlich sind, können sie während der Verwendung der Gegensprechanlage durchgeführt werden.
Eine Gestenerkennung kann unter Verwendung von Messungen entweder von visuellen Kameras oder inertialen Messeinheiten (IMU) durchgeführt werden, die an dem Helm angebracht sind. Eine IMU erzeugt eine Zeitreihenmessung der Linearbeschleunigung und Drehrate. Ein Ende-zu-Ende-Verfahren kann lernen, Gesten basierend auf Rohmessungen von der IMU zu erkennen. Um Gesten unter durch die Fahrzeugbewegung verursachten dynamischen Bedingungen robust zu erkennen, muss das System möglicherweise Gesten abtasten, während der Fahrer Fahrzeugbewegungen erlebt. Um eine robuste Kopfgestenerkennung durchzuführen, muss das System möglicherweise Gesten sammeln, während das Fahrzeug eine Bewegung erlebt, wie etwa Rucken eines Rades, Fahrzeugneigung usw.
Wie nachstehend offenbart, kann das System eine IMU am Motorrad zusätzlich zu den IMU-Messungen vom Helm nutzen, um eine robuste Gestenerkennung durchzuführen. Das System kann mit visuellen Kameramessungen unterstützt werden. Die basierend auf den IMU-Beobachtungen geschätzte Motorradbewegung wird zum Stabilisieren der IMU-Bewegung vom Helm verwendet. Dies kann ermöglichen, dass eine Gestenerkennung, die an stationären Fahrern trainiert wird, bei bewegten Bedingungen verwendet wird. Obwohl eine Ausführungsform möglicherweise keine visuellen Messungen von einer Kamera verwendet, kann der gleiche Ansatz erweitert werden, sodass zusätzliche Sensoren wie etwa Kameras verwendet werden.
1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm 101 und ein Motorrad 103 beinhaltet. Der Smart-Helm 101 und das Motorrad 103 können verschiedene miteinander interagierende Komponenten und Sensoren beinhalten. Der Smart-Helm 101 kann sich auf das Sammeln von Daten bezüglich der Körper- und Kopfbewegung eines Fahrers konzentrieren. In einem Beispiel kann der Smart-Helm 101 eine Kamera 102 beinhalten. Die Kamera 102 des Helms 101 kann einen Primärsensor beinhalten, der zur Positions- und Orientierungserkennung von sich bewegenden Fahrzeugen genutzt wird. Somit kann die Kamera 102 zur Außenseite des Helms 101 ausgerichtet sein, um andere Fahrzeuge und Objekte im Umfeld eines Fahrers zu verfolgen. Die Kamera 102 kann Schwierigkeiten haben, Dynamiken solcher Objekte und Fahrzeuge zu erfassen. In einem anderen Beispiel kann der Helm 101 zusätzlich zu oder anstelle der Kamera 102 mit Radar- oder LIDAR-Sensoren ausgestattet sein.
Der Helm 101 kann auch eine inertiale Helm-Messeinheit 104 (Helm-IMU) beinhalten. Die Helm-IMU 104 kann zum Verfolgen einer hochdynamischen Bewegung des Kopfes eines Fahrers genutzt werden. Somit kann die Helm-IMU 104 zum Verfolgen der Richtung, in die ein Fahrer schaut, oder der Fahrerblickrichtung genutzt werden. Zusätzlich kann die Helm-IMU 104 zum Verfolgen plötzlicher Bewegungen und anderer auftretender Bewegungen genutzt werden. Eine IMU kann einen oder mehrere Bewegungssensoren beinhalten.
Eine inertiale Messeinheit (IMU) kann eine spezifische Kraft des Körpers, eine Winkelrate und manchmal das Erdmagnetfeld unter Verwendung einer Kombination von Beschleunigungsmessern und Gyroskopen, manchmal auch Magnetometern, messen und melden. IMUs werden typischerweise zum Manövrieren eines Flugzeugs, einschließlich unter anderem unbemannten Luftfahrzeugen (UAVs), und eines Raumfahrzeugs, einschließlich Satelliten und Landefahrzeugen, verwendet. Die IMU kann als eine Komponente von inertialen Navigationssystemen genutzt werden, die in verschiedenen Fahrzeugsystemen verwendet werden. Die von den Sensoren der IMU gesammelten Daten können einem Computer ermöglichen, eine Motorposition zu verfolgen.
Eine IMU kann durch das Detektieren der aktuellen Beschleunigungsrate unter Verwendung einer oder mehrerer Achsen funktionieren und Änderungen von Drehattributen wie Nicken, Rollen und Gieren unter Verwendung einer oder mehrerer Achsen detektieren. Typischerweise beinhaltet eine IMU auch ein Magnetometer, das zur Unterstützung der Kalibration gegenüber Orientierungsdrift durch Verwenden der Messungen des Erdmagnetfeldes verwendet werden kann. Inertiale Navigationssysteme enthalten IMUs, die Winkel- und Linear-Beschleunigungsmesser (für Positionsänderungen) aufweisen; manche IMUs beinhalten ein Gyroskoppelement (zum Beibehalten einer absoluten Winkelreferenz). Winkelratenmesser messen, wie sich ein Fahrzeug im Raum drehen kann. Es kann mindestens einen Sensor für jede der drei Achsen geben: Nicken (Nase auf und ab), Gieren (Nase links und rechts) und Rollen (im Uhrzeigersinn oder gegen den Uhrzeigersinn vom Cockpit). Linear-Beschleunigungsmesser können nicht-gravitative Beschleunigungen des Fahrzeugs messen. Da er sich in drei Achsen bewegen kann (auf & ab, links & rechts, vorwärts & rückwärts), kann es einen Linear-Beschleunigungsmesser für jede Achse geben. Die drei Gyroskope sind üblicherweise in einem ähnlichen orthogonalen Muster angeordnet und messen die Rotationsposition in Bezug auf ein beliebig gewähltes Koordinatensystem. Ein Computer kann die aktuelle Position des Fahrzeugs kontinuierlich berechnen. Für jeden der sechs Freiheitsgrade (x, y, z und Ox, Oy und Oz) kann er die erfasste Beschleunigung, zusammen mit einer Schätzung der Schwerkraft, nach der Zeit integrieren, um die aktuelle Geschwindigkeit zu berechnen. Er kann auch die Geschwindigkeit integrieren, um die aktuelle Position zu berechnen. Manche der durch eine IMU bereitgestellten Messungen sind nachstehend aufgelistet: ${\hat{a}}_{B} = R_{B W} (a_{w} - g_{w}) + b_{a} + η_{a}$
${\hat{ω}}_{B} = ω_{B} + b_{g} + η_{g}$
(â_B, (ω̂_B) sind die Rohmessungen von der IMU im Körperrahmen der IMU. a_w, ω_B sind die erwartete korrekte Beschleunigung und die Gyroskopratenmessungen. b_a, b_g sind die Bias-Offsets im Beschleunigungsmesser und im Gyroskop. η_a, η_g, sind das Rauschen im Beschleunigungsmesser und im Gyroskop.
Der Helm 101 kann auch einen Augen-Tracker 106 beinhalten. Der Augen-Tracker 106 kann zum Bestimmen einer Richtung, in die ein Fahrer des Motorrads 103 schaut, genutzt werden. Der Augen-Tracker 106 kann auch zum Identifizieren von Schläfrigkeit und Müdigkeit eines Fahrers des PTW genutzt werden. Der Augen-Tracker 106 kann verschiedene Teile des Auges identifizieren (z. B. Netzhaut, Hornhaut usw.), um zu bestimmen, wohin ein Benutzer blickt. Der Augen-Tracker 106 kann eine Kamera oder einen anderen Sensor beinhalten, um die Verfolgung der Augenbewegung eines Fahrers zu unterstützen.
Der Helm 101 kann auch einen Helm-Prozessor 108 beinhalten. Der Helm-Prozessor 107 kann zur Sensorfusion von Daten genutzt werden, die durch die verschiedenen Kameras und Sensoren sowohl des Motorrads 103 als auch des Helms 101 gesammelt werden. In einer anderen Ausführungsform kann der Helm einen oder mehrere Sendeempfänger beinhalten, die zur Kurzstreckenkommunikation und Langstreckenkommunikation genutzt werden. Die Kurzstreckenkommunikation des Helms kann eine Kommunikation mit dem Motorrad 103 oder anderen nahegelegenen Fahrzeugen und Objekten beinhalten. In einer anderen Ausführungsform kann die Langstreckenkommunikation eine Kommunikation mit einem bordexternen Server, dem Internet, der „Cloud“, eine Zellularkommunikation usw. beinhalten. Der Helm 101 und das Motorrad 103 können unter Verwendung von Drahtlosprotokollen miteinander kommunizieren, die durch einen Sendeempfänger implementiert werden, der sich sowohl an dem Helm 101 als auch dem Motorrad 103 befindet. Solche Protokolle können Bluetooth, WiFi usw. beinhalten. Der Helm 101 kann auch ein Heads-Up-Display (HUD) beinhalten, das zum Ausgeben grafischer Bilder auf einem Visier des Helms 101 genutzt wird.
Das Motorrad 103 kann eine vorwärts gerichtete Kamera 105 beinhalten. Die vorwärts gerichtete Kamera 105 kann sich an einem Scheinwerfer oder einem anderen ähnlichen Bereich des Motorrads 103 befinden. Die vorwärts gerichtete Kamera 105 kann zur Unterstützung der Identifizierung, wohin sich das PTW bewegt, genutzt werden. Ferner kann die vorwärts gerichtete Kamera 105 verschiedene sich vor dem Motorrad 103 befindliche Objekte oder Fahrzeuge identifizieren. Die vorwärts gerichtete Kamera 105 kann somit verschiedene Sicherheitssysteme unterstützen, wie etwa eine intelligente Geschwindigkeitsregelung oder Kollisionsdetektionssysteme.
Das Motorrad 103 kann eine Motorrad-IMU 107 beinhalten. Die Motorrad-IMU 107 kann an einem Scheinwerfer oder einem anderen ähnlichen Bereich des PTW angebracht sein. Die Motorrad-IMU 107 kann inertiale Daten sammeln, die zum Verständnis der Bewegung des Motorrads genutzt werden können. Gleichermaßen kann die Motorrad-IMU 107 einen Mehrachsen-Beschleunigungsmesser aufweisen, typischerweise in drei orthogonalen Achsen. Gleichermaßen kann die Motorrad-IMU 107 auch mehrere Gyroskope beinhalten.
Das Motorrad 103 kann eine Fahrerkamera 109 beinhalten. Die Fahrerkamera 109 kann zum Verfolgen eines Fahrers des Motorrads 103 genutzt werden. Die Fahrerkamera 109 kann an verschiedenen Orten entlang des Lenkers des Motorrads oder an anderen Orten montiert sein, sodass sie zum Fahrer ausgerichtet ist. Die Fahrerkamera 109 kann zum Erfassen von Bildern oder Video des Fahrers genutzt werden, die im Gegenzug für verschiedene Berechnungen genutzt werden, wie etwa das Identifizieren verschiedener Körperteile oder der Bewegung des Fahrers. Die Fahrerkamera 109 kann auch zum Fokussieren auf die Augen des Fahrers genutzt werden. Demnach kann eine Augenblickrichtungsbewegung bestimmt werden, um herauszufinden, wohin der Fahrer schaut.
Das Motorrad 103 kann eine elektronische Steuereinheit 111 beinhalten. Die ECU 111 kann zum Verarbeiten von durch Sensoren an dem Motorrad gesammelten Daten sowie von durch Sensoren an dem Helm gesammelten Daten genutzt werden. Die ECU 111 kann die von den verschiedenen IMUs und Kameras empfangenen Daten nutzen, um verschiedene Positionen zu verarbeiten und zu berechnen oder eine Objekterkennung durchzuführen. Die ECU 111 kann mit der Fahrerkamera 109 sowie der vorwärts gerichteten Kamera 105 in Kommunikation stehen. Beispielsweise können die Daten von den IMUs in die ECU 111 eingespeist werden, um eine Position bezüglich eines Referenzpunkts sowie eine Orientierung zu identifizieren. Wenn Bilddaten mit solchen Berechnungen kombiniert werden, kann die Bewegung des Motorrads genutzt werden, um die Richtung zu identifizieren, in die ein Fahrer blickt oder auf die er sich konzentriert. Die Bilddaten von sowohl der vorwärts gerichteten Kamera am Motorrad als auch der Kamera am Helm werden verglichen, um die relative Orientierung zwischen dem Motorrad und dem Kopf des Fahrers zu bestimmen. Der Bildvergleich kann basierend auf weniger zahlreichen Merkmalen, die von beiden Kameras (z. B. Fahrerkamera 109 und vorwärts gerichteten Kamera 105) extrahiert werden, durchgeführt werden. Das Motorrad 103 kann eine Motorrad-Zentralverarbeitungseinheit 113 beinhalten, um die ECU zu unterstützen. Das System kann somit die Aufmerksamkeit, Haltung, Position, Orientierung, Kontakte (z. B. Griff am Lenker) des Fahrers, Fahrerrutschgrad (z. B. Kontakt zwischen Fahrer und Sitz), Fahrer-zu-Fahrzeug-Beziehung und Fahrer-zu-Welt-Beziehung kontinuierlich überwachen.
2 veranschaulicht ein Blockdiagramm eines Systems zur Gestenerkennung an einem Smart-Helm. Um die Robustheit des Gestenerkennungssystems zu verbessern und die Fahrzeugbewegung zu kompensieren, kann das System die Messungen von der Motorrad-IMU 203 verwenden. Die Messungen von der am Motorrad angebrachten Motorrad-IMU 203 $(z \neg B (t B))$
(z. B. Fahrbewegung des Motorrads zu einem speziellen Zeitpunkt) und der am Helm angebrachten IMU (zH(tR)) (z. B. Fahrbewegung des Helms zu einem speziellen Zeitpunkt) werden jedoch zu unterschiedlichen Zeitinstanzen an Vorrichtungen mit unterschiedlichen Taktdomänen erfasst. Daher werden in dem Synchronisationsblock von dem Helm und dem Motorrad empfangene Zeitstempeldaten verglichen, um eine Taktdomänensynchronisation durchzuführen. Unter Verwendung des Ergebnisses der Synchronisation können die IMU-Messungen vom Motorrad (z. B. Motorrad-IMU) zu der Helm-Taktdomäne zeitverschoben werden. Die Ausgabe des Synchronisationsblocks kann zeitreihensynchronisierte Bewegungsdaten (IMU-Messungen) von dem Helm und dem Motorrad sein. $f : {z B (t B), t \neg H} - > z B (t H)$
Der Synchronisationsblock 205 kann Software beinhalten, die zum Synchronisieren aller gesammelten Daten genutzt wird, um die Identifizierung der Geste zu unterstützen, einschließlich Bilddaten sowie anderer Sensordaten. Der Synchronisationsblock 205 kann nicht nur die Bewegungsdaten von der Helm-IMU 201 und der Motorrad-IMU 203 sammeln, sondern kann auch Bilddaten nutzen, die von sich an dem Motorrad oder an dem Helm befindlichen Kameras gesammelt werden. Somit können die Kameradaten (z. B. Bilddaten) auch bei der Unterstützung der Identifizierung, ob eine Geste vorgenommen wird, genutzt werden. Beispielsweise kann die Kamera eine stationäre Position für den Fahrer während normaler Fahrperioden überwachen, kann jedoch einen Detektionsmechanismus enthalten, um zu erkennen, wann sich der Helm des Fahrers auf eine gewisse Weise nach oben oder unten bewegt.
Die gemessenen Beschleunigungen und Drehraten von der IMU am Helm (z. B. Helm-IMU 201) müssen möglicherweise durch das Entfernen des Effekts der Fahrzeugbewegung kompensiert werden. Beispielsweise muss das System möglicherweise die Fahrumgebung verstehen, um zu verstehen, wann der Benutzer eine Geste bereitstellt, und die Geste von einer Kopfbewegung unterscheiden, die als Reaktion auf Fahrbahnunebenheiten oder anderen natürlichen Fahrvorkommnissen aufgetreten ist. Das System kann den Effekt der Fahrzeugbewegung unter Verwendung der zeitsynchronisierten Messungen vom Motorrad (z. B. Motorrad-IMU, Motorrad-Kamera 203 usw.) entfernen. Der zeitsynchronisierte Block kann Daten von dem Helm und dem Motorrad zu spezifischen Zeiten vergleichen, um festzustellen, ob es eine Korrelation, verursacht durch die Fahrzeugumgebung, gegenüber einer Geste gibt. Eine relative Starrkörpertransformation zwischen dem Fahrzeug und der Helm-IMU (THB(l)) wird zum Transformieren der Messungen von der Motorrad-IMU in den Koordinatenrahmen der Helm-IMU verwendet. Der transformierte Wert kann subtrahiert werden, um die kompensierten Helmmessungen (zc(l)) zu schätzen. Die Starrkörpertransformation ist zeitabhängig und muss kontinuierlich geschätzt werden. Ein nichtlineares Filter kann genutzt werden, um den Fehler zwischen einer vorhergesagten Stellung des Helms und der beobachteten Stellung durch das Integrieren von Helm-IMU-Messungen zu minimieren. Die vorhergesagte Stellung des Helms wird unter Verwendung eines bzw. basierend auf einem menschlichen Skelettmodell abgeleitet. Das Ergebnis des nichtlinearen Filters ist die relative Transformation THB(1). $z c (t H) = z H (t H) ⊖ T H B (t H) z B (t H)$
Ein Gestenerkenner 209 kann Software zur Gestenerkennung beinhalten. Die Gestenerkennung kann durch Vergleichen der aktuellen kompensierten Helm-IMU-Messsequenz über ein Fenster $w, z \neg \neg c (t H - w : t H + w)$
mit einer Datenbank von Helm-IMU-Bewegungssequenzen für jede Geste durchgeführt werden. Das Fenster kann ein Zeitraum zum Vergleichen von Datenpunkten verschiedener Zeiten über eine festgelegte Zeitdauer sein. Verschiedene Gesten, wie etwa Nicken, Schwenken, Hochschauen, Neigen, Kippen, stationäre Gesten, können in einer statischen Umgebung vortrainiert werden. Somit kann das System eine Option zum Aktivieren eines Lernmodus beinhalten, der einen Benutzer auffordert, solche Gesten (das Nicken, Schwenken, Hochschauen, Neigen, Kippen, stationäre Gesten) nachzuahmen, um die IMU-Daten als eine Basislinie aufzuzeichnen, wenn sich das Motorrad in der statischen Umgebung befindet. Jede Geste kann unter Verwendung einer anderen internen Repräsentation codiert werden. Somit kann jede der Gesten eine assoziierte IMU-Messung über einen Zeitraum aufweisen, um mit dieser Geste assoziiert zu werden. Der Gestenerkenner kann eine Wahrscheinlichkeit für jede Klasse von Geste während der Laufzeit bereitstellen. Es können Bayessches Lernen, Deep Learning oder andere Lernansätze verwendet werden, um ein Erkennungsmodell für erlernte Gesten zu erzeugen. Inferenzen können an diesem Modell vorgenommen werden, um die Geste als assoziierte Wahrscheinlichkeiten zu detektieren und zu identifizieren. Die Klasse mit der höchsten Wahrscheinlichkeit wird als die Ausgabe ausgewählt. Die Ausgabe kann eine Handlung anordnen, die mit jeder Geste assoziiert ist. Beispielsweise kann eine Linksneigung oder Rechtsneigung mit dem Aktivieren eines Blinkers assoziiert sein. Der Helm kann solche Daten drahtlos zu dem Motorrad senden, um das Motorrad aufzufordern, den Befehl zu initiieren. Ein Filter basierend auf der Historie der Detektorausgaben wird verwendet, um Rauschen zu reduzieren und Ausreißerdetektionen durchzuführen.
Der Ereignismanager 211 kann die Ausgabe vom Gestenerkennungsblock des Fahrers mit den Informationen von der Motorrad-ECU 213 synchronisieren. Die Motorrad-ECU 213 kann genutzt werden, um Nachrichten von den unterschiedlichen Teilen des Motorrads anzusammeln, sowie Daten und andere Informationen von anderen Sensoren am Motorrad zu sammeln. Der Ereignismanager kann Auslösenachrichten für Benachrichtigungen, Warnungen und Fahrzeuginformationen enthalten, die für den Fahrer angezeigt oder unter Verwendung einer Audiotonausgabe bereitgestellt werden. Der Ereignismanager 211 kann eine Finite-State-Maschine verwenden, deren Übergänge durch die Auslösenachricht von der ECU und die erkannten Gesten bestimmt werden. Somit kann eine andere Geste basierend auf den Nachrichten, die von dem Ereignismanager von dem Motorrad, dem Helm oder einem fahrzeugexternen Server abgerufen werden, getaktet werden. Somit kann eine Geste eines Nickens vom Helm unterschiedliche Ausgabebefehle einschließen, wenn eine Warnung für niedrigen Kraftstoff vorhanden ist, gegenüber der Situation, wenn das Motorrad eine Geschwindigkeitsregelung nutzt. Falls der Fahrer die Gegensprechanlage nutzt, können gleichermaßen Gestenoperationen zum Steuern der Gegensprechanlage verwendet werden, die in anderen Bedingungen zum Abspielen von Audio/Musik verwendet werden könnten.
Der Ereignismanager 211 kann die Display-Steuerung 215 ansteuern oder betreiben. Die Display-Steuerung 215 kann Informationen über das Layout für unterschiedliche Informationen enthalten. Beispielsweise kann die Display-Steuerung 215 entscheiden, welche Statusinformationen auf dem Helm-Display gezeigt werden, und auch die Art und Weise, mit der sie bereitgestellt werden müssen. Ferner kann die Display-Steuerung 215 auch die Elemente einer grafischen Benutzeroberfläche (GUI) und die auf dem Smart-Helm-Display angezeigten Animationen speichern. Die Steuerungs- und Navigations-GUI-Elemente können basierend auf den Eingaben von dem Gestenerkenner geändert werden. Beispielsweise kann ein Nicken nach links oder rechts unter Verwendung des Smart-Helms beispielsweise den Navigationsdisplaybildschirm ändern, der auf dem Smart-Helm angezeigt wird, oder kann einen Modus von Audiomodus auf Navigationsmodus ändern. Die Display-Steuerung 215 kann auch ein Profil von Layouts für unterschiedliche Fahrszenarien enthalten, die unter Verwendung von Gesten geändert werden können. Beispielsweise können die Layouts Schnittstellen für Audiobildschirme, Freisprechkommunikation, Fahrzeuginformationen (z. B. Geschwindigkeit, Motordrehzahl, Reifendruck, Temperatur, Kraftstoffeffizienz, Kraftstoffverbrauch, Kraftstoffpegel usw.), Navigationsinformationen usw. beinhalten.
Das Smart-Helm-Display 217 kann zum Ausgeben von Objekten auf einem HUD genutzt werden. Der Helm unter anderem eine nach vorne zeigende Kamera, eine nach hinten zeigende Kamera, einen Beschleunigungsmesser, einen unbeständigen Speicher, einen beständigen Speicher, eine Leistungsquelle, einen Datenverbinder, ein HUD, ein globales Positionierungssystem (GPS), einen Prozessor, einen Netzwerk-Sendeempfänger, einen Bluetooth-Sendeempfänger und dergleichen beinhalten. In der Ausführungsform kooperieren die elektronischen Komponenten, um eine Vielfalt von Aufgaben durchzuführen, einschließlich unter anderem Anzeigen von Fahrzeuginstrumentierungsinformationen, automatisches Durchführen von Notfallprozeduren (z. B. Anrufen eines EMS), Präsentieren einer Vorkollisionswarnung, Aufzeichnen von Sensorinformationen (z. B. IMU-Daten) usw. Das Smart-Display 217 kann ein HUD beinhalten, das ein transparentes Display sein kann, das Daten präsentieren kann, ohne dass der Fahrer von einem ausgewählten Blickpunkt wegschauen muss. Das Smart-Display 217 kann innerhalb eines Visiers präsentiert werden (z. B. eingebettetes Display), innerhalb eines Displays nahe dem Helm präsentiert werden und dergleichen. Die Technologie des Displays 217 kann ein Flüssigkristalldisplay (LCD), Flüssigkristall auf Silizium (LCoS: Liquid Crystal on Silicon), digitale Mikro-Spiegel (DMD: Digital Micro-Mirrors), eine organische Leuchtdiode (OLED), einen optischen Wellenleiter, einen Scanning-Laser und dergleichen beinhalten. Das Display 217 kann relevante Informationen in Echtzeit oder fast Echtzeit präsentieren.
3 ist ein beispielhaftes Flussdiagramm eines Smart-Helms, der eine Gestenerkennung ermöglicht. Bei Schritt 301 kann das System sowohl die Helmdaten als auch die Motorraddaten sammeln. Solche Daten können IMU- und Bilddaten vom Helm sowie von dem Motorrad oder einem angetriebenen zweirädrigen Fahrzeug beinhalten. Das System kann die Daten ansammeln, um die Daten später zur Bestimmung zu nutzen, ob eine Geste durch den Benutzer für einen Befehl ausgeführt wurde, oder zur Bestimmung, wie die Bewegung des Motorrads zu kompensieren ist, um eine Geste zu identifizieren. Somit will das System das Identifizieren einer Geste während eine unbeabsichtigten Gegebenheit vermeiden, wenn die Straßenbedingungen oder die Bewegung des Motorrads ein Rucken oder andere plötzliche Bewegung des Helms verursachen. Wie erläutert, können die durch die Motorrad-IMU gesammelten Motorradbewegungsdaten und/oder die Bilddaten genutzt werden, um die Bewegung des Motorrads zu kompensieren.
Bei Schritt 303 kann das System die Helmdaten und Motorraddaten analysieren, die von den verschiedenen Sensoren, Kameras und anderen Komponenten gesammelt werden. Das System kann die Daten entweder offline an einem Fernserver (z. B. der Cloud), an dem Helm über den Prozessor des Helms oder an dem Motorrad über den Prozessor des Motorrads analysieren. Daraus kann das System Bewegungsdaten sowohl des Helms als auch des Motorrads sammeln, um zu bestimmen, ob der Benutzer absichtlich versucht, eine Geste zum Aktivieren eines Befehls oder einer Handlung zu erzeugen. Die Analyse kann eine Kompensation der Fahrzeugbewegung beinhalten, wie oben mit Bezug auf 2 besprochen.
Bei Schritt 305 kann das System bestimmen, ob die Geste erkannt wurde. Somit kann die Bewegung mit einer Basisliniengestenmessung übereinstimmen oder fast mit dieser übereinstimmen oder eine Bewegungsschwelle überschreiten, um als eine Geste identifiziert zu werden. Das System kann Basislinienmessungen für jede Geste basierend auf der Helm-IMU beinhalten. Das System kann auch Kameradaten von einem Motorrad oder am Helm nutzen, um die Identifizierung der Geste unter Verwendung von Bildern, die mit der Geste verglichen werden können, zu unterstützen. Ferner kann es eine jegliche Bewegung vom Motorrad, wie durch die IMU aufgezeigt, kompensieren.
Bei Schritt 307 kann das System die Geste und einen assoziierten Befehl in Bezug auf die Geste identifizieren. Das System kann eine Nachschlagetabelle aufweisen, die jeden assoziierten Befehl als in Beziehung zu jeder Geste stehend speichert. Beispielsweise kann eine Kopfneigung nach rechts einen rechten Blinker aktivieren, und eine Kopfneigung nach links kann einen linken Blinker aktivieren. Die Nachschlagetabelle kann Informationen darüber beinhalten, welcher Befehl zu welcher Steuerung gesendet werden muss. Ferner kann die Nachschlagetabelle auch unterschiedliche Befehle für unterschiedliche Gesten basierend auf der Display-Schnittstelle des Smart-Displays abbilden. Beispielsweise kann ein Kopfnicken während eines Audiomodus den Track ändern, aber ein Kopfnicken während eines Freisprechtelefongesprächs kann eine Anruflautstärke ändern.
Bei Schritt 309 kann das System dann den mit der Geste assoziierten Befehl ausgeben. Die Befehle beinhalten Veranlassen, dass ein Prozessor Befehle bezüglich der Geste ausführt, gefolgt von dem Anzeigen jeglicher relevanter Informationen auf dem Display des Smart-Helms. Die Befehle können mit Merkmalen am Fahrzeughelm oder am Motorrad selbst in Beziehung stehen. Ferner können die Befehle erfordern, dass drahtlose Daten oder andere Informationen zwischen dem Helm, dem Motorrad, den fahrzeugexternen Servern, anderen Motorrädern usw. ausgetauscht werden. Informationen können auch auf einem Kombi-Instrument des Motorrads angezeigt werden, um das Ausführen des Befehls zu identifizieren oder einen Status zu aktualisieren.
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können lieferbar sein an/implementiert werden durch eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer, welche bzw. welcher eine beliebige existierende programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit beinhalten kann. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und durch eine Steuerung oder einen Computer ausführbare Anweisungen in vielen Formen gespeichert werden, unter anderem einschließlich Informationen, die auf nichtbeschreibbaren Speichermedien, wie etwa ROM-Vorrichtungen, permanent gespeichert sind, und Informationen, die auf beschreibbaren Speichermedien, wie etwa Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien, änderbar gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen in Gänze oder teilweise unter Verwendung geeigneter Hardwarekomponenten umgesetzt werden, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten.
Obgleich oben beispielhafte Ausführungsformen beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen durch die Ansprüche eingeschlossenen Formen beschreiben. Die in der Beschreibung verwendeten Ausdrücke sind eher Ausdrücke der Beschreibung statt der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben wurde, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung auszubilden, die möglicherweise nicht explizit beschrieben oder veranschaulicht wurden. Obgleich verschiedene Ausführungsformen als Vorteile ergebend oder gegenüber anderen Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehrerer erwünschter Charakteristika bevorzugt beschrieben worden sein können, erkennen Durchschnittsfachleute auf dem Gebiet, dass ein oder mehrere Merkmale oder Charakteristika beeinträchtigt werden können, um erwünschte Gesamtsystemattribute zu erzielen, die von der speziellen Anwendung und Implementierung abhängen. Diese Attribute können unter anderem Kosten, Stärke, Haltbarkeit, Lebenszykluskosten, Vermarktungsfähigkeit, Erscheinungsbild, Aufmachung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. beinhalten. Von daher liegen jegliche in dem Maße als weniger wünschenswert als andere Ausführungsformen oder Implementierungen im Stand der Technik bezüglich eines oder mehreren Charakteristiken beschriebene Ausführungsformen nicht außerhalb des Schutzumfangs der Offenbarung und können für gewisse Anwendungen wünschenswert sein.

Claims

Helm, der Folgendes umfasst: einen Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen; eine inertiale Messeinheit (IMU), die dazu ausgelegt ist, Bewegungsdaten des mit einem Fahrer des Fahrzeugs assoziierten Helms zu sammeln; und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum: Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren, Bestimmen einer Geste als Reaktion auf die Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und die Helmbewegungsdaten von der IMU; und Ausgeben, auf einem Display des Helms, einer Statusschnittstelle bezüglich des Fahrzeugs als Reaktion auf die Geste.
Helm nach Anspruch 1, wobei sowohl die Fahrzeugdaten als auch die Helmbewegungsdaten Zeitstempel beinhalten, die identifizieren, wann die Fahrzeugdaten oder die Helmbewegungsdaten gesammelt wurden.
Helm nach Anspruch 1, wobei der Helm ferner eine Augenverfolgungseinheit beinhaltet, die dazu ausgelegt ist, Augenverfolgungsdaten des Fahrers des Fahrzeugs zu sammeln.
Helm nach Anspruch 1, wobei der Prozessor ferner programmiert ist, die Helmbewegungsdaten unter Verwendung zumindest der Fahrzeugdaten zu kompensieren.
Helm nach Anspruch 5, wobei der Prozessor ferner programmiert ist, unter Verwendung der Zeitstempel von den Fahrzeugdaten und den Helmbewegungsdaten zu kompensieren.
Helm nach Anspruch 1, wobei der Prozessor ferner ausgelegt ist, die Geste als Reaktion auf ein Nicken, Schwenken, Hochschauen, Neigen oder Kippen zu bestimmen.
Helm nach Anspruch 1, wobei der Helm ein Heads-Up-Display beinhaltet, das dazu ausgelegt ist, grafische Bilder auf einem Visier des Helms auszugeben.
Helm nach Anspruch 1, wobei das Fahrzeug ein Motorrad oder eine motorisierte Zweiradeinheit ist.
System, das einen Helm und ein Fahrzeug mit mindestens zwei Rädern beinhaltet, und Folgendes umfasst: einen Helm-Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an dem Fahrzeug befindlichen Sensoren zu empfangen; eine inertiale Helm-Messeinheit (Helm-IMU), die dazu ausgelegt ist, mit dem Helm assoziierte Helmbewegungsdaten zu sammeln; eine dem Fahrer zugewandte, sich an dem Fahrzeug befindliche Kamera, die dazu ausgelegt ist, einen Fahrer des Fahrzeugs zu überwachen und Fahrerbilddaten zu sammeln; und einen Prozessor im Helm in Kommunikation mit dem Helm-Sendeempfänger und der Helm-IMU, der programmiert ist zum: Empfangen, über den Sendeempfänger, von Gestendaten von dem Helm-Sendeempfänger und von Fahrzeugbewegungsdaten von einer Fahrzeug-IMU; Bestimmen einer Geste als Reaktion auf die Gestendaten und Kompensieren der Helmbewegungsdaten mit den Fahrzeugdaten; und Ausgeben, auf einem Display eines Helms, einer Handlung als Reaktion auf die Geste.
System nach Anspruch 9, wobei der Prozessor im Helm ferner programmiert ist, einen Lernmodus zu aktivieren, um eine oder mehrere Gesten in einer statischen Fahrzeugumgebung zu identifizieren, wenn sich das Fahrzeug nicht im Betrieb befindet.
System nach Anspruch 11, wobei das Display des Helms ein Heads-Up-Display beinhaltet, das dazu ausgelegt ist, grafische Bilder auf einem Visier des Helms auszugeben.
System nach Anspruch 11, wobei das Fahrzeug ein Motorrad oder eine motorisierte Zweiradeinheit ist.
System nach Anspruch 11, wobei der Prozessor ferner ausgelegt ist, die Geste unter Verwendung zumindest der Fahrerbilddaten zu bestimmen.
System nach Anspruch 11, wobei die Fahrzeugdaten Fahrzeugbewegungsdaten beinhalten, die von einer inertialen Fahrzeug-Messeinheit gesammelt werden.
Helm, der Folgendes umfasst: einen Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen; eine inertiale Messeinheit (IMU), die dazu ausgelegt ist, Helmbewegungsdaten des mit einem Fahrer des Fahrzeugs assoziierten Helms zu sammeln; und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum: Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren; und Bestimmen einer Geste als Reaktion auf die Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und die Helmbewegungsdaten von der IMU; und Ausführen eines Befehls als Reaktion auf die Geste.
Helm nach Anspruch 16, wobei der Prozessor ferner programmiert ist, einen Status des Fahrzeugs auf einem Display des Helms als Reaktion auf die Geste auszugeben.
Helm nach Anspruch 16, wobei das Motorrad eine dem Fahrer zugewandte Kamera beinhaltet, die dazu ausgelegt ist, Bilddaten in der Nähe des Fahrers zu sammeln.
Helm nach Anspruch 16, wobei der Prozessor ferner programmiert ist, den Befehl auszuführen, um eine Funktion am Fahrzeug zu aktivieren.
Helm nach Anspruch 17, wobei der Prozessor ferner programmiert ist, den Befehl über den Sendeempfänger zu dem Fahrzeug zu senden.
Helm nach Anspruch 17, wobei der Prozessor ferner programmiert ist, einen Lernmodus zu aktivieren, um eine oder mehrere Gesten in einer statischen Fahrzeugumgebung zu identifizieren, wenn sich das Fahrzeug nicht im Betrieb befindet.