DE102020213102A1

DE102020213102A1 - Einrichtung und system bezüglich eines intelligenten helms

Info

Publication number: DE102020213102A1
Application number: DE102020213102.3A
Authority: DE
Inventors: Liu Ren; Benzun Pious Wisely Babu; Mao Ye
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-11-01
Filing date: 2020-10-16
Publication date: 2021-05-06
Also published as: US20210133447A1; US11605222B2; CN112773034A; JP2021070907A

Abstract

Ein Helm beinhaltet einen Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen. Der Helm beinhaltet auch eine inertiale Bewegungseinheit (IMU), die dazu ausgelegt ist, Helmbewegungsdaten eines Fahrers des Fahrzeugs zu sammeln, und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist, über den Sendeempfänger Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren zu empfangen und einen Fahreraufmerksamkeitszustand unter Verwendung der Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Helmbewegungsdaten von der IMU zu bestimmen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft intelligente Helme, wie etwa jene, die bei Motorrädern oder anderen Fahrzeugen einschließlich Geländemotorrädern, dreirädrigen Fahrzeugen oder vierrädrigen Fahrzeugen wie etwa einem Geländefahrzeug oder dergleichen eingesetzt werden.
HINTERGRUND
Die kontinuierliche Überwachung eines Motorradfahrers kann aufgrund von Ressourcenbeschränkungen und Einschränkungen bei motorisierten Zweirädern (PTW: Powered Two-Wheelers) schwierig sein. Im Gegensatz zu Kraftfahrzeugsicherheitssystemen können Motorräder Technologien aufweisen, die aufgrund verschiedener Beschränkungen bei PTW infolge des Unterschieds in der Umgebung und des Designs nicht transferierbar sind.
Motorräder können ARAS (Advanced Rider Assistance System - fortgeschrittenes Fahrerassistenzsystem) zur Unterstützung verschiedener Funktionen beinhalten, wie etwa adaptive Geschwindigkeitsregelung, Totwinkeldetektion usw. ARAS-Systeme können hauptsächlich zum Erzeugen von Daten durch das Fahrzeug genutzt werden. Die Systeme können Warnindikatoren bereitstellen, um die Sicherheit für einen Fahrer eines PTW zu ermöglichen.
KURZFASSUNG
Gemäß einer Ausführungsform beinhaltet ein Helm einen Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen. Der Helm beinhaltet auch eine inertiale Messeinheit (IMU), die dazu ausgelegt ist, Helmbewegungsdaten eines Fahrers des Fahrzeugs zu sammeln, und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU. Der Prozessor ist ferner programmiert, über den Sendeempfänger Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren zu empfangen und einen Fahreraufmerksamkeitszustand unter Verwendung der Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Helmbewegungsdaten von der IMU zu bestimmen.
Gemäß einer zweiten Ausführungsform beinhaltet ein System einen Helm und ein Fahrzeug mit mindestens zwei Rädern. Das System beinhaltet einen Helm-Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen, eine inertiale Helm-Messeinheit (Helm-IMU), die dazu ausgelegt ist, Helmbewegungsdaten eines Fahrers des Fahrzeugs zu sammeln. Das Motorrad beinhaltet auch eine dem Fahrer zugewandte, sich an dem Fahrzeug befindliche Kamera, die dazu ausgelegt ist, den Fahrer des Fahrzeugs zu überwachen und Fahrerbilddaten zu sammeln. Das System beinhaltet auch einen Prozessor im Helm, der mit dem Helm-Sendeempfänger und der Helm-IMU in Kommunikation steht. Der Prozessor ist programmiert, über den Helm-Sendeempfänger Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren zu empfangen und einen Fahreraufmerksamkeitszustand unter Verwendung der Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Helmbewegungsdaten von der IMU zu bestimmen.
Gemäß einer dritten Ausführungsform beinhaltet ein Motorrad einen Sendeempfänger, der dazu ausgelegt ist, Motorraddaten von einem oder mehreren sich an dem Motorrad befindlichen Sensoren zu einem Helm zu senden und Helmdaten von dem Motorrad zu empfangen. Das Motorrad beinhaltet auch eine inertiale Fahrzeug-Messeinheit (Fahrzeug-IMU), die dazu ausgelegt ist, Fahrzeugbewegungsdaten eines Fahrers des Motorrads zu sammeln, und einen Prozessor, der mit dem Sendeempfänger und der Fahrzeug-IMU in Kommunikation steht. Der Prozessor ist programmiert, Helmdaten von einem oder mehreren sich an dem Helm befindlichen Sensoren zu empfangen und eine Fahreraufmerksamkeit unter Verwendung der Helmdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Fahrzeugbewegungsdaten von der Fahrzeug-IMU zu bestimmen.
Figurenliste

1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm und ein Motorrad beinhaltet.
2 ist ein Beispiel eines Flussdiagramms 200 zur Fahreraufmerksamkeitsverifizierung.
3 ist ein Beispieldiagramm 300 zur Kopfstellungsschätzung.
4 ist ein Beispieldiagramm 400 zur Fahrerkörperhaltungsschätzung.

AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; manche Merkmale könnten übertrieben oder minimiert sein, um Einzelheiten spezieller Komponenten zu zeigen. Die hier offenbarten speziellen strukturellen und funktionalen Details sind daher nicht als beschränkend aufzufassen, sondern lediglich als eine repräsentative Basis, um einen Fachmann zu lehren, die Ausführungsformen verschiedentlich einzusetzen. Durchschnittsfachleute auf dem Gebiet werden verstehen, dass verschiedene unter Bezugnahme auf irgendeine der Figuren veranschaulichte und beschriebene Merkmale mit in einer oder mehreren anderen Figuren veranschaulichten Merkmalen kombiniert werden können, um Ausführungsformen zu produzieren, die nicht explizit veranschaulicht oder beschrieben sind. Die Kombinationen von veranschaulichten Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der mit den Lehren dieser Offenbarung konsistenten Merkmale könnten jedoch für spezielle Anwendungen oder Implementierungen erwünscht sein.
Die kontinuierliche Überwachung des Fahrerzustands kann unerlässlich sein, damit ARAS mit einem aktiven Sicherheitssystem funktioniert. Fahrerhaltung, Kopfposition und Orientierung können für aktives ARAS unentbehrlich sein. Ferner kann das Erkennen von Kontakten dynamische Fahrer-Motorrad-Modelle ermöglichen. Im Gegensatz zu Kraftfahrzeugen können PTWs einen Helm erfordern. Moderne Smart-Motorradhelme können das Kombi-Instrument und Armaturenbrett erweitern, um kritische Informationen auf einem Heads-Up-Display (HUD) bereitzustellen. Sensoren können zu dem Helm hinzugefügt werden, um eine Verfolgung der Fahrerkopfstellung zu ermöglichen, sodass die Bestimmung von Absichten des menschlichen Fahrers unterstützt wird, oder um zur Bestimmung verwendet zu werden, was auf dem HUD anzuzeigen ist. Ein System kann eine kontinuierliche Überwachung der Aufmerksamkeit, Stellung, Kontakte und räumlichen Beziehung des Fahrers mit dem PTW durch die Verwendung visueller und inertialer Sensoren am Helm und am PTW ermöglichen.
Der Fahrerzustand kann durch die Stellung (z. B. Position und Orientierung) des Kopfes, der Oberkörpergelenke und der Kontakte bezüglich des PTW und der Welt beschrieben werden. Durch das Verwenden eines geschätzten Fahrerzustands ist es möglich, die Fahreraufmerksamkeit, Fahrerhaltung, den Rutschgrad usw. zu bestimmen, die für ARAS-Anwendungen benötigt werden. Die Fahreraufmerksamkeit kann sich auf die Blickrichtung beziehen, auf die die Augen des Fahrers gerichtet sind. Die Fahrerhaltung kann sich auf die Position des Rückens, Halses, der Schultern, Arme und anderer Oberkörperteile des Fahrers beziehen. Die Fahrerkontakte können sich auf den Griff des Fahrers zwischen den Händen des Fahrers und dem Lenker oder anderen Teilen des Motorrads beziehen. Der Fahrerrutschgrad kann sich auf den Kontakt zwischen einem Gesäß des Fahrers und einem Sitz eines Motorrads beziehen. Andere Fahrerzustandsinformationen können die Fahrer-zu-Fahrzeug-Beziehung und die Fahrer-zu-Welt-Beziehung beinhalten.
1 ist ein Beispiel eines Systemdesigns 100, das einen Smart-Helm 101 und ein Motorrad 103 beinhaltet. Der Smart-Helm 101 und das Motorrad 103 können verschiedene miteinander interagierende Komponenten und Sensoren beinhalten. Der Smart-Helm 101 kann sich auf das Sammeln von Daten bezüglich der Körper- und Kopfbewegung eines Fahrers konzentrieren. In einem Beispiel kann der Smart-Helm 101 eine Kamera 102 beinhalten. Die Kamera 102 des Helms 101 kann einen Primärsensor beinhalten, der zur Positions- und Orientierungserkennung von sich bewegenden Fahrzeugen genutzt wird. Somit kann die Kamera 102 zur Außenseite des Helms 101 ausgerichtet sein, um andere Fahrzeuge und Objekte im Umfeld eines Fahrers zu verfolgen. Die Kamera 102 kann Schwierigkeiten haben, Dynamiken solcher Objekte und Fahrzeuge zu erfassen. In einem anderen Beispiel kann der Helm 101 zusätzlich zu oder anstelle der Kamera 102 mit Radar- oder LIDAR-Sensoren ausgestattet sein.
Der Helm 101 kann auch eine inertiale Helm-Messeinheit 104 (Helm-IMU) beinhalten. Die Helm-IMU 104 kann zum Verfolgen einer hochdynamischen Bewegung des Kopfes eines Fahrers genutzt werden. Somit kann die Helm-IMU 104 zum Verfolgen der Richtung, in die ein Fahrer schaut, oder der Fahrerblickrichtung genutzt werden. Zusätzlich kann die Helm-IMU 104 zum Verfolgen plötzlicher Bewegungen und anderer auftretender Probleme genutzt werden. Eine IMU kann einen oder mehrere Bewegungssensoren beinhalten.
Eine inertiale Messeinheit (IMU) kann eine spezifische Kraft des Körpers, eine Winkelrate und manchmal das Magnetfeld um den Körper unter Verwendung einer Kombination von Beschleunigungsmessern und Gyroskopen, manchmal auch Magnetometern, messen und melden. IMUs werden typischerweise zum Manövrieren eines Flugzeugs, einschließlich unter anderem unbemannten Luftfahrzeugen (UAVs), und eines Raumfahrzeugs, einschließlich Satelliten und Landefahrzeugen, verwendet. Die IMU kann als eine Komponente von inertialen Navigationssystemen genutzt werden, die in verschiedenen Fahrzeugsystemen verwendet werden. Die von den Sensoren der IMU gesammelten Daten können einem Computer ermöglichen, eine Motorposition zu verfolgen.
Eine IMU kann durch das Detektieren der aktuellen Beschleunigungsrate unter Verwendung eines oder mehrerer Beschleunigungsmesser funktionieren und Änderungen von Drehattributen wie Nicken, Rollen und Gieren unter Verwendung eines oder mehrerer Gyroskope detektieren. Typischerweise beinhaltet eine IMU auch ein Magnetometer, das zur Unterstützung der Kalibration gegenüber Orientierungsdrift verwendet werden kann. Inertiale Navigationssysteme enthalten IMUs, die Winkel- und Linear-Beschleunigungsmesser (für Positionsänderungen) aufweisen; manche IMUs beinhalten ein Gyroskopelement (zum Beibehalten einer absoluten Winkelreferenz). Winkelratenmesser messen, wie sich ein Fahrzeug im Raum drehen kann. Es kann mindestens einen Sensor für jede der drei Achsen geben: Nicken (Nase auf und ab), Gieren (Nase links und rechts) und Rollen (im Uhrzeigersinn oder gegen den Uhrzeigersinn vom Cockpit). Linear-Beschleunigungsmesser können nicht-gravitative Beschleunigungen des Fahrzeugs messen. Da er sich in drei Achsen bewegen kann (auf & ab, links & rechts, vorwärts & rückwärts), kann es einen Linear-Beschleunigungsmesser für jede Achse geben. Die drei Gyroskope sind üblicherweise in einem ähnlichen orthogonalen Muster angeordnet und messen die Rotationsposition in Bezug auf ein beliebig gewähltes Koordinatensystem. Ein Computer kann die aktuelle Position des Fahrzeugs kontinuierlich berechnen. Für jeden der sechs Freiheitsgrade (x, y, z und Ox, Oy und Oz) kann er die erfasste Beschleunigung, zusammen mit einer Schätzung der Schwerkraft, nach der Zeit integrieren, um die aktuelle Geschwindigkeit zu berechnen. Er kann auch die Geschwindigkeit integrieren, um die aktuelle Position zu berechnen. Manche der durch eine IMU bereitgestellten Messungen sind nachstehend aufgelistet: ${\hat{α}}_{B} = R_{B W} (α_{w} - g_{w}) + b_{α} + η_{α}$
${\hat{ω}}_{B} = ω_{B} + b_{g} + η_{g}$
(α̂_B, ω̂_B) sind die Rohmessungen von der IMU im Körperrahmen der IMU. α_w, ω_B sind die erwartete korrekte Beschleunigung und die Gyroskopratenmessungen. b_a, b_g sind die Bias-Offsets im Beschleunigungsmesser und im Gyroskop. η_α, η_g sind das Rauschen im Beschleunigungsmesser und im Gyroskop.
Der Helm 101 kann auch einen Augen-Tracker 106 beinhalten. Der Augen-Tracker 106 kann zum Bestimmen einer Richtung, in die ein Fahrer des Motorrads 103 schaut, genutzt werden. Der Augen-Tracker 106 kann auch zum Identifizieren von Schläfrigkeit und Müdigkeit eines Fahrers des PTW genutzt werden. Der Augen-Tracker 106 kann verschiedene Teile des Auges identifizieren (z. B. Netzhaut, Hornhaut usw.), um zu bestimmen, wohin ein Benutzer blickt. Der Augen-Tracker 106 kann eine Kamera oder einen anderen Sensor beinhalten, um die Verfolgung der Augenbewegung eines Fahrers zu unterstützen.
Der Helm 101 kann auch einen Helm-Prozessor 108 beinhalten. Der Helm-Prozessor 107 kann zur Sensorfusion von Daten genutzt werden, die durch die verschiedenen Kameras und Sensoren sowohl des Motorrads 103 als auch des Helms 101 gesammelt werden. In einer anderen Ausführungsform kann der Helm einen oder mehrere Sendeempfänger beinhalten, die zur Kurzstreckenkommunikation und Langstreckenkommunikation genutzt werden. Die Kurzstreckenkommunikation des Helms kann eine Kommunikation mit dem Motorrad 103 oder anderen nahegelegenen Fahrzeugen und Objekten beinhalten. In einer anderen Ausführungsform kann die Langstreckenkommunikation eine Kommunikation mit einem bordexternen Server, dem Internet, der „Cloud“, eine Zellularkommunikation usw. beinhalten. Der Helm 101 und das Motorrad 103 können unter Verwendung von Drahtlosprotokollen miteinander kommunizieren, die durch einen Sendeempfänger implementiert werden, der sich sowohl an dem Helm 101 als auch dem Motorrad 103 befindet. Solche Protokolle können Bluetooth, WiFi usw. beinhalten. Der Helm 101 kann auch ein Heads-Up-Display (HUD) beinhalten, das zum Ausgeben grafischer Bilder auf einem Visier des Helms 101 genutzt wird.
Das Motorrad 103 kann eine vorwärts gerichtete Kamera 105 beinhalten. Die vorwärts gerichtete Kamera 105 kann sich an einem Scheinwerfer oder einem anderen ähnlichen Bereich des Motorrads 103 befinden. Die vorwärts gerichtete Kamera 105 kann zur Unterstützung der Identifizierung, wohin sich das PTW bewegt, genutzt werden. Ferner kann die vorwärts gerichtete Kamera 105 verschiedene sich vor dem Motorrad 103 befindliche Objekte oder Fahrzeuge identifizieren. Die vorwärts gerichtete Kamera 105 kann somit verschiedene Sicherheitssysteme unterstützen, wie etwa eine intelligente Geschwindigkeitsregelung oder Kollisionsdetektionssysteme.
Das Motorrad 103 kann eine Motorrad-IMU 107 beinhalten. Die Motorrad-IMU 107 kann an einem Scheinwerfer oder einem anderen ähnlichen Bereich des PTW angebracht sein. Die Motorrad-IMU 107 kann inertiale Daten sammeln, die zum Verständnis der Bewegung des Motorrads genutzt werden können. Die Motorrad-IMU 107 kann ein mehrachsiger Beschleunigungsmesser sein, wie etwa dreiachsig, vierachsig, fünfachsig, sechsachsig usw. Die Motorrad-IMU 107 kann auch mehrere Gyroskope beinhalten. Die Motorrad-IMU 107 kann mit einem Prozessor oder einer Steuerung arbeiten, um die Position des Motorrads bezüglich eines Referenzpunkts sowie seine Orientierung zu bestimmen.
Das Motorrad 103 kann eine Fahrerkamera 109 beinhalten. Die Fahrerkamera 109 kann zum Verfolgen eines Fahrers des Motorrads 103 genutzt werden. Die Fahrerkamera 109 kann an verschiedenen Orten entlang des Lenkers des Motorrads oder an anderen Orten montiert sein, sodass sie zum Fahrer ausgerichtet ist. Die Fahrerkamera 109 kann zum Erfassen von Bildern oder Video des Fahrers genutzt werden, die im Gegenzug für verschiedene Berechnungen genutzt werden, wie etwa das Identifizieren verschiedener Körperteile oder der Bewegung des Fahrers. Die Fahrerkamera 109 kann auch zum Fokussieren auf die Augen des Fahrers genutzt werden. Demnach kann eine Augenblickrichtungsbewegung bestimmt werden, um herauszufinden, wohin der Fahrer schaut.
Das Motorrad 103 kann eine elektronische Steuereinheit 111 beinhalten. Die ECU 111 kann zum Verarbeiten von durch Sensoren des Motorrads gesammelten Daten sowie von durch Sensoren des Helms gesammelten Daten genutzt werden. Die ECU 111 kann die von den verschiedenen IMUs und Kameras empfangenen Daten nutzen, um verschiedene Positionen zu verarbeiten und zu berechnen oder eine Objekterkennung durchzuführen. Die ECU 111 kann mit der Fahrerkamera 109 sowie der vorwärts gerichteten Kamera 105 in Kommunikation stehen. Beispielsweise können die Daten von den IMUs in die ECU 111 eingespeist werden, um eine Position bezüglich eines Referenzpunkts sowie eine Orientierung zu identifizieren. Wenn Bilddaten mit solchen Berechnungen kombiniert werden, kann die Bewegung des Motorrads genutzt werden, um zu identifizieren, wohin ein Fahrer blickt oder auf was er sich konzentriert. Die Bilddaten von sowohl der vorwärts gerichteten Kamera am Motorrad als auch der Kamera am Helm werden verglichen, um die relative Orientierung zwischen dem Motorrad und dem Kopf des Fahrers zu bestimmen. Der Bildvergleich kann basierend auf zusätzlichen Merkmalen, die von beiden Kameras (z. B. Fahrerkamera 109 und vorwärts gerichteten Kamera 105) extrahiert werden, durchgeführt werden. Das Motorrad 103 kann eine Motorrad-Zentralverarbeitungseinheit 113 beinhalten. Das System kann somit die Aufmerksamkeit, Haltung, Position, Orientierung, Kontakte (z. B. Griff am Lenker) des Fahrers, Fahrerrutschgrad (z. B. Kontakt zwischen Fahrer und Sitz), Fahrer-zu-Fahrzeug-Beziehung und Fahrer-zu-Welt-Beziehung kontinuierlich überwachen.
2 ist ein Beispiel eines Flussdiagramms 200 zur Fahreraufmerksamkeitsverifizierung. Das Fahreraufmerksamkeitsverifizierungssystem kann bei der Bestimmung helfen, ob die Fahrtrichtung des PTW und die Blickrichtung des Fahrers ausgerichtet sind. Diese Verifizierung kann eine Bestimmung der Fahrerabsicht ermöglichen und somit einen adaptiven Inhalt auf dem am Kopf angebrachten Display oder HUD bereitstellen. Das Flussdiagramm 200 kann vollständig oder teilweise auf einem Prozessor oder einer Steuerung eines Helms, eines PTW oder eines bordexternen Servers (z. B. der „Cloud“) implementiert werden.
Die Motorraddaten 201 können gesammelt und anderen Modulen bereitgestellt werden. Die Motorraddaten können die zusammengetragenen und gesammelten Daten beinhalten, wie mit Bezug auf 1 besprochen. Beispielsweise können die Motorraddaten Bilddaten oder andere Daten beinhalten, die von einer Kamera oder einem ähnlichen Sensor im Motorrad gesammelt werden. Diese können die Bilddaten von der Fahrerkamera oder der vorwärts gerichteten Kamera beinhalten. Ferner können diese jegliche gesammelten Motorrad-IMU-Daten beinhalten.
Die Daten der Helmkamera 203 können gesammelt und anderen Modulen bereitgestellt werden. Die Helmkameradaten können Bilder und andere Daten beinhalten, die durch den Smart-Helm zusammengetragen und gesammelt werden, wie mit Bezug auf 1 besprochen. Beispielsweise können die Helmkameradaten Bilddaten oder andere Daten beinhalten, die von einer Kamera oder einem ähnlichen Sensor im Helm gesammelt werden, die/der auf das Gesicht des Fahrers fokussiert ist, oder die/der nach vorne gerichtet ist, um Bildinformationen über die Umgebung des Benutzers zu sammeln. Diese können die Bilddaten von der Fahrerkamera oder der vorwärts gerichteten Kamera beinhalten. Ferner können diese jegliche gesammelten Motorrad-IMU-Daten beinhalten.
Einer Bildrücksetzung 205 können Motorraddaten 201 und Helmkameradaten 203 zugeführt werden. Die Bildrücksetzung 205 kann die zum Korrigieren von Driftfehlern der IMU benötigte Korrektur sein. Beispielsweise werden die Motorraddaten und die Helmkamera in das System eingegeben, was Bilddaten von der Kamera am Motorrad sowie der Kamera am Helm beinhalten kann. Die IMU-Messungen werden kontinuierlich integriert, um Positions- und Orientierungsschätzungen zu erhalten. Daher erzeugen Messfehler Drift, der nicht wiederherstellbar sein kann. Das System kann die Bilder und andere gesammelte Daten basierend darauf, wohin das Motorrad zeigt/gerichtet ist (unter Verwendung von Orientierungs- und GPS-Daten) nutzen, um den Drift zu korrigieren. Das System wird die Helmkameradaten (z. B. Bilddaten) und die Motorradkameradaten visuell vergleichen, um zu bestimmen, ob die IMU korrigiert oder angepasst werden muss. Falls die Bilder jedoch ähnlich oder gleich sind, wird die IMU-Messintegration zurückgesetzt, was den Effekt des akkumulierten Driftfehlers löschen wird. Die Bildrücksetzung verbessert die bezüglich des Motorrads geschätzte Orientierung, da eine alleinige Nutzung der IMU Driftfehler erzeugen kann. Die Bildrücksetzung 205 kann ein Hard Reset sein, da sie mit einer Initialisierungsperiode assoziiert ist.
Einem VBE (Visual Bias Estimator - visueller Bias-Schätzer) 207 können die Helmkameradaten 203 zugeführt werden, und er kann sie nutzen, um den IMU-Bias zu korrigieren. Der VBE 207 kann zum Korrigieren des IMU-Driftfehlers genutzt werden, der das Überschreiten/Unterschreiten der geschätzten Orientierung verursacht. Beispielsweise kann der Fahrer um 90 Grad abbiegen, aber die IMU kann ablesen, dass er um 120 Grad, 80 Grad oder einen anderen Winkel abbog. Die IMU wird darin möglicherweise nicht korrekt für die Fehler und den Bias kompensieren, um die entsprechende Messung korrekt abzulesen. Um den Bias zu kompensieren, kann ein anderes System oder eine andere Software die Ground Truth identifizieren. Der visuelle Schätzer kann die Helmkameradaten 203, einschließlich Bilddaten zusammen mit den IMU-Daten nutzen. Somit korrigiert der VBE 207 Fehler, die mit dem Überschreiten/Unterschreiten der IMU assoziiert sind, durch den Vergleich der IMU-Daten mit den Helmkameradaten 203. Der VBE 207 kann genutzt werden, um mit der IMU assoziierte Fehler und Messungen von der assoziierten Bewegung zu korrigieren.
IMU-Messungen 213 können von sowohl dem Motorrad als auch dem Helm gesammelt werden. In einem Beispiel können die IMU-Messungen 213 nur vom Helm gesammelt werden.
Eine IMU-Initialisierung 209 kann genutzt werden, um die initialen Bedingungen für die Integration der IMU-Messungen bei einer Initialisierungsperiode zu bestimmen. Dem Modul der IMU-Initialisierung 209 können zusätzlich zu den Kameradaten die IMU-Messdaten 213 zugeführt werden. Ferner können die Daten des visuellen Bias-Schätzers in den IMU-Integrator eingespeist werden. Der IMU-Integrator 211 kann die IMU-Daten (ω̂_Helm, α̂_Helm) und die Bilddaten integrieren, um die Identifizierung einer Helmblickrichtung (d_h) zu unterstützen. Falls beispielsweise angenommen wird, dass die Blickrichtung entlang einer inertialen Gieren-Achse liegt, wird sie als $d_{h} : = R_{y}^{T}$
definiert, wie nachstehend beschrieben. $R_{W B} (t + Δ t) = R_{W B} (t) E x p (\int_{t}^{t + Δ t} ({\hat{ω}}_{H e l m} - b_{ω} - η_{ω}) δ t)$
$R_{W B} (t) = [R_{x}^{T}, R_{y}^{T}, R_{z}^{T}]$
Der IMU-Integrator 211 kann Daten vom IMU-Initialisierungsmodul empfangen. Die von beiden der IMUs gesammelten Messungen können in einen IMU-Integrator 211 eingespeist werden. Der IMU-Integrator 211 kann die Daten von den IMU-Messungen und die korrigierte Ausgabe vom VBE 207 integrieren, um die durch einen Bias-Drift (b_ω) verursachten Fehler in den Daten von den IMU-Messungen zu reduzieren.
Die Helmblickrichtung d_h 215 kann als ein Ergebnis des IMU-Integrators 211 ausgegeben werden. Die Helmblickrichtung kann beim Identifizieren einer Fahreraufmerksamkeitsverifizierung helfen. Falls beispielsweise ein Fahrer von einem Objekt oder Fahrzeug vor dem Motorrad weg schaut, kann das System erkennen, dass der Fahrer vom Fahrweg weg schaut, und den Fahrer unter Verwendung des HUD des Helms warnen. Das System kann auch Kontextinformationen wie etwa Rückansichtskamerainformationen oder andere Einzelheiten basierend auf der Richtung des Fahrers bereitstellen.
3 ist ein Beispieldiagramm 300 eines Kopfstellungsschätzungsmodells, das mit den vom Helm und vom Motorrad gesammelten Daten genutzt werden kann. Die Kopfstellungsschätzung kann bei der Identifizierung helfen, wie der Fahrer sich in das Motorrad lehnt. Das System kann nicht nur auf die Orientierung, sondern auch die x,y,z-Position achten. Das System der Kopfstellungsschätzung kann von Sensoren an sowohl dem Helm als auch dem Motorrad gesammelte Daten nutzen, um eine Kopfstellung bezüglich des Helms und des PTW zu beschreiben. Das Kopfstellungsschätzungssystem muss möglicherweise die Stellung des Helms bezüglich des inertialen Koordinatensystems und des PTW-Koordinatensystems schätzen. Somit kann die PTW-Stellung X_b verwendet werden, um die relative Stellung zwischen dem Helm und dem PTW abzuleiten: $X_{HB} = X_{H} * X_{B}^{- 1}$
Das System kann annehmen, dass der IMU-Standort am PTW (z. B. Motorrad) der Ursprung des PTW-Koordinatensystems sein kann. Ein kombinierter Zustandsschätzer kann aus Zuständen vom Smart-Helm bestehen und der PTW-Zustand kann gleichzeitig geschätzt werden. Die Zustände des Systems, die auch oben beschrieben sind, können aus Folgendem bestehen: (1) PTW-Position X_b; (2) PTW-Orientierung q_b, (3) PTW-Geschwindigkeit V_h; (4) PTW-IMU-Biases b_b bezüglich des inertialen Koordinatenrahmens; (5) die Smart-Helm-Position X_h; (6) die Smart-Helm-Orientierung q_h; (7) die Smart-Helm-Geschwindigkeit v_h; (8), der Smart-Helm-Bias b_h und (5) Schwerkraft, die das inertiale Koordinatensystem repräsentiert (G). Somit kann der Zustand gleich Folgendem sein: $X (t) = [X_{b} q_{b} v_{b} b_{b} X_{h} q_{h} v_{h} b_{h} G]$
Das System kann eine Propagation 303 an einem vorherigen Zustand X(t-1) basierend auf Motorrad-IMU-Messungen 305 und Helm-IMU-Messungen 307 durchführen. Die Propagation kann eine aktualisierte Schätzung sein. Die Fehler in der Propagation können basierend auf einer Aktualisierung von der Helmkamera, der Motorradkamera, der ECU und dem Skelett-Tracker korrigiert werden. Die gemeinsame Schätzung kann die zwischen der Motorrad-IMU und der Helm-IMU korrelierten Messungen erfassen und bessere Ergebnisse bereitstellen. Ein iterativer Schätzer, wie etwa ein erweitertes Kalman-Filter oder eine nichtlineare Optimierung, kann zum Schätzen der Zustände in Echtzeit verwendet werden.
Bei Schritt 310 kann das System das Zustandsmodell durch Aggregieren der verschiedenen propagierten Daten aktualisieren. Die Aktualisierungen können genutzt werden, um jegliche Offsets oder Ausläufer von Messungen basierend auf durch die verschiedenen Sensoren am Motorrad oder am Helm gesammelten Daten zu korrigieren. Beispielsweise kann sich die Aktualisierung um die verschiedenen Offset-Fehler oder anderen Fehler durch Vergleichen und Austauschen von Daten, die von verschiedenen IMUs und Kameras (z. B. Bilder) gesammelt werden, kümmern. Die Bilddaten liefern visuelle Orientierungspunkte, deren Residuum in den Bildern minimiert wird, um die IMU-Bias-Fehler zu aktualisieren. Die Motorrad-ECU 311 kann genutzt werden, um verschiedene Befehle und Anweisungen bezüglich der durch das Motorrad gesammelten Daten, einschließlich durch die Motorrad-ECU gesammelten Daten, durchzuführen.
Die Vorwärtsmotorradkameraaktualisierung 309 kann Bilder von der Motorradkamera senden, die während des Aktualisierungsprozesses zu verwenden sind. Die Vorwärtskameraaktualisierung 309 kann in einer Ausführungsform die Daten nutzen, die am Motorrad vorhanden sind und dem Fahrer zugewandt sind. In einer anderen Ausführungsform kann die Vorwärtskameraaktualisierung 309 eine Kamera nutzen, die vom Fahrer weg und vor das Motorrad zeigt. Die Helmkamera kann die bereitgestellten Informationen über die Fahrersicht aktualisieren 313. Die Merkmale aus den Bilddaten werden extrahiert und abgeglichen, um eine relative Orientierung und Position der Kameras zu finden. Dieses Merkmal kann auch durch die verschiedenen IMU-Messungen unterstützt werden.
Dem Skelett-Tracker 315 können Daten zugeführt werden, die unterschiedliche Skelettteile des Fahrers identifizieren, wie etwa Gliedmaße, Gelenke usw. Die Skelett-verfolgten extrahierten Merkmale aus den Bildern repräsentieren unterschiedliche Teile des Körpers. Diese Merkmale werden mit dem Menschenskelettmodell korreliert, um das System zu verfolgen und zu aktualisieren. Sobald alle Daten zugeführt und aktualisiert sind, kann das System ein Raummodell 317 des aktuellen Zustands bestimmen. Das Raummodell 317 des aktuellen Zustands kann Messungen der Position des Fahrers und des Motorrads identifizieren.
4 ist ein Beispieldiagramm 400 zur Fahrerkörperhaltungsschätzung. In der PTW-Anwendung kann das Oberkörperskelett des Fahrers als eine Baumstruktur modelliert werden, die alle Gelenke des Körpers über dem Hüftgelenk beinhaltet. Eine dem Fahrer zugewandte Kamera am Kombi-Instrument kann zum Bestimmen eines Ortes der Gelenke verwendet werden. Ein kinematischer Baum basierend auf dem Oberkörperskelettmodell kann aktualisiert werden, wenn Beobachtungen der Gelenke vorgenommen werden. Aktualisierungen von der Kopfstellungsschätzung (z. B. 3) können verwendet werden, um die Körperhaltungsschätzung weiter zu verfeinern, und umgekehrt.
Die Kamera 401 kann auf den Fahrer des Motorrads gerichtet sein. Die Kamera 401 kann Bilder oder andere Daten sammeln, um verschiedene Abschnitte des Körpers eines Fahrers oder andere Körperteile zu untersuchen. Die Kamera 401 kann mit einem Prozessor oder einer Steuerung arbeiten, der/die dabei hilft, Körperteile über eine Teileextraktion 403 zu identifizieren. Die Kamera 401 kann in einer Ausführungsform an dem Motorrad montiert sein, und kann sich in einer anderen Ausführungsform am Helm befinden, aber auf den Körper des Fahrers ausgerichtet sein. Ein Prozessor kann Software beinhalten, die für die Teileextraktion 403 genutzt wird. Das Modul der Teileextraktion 403 kann Algorithmen und andere Elemente aufweisen, die zum Vergleichen von Bildern von Daten mit zum Identifizieren von Körperteilen verwendeten Vorlagen genutzt werden. Beispielsweise können die von der Kamera gesammelten Bilddaten mit einer Vorlage verglichen werden, die auf Umrisse der von einer Person ermittelten Formen schaut, um gewisse Körperteile zu identifizieren. Die Kamera 401 kann in Verbindung mit dem Teileextraktionsmodul 403 genutzt werden, um verschiedene Gliedmaßen (z. B. Arme, Beine, Oberschenkel, Unterarm, Hals usw.) zu identifizieren.
Bei Schritt 405 kann das System eine Kopfstellung des Fahrers bestimmen. Während eine typische IMU Daten zum Verständnis der Bewegung ohne eine relative Position hinsichtlich einer tatsächlichen Umgebung des Fahrers oder Motorrads nutzen kann, kann die Kopfstellungssoftware somit genutzt werden, um solche IMU-Messungen mit den Bilddaten zu kombinieren, um zu erkennen, wo die Kopfstellung bezüglich des Motorrads liegt. Somit kann die Kopfstellungsschätzung bestimmen, wohin ein Fahrer relativ zu dem Motorrad schaut, oder kann die Körperposition des Fahrers bestimmen.
Bei Schritt 407 kann die Kamera Skelett-Verfolgung für die verschiedenen Gliedmaßen des Körpers eines Fahrers identifizieren. Somit kann das System die verschiedenen Gliedmaßen bei Schritt 403 identifizieren, aber dann beginnen, diese spezifischen Gliedmaßen bei Schritt 407 zu verfolgen. Beispielsweise kann die Kamera einen Arm identifizieren und dann die Kamera nutzen, um zu bestimmen, wohin sich der Arm des Benutzers bewegt. Somit können solche Informationen zum Bestimmen nützlich sein, zu bestimmen, ob ein Benutzer einen Griff des Motorrads losgelassen hat oder zu stark abbiegt, indem auf den Arm geachtet wird.
Ein Prozessor kann genutzt werden, um das kinematische Modell 409 des Oberkörpers zu erhalten. Ein kinematischer Baum des Oberkörperskelettmodells kann aktualisiert werden, wenn Beobachtungen der Gelenke vorgenommen werden. Beispielsweise kann die Kamera 401 die Gelenke analysieren und eine Bewegung des Oberkörpers erkennen. Daraus können verschiedene Modelle mit der aktuellen Analyse von Gelenken im Oberkörper der Benutzer verglichen werden.
Die hier offenbarten Prozesse, Verfahren oder Algorithmen können lieferbar sein an/implementiert werden durch eine Verarbeitungsvorrichtung, eine Steuerung oder einen Computer, welche bzw. welcher eine beliebige existierende programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit beinhalten kann. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und durch eine Steuerung oder einen Computer ausführbare Anweisungen in vielen Formen gespeichert werden, unter anderem einschließlich Informationen, die auf nichtbeschreibbaren Speichermedien, wie etwa ROM-Vorrichtungen, permanent gespeichert sind, und Informationen, die auf beschreibbaren Speichermedien, wie etwa Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien, änderbar gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen in Gänze oder teilweise unter Verwendung geeigneter Hardwarekomponenten umgesetzt werden, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten.
Obgleich oben beispielhafte Ausführungsformen beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen durch die Ansprüche eingeschlossenen Formen beschreiben. Die in der Beschreibung verwendeten Ausdrücke sind eher Ausdrücke der Beschreibung statt der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von dem Gedanken und dem Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben wurde, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung auszubilden, die möglicherweise nicht explizit beschrieben oder veranschaulicht wurden. Obgleich verschiedene Ausführungsformen als Vorteile ergebend oder gegenüber anderen Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehrerer erwünschter Charakteristiken bevorzugt beschrieben worden sein können, erkennen Durchschnittsfachleute auf dem Gebiet, dass ein oder mehrere Merkmale oder Charakteristiken beeinträchtigt werden können, um erwünschte Gesamtsystemattribute zu erzielen, die von der speziellen Anwendung und Implementierung abhängen. Diese Attribute können unter anderem Kosten, Stärke, Haltbarkeit, Lebenszykluskosten, Vermarktungsfähigkeit, Erscheinungsbild, Aufmachung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. beinhalten. Von daher liegen jegliche in dem Maße als weniger wünschenswert als andere Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehrerer Charakteristiken beschriebene Ausführungsformen nicht außerhalb des Schutzumfangs der Offenbarung und können für gewisse Anwendungen wünschenswert sein.

Claims

Helm, der Folgendes umfasst: einen Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an einem Fahrzeug befindlichen Sensoren zu empfangen; eine inertiale Bewegungseinheit (IMU), die dazu ausgelegt ist, Helmbewegungsdaten des mit einem Fahrer des Fahrzeugs assoziierten Helms zu sammeln; und einen Prozessor in Kommunikation mit dem Sendeempfänger und der IMU, der programmiert ist zum: Empfangen, über den Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren; und Bestimmen eines Fahreraufmerksamkeitszustands unter Verwendung der Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Helmbewegungsdaten von der IMU
Helm nach Anspruch 1, wobei der Helm ferner eine Kamera beinhaltet, die dazu ausgelegt ist, ein oder mehrere Objekte in einer Nähe des Fahrzeugs zu identifizieren.
Helm nach Anspruch 1, wobei der Helm ferner eine Augenverfolgungseinheit beinhaltet, die dazu ausgelegt ist, Augenverfolgungsdaten des Fahrers des Fahrzeugs zu sammeln.
Helm nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, einen Kopfpositionszustand unter Verwendung der Helmbewegungsdaten und der Fahrzeugbewegungsdaten von einer sich am Fahrzeug befindlichen inertialen Fahrzeug-Bewegungseinheit zu bestimmen.
Helm nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, einen Körperpositionszustand des Fahrers unter Verwendung zumindest der Helmbewegungsdaten, der Fahrzeugbewegungsdaten von einer sich am Fahrzeug befindlichen inertialen Fahrzeug-Bewegungseinheit und Bilddaten, die von einer Fahrzeugkamera gesammelt werden, die dazu ausgelegt ist, den Fahrer des Fahrzeugs zu überwachen, zu bestimmen.
Helm nach Anspruch 1, wobei der Helm ein Heads-Up-Display beinhaltet, das dazu ausgelegt ist, grafische Bilder auf einem Visier des Helms auszugeben.
Helm nach Anspruch 1, wobei das Fahrzeug ein Motorrad oder eine motorisierte Zweiradeinheit ist.
Helm nach Anspruch 1, wobei der Prozessor ferner dazu ausgelegt ist, zumindest die Bewegungsdaten von der IMU des Helms und die Fahrzeugdaten zu fusionieren.
System, das einen Helm und ein Fahrzeug mit mindestens zwei Rädern beinhaltet, und Folgendes umfasst: einen Helm-Sendeempfänger, der dazu ausgelegt ist, Fahrzeugdaten von einem oder mehreren sich an dem Fahrzeug befindlichen Sensoren zu empfangen; eine inertiale Helm-Bewegungseinheit (Helm-IMU), die dazu ausgelegt ist, mit dem Helm assoziierte Helmbewegungsdaten zu sammeln; eine dem Fahrer zugewandte, sich an dem Fahrzeug befindliche Kamera, die dazu ausgelegt ist, einen Fahrer des Fahrzeugs zu überwachen und Fahrerbilddaten zu sammeln; und einen Prozessor im Helm in Kommunikation mit dem Helm-Sendeempfänger und der Helm-IMU, der programmiert ist zum: Empfangen, über den Helm-Sendeempfänger, von Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren; und Bestimmen eines Fahreraufmerksamkeitszustands unter Verwendung der Fahrzeugdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Helmbewegungsdaten von der IMU
System nach Anspruch 9, wobei das System ferner eine sich am Fahrzeug befindliche, vorwärts gerichtete Kamera beinhaltet, die dazu ausgelegt ist, eine Umgebung nahe dem Fahrzeug zu überwachen und Objektbilddaten zu sammeln.
System nach Anspruch 9, wobei die dem Fahrer zugewandte Kamera dazu ausgelegt ist, Bilddaten nahe einem Fahrer des Fahrzeugs zu sammeln.
System nach Anspruch 11, wobei der Helm ein Heads-Up-Display beinhaltet, das dazu ausgelegt ist, grafische Bilder auf einem Visier des Helms auszugeben.
System nach Anspruch 11, wobei das Fahrzeug ein Motorrad oder eine motorisierte Zweiradeinheit ist.
System nach Anspruch 11, wobei der Prozessor ferner dazu ausgelegt ist, einen Körperpositionszustand des Fahrers unter Verwendung zumindest der Helmbewegungsdaten, der Fahrzeugbewegungsdaten von einer sich am Fahrzeug befindlichen inertialen Fahrzeug-Bewegungseinheit und Bilddaten, die von einer Fahrzeugkamera gesammelt werden, die dazu ausgelegt ist, den Fahrer des Fahrzeugs zu überwachen, zu bestimmen.
System nach Anspruch 11, wobei der Prozessor ferner dazu ausgelegt ist, einen Kopfpositionszustand unter Verwendung der Helmbewegungsdaten und der Fahrzeugbewegungsdaten von einer sich am Fahrzeug befindlichen inertialen Fahrzeug-Bewegungseinheit zu bestimmen.
Motorrad, das Folgendes umfasst: einen Sendeempfänger, der dazu ausgelegt ist, Motorraddaten von einem oder mehreren sich an dem Motorrad befindlichen Sensoren zu einem Helm zu senden und Helmdaten von dem Helm zu empfangen. eine inertiale Fahrzeug-Bewegungseinheit (Fahrzeug-IMU), die dazu ausgelegt ist, Fahrzeugbewegungsdaten eines Fahrers des Motorrads zu sammeln; und einen Prozessor in Kommunikation mit dem Sendeempfänger und der Fahrzeug-IMU, der programmiert ist zum: Empfangen von Helmdaten von einem oder mehreren sich an dem Helm befindlichen Sensoren; und Bestimmen einer Fahreraufmerksamkeit unter Verwendung der Helmdaten von dem einen oder den mehreren sich an dem Fahrzeug befindlichen Sensoren und der Fahrzeugbewegungsdaten von der Fahrzeug-IMU
Motorrad nach Anspruch 16, wobei das Motorrad eine vorwärts gerichtete Kamera beinhaltet, die dazu ausgelegt ist, Bilddaten nahe dem Motorrad zu sammeln.
Motorrad nach Anspruch 16, wobei das Motorrad eine dem Fahrer zugewandte Kamera beinhaltet, die dazu ausgelegt ist, Bilddaten nahe dem Fahrer zu sammeln.
Motorrad nach Anspruch 16, wobei der Prozessor ferner dazu ausgelegt ist, einen Körperpositionszustand des Fahrers unter Verwendung zumindest von Helmbewegungsdaten, die von einer Helm-IMU gesammelt werden, Fahrzeugbewegungsdaten von der Fahrzeug-IMU und Bilddaten, die von einer Fahrzeugkamera gesammelt werden, die dazu ausgelegt ist, den Fahrer des Fahrzeugs zu überwachen, zu bestimmen.
Motorrad nach Anspruch 16, wobei der Prozessor ferner dazu ausgelegt ist, von einer Helm-IMU gesammelte Helmbewegungsdaten und Helmdaten von dem einen oder den mehreren sich an dem Helm befindlichen Sensoren zu empfangen und die Fahreraufmerksamkeit unter Verwendung der Helmdaten und der Helmbewegungsdaten zu bestimmen.