DE202017104779U1

DE202017104779U1 - Radarbasierte Gestenschnittstelle

Info

Publication number: DE202017104779U1
Application number: DE202017104779.2U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2016-08-09
Filing date: 2017-08-09
Publication date: 2017-11-20
Anticipated expiration: 2027-08-10
Also published as: EP3497546A1; EP3497546A4; EP3497546B1; US20180046255A1; WO2018031516A1

Abstract

Computerprogrammprodukt, wobei das Computerprogrammprodukt Code umfasst, der, wenn er von einem oder mehreren Computergeräten ausgeführt wird, das eine oder die mehrere Computergeräte veranlasst, ein Verfahren durchzuführen, wobei das Verfahren Folgendes umfasst: Empfangen von Bewegungsdaten, die einer Geste des Fahrers des Fahrzeugs entsprechen, von einem Radarempfänger, der angeordnet ist, um eine Bewegung im Innenraum eines Fahrzeugs; Bestimmen, auf Basis der Bewegungsdaten vom Radarempfänger, dass die Geste eine jeweilige Geste aus einem ersten vorgegebenen Gestensatz zum Auswählen eines Betriebsmodus eines Computergeräts repräsentiert; in Reaktion auf die Feststellung, dass die Geste die jeweilige Geste repräsentiert: Veranlassen eines Computergeräts, in einen Betriebsmodus überzugehen, welcher der jeweiligen Geste für die Modusauswahl entspricht; und Bestimmen, basierend auf Daten des Radarempfängers, ob eine darauffolgende Bewegung des Fahrers eine Geste aus einem zweiten, vorbestimmten Gestensatz repräsentiert, der sich vom ersten vorgegebenen Gestensatz unterscheidet.

Description

TECHNISCHES GEBIET
Die vorliegende Spezifikation bezieht sich im Allgemeinen auf eine radarbasierte Gestenschnittstelle.
HINTERGRUND
Derzeit werden in den Vereinigten Staaten im Durchschnitt täglich 8 Menschen bei Unfällen getötet, bei denen ein abgelenkter Fahrer involviert war, und 1161 werden verletzt. Durch die Allgegenwärtigkeit von Smartphones, der Bevorzugung von Textnachrichten gegenüber Anrufen, der Notwendigkeit einer GPS-Navigation mithilfe von Mobiltelefonen, und der Fülle von neuen Benachrichtigungen wird die Ablenkung des Fahrers zunehmend problematisch.
Armaturentafel-Schnittstellen oder tertiäre Aufgaben waren viele Jahre der Schwerpunkt herkömmlicher Schnittstellen und bei Fahrzeugen in der Regel der Standard. Die Armaturentafel-Schnittstellen sind vorhersagbar und stellen Rückmeldungen in Form mechanischer Schalter/Tasten bereit, die jedoch beide außerhalb der Blickrichtung des Fahrers liegen und eine begrenzte Funktionalität haben. In den letzten Jahren ist die Verwendung von Touchscreens bei höherwertigen Autos zum Standard geworden. Obwohl Touchscreens viele weitere konfigurierbare Steuerelemente zulassen, verlangen sie einen durchgehenden Blickkontakt und stellen keine konkreten Rückmeldungen bereit.
ZUSAMMENFASSUNG
In einigen Implementierungen verwendet ein System zur Bereitstellung einer Gestenschnittstelle in Fahrzeugen Radar, um die Benutzerinteraktion und Steuerung eines Mobiltelefons oder eines anderen Verarbeitungssystems in einem Fahrzeug durch Gesten zu ermöglichen. Diese Gesten können dreidimensionale räumliche Gesten sein, die zwischen der Armaturentafel und der Brust des Fahrers auftreten. Die Gesten können vom Benutzer durchgeführt werden, während die Hände des Benutzers in Kontakt mit, oder in Nähe zum Lenkrad des Fahrzeugs bleiben. Das System kann für die Erkennung der Gesten des Benutzers einen Radarsender und einen Radarempfänger beinhalten. Das System kann des Weiteren ein Verarbeitungsmodul beinhalten, das konfiguriert ist, Befehle festzustellen, die den erkannten Gesten des Benutzers entsprechen. Die den erkannten Gesten entsprechenden Befehle können verwendet werden, um Anrufe zu tätigen, Musik auszuwählen, Textnachrichten zu senden, und das GPS oder die Navigation zu aktivieren.
Indem dem Benutzer ermöglicht wird, bestimmte Funktionen eines Mobiltelefons über die Gestenschnittstelle zu steuern, kann sich der Benutzer auf die Bedienung des Fahrzeugs konzentrieren. Insbesondere kann der Fahrer die Schnittstelle steuern, ohne den Blick von der Straße abzuwenden und ohne die Hände vom Lenkrad zu nehmen. Die Gestenschnittstelle kann kontextuell begrenzte Merkmale beinhalten, um die Gesten zu jedem Zeitpunkt nur auf die für den Moment relevanten Bedürfnisse des Fahrers zu begrenzen. Somit kann das System auf Gesten und entsprechende Mobiltelefon-Aktionen begrenzt sein, deren Durchführung für den Fahrer während der Fahrt kein Risiko darstellen. Des Weiteren kann das System für die Bereitstellung einer Gestenschnittstelle eine Symbolsprache verwenden, mit der ein Benutzer bereits vertraut ist. Die Verwendung geläufiger Symbole ermöglicht es Benutzern, sich während der Fahrt ohne Ablenkungen Gesten ins Gedächtnis zu rufen.
Ein innovativer Aspekt der in dieser Spezifikation beschriebenen Thematik ist in Systemen enthalten, die einen Radarsender in einem Fahrzeug beinhalten, wobei der Radarsender angeordnet ist, um Radiowellen in Richtung eines Fahrers eines Fahrzeugs zu übertragen, und wobei ein Radarempfänger im Fahrzeug angeordnet ist. Der Radarempfänger kann angeordnet sein, um Änderungen der Radiowellen zu erkennen, die den Handbewegungen des Fahrers des Fahrzeugs entsprechen, während die Hand des Fahrers in Kontakt mit oder in der Nähe des Lenkrads des Fahrzeugs bleibt. Das System kann des Weiteren ein Verarbeitungsmodul beinhalten, das konfiguriert ist, Befehle festzustellen, die den vom Radarempfänger erkannten Handbewegungen entsprechen.
Implementierungen können jeweils optional eine oder mehrere der folgenden Merkmale beinhalten. Zum Beispiel kann das System einen Radarsender und Radarempfänger beinhalten, die auf einem einzigen Chip angeordnet sind. Das Verarbeitungsmodul kann in Kommunikation mit einem Mobiltelefon stehen. Das System kann den Radarsender und den Radarempfänger beinhalten, die innerhalb des Fahrzeugs abnehmbar montiert sind. Der Radarsender kann Millimeterwellen-Frequenzen übertragen, während der Radarempfänger Millimeterwellen-Frequenzen empfangen kann. In einigen Aspekten kann das System den Radarempfänger, den Radarsender und das Verarbeitungsmodul in einem Gehäuse beinhalten. Der Radarsender und der Radarempfänger können hinter dem Lenkrad des Fahrzeugs positioniert sein. Der Radarsender und der Radarempfänger können in Richtung einer Öffnung im Lenkrad des Fahrzeugs ausgerichtet sein. Des Weiteren kann das System mehr als 100 Messungen pro Sekunde am Radarempfänger erkennen. Das System kann verwendet werden, um ein Fahrzeug-Infotainment-System zu steuern, und kann konfiguriert werden, eine oder mehrere Einstellungen anzupassen, die auf die festgestellten Befehle reagieren.
In einem anderen allgemeinen Aspekt beinhaltet ein Computerprogrammprodukt Code, der, wenn er von einem oder mehreren Computergeräten ausgeführt wird, dazu führt, dass ein oder mehrere Computergeräte ein Verfahren ausführen, das beinhaltet: Empfangen, von einem Radarempfänger, angeordnet zum Erkennen einer Bewegung im Innenraum eines Fahrzeugs, von Bewegungsdaten, die einer Geste eines Fahrers des Fahrzeugs entsprechen; Bestimmen, auf Basis der Bewegungsdaten vom Radarempfänger, dass die Geste eine besondere Geste aus einem ersten vorgegebenen Satz von Gesten zum Auswählen eines Betriebsmodus eines Computergeräts repräsentiert; und in Reaktion auf die Feststellung, dass die Geste die jeweilige Geste repräsentiert: (i) Veranlassen, dass ein Computergerät in einen der jeweiligen Geste entsprechenden Betriebsmodus übergeht; und (ii) Bestimmen, basierend auf den Daten des Radarempfängers, ob eine darauffolgende Bewegung des Fahrers eine Geste aus einem zweiten, vorbestimmten Gestensatz repräsentiert, der sich vom ersten vorgegebenen Gestensatz unterscheidet.
Implementierungen können optional ein oder mehrere der folgenden Merkmale beinhalten. Zum Beispiel beinhaltet das Bestimmen, dass die Geste eine jeweilige Geste aus einem vorgegebenen Satz von Gesten repräsentiert, das Bestimmen, dass die Geste die jeweilige Geste repräsentiert, basierend auf der Ausgabe eines ersten Klassifikators, der trainiert ist, die Gesten im ersten vorgegebenen Satz von Gesten zu erkennen. Bestimmen, dass die nachfolgende Bewegung die Geste aus dem zweiten vorgegebenen Gestensatz repräsentiert, beinhaltet das Bestimmen, dass die Geste die Geste aus dem zweiten vorgegebenen Gestensatz repräsentiert, basierend auf der Ausgabe eines zweiten Klassifikators, der in der Erkennung der Gesten im zweiten vorgegebenen Satz von Gesten trainiert ist, wobei der zweite vorgegebene Gestensatz sich vom ersten vorgegebenen Gestensatz unterscheidet.
In einigen Implementierungen beinhaltet das Bestimmen, dass die Geste eine jeweilige Geste repräsentiert: Zugriff auf Kontextdaten, die einen aktuellen Betriebsmodus des Computergeräts anzeigen; und Bestimmen, dass die Geste aus einem ersten vorgegebenen Gestensatz ausgewählt werden sollte, basierend auf den Kontextdaten, die den aktuellen Betriebsmodus des Computergeräts anzeigen. In einigen Implementierungen beinhaltet das Bestimmen, dass die Geste eine jeweilige Geste repräsentiert: Bestimmen von Merkmalbewertungen, basierend auf der Ausgabe des Radarempfängers; Bereitstellen der Merkmalbewertungen an jeden der mehreren Klassifikatoren, wobei die mehreren Klassifikatoren trainiert wurden, die Wahrscheinlichkeit für das Auftreten von Gesten in verschiedenen vorgegebenen Gestensätzen anzuzeigen; Auswählen eines der mehreren Klassifikatoren auf Basis von Kontextdaten, die einen aktuellen Betriebsmodus des Computergeräts anzeigen; und Bestimmen, dass die Geste die jeweilige Geste repräsentiert, basierend auf der Ausgabe des ausgewählten Klassifikators.
In einigen Implementierungen, beinhaltet das Bestimmen, dass die Geste eine jeweilige Geste beinhaltet, Verarbeiten, von Eingaben repräsentierenden Merkmalen, die durch den Radarempfänger mit mehreren maschinell lernenden Klassifikatoren erkannt werden, die parallel arbeiten, wobei jeder der mehreren maschinell lernenden Klassifikatoren konfiguriert ist, Gesten in einem anderen vorgegebenen Gestensatz zu erkennen.
In einigen Implementierungen sind die maschinell lernenden Klassifikatoren Entscheidungsbäume.
In einigen Implementierungen sind die Entscheidungsbäume Random-Forest-Entscheidungsbäume.
In einigen Implementierungen beinhaltet das Veranlassen des Computergeräts, in den der jeweiligen Geste für die Modusauswahl entsprechenden Betriebsmodus überzugehen, das Senden eines Hinweises einer der jeweiligen Geste entsprechenden Benutzerauswahl an ein Mobiltelefon im Fahrzeug über eine kabelgebundene oder eine drahtlose Schnittstelle.
In einigen Implementierungen beinhaltet das Veranlassen des Computergeräts, in den der jeweiligen Geste für die Modusauswahl entsprechenden Betriebsmodus überzugehen, das Veranlassen eines Mobiltelefons, in einen Modus für das Einleiten von Anrufen, Auswählen von Musik, Senden von Textnachrichten überzugehen oder die Navigation überzugehen.
In einigen Implementierungen entspricht der zweite Satz von vordefinierten Gesten einem gemeinsamen Gestenvokabular zwischen einer Vielzahl von Geräten.
In einigen Implementierungen ist der Radarempfänger innerhalb des Fahrzeugs angeordnet, um Bewegungen in einem Raum zu erkennen, der einen Raum zwischen einem Lenkrad und der Brust des Fahrers beinhaltet, während die Bewegungsdaten Bewegungen der Hand oder der Finger des Fahrers in dem Raum anzeigen.
In einigen Implementierungen ist der Radarempfänger innerhalb des Fahrzeugs angeordnet, um Bewegungen der Finger des Fahrers auf und um mindestens einen Teil eines Lenkrads des Fahrzeugs zu erkennen, während die Bewegungsdaten Bewegungen der Finger des Fahrers auf und rund um das Lenkrad des Fahrzeugs anzeigen.
In einigen Implementierungen ist der Radarempfänger angeordnet, um Radarsignale durch eine Öffnung im Lenkrad zu übertragen und zu empfangen.
In einigen Implementierungen ist das Computergerät im Fahrzeug integriert.
In einigen Implementierungen ist das Computergerät ein Mobiltelefon, das nicht in das Fahrzeug integriert ist.
In einigen Implementierungen beinhaltet das Verfahren ferner die Kommunikation mit dem Computergerät über eine drahtlose Schnittstelle.
In einigen Implementierungen sind der Radarsender und der Radarempfänger auf einem einzigen Chip angeordnet.
In einigen Implementierungen sind der Radarsender und der Radarempfänger innerhalb des Fahrzeugs abnehmbar montiert.
In einigen Implementierungen überträgt der Radarsender Millimeterwellen-Frequenzen, während der Radarempfänger Millimeterwellen-Frequenzen empfängt.
In einigen Implementierungen befinden sich der Radarempfänger, der Radarsender und das Verarbeitungsmodul in einem Gehäuse.
In einigen Implementierungen sind der Radarsender und der Radarempfänger hinter dem Lenkrad des Fahrzeugs positioniert.
In einigen Implementierungen sind der Radarsender und der Radarempfänger in Richtung einer Öffnung im Lenkrad des Fahrzeugs ausgerichtet.
In einigen Implementierungen ist der Radarempfänger konfiguriert, um mehr als 100 Messungen pro Sekunde durchzuführen.
In einigen Implementierungen ist das Verarbeitungsmodul des Weiteren konfiguriert, um in Reaktion auf die festgestellten Gesten oder entsprechenden Befehle eine oder mehrere Einstellungen eines Fahrzeug-Infotainmentsystems anzupassen.
In einem anderen allgemeinen Aspekt beinhaltet ein Computerprogrammprodukt Code, der, wenn er von einem oder mehreren Computergeräten ausgeführt wird, das eine oder die mehreren Computergeräte veranlasst, ein Verfahren durchzuführen, das Folgendes beinhaltet: Empfangen von Daten von einem Radarempfänger innerhalb des Fahrzeugs, wobei die Daten vom Radarempfänger auf eine Bewegung des Fahrers des Fahrzeugs hinweisen; Verwenden einer Vielzahl von Klassifikatoren, um die Bewegung des Fahrers zu klassifizieren, wobei jeder der Klassifikatoren trainiert wurde, einen unterschiedlichen Gestensatz zu erkennen; Auswählen aus den Ausgaben der Klassifikatoren, einer Klassifikation für die Bewegung, basierend auf Informationen zu einem Betriebszustand eines Computergeräts; und Bereitstellen eines der gewählten Klassifikation entsprechenden Befehls.
In einigen Implementierungen beinhaltet jeder der Vielzahl von Klassifikatoren einen Random-Forest-Klassifikator.
In einigen Implementierungen beinhaltet die Auswahl der Klassifikation für die Bewegung: Feststellen, ob sich ein Mobiltelefon in einem (i) ersten Zustand befindet, in dem einer aus einer Vielzahl von vom Benutzer auswählbaren Modi aktiv ist, (ii) zweiten Zustand befindet, in dem keiner der Vielzahl von vom Benutzer auswählbaren Modi aktiv ist, und (iii) dritten Status befindet, in dem ein Anruf empfangen wird, wobei der erste Zustand einem ersten Klassifikator entspricht, der zweite Zustand einem zweiten Klassifikator entspricht und der dritte Zustand einem dritten Klassifikator entspricht; und Auswählen der Ausgabe des Zustandes, von dem festgestellt wird, dass sich das Mobiltelefon in diesem befindet, wenn die Bewegung des Fahrers erkannt wurde.
In einem anderen allgemeinen Aspekt beinhaltet das Verfahren, das von einem oder mehreren Computergeräten durchgeführt wird: Abrufen eines Satzes möglicher Gesten für einen Befehl; Bestimmen, für jede der möglichen Gesten, einer eindeutigen Bewertung, die das Ausmaß des Unterschieds zu Gesten aus einem anderen Gestensatz anzeigt; Bestimmen, für jede der möglichen Gesten, einer Wiedererkennungsbewertung, die ein Maß für den menschlichen Benutzer angibt, sich nach einem Zeitraum an die Geste zu erinnern; und Zuweisen einer Geste zu einem Befehl, aus dem Satz möglicher Gesten, basierend auf den Nachweisbarkeitbewertungen, den Eindeutigkeitsbewertungen und den Wiedererkennungsbewertungen.
In einigen Implementierungen gibt die Nachweisbarkeitbewertung ein Maß der Genauigkeit oder Wiederholbarkeit an, mit der die mögliche Geste erkannt wird.
In einigen Implementierungen entspricht der Satz von möglichen Gesten einem gemeinsamen Gestenvokabular zwischen einer Vielzahl von Geräten.
In einigen Implementierungen beinhaltet das Verfahren das Trainieren eines Klassifikators, um einen Gestensatz zu erkennen, der die zugewiesene Geste beinhaltet. Verschiedene Klassifikatoren wurden zur Erkennung unterschiedlicher Gestensätze trainiert, wobei jeder Klassifikator und die damit verbundenen Gestensätze zum Erkennen von Gesten für einen anderen Betriebsmodus oder Zustand eines Computergeräts verwendet werden.
Weitere Implementierungen dieses und sonstiger Aspekte beinhalten entsprechende Systeme, Vorrichtungen und Computerprogramme, die konfiguriert sind, Funktionen der Verfahren, die auf Computerspeichergeräten codiert sind, durchzuführen. Implementierungen können optional zusätzliche, unten beschriebene Merkmale und Subkombinationen derselben beinhalten.
Vorteilhafte Implementierungen können eines oder mehrere der folgenden Merkmale beinhalten. Das System kann ein Verarbeitungsmodul beinhalten, das über Bluetooth mit einem Mobiltelefon verbunden ist. Dadurch kann das Verarbeitungsmodul die Befehle bezüglich der Handbewegungen des Benutzers feststellen und dann die festgestellten Befehle zur Ausführung an das Mobiltelefon übertragen. Das System kann den Radarsender und den Radarempfänger verwenden, um eine Atemfrequenz und eine Herzfrequenz des Benutzers zu bestimmen. Die Atemfrequenz und die Herzfrequenz des Benutzers können verwendet werden, um während der Bedienung des Fahrzeuges eine relative Belastung des Benutzers zu bestimmen. Das System kann des Weiteren eine visuelle Schnittstelle und eine akustische Schnittstelle beinhalten, um die Gestenschnittstelle zu ergänzen. In einigen Aspekten können die visuelle und die akustische Schnittstelle akustische und visuelle Hinweise zur Erkennung und/oder Ausführung von Befehlen bereitstellen, die vom Verarbeitungsmodul festgestellt wurden. Des Weiteren kann das Verarbeitungsmodul des Systems so konfiguriert werden, dass eine oder mehrere Einstellungen eines Fahrzeug-Infotainmentsystems in Reaktion auf eine festgestellte Geste angepasst werden. Die Einstellungen, die geändert werden können, können z. B. eine Lautstärkeneinstellung, eine Einstellung zur Auswahl des Radiosenders, zur Auswahl eines Songs oder einer Wiedergabeliste, eine Einstellung der Medienquelle, Einstellungen der GPS-Navigation und andere Einstellungen beinhalten. Auf diese Weise kann die Gestenschnittstelle ein Mobilgerät in einem Fahrzeug, wie z. B. ein Mobiltelefon, oder ein System in der Armaturentafel, bzw. ein in einem Fahrzeug integriertes System, oder beides, steuern.
Die Details einer oder mehrerer Ausführungsformen von der Erfindung sind in den begleitenden Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale und Vorteile der Erfindung werden aus der Beschreibung, den Zeichnungen und den Ansprüchen deutlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Systemdiagramm für ein System zur Bereitstellung einer radarbasierten Gestenschnittstelle.
2 zeigt eine exemplarische Darstellung von Klassifizierungs-Genauigkeitstests für ein System, das eine radarbasierte Gestenschnittstelle bereitstellt.
3 zeigt eine exemplarische Darstellung der primären symbolischen Gesten.
4 zeigt eine exemplarische Darstellung des sekundären Gestenvokabulars.
5 veranschaulicht ein exemplarisches System, das eine Gestenschnittstelle in Fahrzeugen bereitstellt.
6. veranschaulicht ein exemplarisches Diagramm eines Wiedererkennungswerts von Gesten.
7 veranschaulicht ein exemplarisches Diagramm einer Menge von Trainingsdaten.
In den unterschiedlichen Zeichnungen werden gleiche Bezugszeichen und Bezeichnungen für gleiche Elemente verwendet.
AUSFÜHRLICHE BESCHREIBUNG
In einigen Implementierungen beinhaltet ein System zur Bereitstellung einer Gestenschnittstelle in Fahrzeugen eine Fahrzeug-Gestenschnittstelle, die Radar verwendet, um eine Submillimeter-Interaktion und die Steuerung von Mobiltelefonen in einem Auto berührungslos mit Gesten zu ermöglichen, wobei die Hände am Lenkrad bleiben. Das System kann mithilfe einer radarbasierten Hardware ein Gestenvokabular für Mobilgeräte in einem Fahrzeug verwenden, um die Ablenkung des Fahrers zu verringern.
Das System, das die Gestenschnittstelle bereitstellt, kann neue Möglichkeiten bieten, die mit Kameras für Gestenschnittstelle im Fahrzeug zuvor nicht möglich oder angemessen waren, darunter auch: stabile Nutzbarkeit, unabhängig von Beleuchtung und Atmosphäre, einer Größe von nur 9 × 9 mm, Beständigkeit gegenüber optischen Okklusionen und mehr Privatsphäre, die bei Kamera-Technologien in der Regel problematisch ist.
Das System kann eine Gestensprache verwenden, die intuitiv zu erlernen und während eines Fahrszenarios einfach mit minimaler kognitiver Belastung durchführbar ist. In bestimmten Aspekten basiert die Gestensprache auf einer Umfrage bezüglich der bevorzugten mobilen Dienste während des Fahrens. Daher kann die Gestensprache mithilfe von Schnittstellengesten, die sowohl erkennbar als auch einprägsam sind, iterativ gestaltet werden. In bestimmten Aspekten kann die Gestensprache kontextuell bewusst sein und Modalitäten beinhalten, die eine Genauigkeit von mehr als 97 % erreichen.
Das System, das eine Gestenschnittstelle in Fahrzeugen bereitstellt, kann ein drahtloses, handelsübliches Gerät sein, das für Hände-am-Lenkrad-Interaktionen in ein Auto implementiert werden kann, um die Ablenkung des Fahrers zu verringern.
Dies allein ist möglicherweise kein Problem, zusammen mit dem exponentiellen Anstieg der Nutzung von Mobiltelefonen in allen Lebensbereichen, von Unterhaltung (einschließlich Musik und Videos) bis zur beruflichen Notwendigkeit für die Arbeit und zur allgemeinen Kommunikation, gibt es jedoch Probleme mit abgelenkten Fahrern. 2014 wurde berichtet, dass der durchschnittliche beschäftigte Erwachsene „Aktivitäten verrichtet, die über 31 Stunden am Tag entsprechen“. Die Zahl von 31 Stunden Aktivität wurde aufgrund der Tatsache genannt, dass bei Verfolgung der Aktivität der Teilnehmer diese täglich viel Multitasking betrieben, mit mehreren Aktivitäten gleichzeitig, wobei bei der Mehrheit der Aktivitäten Mobiltelefone oder Computer involviert waren.
Das neue Zusatzgerät und die Allgegenwärtigkeit von Mobiltelefonen kann letztlich das Fahren sowohl positiv (durch sofortigen Zugang zu Navigationsinformationen und Unterhaltung) als auch negativ (wenn der Fahrer den Blick von der Straße abwendet) beeinflussen. Die NHTSA berichtete, dass zu jedem Tageszeitpunkt in Amerika etwa 660.000 Fahrer während der Fahrt Mobiltelefone oder elektronische Geräte verwenden, eine Zahl, die seit 2010 stabil bleibt.
Bis selbstfahrende Fahrzeuge zum Standard werden, sind Fahrer mit einer Reihe von entweder veralteten oder Übergangstechnologien konfrontiert, die erhebliche Herausforderungen mit sich bringen. So sind Fahrer aufgrund veralteter Headset-Einheiten mit Anforderungen konfrontiert. Veraltete Headset-Einheiten können ältere Armaturentafeln beinhalten, die hinsichtlich einer natürlichen haptischen Rückmeldung von Knöpfen und Tasten funktionsfähig sind, jedoch versagen können, wenn der Benutzer den Blick von der Straße abwendet, um dieselben zu finden. Außerdem erfüllen die veralteten Headset-Einheiten möglicherweise nicht die Anforderungen des Benutzers zur Musikauswahl, für Telefonanrufe, oder an die dynamische Funktionalität in einer Zeit der ultimativen Anpassbarkeit. In einem anderen Fall können OEM(Original Equipment Manufacturer)-Schnittstellen für die Fahrer eine Herausforderung darstellen. Im Lauf der durchschnittlichen Lebensdauer eines neuen Fahrzeugs (8 Jahre oder 150.000 Meilen / 250.000 km) sind Fahrer mit – einst innovativen – Hardware- und Softwarelösungen konfrontiert, die sich nur schwer mit dem Tempo der Mainstream-Technologie auf neusten Stand bringen lassen. Des Weiteren können OEM-Touchscreens Herausforderungen für den Fahrer darstellen. Touchscreens im Fahrzeug bieten dynamische Bedienelemente und Inhalte, erfordern jedoch durch deren absoluten Mangel an Berührungsrückmeldungen oder haptischen Rückmeldungen die höchste visuelle Aufmerksamkeit. Zusätzlich können Mobiltelefone für Fahrer Herausforderungen darstellen. Oft entscheiden sich Fahrer bei einem Großteil der Aufgaben während des Fahrens für die Verwendung ihres Mobiltelefons. Diese Aufgaben von Musikauswahl, Navigation, Telefonanrufen usw. können alle eine Ablenkung verursachen, während der Fahrer ein Fahrzeug bedient.
Das System, das in Fahrzeugen eine Gestenschnittstelle bereitstellt, trägt dazu bei und erweitert die Bemühungen, die Ablenkung des Fahrers durch alternative Schnittstellen für Fahrer zu verringern. Das System kann Radar als Gesteneingabegerät innerhalb von Fahrzeugen verwenden. Die Verwendung von Radar als Gesteneingabegerät kann einen völlig eigenständigen, radarbasierten Sensor für die vollständige Interaktion beinhalten und ein benutzerorientiertes Design aufweisen.
1 zeigt ein Systemdiagramm für ein System 100 zur Bereitstellung einer radarbasierten Gestenschnittstelle. Wie in der Figur dargestellt, beinhaltet das System ein Radar-Gestik-System 110, das in einem Fahrzeug 120 verwendet werden kann. Das Radarsystem 110 kann verwendet werden, um Gesten einer Person im Fahrzeug zu erkennen und zu interpretieren. Beispielsweise können zumindest Teile des Radar-Gestik-Systems 110 am Lenkrad oder in der Armaturentafel eines PKWs, LKWs oder sonstigen Fahrzeugs befestigt oder in dieses integriert sein. Die Radarkomponenten des Systems können so positioniert werden, dass Finger- und Handbewegungen des Fahrers im Bereich des Lenkrads als Steuerungsgesten für ein Computersystem erkannt werden können. Genauer gesagt, kann das Radarsystem 110 konfiguriert werden, Bewegungen zu erkennen, die durchgeführt werden, während die Hand des Fahrers immer noch in Kontakt mit dem Lenkrad ist. Das Radarsystem 110 erkennt die Gesten und interpretiert dann die erkannten Bewegungen, um einen Befehl für ein Computergerät 130 auszuwählen, das ein separates Mobilgerät im Fahrzeug sein kann, wie zum Beispiel ein Mobiltelefon, Tablet-PC, Laptop, tragbares Gerät, Navigationsgerät des Benutzers usw., oder ein Computersystem sein kann, das in das Fahrzeug 120 integriert ist, wie ein in die Armaturentafel integriertes Navigationsgerät, ein Steuersystem oder Steuerpult des Fahrzeugs 120, oder ein anderes Informations- oder Unterhaltungs-(Infotainment)-System des Fahrzeugs 120.
Das Radarsystem 110, oder zumindest das Radarsubsystem 130, kann im Innenraum oder der Kabine des Fahrzeugs montiert oder platziert sein, wobei es angeordnet ist, um eine Bewegung und Geste in einem Bereich zwischen dem Lenkrad und der Brust des Fahrers zu erkennen. Der Raum, in dem das Radarsystem 110 eine Gesteneingabe erkennt, kann einen Teil oder das gesamte Lenkrad beinhalten, um Eingaben von Finger- und Handbewegungen am oder um das Lenkrad zu erfassen. Das Radarsubsystem 130 kann ausgerichtet sein, um Radarsignale über eine Öffnung im Lenkrad und mindestens einen oberen Teil des Lenkrads zu empfangen und zu übertragen.
In einigen Implementierungen kann das System 100, das eine Gestenschnittstelle in Fahrzeugen bereitstellt, das Radarsystem 110 als eigenständiges, radarbasiertes Sensormodul für die Gestensteuerung eines Mobiltelefons oder eines anderen Geräts, und/oder für ein integriertes Infotainmentsystem (z. B. ein Navigationssystem, eine Stereoanlage usw.) des Fahrzeugs 120 beinhalten. Die Gestensteuerung kann auf einer Gestensprache basieren, angelehnt an Symbole der Gebärdensprache, für die mobile Verwendung in einem PKW. Die Gestensprache kann von einem gemeinsamen Gestenvokabular abgeleitet sein, das in verschiedenen Anwendungen zwischen verschiedenen Geräten, wie z. B. Smartphones, Tablets, Computern und dergleichen, verwendet wird. Das System, das eine Gestenschnittstelle in Fahrzeugen bereitstellt, kann einen ausgewählten Satz von Modalitäten beinhalten, die laut einer Umfrage unter Benutzern beim Fahren notwendig sind. Das System kann letztlich eine Gestenschnittstelle mit technologisch durchführbarer, radarbasierter Erkennung ausgleichen.
Das Radarsystem 110 kann einen Radarsender 132 und einen Radarsensor 134 beinhalten, um die Gestenschnittstelle bereitzustellen. In einigen Implementierungen können der Radarsender 132 und der Radarsensor 134 in einem einzelnen Chip 130 integriert sein. Der Radarsender 132 und der Radarsensor 134 können einen Sensormechanismus bereitstellen, der eine robuste, hochauflösende, leistungsarme Miniaturgesten-Erkennungstechnologie bereitstellt, die auf Millimeterwellenradar basiert. Bei Implementierung bei Millimeterwellen-HF-Frequenzen, kann der gesamte Sensormechanismus als ein Radarchip konzipiert sein: Ein leistungsschwaches Miniaturgerät, das keine beweglichen Teile hat und im Großmaßstab kostengünstig hergestellt werden kann.
In einigen Implementierungen sendet das Radarsystem 110 in einem breiten Strahl elektromagnetische Wellen aus. Objekte innerhalb des Strahls zerstreuen diese Energie und reflektieren einen Teil zurück in Richtung der Radarantenne. Eigenschaften des reflektierten Signals, wie z. B. Energie, zeitliche Verzögerung und Frequenzverschiebung erfassen viele Informationen über die Eigenschaften des Objekts und die Dynamik, einschließlich Größe, Form, Ausrichtung, Material, Abstand und Geschwindigkeit.
In einigen Implementierungen verfolgt und erkennt das Radarsystem 110 dynamische Gesten, die durch feine Bewegungen der Finger und der Hand ausgedrückt werden. Dies kann mit einem einzigen Chipsensor 130 durchgeführt werden. Im Gegensatz zu herkömmlichen Radarsensoren erfordert diese Art von Sensormechanismus keine große Bandbreite und keine hohe räumliche Auflösung. Tatsächlich kann die räumliche Auflösung gröber sein als der Größenmaßstab der meisten feinen Fingergesten. Stattdessen verwendet das Radarsystem 110 Sensorprinzipien, die auf der Bewegungsauflösung basieren, indem es subtile Änderungen im empfangenen Signal im Laufe der Zeit extrahiert. Durch die Verarbeitung dieser zeitlichen Signalvariationen kann das Radarsystem 110 komplexe Fingerbewegungen und Verformungen von Handformen innerhalb seines Feldes unterscheiden. Während also die räumliche Auflösung relativ niedrig sein kann, kann die zeitliche Auflösung hoch sein, um Geschwindigkeit und Veränderungen in der Position genau anzuzeigen.
In einigen Implementierungen beinhaltet die Software für das Radarsystem 110 eine Gestenerkennungs-Pipeline, die unabhängig von der Hardware ist und mit verschiedenen Arten von Radar arbeiten kann. Die Pipeline implementiert mehrere Stufen der Signalabstraktion: (i) von rohen Radardaten bis zu Signalwandlungen, (ii) Kernmerkmale und abstrakte, maschinenlernbare Merkmale, (iii) Erfassung und Verfolgung, (iv) Gestenwahrscheinlichkeiten und schließlich (v) Tools für grafische Benutzeroberflächen zur Interpretation der Gestensteuerungen.
Das Radarsystem 110 kann ein Verarbeitungssystem 140 beinhalten, das einen oder mehrere Prozessoren, einen oder mehrere Datenspeicher, der ausführbare Anweisungen speichert, und/oder sonstige Verarbeitungskomponenten beinhaltet. Dieses Verarbeitungssystem 140 kann zusammen mit anderer Hardware und Software, falls gewünscht, die für ein Signalverarbeitungsmodul 142, Klassifikatoren 144a–144c und ein Auswahlmodul 146 beschriebenen und veranschaulichten Funktionen implementieren.
Das Signalverarbeitungsmodul 140 kann Echtzeitsignale vom Radarsubsystem 130 erhalten. Das Signalverarbeitungsmodul 140 kann Signalwandlungen anwenden und die Ergebnisse der Wandlungen ausgeben, um zum Beispiel hochpräzise Positions- und Bewegungsdaten zu erzeugen. So kann beispielsweise das Signalverarbeitungsmodul 140 Wandlungen zu jeder Radarmessung vornehmen, um Formen und Positionen von Objekten relativ zum Radarsensor zu bestimmen. Ebenso kann das Signalverarbeitungsmodul 140 verschiedene Messungen vergleichen und Änderungen über viele verschiedene Messungen verfolgen, um die Richtung und Geschwindigkeit der Bewegung der erkannten Objekte zu bestimmen. Somit kann das Signalverarbeitungsmodul aus dem rohen Radardatenstrom Merkmale extrahieren, die die Position der erkannten Objekte, die Größe der erkannten Objekte, die Form der erkannten Objekte, die Geschwindigkeit und die Richtung der Bewegung der erkannten Objekte und so weiter repräsentieren. Das Signalverarbeitungsmodul 140 kann Doppler-Verarbeitungstechniken, Fourier-Transformationen und andere Techniken verwenden, um Merkmalswerte zu erzeugen, die Radarsignale repräsentieren, die zurück auf den Sensor reflektiert und erkannt worden sind. Daher kann das Verarbeitungssystem 140, in Reaktion auf den eingehenden Strom der Radarsensormessungen, die Ergebnisse von Signalwandlungen, einschließlich hochpräziser Positions- und Bewegungsdaten, ausgeben. Dies kann als Strom von Merkmalswerten bereitgestellt werden, wobei jeder Satz von Merkmalswerten eine oder mehrere Messungen des Radarsensors 134 repräsentiert. In einigen Implementierungen wird ein Satz vorbestimmter Radarkernmerkmale verwendet, und die Ausgabemerkmale repräsentieren den Mittelwert, die Standardabweichung, die Summe, und den Betrag für alle Radarkernmerkmale. Zum Beispiel können mit 8 Radarkernmerkmalen für jede Messung insgesamt 32 Ausgaben von Merkmalswerten zur Verfügung gestellt werden. Die für eine gegebene Messung oder ein gegebenes Bild festgestellten Merkmalswerte können auf einer Reihe von Messungen innerhalb eines vorgegebenen Zeitfensters, z. B. den vorherigen 5, 10 oder 50 Messungen, basieren. Der Sensor 134 und das Signalverarbeitungsmodul können bei jeder entsprechenden Bildrate, zum Beispiel bei Bildraten von 100 bis 10.000 Bildern pro Sekunde, arbeiten.
Die Merkmalswerte oder andere Ausgabedaten des Signalverarbeitungsmoduls 142 können mit einem oder mehreren maschinell lernenden Klassifikatoren zur Verfügung gestellt werden. In einigen Implementierungen werden mehrere Klassifikatoren 144a–144c parallel verwendet, um das Ansprechverhalten und die Genauigkeit zu maximieren. So kann beispielsweise jeder der verschiedenen Klassifikatoren trainiert werden, einen unterschiedlichen Satz von Gesten zu erkennen. Zum Beispiel kann ein erster Klassifikator 144a trainiert werden, einen bestimmten Gestensatz in einem ersten Gestensatz 145a zu erkennen, ein zweiter Klassifikator 144b kann trainiert werden, unterschiedliche Gestensätze zu erkennen, die als zweiter Gestensatz 145b dargestellt werden, und ein dritter Klassifikator 144c kann trainiert werden, noch einen anderen Gestensatz zu erkennen, der als dritter Gestensatz 145c dargestellt ist. Indem jeder Klassifikator 144a–144c auf einen bestimmten Satz von Gesten begrenzt wird, kann der Klassifikator mit einem kleinen und rechnerisch effizienten Modell lernen, zwischen dem kleinen Satz von Gesten genau zu unterscheiden. Diese Klassifikatoren 144a–144c können jeweils parallel Merkmale des Signalverarbeitungsmoduls 142 empfangen und die Merkmale gleichzeitig verarbeiten. In einigen Implementierungen empfängt jeder Klassifikator 144a–144c den gleichen Satz von Merkmalen, obwohl jeder so konfiguriert ist, dass er einen unterschiedlichen Gestensatz 145a–145c erkennen kann. Die verschiedenen Gestensätze können völlig verschieden sein und sich nicht überschneiden, oder in einigen Implementierungen eine oder mehrere Gesten gemeinsam beinhalten.
In einigen Implementierungen entspricht jeder Gestensatz 145a–145c und dessen entsprechender Klassifikator 144a–144c einer bestimmten Aufgabe, einem bestimmten Kontext, oder einem bestimmten Betriebsmodus. So kann beispielsweise in einer hierarchischen Schnittstelle, ein anfänglicher oder primärer Zustand eine Reihe für einen Benutzer auswählbarer Optionen aufweisen, wobei jeder dieser Optionen einer anderen entsprechenden Geste zugeordnet sein kann. Durch die Auswahl einer Option aus dem primären Zustand kann man in einen Modus oder einen Teil der Schnittstelle gelangen, in dem ein sekundärer Satz von Optionen verfügbar ist, wobei jede dieser Optionen einer anderen Geste entsprechen kann. Auf diese Art und Weise kann ein Gestensatz und Klassifikator die Gesten für den primären Zustand darstellen, während ein zweiter Gestensatz und Klassifikator die Gesten für den sekundären Zustand repräsentieren kann. Auf diese Weise kann jeder Zustand einer Schnittstelle, der für den Benutzer eine Reihe unterschiedlicher Optionen zur Verfügung stellt, einen entsprechenden Gestensatz und Klassifikator aufweisen.
Zum Beispiel können die Klassifikatoren 144a–144c als drei Entscheidungsbäume oder Random-Forest-Klassifikatoren implementiert sein, die für die Klassifizierung der Gesten verwendet werden. Die Klassifikatoren 144a–144c können jeweils primären symbolischen Gesten, Anrufgesten und einem sekundären Gestenvokabular entsprechen. Die primären symbolischen Gesten können Betriebsmodi für das Computergerät oder Aufgabentypen repräsentieren, die der Benutzer ggf. ausführen möchte, z. B. Anruf einleiten, eine Textnachricht senden, Musik abspielen und GPS starten. Jede dieser Optionen kann einer bestimmten, vorher festgestellten Gestenbewegung entsprechen. Sobald der Benutzer die entsprechende Geste ausführt, um eine dieser Optionen auszuwählen, steht ein sekundäres Gestenvokabular zur Verfügung, z. B. Bedienelemente, um in einer Liste nach links zu navigieren, um in einer Liste nach rechts zu navigieren, um einen aktuellen Eintrag auszuwählen oder um (z. B. zum primären Zustand der Schnittstelle) zurück zu navigieren. Ein weiterer Gestensatz und ein entsprechender Klassifikator können für Gesten in einem anderen Modus eines Computergeräts verwendet werden, wie z. B. einem Modus, in dem ein eingehender Anruf empfangen wird. In diesem Modus kann ein Gestensatz, der dem Entgegennehmen oder Ablehnen eines Anrufs entspricht, die verfügbare Option sein. Je nach Schnittstelle und Konfiguration des Computergeräts können unterschiedliche Auswahl- oder Navigationsgesten definiert werden, wobei diese Gesten (z. B. die Handbewegungen und -positionen, die die Gesten repräsentieren) die gleichen sein oder sich in den verschiedenen Zustände der Schnittstellen unterscheiden können.
Wie zuvor erwähnt, können die drei Klassifikatoren 144a–144c gleichzeitig ausgeführt werden. Die Ausgaben von jedem Klassifikator 144a–144c können ein Hinweis auf die wahrscheinlichste Geste aus dem Gestensatz für den Klassifikator sein. Dies kann als Hinweis auf eine bestimmte Geste, die erkannt wurde, oder in Form von Wahrscheinlichkeiten für die einzelnen Gesten in dem entsprechenden Gestensatz, oder in einer anderen Form ausgedrückt werden. Ein Auswahlmodul 146 empfängt die Ausgaben der Klassifikatoren 144a–144c und empfängt zudem Kontextdaten 150 zum aktuellen Zustand oder Modus des Computergeräts 130. Basierend auf den Kontextdaten 150 wählt das Radarsystem 110 die Ausgabe von einem der Klassifikatoren 114a–114c aus, um diese bei der Interpretation der Benutzereingabegesten zu verwenden. Das Auswahlmodul 146 stellt anschließend eine Angabe der Benutzereingabegeste fest. Wie z. B. in 1 dargestellt, kann das Auswahlmodul 146 eine Gestenanzeige 152 ausgeben, die die identifizierte Geste anzeigt. Zusätzlich oder als Alternative kann das Radarsystem 110 einen der identifizierten Geste entsprechenden Befehl anzeigen, beispielsweise durch Senden einer Steuerungsanweisung, um den Betrieb des Computergeräts 130 auf Basis der identifizierten Geste zu ändern.
Das Radarsystem 110 kann mit dem Computergerät 130 über eine kabelgebundene oder eine drahtlose Schnittstelle (z. B. Bluetooth, WLAN usw.) kommunizieren. Das Computergerät 130 kann regelmäßig Daten bereitstellen, die den aktuellen Modus oder den Zustand der Schnittstelle des Computergeräts 130 anzeigen. So kann das Computergerät 130 beispielsweise jedes Mal, wenn sich der Modus des Computergeräts 130 ändert, die Änderung dem Radarsystem 110 anzeigen. Als weiteres Beispiel kann der Modus in regelmäßigen Abständen, z. B. jede Sekunde, alle 5 Sekunden usw. angezeigt werden. Als weiteres Beispiel kann das Radarsystem 110 am Computergerät 130 Informationen über den aktuellen Betriebszustand des Geräts abfragen.
Die angezeigten Betriebsmodi können den verschiedenen Gestensätzen 145a–145c entsprechen. So kann zum Beispiel ein Modus, der die Auswahl aus einer Musikwiedergabe, Navigation, das Initiieren eines Anrufs, oder andere Optionen ermöglicht, als ein erster oder primärer dem Gestensatz 145 entsprechender Betriebsmodus angesehen werden. Wenn die Kontextdaten 150 anzeigen, dass sich das Computergerät 130 in diesem Modus befindet, verwendet das Auswahlmodul 146 die Ausgabe des ersten Klassifikators 144 und ignoriert die Ausgaben der Klassifikatoren 144b, 144c. Das Ergebnis ist, dass die Benutzergesten nur aus den Gesten im ersten Gestensatz 145a identifiziert werden, dem Gestensatz, der für den primären Betriebsmodus relevant ist. Durch die Einschränkung der Gesten auf Gesten, die für das Computergerät tatsächlich relevant sind, und durch Verwenden eines Klassifikators 144a, der speziell trainiert wurde, um unter diesem bestimmtem Gestensatz zu unterscheiden, kann das Radarsystem 110 eine falsche Identifikation von nicht zutreffenden Gesten vermeiden und ein einfaches, schnelles und effizientes Rechenmodell verwenden, um unter dem kleinen Gestensatz zu unterscheiden.
Ein weiteres Beispiel: Wenn sich das Computergerät 130 in einem Navigationsmodus, oder einem Modus für die Wiedergabe von Musik befindet, kann das Computergerät 130 dies in den Kontextdaten 150 anzeigen. In einigen Implementierungen kann der für mehrere Modi relevante Gestensatz der gleiche sein. In anderen Worten, egal ob im Musikwiedergabemodus oder im Navigationsmodus, kann der gleiche Gestensatz 145b den kompletten Satz von Optionen repräsentieren, die dem Benutzer zur Verfügung stehen. Dementsprechend können die Kontextdaten 150 einfach anzeigen, dass einer von mehreren sekundären Betriebsmodi momentan verwendet wird, ohne ausdrücklich anzugeben, welcher der mehreren sekundären Modi verwendet wird. Wenn die Kontextdaten 150 anzeigen, dass ein sekundärer Modus der aktuelle Betriebsmodus ist, verwendet das Auswahlmodul 146 die Ausgabe des zweiten Klassifikators 144b, der einen anderen Gestensatz als die anderen Klassifikatoren 144a, 144c erkennt. Das Auswahlmodul 146 bestimmt also anhand der Ausgabe des Klassifikators 144b die wahrscheinlichste Geste aus dem Satz von Gesten im Gestensatz 145b. Zeigen die Kontextdaten 150 an, dass ein dritter Betriebsmodus im Computergerät 130 aktiv ist, z. B. wenn ein Anruf eingeht, verwendet das Auswahlmodul die Ausgabe des Klassifikators 144c, um eine Geste aus dem Gestensatz 145c als die identifizierte Geste auszuwählen.
In einigen Implementierungen führt das Auswahlmodul 146 eine andere Verarbeitung der Klassifikatorausgaben durch. Zum Beispiel kann das Auswahlmodul 146 oder ein anderes Nachbearbeitungsmodul die Daten der Klassifikatoren glätten, indem es Bilder überspringt oder einen Zeitpuffer zu Beginn eines jeden Bildes hinzufügt, sodass jede festgestellte Geste auf ihre Genauigkeit hin überprüft werden kann. Als weiteres Beispiel kann das Auswahlmodul 146 den Mittelwert der Wahrscheinlichkeiten oder anderen Ausgaben über Frames, z. B. über eine bestimmte Anzahl von Frames oder über eine bestimmte Zeitdauer, ermitteln, um die Genauigkeit und Zuverlässigkeit zu erhöhen. Wie zuvor erwähnt, können Radarmessungen bei Bildfrequenzen von 100 bis 10.000 Bildern pro Sekunde vorgenommen werden. Eine Reihe von Gestenanzeigen 152, z. B. die angegebenen Gestenbezeichnungen oder Anweisungen, können mit der gleichen Geschwindigkeit, z. B. eine Angabe pro Sensordatenrahmen, oder mit einer niedrigeren Geschwindigkeit bereitgestellt werden. Es können zum Beispiel 10 oder 100 Datenrahmen und entsprechende Klassifikatorausgaben verwendet werden, um jede Gestenanzeige 152 zu erzeugen, die auf dem Computergerät 130 zur Verfügung gestellt wird. Wenn der Benutzer keine Geste durchführt, oder wenn eine Wahrscheinlichkeitsbewertung oder Vertrauensbewertung für alle Gesten unterhalb eines Schwellenwerts liegt, kann das Radarsystem 110 zusätzlich darauf hinweisen, dass derzeit keine Geste durchgeführt wird, oder einfach keine Gestenanzeige 152 bereitstellt werden kann, bis eine erkennbare Geste erkannt wird.
In Reaktion auf die Gestenanzeige 152 kann das Computergerät 130 eine damit verbundene Aktion durchführen. So kann zum Beispiel das Computergerät 130 die Betriebsmodi verändern, eine Auswahl vornehmen, Elemente in einer Liste durchlaufen oder andere Operationen durchführene, die den identifizierten Gesten entsprechen.
In einigen Implementierungen ist der Radarsensorchip 130 ein vollständig integrierter, leistungsarmer Radar, der im 60-GHz-ISM-Band arbeitet. Es können unterschiedliche Modulationsarchitekturen, beispielsweise ein FMCW-Radar (Frequency Modulated Continuous Wave) und/oder ein DSSS-Radar (Direct-Sequence Spread Spectrum), verwendet werden. Für jede Technik kann das gesamte Radarsystem, einschließlich mehrerer Strahlformungsantennen, die eine 3D-Nachverfolgung und Bildgebung ohne bewegliche Teile ermöglicht, in dem Paket integriert sein.
Möglicherweise ist die am schnellsten wachsende Option für ablenkungsloses Fahren in Autos die Weiterverbreitung sprachgesteuerter Schnittstellen. Obwohl sprachgesteuerte Schnittstellen derzeit eine der besseren und sicheren Optionen zu sein scheinen, haben sie dennoch Einschränkungen, darunter auch bei der spezifischen Steuerung von Einstellungen wie Lautstärkeeinstellungen, sowie das begrenzte kontextuelle Verständnis. Während sich die Sprachtechnologie mit hoher Geschwindigkeit deutlich verbessert, ist die Sprachtechnologie in der Regel in das Auto selbst eingebaut. Und bei einer durchschnittlichen Lebensdauer der Fahrzeuge von 8 Jahren oder 150.000 Meilen / 250.000 km sind Benutzer schnell mit veralteter Technologie konfrontiert, oder müssen ihre eingebauten Systeme stets aktualisieren. Obwohl Bemühungen, wie z. B. Android Auto, die Sprachtechnologien mit auf das Fahren ausgerichteten Schnittstellen in das Mobiltelefon integrieren möchten, sind diese Leistungen derzeit noch nicht allgemein verfügbar.
Ein weiterer potentieller Nachteil bei der Verwendung sprachbasierter Schnittstellen ist der soziale Aspekt. In der Regel werden Sprachtechnologien nur verwendet, wenn man alleine ist, da es seltsam wäre, in Gegenwart von Freunden eine sprachgesteuerte Assistentenschnittstelle zu benutzen und Gespräche zu stören. Sozial gesehen ist das Missverständnis von Worten (besonders für Anwender mit Akzenten) besonders frustrierend.
In bestimmten Aspekten kann der Radarchip 130 Abmessungen zwischen 9 × 9 mm und 12 × 12 mm aufweisen. Radarchips können speziell für das Erkennen einer Gesteninteraktion konzipiert werden. Sie sind klein genug, um eine Gesteninteraktion über ein sehr breites Anwendungsspektrum wirklich überall zu gewährleisten. Sie lassen sich in vielen Umgebungen verwenden, u. a. auch in herkömmlichen Geräten (z. B. Mobiltelefonen, Tablet-PCs und Notebooks), Internet der Dinge(IoT)-Geräten und Fahrzeuginnenräumen.
Der Radarsensor des Systems 110 kann sich auf einzigartige Weise für Kfz-Kontext eignen, da eine radarbasierte Technologie die Erfassungs- und Stabilitätsmerkmale ermöglicht, die frühere Technologien verbessert. Im Gegensatz zu kamerabasierten Systemen wird der Sensor nicht durch die im Fahrzeuginnern vorhandene extreme Beleuchtung und die atmosphärischen Bedingungen beeinträchtigt. Die Sensoren können so klein sein, dass sie an fast jeder Stelle im Innenraum angebracht werden können, ohne den Fahrer zu behindern oder sichtbare Komponenten im Innenraum hinzuzufügen. Der Sensor funktioniert auch durch nicht metallische Materialien, d. h. es gibt mehr Möglichkeiten für die Platzierung des Sensors, ohne dass man sich um Behinderungen sorgen muss (ein großes Problem bei der Verwendung von Kameras als Sensoren). Die Bedenken von kamerabasierten Systemen bezüglich der Privatsphäre gelten nicht für den Sensor. Insgesamt führt die kontrollierte Umgebung im Innenraum, in dem eine feste Position des Fahrers angenommen werden kann, zu einer robusten Gestenerkennung. Um die Robustheit des Systems weiter zu optimieren, können mehrere Sensoren rund um den Raum platziert werden, in dem Gesten durchgeführt werden.
Der Radarsensorchip 130 kann schnell und präzise genug sein, um Eingaben mit bis zu 10.000 Bildern pro Sekunde zu verfolgen und Submillimeterbewegungen zu erkennen. Reichweite, Geschwindigkeit und Bewegung sind der Schlüssel für eine radarbasierte Gesteninteraktion: Der Sensor erstellt keine Karte seiner Umgebung, kann jedoch mehrere Bewegungskomponenten genau feststellen und verfolgen, die von einer Hand verursacht werden, die sich innerhalb seines Bereichs bewegt. Für sensoraktivierte Interaktionen werden Gesten mit einer klaren Bewegungskomponente vom System eher festgestellt als Gesten, die als Handformen ausgedrückt werden.
Das System, das die Gestenschnittstelle bereitstellt, kann Gesten verwenden, die auf virtuellen Tasten anstatt auf physischen Tasten basieren. In einigen Aspekten kann die Geste durchgeführt werden, wenn die Hände des Fahrers in Kontakt mit dem Lenkrad des Autos bleiben. Das System kann ein Mobiltelefon im Auto verwenden, anstatt veraltete Armaturentafeln oder andere, in das Fahrzeug integrierte Schnittstellen. Zusätzlich ermöglicht die Nutzung des Mobiltelefons einen völlig neuen Markt von Fahrern, die keine komplette Headset-Einheit austauschen möchten, wenn Sie bereits ein Auto besitzen.
Das System kann kontextuell begrenzte Merkmale beinhalten, damit die Schnittstelle funktionsfähig bleibt. Um also die Benutzer nicht mit zusätzlichen Gesten zu überladen, kann die Anzahl der Gesten zu jedem beliebigen Zeitpunkt begrenzt werden, sodass nur Gesten erlaubt sind, die für die Bedürfnisse des Benutzers zu einem bestimmten Zeitpunkt relevant sind. Des Weiteren kann das System ein gemeinsames Gestenvokabular beinhalten, das Gesten, wie z. B. den auf anderen Geräten, beispielsweise Mobiltelefonen oder Tablets, verwendeten Gesten, ähnlich sein kann. Das gemeinsame Gestenvokabular kann Wischen, Zooms, Klicks und dergleichen ähneln. Zusätzlich kann das gemeinsame Gestenvokabular eine neue, aber ebenbürtige Form von Radar-Gestenvokabular beinhalten.
Das System kann eine intuitive Schnittstelle beinhalten, die Benutzer nicht dazu zwingt, eine neue, abstrakte Gestensprache zu lernen, indem es eine Symbolsprache verwendet, die Benutzer kulturell bereits kennen. Die Symbolsprache kann in ihrer Funktionalität eingeschränkt werden, sodass sie während der Fahrt gefahrenlos und ohne Ablenkung einfach abgerufen werden kann. Das System kann zudem Telefonfunktionen begrenzen, indem es die Ablenkung der Fahrer durch unnötige Funktionen verringert, ein Menüsystem des Systems vereinfacht, das zur Verbesserung der Benutzerfreundlichkeit eine Gestenschnittstelle in Fahrzeugen bereitstellt und einen relativ kleinen Klassifizierungssatz beinhaltet, der technisch einsatzfähig ist.
Durch Definieren des Klassifizierungssatzes, ansonsten als Merkmalsatz bekannt, kann eine Umfrage durchgeführt werden. In der Umfrage können 200 Fahrern im Alter von 21 Jahren oder älter, die Zugriff auf ein eigenes Fahrzeug haben und 3-4-mal in der Woche fahren, folgende Fragen gestellt werden: „Welche drei mobilen Dienste sind für Sie beim Fahren am wichtigsten? Navigation, Musik, Anrufe, SMS-/Textnachrichten, Suchen, E-Mail, oder keine der oben genannten Antworten.“ Die Ergebnisse der Umfrage von „am beliebtesten“ bis „am wenigsten beliebt“ können beinhalten: Navigation, Musik, Anrufe, SMS-/Textnachrichten, Suche, E-Mail, keines der oben genannten.
Somit kann das System, das in Fahrzeugen eine Gestenschnittstelle bereitstellt, gemäß der Umfrage einen begrenzten Funktionssatz beinhalten, darunter auch Modalitäten, wie z. B. Navigation, Musik, Telefon Telefonieren und Simsen. Auf jeden der Modi kann über einen Menü-Bildschirm der Gestenschnittstelle des Systems, das eine per Gesten gesteuerte Schnittstelle in Fahrzeugen bereitstellt, zugegriffen werden. Auf die Modi kann zu jedem Zeitpunkt vom Menü-Bildschirm aus zugegriffen werden, in dem der Benutzer eine bestimmte Geste nutzt, um in einen der Modi überzugehen und letztlich eine gewünschte Aufgabe abzuschließen.
Der Gestensatz des Systems kann verschiedene Arten von Gesten, wie zum Beispiel primäre symbolische Gesten und ein sekundäres Gestenvokabular, beinhalten. Die primären symbolischen Gesten können als eine Handgeste definiert werden, die aus dem einen oder anderen Grund kulturell bereits bekannt sein kann, und bereits im Umlauf ist und durch Benutzer verwendet wird. Ein Beispiel für die primäre symbolische Geste kann die „Ich telefoniere Geste“ sein. Andererseits kann das sekundäre Gestenvokabular einen Gestensatz beinhalten, der als allgegenwärtiger Gestensatz in allen Apps funktioniert, einschließlich Gesten, wie z. B.: Nach links wischen, nach rechts wischen, auswählen, zurück usw.
Das System ist so ausgelegt, dass ein Benutzer in einen bestimmten Modus, beispielsweise den Navigationsmodus, übergeht, indem er eine primäre symbolische Geste ausführt, und dann innerhalb eines Modus mithilfe des sekundären Gestenvokabulars navigieren kann. Es muss auf den Unterschied zwischen primären symbolischen Gesten und dem sekundären Gestenvokabular als Systemdesignlösung für die Navigation in der Schnittstelle hingewiesen werden, wobei beide viele technische Hürden vereinfachen. Durch die Begrenzung der gestischen Funktionalität des Systems zu einem bestimmten Zeitpunkt kann die Genauigkeit der Klassifizierung ebenfalls stark verbessert werden, indem der Klassifizierungssatz zu einem bestimmten Zeitpunkt auf eine kleinere Auswahl an Gesten, wie z. B. zwei bis vier Gesten statt insgesamt acht bis zehn Gesten, reduziert wird.
Die primären symbolischen Gesten können auf umgangssprachlichen Gesten basieren. Durch die Ausrichtung auf eine durch Benutzer definierte begrenzte Modalität kann eine Reihe von Gesten der Hand festgestellt werden, die symbolisch jeden der festgestellten Modi repräsentieren, während sie in Bezug auf die Radarsignatur dennoch eindeutig erscheinen. Die Radarsignatur der Gesten wird hierin noch weiter erläutert werden.
Mit Hilfe einer Reihe vorgegebener Gesten kann eine Umfrage durchgeführt werden, um bevorzugte Gesten festzustellen. Die Umfrage kann vier mögliche Gesten für jeden festgestellten Modus beinhalten. Die Umfrage kann den Teilnehmenden einer bestimmten Alterskategorie Animationen der möglichen Gesten zur Verfügung zu stellen und sie fragen, „Welche der nachstehenden Animationen ist die einfachste Handgeste, die einen 'Telefonanruf' symbolisiert?“ In bestimmten Aspekten kann die Umfrage eine Mehrzahl einer Präferenz für eine bestimmte Geste in jeder Kategorie finden. Demgemäß kann dann die jeder Geste entsprechende bevorzugte Geste als primäre symbolische Geste für diesen jeweiligen Modus festgestellt werden.
Um die Gesten zu bestimmen, so wie sie vom Sensor oder dem Radarchip erkannt werden, können Signalwandlungen, wie Reichweiten-Doppler, Mikro-Doppler, Spektrogramme und dergleichen untersucht werden. Die Untersuchung der Signalwandlungen können verwendet werden, um zu bestimmen, ob alle Gesten erkennbar und/oder zueinander eindeutig sind.
2 zeigt eine exemplarische Darstellung von Klassifizierungs-Genauigkeitstests für ein System, das eine Gestenschnittstelle in Fahrzeugen bereitstellt. Die Klassifizierungs-Genauigkeitstests zeigen, wie jede Geste in Relation zu einer anderen durch Merkmale wie: Geschwindigkeit, Beschleunigung, Abstand vom Sensor, Ausmaß der Veränderung einer Bewegung, Länge der Geste, in Richtung oder entgegen der Richtung zur Kamera eindeutig ist. Klassifizierungs-Genauigkeitstests werden verwendet, um zu beurteilen, ob die Bewegungen der entsprechenden Gesten erkennbar sind. Zusätzlich sind die Klassifizierungs-Genauigkeitstests wichtig, um zu verstehen, wie die Gesten bezüglich der Bewegungen, Zeit, Ausrichtung und Nähe zum Sensor oder Radarchip eindeutig bleiben. Die Klassifizierungs-Genauigkeitstests von 2 definieren des Weiteren den Gestenraum und die Eindeutigkeit jeder entwickelten Geste, um sowohl die technische Durchführbarkeit als auch Systemdesigns/mentale Modelle für den Benutzer zu unterstützen.
In 2 sind zwei Beispiele von Gestensätzen veranschaulicht, deren räumliche Positionen innerhalb des Raums 210 in der Nähe des Lenkrads 220 angezeigt werden, in dem das Radarsystem 110 Gesten erkennen kann. Der erste Gestensatz beinhaltet vier Gesten 230a–230d, mit unterschiedlicher Länge, Position, und Bewegungsbahn innerhalb des Raums 210. Diese Gesten repräsentieren einen Gestensatz, der von einem Klassifikator des Radarsystems 110 erkannt wird. Der zweite Gestensatz beinhaltet zwei Gesten 240a–240b, die einen anderen Gestensatz repräsentieren, der mit einem anderen Klassifikator identifiziert wird. Für jede dieser Gesten repräsentiert der Punkt auf der Bahn den Endpunkt der Geste, z. B., wo die Hand des Benutzers stehen bleibt, oder die Geschwindigkeit der Bewegung unter einen bestimmten Schwellenwert abfällt.
3 zeigt eine exemplarische Darstellung der primären symbolischen Gesten 310, 320, 330, 340. Jede der Gesten wird relativ zur Position des Lenkrads 210 dargestellt, und ist innerhalb des Raums 210, durch das Radarsystem 110 erkennbar. Die primären symbolischen Gesten können auf Basis einer Benutzerbewertung der Gesten festgestellt werden, sowie anhand der Durchführbarkeit der Radarsignatur jeder Geste. So kann zum Beispiel die entsprechende Geste 340 für den Musikmodus rhythmisches Tippen auf dem Lenkrad beinhalten, wie sie dies beim Anhören von Musik tun würden. Dadurch würde der Musikmodus eingeleitet werden. In einem anderen Beispiel kann die entsprechende Geste 310 für den Anrufmodus die allgemein übliche Geste für „Ruf mich an“ beinhalten. Damit kann der Benutzer einen eingehenden Anruf entgegennehmen, oder einen Anruf an einen bestimmten Kontakt tätigen. In bestimmten Aspekten kann der Benutzer beim Wechsel in den Anrufmodus entweder einen bevorzugten Kontakt auswählen und diesen bestimmten Kontakt anrufen, oder der Benutzer kann zur Identifizierung des jeweiligen Kontakts denselben in Worten aussprechen. In einem anderen Beispiel kann die entsprechende Geste 330 für Textnachrichten eine Plapper- oder „bla bla bla“-Handgeste beinhalten. Somit kann das System konfiguriert werden, um den Textnachrichtenmodus zu initiieren und einen neuen Text zu verfassen oder um den „Antwort“-Modus zu öffnen, falls gerade eine neue Textnachricht eingegangen ist. Des Weiteren kann die entsprechende Geste 320 für den GPS-Modus das Hochhalten einer Hand beinhalten, als ob man auf eine Karte in der Hand schauen würde. Hierdurch wird der GPS- oder Navigationsmodus eingeleitet.
4 zeigt eine exemplarische Darstellung des sekundären Gestenvokabulars 410, 420, 430, 440. Das sekundäre Gestenvokabular kann auf Basis der symbolischen Relevanz sowie der technischen Durchführbarkeit festgestellt werden. Innerhalb einer Anwendung ist es wichtig, eine gemeinsame Gestensprache zu haben, wodurch die kognitive Belastung durch das Merken zusätzlicher Gesten der Hand reduziert wird. Ähnlich wie die aktuelle Zoom- und Pinchgeste eines Mobiltelefons, kann das sekundäre Gestenvokabular einen äquivalenten Satz für die Fahrsteuerung über Mobiltelefone beinhalten. Um nach links oder rechts zu schwenken, kann die entsprechende Geste 410 zum Beispiel das Abspreizen von zwei Zeigefingern beinhalten, während das Lenkrad eines Fahrzeugs festgehalten wird. Dadurch kann die Gestenschnittstelle mit einer Geste nach links und rechts geschwenkt werden. In einem anderen Beispiel kann die entsprechende Geste 420 zur Auswahl eines bestimmten Zugangs das gleichzeitige Abspreizen nach vorne von beiden Zeigefingern beinhalten. In einem weiteren Beispiel kann die entsprechende Geste 430 für Zurück/Option ablehnen das Abspreizen der Finger vom Lenkrad beinhalten. In diesem Fall kann eine Geste der Missbilligung, wie beispielsweise Finger vom Lenkrad abspreizen, verwendet werden, um Anrufe abzulehnen oder zurück zur Startseite der Gestenschnittstelle überzugehen. Ein weiteres Beispiel kann die entsprechende Geste 440 für die Anpassung der Lautstärke sein. Diese Geste kann das leichte Vor- und Zurück-Bewegen von Zeigefinger und Daumen beinhalten, wie bei einem Knopf, um die Lautstärke von Musik oder einem Telefongespräch lauter oder leiser zu drehen.
5 zeigt eine exemplarische Darstellung eines Systems, das eine Gestenschnittstelle in Fahrzeugen bereitstellt. Das System, das eine Gestenschnittstelle in Fahrzeugen bereitstellt, kann den Sensor oder Radarchip 130 des Radarsystems 110 hinter dem Lenkrad 210 eines Fahrzeugs beinhalten. Die Platzierung dieses Sensors kann auf Basis des Fahrzeuginnenraums, wie z. B. dem Innenraum eines Sportwagens oder einer klassischen Limousine, festgestellt werden. Beim Durchführen zufälliger Gesten und Bewegungen innerhalb des Autos kann der Sensor an verschiedenen Positionen überwacht werden, um die Signalansprechempfindlichkeit zu bewerten, und damit die am besten geeignete Position des Sensors für den speziellen Fahrzeugtyp zu bestimmen. Der Sensor kann zentriert, fünf Zentimeter hinter dem Lenkrad platziert werden, und „zeigt“ durch die Öffnung des Lenkrads. Mit diesem Blickwinkel ist der Sensor direkt auf die Brust des Benutzers gerichtet und ist in der Lage, sowohl Gesten der Hände am Lenkrad als auch im freien Raum zwischen dem Lenkrad und der Brust visuell zu erfassen. Das Lenkrad kann 30 Zoll von der Brust des Benutzers entfernt sein. In einigen Aspekten kann der Sensor fallweise vom Benutzer in dieser Position platziert werden und über BLE mit einem Mobiltelefon auf der Armaturentafel des Autos verbunden werden. Durch den Anschluss des Sensors an das Mobiltelefon über BLE muss die Gestenschnittstellen-Technologie nicht im Auto integriert sein.
6. zeigt ein exemplarisches Diagramm eines Wiedererkennungswerts von Gesten. Es kann für das System wichtig sein, symbolische Gesten zu beinhalten, die entweder von Natur aus bekannt sind oder in einer Weise erlernbar sind, dass man sie sich sofort merken kann. Durch die Reduzierung der kognitiven Belastung infolge der geistigen Assoziation von Gesten mit den Steuerelementen der Schnittstelle sind Benutzer weniger abgelenkt und können sich mehr auf das Fahren konzentrieren. Um den Wiedererkennungswert eines bestimmten Gestensatzes zu testen, können den ursprünglichen Teilnehmern für das Festlegen einer jeweiligen Geste die Ergebnisse der Umfrage gezeigt werden und jede Geste beigebracht werden, die in Verbindung mit den Modi ausgewählt wurde. Die ursprünglichen Teilnehmer können dann zu einem späteren Zeitpunkt aufgefordert werden, den entsprechenden Modus für jede der gewählten Gesten zu identifizieren. Die Ergebnisse können darauf hinweisen, welche der Gesten für den Benutzer intuitiv sind, und welche Gesten nicht so leicht zu merken sind.
Die Daten können auf Basis von Teilnehmern gesammelt werden, die in einem Fahrsimulator sitzen, und kurz in den Aufbau des Systems und die entsprechenden Gesten eingeführt wurden. Die Teilnehmer werden ggf. dahingehend angewiesen, wie jede der Gesten im Satz durchzuführen ist, dabei wird ihnen Zeit gelassen, die Geste einzuüben, bis sie sich wohl dabei fühlen, die Gesten durchzuführen und gleichzeitig das Lenkrad festzuhalten. Die Teilnehmer können dann aufgefordert werden, die Gesten auszuführen, welche in regelmäßigen Abständen visuell erfasst werden. In einigen Aspekten können die Gesten in einer zufälligen Reihenfolge angefordert werden, damit die Erfassung der Gesten auf natürlichere Weise erfolgen kann.
Die benutzerübergreifende Genauigkeit jeder Geste kann durch das Sammeln einer bestimmten Anzahl von Wiederholungen von jedem Teilnehmer pro Gestensatz getestet werden. Jede Wiederholung kann eine Probe, beispielsweise eine gepufferte Aufzeichnung für 700 Millisekunden, beinhalten, um die Dauer der gesamten Geste zu erfassen. Die Proben können von einer Gestenerkennungs-Pipeline verwendet werden. Die Gestenerkennungs-Pipeline kann vom Radarchip, Mobiltelefon, der Verarbeitungsschaltung des Autos oder einer Kombination derselben durchgeführt werden. Die Gestenerkennungs-Pipeline kann eine Reihe von Stufen von Signalabstraktionen und Umwandlungen beinhalten. In einem Aspekt führt der Radarchip die Gestenerkennungs-Pipeline durch, wobei eine vorbestimmte Anzahl von Radarmerkmalen aus der Pipeline entnommen wird. Die Radarmerkmale können verwendet werden, um den Mittelwert, die Standardabweichung, Summe und den Betrag jedes Radarmerkmals zu berechnen. Wenn also acht Radarkernmerkmale gewählt werden, werden insgesamt 32 Radarmerkmale gesammelt, nachdem die Berechnungen abgeschlossen sind. Mehrere Random-Forest-Klassifikatoren, z. B. mehrere unterschiedliche Sätze von Entscheidungsbäumen, können für die Klassifizierung dieser Merkmale verwendet werden. Die gesammelten Daten der Merkmale können verwendet werden, um den Klassifikator in den verschiedenen Datenläufen zu trainieren und zu testen. In bestimmten Aspekten übertreffen die Klassifizierungsgenauigkeit, die primären symbolischen Gesten, die Telefonanrufgesten und die sekundären Gesten 97 %.
In bestimmten Aspekten können drei Random-Forest-Klassifikatoren für die Klassifizierung der Gesten verwendet werden. Die drei Random-Forest-Klassifikatoren können jeweils primären symbolischen Gesten, Anrufgesten und einem sekundären Gestenvokabular entsprechen. Die drei Random-Forest-Klassifikatoren können gleichzeitig ausgeführt werden, der aktuelle Kontext der Gestenschnittstelle kann jedoch bestimmen, welcher Algorithmus verwendet wird, um Daten zu einem bestimmten Zeitpunkt abzurufen. Wenn die Schnittstelle beispielsweise festgestellt hat, dass sich das System im Musikmodus befindet, kann die Schnittstelle dem sekundären Gestenvokabular entsprechende Daten aus dem Random-Forest-Klassifikator abrufen, um die Musikauswahl des Benutzers zu bestimmen. In einem anderen Beispiel kann die Schnittstelle, sofern die Schnittstelle keinen ersten Modus (gemäß den primären symbolischen Gesten) festgestellt hat, den primären symbolischen Gesten entsprechende Daten aus dem Random-Forest-Klassifikator abrufen, um zu bestimmen, in welchen Modus der Benutzer wechseln möchte. Bei den Ergebnissen der Random-Forest-Klassifikatoren kann es sich um eine Eingabe an ein Nachverarbeitungsmodul handeln. Das Nachverarbeitungsmodul kann die Daten der Random-Forest-Klassifikatoren glätten, indem es Bilder überspringt oder zu Beginn jedes Bildes einen Zeitpuffer hinzufügt, sodass jede festgestellte Geste auf ihre Richtigkeit hin geprüft werden kann.
7 veranschaulicht ein exemplarisches Diagramm einer Menge von Trainingsdaten. Der Umfang der Trainingsdaten beinhaltet eine Sammlung von Daten für drei separate Teile der Gestenschnittstelle: Primäre symbolische Gesten (Anruf, Textnachricht senden, Musik abspielen, GPS starten), Anruf-Gesten (antworten, ablehnen), und sekundäres Gestenvokabular (links, rechts, auswählen, zurück). Zur Berücksichtigung der Unterschiede bei den Armaturentafeln von Fahrzeugen, der Größe der Fahrzeuge und der allgemeinen Variabilität, wurden die Random-Forest-Klassifikatoren mehrere Male ausgeführt, um zu verstehen, wie viele Trainingsdaten benötigt werden, um einen zuverlässigen Klassifikator zu erstellen.
Das System mit der Gestenschnittstelle in Fahrzeugen kann große Trainingsdatensätze verwenden, um die Echtzeitanalyse zu verbessern. Das System kann an den Autotyp angepasst sein, in dem die Platzierung des Sensors die den bereitgestellten Gesten des Benutzers entsprechenden Radarsignaturen verbessern kann. In einigen Aspekten muss der Trainingsgestensatz gegebenenfalls gemäß der physischen Struktur jeder Armaturentafel geändert werden. Durch die Platzierung des Sensors an einer Stelle unmittelbar beim Lenkrad und in der Nähe der Brust des Benutzers kann der Sensor eine Puls- und Atemfrequenz des Benutzers bestimmen. Die Herzfrequenz und die Atemfrequenz des Benutzers können des Weiteren verwendet werden, um während der Bedienung des Fahrzeugs die Belastung des Benutzers zu bestimmen. Das System kann mit optischen und akustischen Hinweisen implementiert sein, die den Benutzer während der Fahrt nicht ablenken. So können zum Beispiel die akustischen Hinweise dem Benutzer anzeigen, dass beim Tätigen eines Anrufs mithilfe sekundärer Gesten im Anrufmodus über die Kontakte gescrollt wird.
Es wurde eine Reihe von Implementierungen beschrieben. Trotzdem versteht es sich, dass verschiedene Modifikationen durchgeführt werden können, ohne vom Sinn und Umfang der Offenbarung abzuweichen. Zum Beispiel können verschiedene Formen der vorstehend dargestellten Abläufe verwendet und Schritte neu geordnet, hinzugefügt oder entfernt werden.
Ausführungsformen der Erfindung und die in dieser Spezifikation beschriebenen Funktionsvorgänge können in digitalen elektronischen Schaltungen oder in Computersoftware, -Firmware oder -Hardware, darunter auch in den in dieser Spezifikation offenbarten Strukturen und deren strukturellen Entsprechungen oder in Kombinationen von einer oder mehrerer derselben, implementiert werden. Ausführungsformen der Erfindung können als ein oder mehrere Computerprogrammprodukte implementiert werden, d. h. als ein oder mehrere Module von Computerprogrammbefehlen, die auf einem computerlesbaren Medium zur Ausführung codiert sind, oder um den Betrieb von Datenverarbeitungsvorrichtungen zu steuern. Das maschinenlesbare Speichermedium kann ein maschinenlesbares Datenspeichergerät, ein maschinenlesbares Speichersubstrat, ein Arbeitsspeicher, eine Stoffzusammensetzung, die ein maschinenlesbares verbreitetes Signal bewirkt, oder eine Kombination aus einem oder mehreren derselben sein. Der Begriff „Datenverarbeitungsvorrichtung“ umfasst alle Vorrichtungen, Geräte und Maschinen zum Verarbeiten von Daten, einschließlich beispielsweise eines programmierbaren Prozessors, eines Computers oder mehrerer Prozessoren oder Computer. Die Vorrichtung kann neben der Hardware auch Code beinhalten, der eine Ausführungsumgebung für das betreffende Computerprogramm bildet, z. B. Code, der Prozessor-Firmware, einen Protokollstapel, ein Datenbank-Managementsystem, ein Betriebssystem oder eine Kombination eines oder mehrerer der genannten darstellt. Ein propagiertes Signal ist ein künstlich erzeugtes Signal, wie z. B. ein maschinengeneriertes elektrisches, optisches oder elektromagnetisches Signal, das erzeugt wird, um Informationen für die Übermittlung an eine geeignete Empfangsvorrichtung zu codieren.
Ein Computerprogramm (auch als Programm, Software, Software-Anwendung, Script oder Code bekannt) kann in jeder Form von Programmiersprache, darunter auch in kompilierten oder interpretierten Sprachen, geschrieben und in jeder Form angewendet werden, darunter auch als eigenständiges Programm oder als Modul, Komponente, Subroutine oder andere Einheit, die für die Verwendung in einer Computerumgebung geeignet ist. Ein Computerprogramm entspricht nicht unbedingt einer Datei in einem Dateisystem. Ein Programm kann in einem Teil einer Datei, die andere Programme oder Daten enthält (z. B. ein oder mehrere Scripts, die in einem Dokument in Markup-Sprache gespeichert sind), in einer einzelnen Datei speziell für das betreffende Programm oder in mehreren koordinierten Dateien (z. B. Dateien, die ein oder mehrere Module, Unterprogramme oder Teile von Code speichern) gespeichert sein. Ein Computerprogramm kann auf einem Computer oder auf mehreren Computern bereitgestellt und ausgeführt werden, die sich an einem Standort oder an mehreren Standorten verteilt befinden und über ein Kommunikationsnetzwerk miteinander verbunden sind.
Die in dieser Beschreibung beschriebenen Prozesse und Logikabläufe können durch einen oder mehrere programmierbare Prozessoren ausgeführt werden, die ein oder mehrere Computerprogramme ausführen, um Funktionen durch Verarbeiten von Eingabedaten und Erzeugen von Ausgaben auszuführen. Die Prozesse und Logikabläufe können zudem durch eine vorhabensgebundene Logikschaltung, wie z. B. ein FPGA (Field Programmable Gate Array) oder eine ASIC (anwendungsspezifische integrierte Schaltung) ausgeführt, und das Gerät in Form derselben implementiert werden.
Prozessoren, die für die Ausführung eines Computerprogramms geeignet sind, beinhalten beispielsweise sowohl Universal- als auch Spezialmikroprozessoren, sowie einen oder mehrere Prozessoren einer beliebigen Art von digitalem Computer. Im Allgemeinen empfängt ein Prozessor Befehle und Daten von einem Festwertspeicher oder einem wahlfreien Zugriffsspeicher oder von beiden. Die wesentlichen Elemente eines Computers sind ein Prozessor für das Ausführen von Befehlen und ein oder mehrere Speichergeräte für das Speichern von Befehlen und Daten. Im Allgemeinen gehören zu einem Computer außerdem ein oder mehrere Massenspeichergeräte zum Speichern von Daten, wie z. B. Magnet-, magnetooptische oder optische Disketten, um Daten zu empfangen und/oder zu senden, oder ein Computer ist operativ an dasselbe Speichergerät gekoppelt. Ein Computer muss jedoch nicht über diese Geräte verfügen. Des Weiteren kann ein Computer in einem anderen Gerät, wie z. B. einem Tabletcomputer, einem Mobiltelefon, einem persönlichen digitalen Assistenten (PDA), einem mobilen Audioplayer, einem globalen Positionsbestimmungssystem-(GPS)-Empfänger integriert sein, um nur einige Beispiele zu nennen. Computerlesbare Medien, die für das Speichern von Computerprogrammanweisungen und -daten geeignet sind, schließen alle Formen von nicht flüchtigen Speichern, Medien- und Speichergeräten ein, darunter auch beispielsweise Halbleiter-Speichergeräte, z. B. EPROM, EEPROM und Flash-Speicher; Magnetdisketten, z. B. interne Festplatten oder herausnehmbare Disketten; magneto-optische Disketten; sowie CD-ROMs und DVD-ROMs. Der Prozessor und der Speicher können durch eine Spezial-Logikschaltung ergänzt oder in dieselbe integriert werden.
Um eine Interaktion mit einem Benutzer bereitzustellen, können Ausführungsformen der Erfindung auf einem Computer implementiert werden, der ein Anzeigegerät (wie z. B. einen CRT(Kathodenstrahlröhren)- oder LCD(Flüssigkristallanzeige)-Monitor), um dem Benutzer Informationen anzuzeigen, sowie eine Tastatur und ein Zeigegerät (z. B. eine Maus oder einen Trackball) aufweist, mittels derer der Benutzer eine Eingabe an dem Computer vornehmen kann. Darüber hinaus können andere Geräte verwendet werden, um die Interaktion mit einem Benutzer zu ermöglichen; zum Beispiel kann es sich bei der Rückmeldung an den Benutzer um jegliche Art von sensorischer Rückmeldung, wie z. B. visuelle, akustische oder taktile Rückmeldungen, handeln; zudem können die Eingaben des Benutzers in beliebiger Form, darunter auch akustisch, sprachlich oder taktil, empfangen werden.
Ausführungsformen der Erfindung können in einem Computersystem implementiert sein, das eine Backendkomponente, wie z. B. einen Datenserver, oder eine Middlewarekomponente, wie z. B. einen Applikationsserver, oder eine Frontendkomponente, wie z. B. einen Clientcomputer, der eine grafische Benutzeroberfläche oder einen Web-Browser aufweist, durch den ein Benutzer mit einer Implementierung der Erfindung interagieren kann, oder eine Kombination aus einer oder mehreren dieser Backend-, Middleware- oder Frontendkomponenten beinhaltet. Die Komponenten des Systems können durch eine beliebige Form oder ein beliebiges Medium digitaler Datenkommunikation, wie z. B. ein Kommunikationsnetzwerk, miteinander verbunden sein. So beinhalten beispielsweise Kommunikationsnetzwerke ein lokales Netzwerk („LAN“) und ein Großraumnetzwerk („WAN“), wie z. B. das Internet.
Das Computersystem kann Clients und Server beinhalten. Ein Client und ein Server befinden sich im Allgemeinen entfernt voneinander und interagieren typischerweise über ein Kommunikationsnetzwerk. Die Beziehung von Client und Server ergibt sich durch Computerprogramme, die auf den jeweiligen Computern ausgeführt werden und in einer Client-Server-Beziehung zueinander stehen.
Während diese Beschreibung viele Details enthält, sollten diese nicht als Einschränkungen bezüglich des Umfangs der Erfindung oder ihren Ansprüchen ausgelegt werden, sondern vielmehr als Beschreibungen von Merkmalen, die spezifisch für bestimmte Ausführungsformen der Erfindung sind. Bestimmte Merkmale, die in dieser Spezifikation im Kontext der unterschiedlichen Ausführungsformen beschrieben werden, können auch in Kombination in einer einzelnen Ausführungsform implementiert werden. Andererseits können verschiedene Merkmale, die im Kontext einer einzelnen Ausführungsform beschrieben werden, in mehreren Ausführungsformen oder in einer geeigneten Teilkombination implementiert werden. Außerdem können, auch wenn die Merkmale vorstehend ggf. als in bestimmten Kombinationen wirkend beschrieben und zunächst auch als solche beansprucht werden, in einigen Fällen ein oder mehrere Merkmale einer beanspruchten Kombination aus der Kombination herausgenommen und die beanspruchte Kombination auf eine Teilkombination oder eine Variante einer Teilkombination gerichtet werden.
Gleichermaßen soll, obgleich die Operationen in den Zeichnungen in einer bestimmten Reihenfolge dargestellt sind, dies nicht so verstanden werden, dass die besagten Operationen in der dargestellten Reihenfolge oder in fortlaufender Reihenfolge durchgeführt werden müssen bzw. alle veranschaulichten Operationen durchgeführt werden müssen, um die erwünschten Ergebnisse zu erzielen. Unter bestimmten Umständen können Multitasking und Parallelverarbeitung von Vorteil sein. Darüber hinaus sollte die Trennung verschiedener Systemkomponenten in den oben beschriebenen Ausführungsformen nicht in allen Ausführungsformen als erforderlich aufgefasst werden, zudem versteht sich, dass die beschriebenen Programmkomponenten und Systeme im Allgemeinen zusammen in ein einziges Softwareprodukt integriert oder in mehrere Softwareprodukte zusammengefasst werden können.
In allen Fällen, in denen eine HTML-Datei erwähnt ist, können stattdessen andere Dateitypen oder Formate verwendet werden. Zum Beispiel kann eine HTML-Datei durch XML, JSON, Klartext oder andere Arten von Dateien ersetzt werden. Des Weiteren können, wo eine Tabelle oder Hashtabelle angegeben wird, andere Datenstrukturen (wie z. B. Tabellenkalkulationen, relationale Datenbanken oder strukturierte Dateien) verwendet werden.
Bestimmte Ausführungsformen der Erfindung wurden beschrieben. Weitere Ausführungsformen liegen innerhalb des Schutzumfangs der folgenden Ansprüche. Die in den Ansprüchen ausgeführten Vorgänge können beispielsweise in einer anderen Reihenfolge ausgeführt werden und dennoch wünschenswerte Ergebnisse erzielen.

Claims

Computerprogrammprodukt, wobei das Computerprogrammprodukt Code umfasst, der, wenn er von einem oder mehreren Computergeräten ausgeführt wird, das eine oder die mehrere Computergeräte veranlasst, ein Verfahren durchzuführen, wobei das Verfahren Folgendes umfasst: Empfangen von Bewegungsdaten, die einer Geste des Fahrers des Fahrzeugs entsprechen, von einem Radarempfänger, der angeordnet ist, um eine Bewegung im Innenraum eines Fahrzeugs; Bestimmen, auf Basis der Bewegungsdaten vom Radarempfänger, dass die Geste eine jeweilige Geste aus einem ersten vorgegebenen Gestensatz zum Auswählen eines Betriebsmodus eines Computergeräts repräsentiert; in Reaktion auf die Feststellung, dass die Geste die jeweilige Geste repräsentiert: Veranlassen eines Computergeräts, in einen Betriebsmodus überzugehen, welcher der jeweiligen Geste für die Modusauswahl entspricht; und Bestimmen, basierend auf Daten des Radarempfängers, ob eine darauffolgende Bewegung des Fahrers eine Geste aus einem zweiten, vorbestimmten Gestensatz repräsentiert, der sich vom ersten vorgegebenen Gestensatz unterscheidet.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin Bestimmen, dass die Geste eine jeweilige Geste aus einem vorgegebenen Satz von Gesten repräsentiert, das Bestimmen umfasst, dass die Geste die jeweilige Geste repräsentiert, basierend auf der Ausgabe eines ersten Klassifikators, der trainiert ist, die Gesten im ersten vorgegebenen Satz von Gesten zu erkennen; und worin Bestimmen, dass die nachfolgende Bewegung die Geste aus dem zweiten vorgegebenen Gestensatz repräsentiert, das Bestimmen umfasst, dass die Geste eine Geste aus dem zweiten vorgegebenen Gestensatz repräsentiert, basierend auf der Ausgabe eines zweiten Klassifikators, der trainiert ist, die Gesten im zweiten vorgegebenen Satz von Gesten zu erkennen, wobei sich der zweite vorgegebene Gestensatz vom ersten vorgegebenen Gestensatz unterscheidet.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin das Bestimmen, dass die Geste eine jeweilige Geste repräsentiert, umfasst: Zugriff auf die Kontextdaten, die auf einen aktuellen Betriebsmodus des Computergeräts hinweisen; und Bestimmen, dass die Geste aus einem ersten vorgegebenen Gestensatz ausgewählt werden sollte, basierend auf den Kontextdaten, die den aktuellen Betriebsmodus des Computergeräts anzeigen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin das Bestimmen, dass die Geste eine jeweilige Geste repräsentiert, umfasst: Bestimmen von Merkmalbewertungen, basierend auf der Ausgabe des Radarempfängers; Bereitstellen der Merkmalbewertungen an jeden der mehrere Klassifikatoren, worin die mehreren Klassifikatoren trainiert wurden, Wahrscheinlichkeiten für das Auftreten von Gesten in verschiedenen vorgegebenen Gestensätzen anzugeben; und Auswählen einer der mehreren Klassifikatoren, basierend auf den Kontextdaten, die den aktuellen Betriebsmodus des Computergeräts anzeigen; Bestimmen, dass die Geste die jeweilige Geste repräsentiert, basierend auf der Ausgabe des ausgewählten Klassifikators.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin das Bestimmen, dass die Geste eine jeweilige Geste repräsentiert, umfasst: Verarbeiten von Eingaben repräsentierenden Merkmalen der Bewegungsdaten, die durch den Radarempfänger erfasst werden, wobei mehrere maschinell lernende Klassifikatoren parallel arbeiten und jeder der mehreren maschinell lernenden Klassifikatoren konfiguriert ist, Gesten in einem anderen vorgegebenen Gestensatz zu erkennen.
Computerprogrammprodukt nach Anspruch 5, worin die mehreren maschinell lernenden Klassifikatoren Entscheidungsbäume sind.
Computerprogrammprodukt nach Anspruch 6, worin die Entscheidungsbäume Random-Forest-Entscheidungsbäume sind.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin das Veranlassen des Computergeräts, in den der jeweiligen Geste für die Modusauswahl entsprechenden Betriebsmodus überzugehen, das Senden eines der identifizierten Geste entsprechenden Auswahlhinweises des Benutzers an ein Mobiltelefon im Fahrzeug über eine kabelgebundene oder eine drahtlose Schnittstelle umfasst.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin das Veranlassen des Computergeräts, in den der jeweiligen Geste für die Modusauswahl entsprechenden Betriebsmodus überzugehen, das Veranlassen eines in Kommunikation mit dem System stehenden Mobiltelefons umfasst, in einen Modus für das Einleiten von Anrufen, zum Auswählen von Musik, für Textnachrichten oder Navigation überzugehen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der zweite Satz von vordefinierten Gesten einem gemeinsamen Gestenvokabular zwischen einer Vielzahl von Geräten entspricht.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarempfänger innerhalb des Fahrzeugs angeordnet ist, um Bewegungen in einem Raum zu erkennen, der einen Raum zwischen einem Lenkrad und der Brust des Fahrers beinhaltet, und worin die Bewegungsdaten Bewegungen der Hand oder der Finger des Fahrers in dem Raum anzeigen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarempfänger innerhalb des Fahrzeugs angeordnet ist, um Bewegungen der Finger des Fahrers auf und um mindestens einen Teil eines Lenkrads des Fahrzeugs zu erkennen, und worin die Bewegungsdaten Bewegungen der Finger des Fahrers auf und um das Lenkrad des Fahrzeugs anzeigen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarempfänger angeordnet ist, um Radarsignale durch eine Öffnung im Lenkrad zu übertragen und zu empfangen.
Computerprogrammprodukt, wobei das Computerprogrammprodukt Code umfasst, der, wenn er von einem oder mehreren Computern ausgeführt wird, das eine oder die mehreren Computergeräte ein Verfahren durchführen lässt, wobei das Verfahren Folgendes umfasst: Empfangen von Daten von einem Radarempfänger innerhalb des Fahrzeugs, wobei die Daten des Radarempfängers auf eine Bewegung des Fahrers des Fahrzeugs hinweisen; Klassifizieren der Bewegung des Fahrers mit Hilfe einer Vielzahl von Klassifikatoren, wobei jeder der Klassifikatoren trainiert wurde, einen anderen Satz von Gesten zu erkennen; Auswählen, aus den Ausgaben der Klassifikatoren, einer Klassifikation für die Bewegung, basierend auf Informationen über einen Betriebszustand eines Computergeräts; und Bereitstellen eines der ausgewählten Klassifikation entsprechenden Befehls.
Computerprogrammprodukt nach Anspruch 14, worin Auswählen der Klassifikation für die Bewegung umfasst: Feststellen, ob sich ein Mobiltelefon (i) in einem ersten Status befindet, in dem einer aus einer Vielzahl von vom Benutzer auswählbaren Modi aktiv ist, (ii) in einem zweiten Status befindet, in dem keiner der Vielzahl von vom Benutzer auswählbaren Modi aktiv ist, und (iii) in einem dritten Status befindet, in dem ein Anruf empfangen wird, wobei der erste Status einem ersten Klassifikator entspricht, der zweite Status einem zweiten Klassifikator entspricht und der dritte Zustand einem dritten Klassifikator entspricht; und Auswählen der Ausgabe aus dem Zustand, von dem festgestellt wird, dass sich das Mobiltelefon in diesem befindet, wenn die Bewegung des Fahrers erkannt wurde.
Computerprogrammprodukt, wobei das Computerprogrammprodukt Code umfasst, der, wenn er von einem oder mehreren Computern ausgeführt wird, das eine oder die mehreren Computergeräte veranlasst, ein Verfahren durchzuführen, wobei das Verfahren Folgendes umfasst: Übermitteln von Radiowellen an einen Fahrer eines Fahrzeugs, wobei sich der Radarsender im Fahrzeug befindet; Erstellen von Bewegungsdaten, basierend auf den erkannten Änderungen der Wellenlängen mithilfe eines im Fahrzug befindlichen Radarempfängers, wobei der Radarempfänger angeordnet ist, um Änderungen der Radiowellen infolge von Handbewegungen des Fahrers des Fahrzeugs zu erkennen, während die Hände des Fahrers in Kontakt mit oder in der Nähe des Lenkrads des Fahrzeugs bleiben; und Festlegen der Befehle für ein Computergerät, die den Handbewegungen entsprechen, die durch die Bewegungsdaten angezeigt werden.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarsender und der Radarempfänger auf einem einzigen Chip integriert sind.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, des Weiteren umfassend die Kommunikation mit dem Computergerät, um die festgestellten Befehle anzuzeigen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarsender und der Radarempfänger entfernbar im Fahrzeug montiert sind.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarsender Millimeterwellen-Frequenzen sendet und der Radarempfänger Millimeterwellen-Frequenzen erkennt.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin sich der Radarempfänger, der Radarsender und ein Verarbeitungsmodul, die konfiguriert sind, Gesten des Fahrers zu identifizieren, in einem einzigen Gehäuse befinden.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarsender und der Radarempfänger hinter dem Lenkrad des Fahrzeugs positioniert sind.
Computerprogrammprodukt nach Anspruch 22, worin der Radarsender ausgerichtet ist, um Radiowellen durch eine Öffnung im Lenkrad des Fahrzeugs zu übermitteln, und worin der Radarempfänger ausgerichtet ist, um die Radiowellen durch die Öffnung im Lenkrad des Fahrzeugs zu erkennen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, worin der Radarempfänger konfiguriert ist, mehr als 100 Messungen pro Sekunde durchzuführen.
Computerprogrammprodukt nach einem der vorhergehenden Ansprüche, die sich auf Anspruch 21 beziehen, worin das Verarbeitungsmodul des Weiteren konfiguriert ist, in Reaktion auf die festgestellten Befehle, eine oder mehrere Einstellungen eines Fahrzeug-Infotainmentsystems anzupassen.
Computerprogrammprodukt nach einem der vorstehenden Ansprüche, die sich auf Anspruch 21 beziehen, worin das Verarbeitungsmodul des Weiteren konfiguriert ist, in Reaktion auf die festgestellten Befehle, eine oder mehrere Einstellungen des Mobilgeräts anzupassen.
Computerprogrammprodukt, wobei das Computerprogrammprodukt Code umfasst, der, wenn er von einem oder mehreren Computern ausgeführt wird, das eine oder die mehrere Computergeräte veranlasst, ein Verfahren durchzuführen, das Verfahren umfassend: Abrufen eines Satzes möglicher Gesten für einen Befehl; Bestimmen einer Erkennbarkeitsbewertung für jede der möglichen Gesten; Bestimmen, für jede der möglichen Gesten, einer Eindeutigkeitsbewertung, die einen Unterschied zu den Gesten eines anderen Gestensatzes anzeigt; Bestimmen, für jede der möglichen Gesten, einer Wiedererkennungsbewertung, die ein Maß der Fähigkeit von menschlichen Benutzern angibt, sich nach einer gewissen Zeit an die Geste zu erinnern; und Zuweisen einer Geste zu einem Befehl, aus dem Satz von möglichen Gesten, basierend auf der Erkennbarkeitsbewertung, der Eindeutigkeitsbewertung und der Wiedererkennungsbewertung.
Computerprogrammprodukt nach Anspruch 27, worin die Erkennbarkeitsbewertung ein Maß der Genauigkeit oder Wiederholbarkeit angibt, mit der die mögliche Geste erkannt wird.
Computerprogrammprodukt aus einem der Ansprüche 27 und 28, worin der Satz von möglichen Gesten einem gemeinsamen Gestenvokabular unter einer Vielzahl von Geräten entspricht.
Computerprogrammprodukt nach einem der Ansprüche 27–29, des Weiteren das Trainieren eines Klassifikators umfassend, um einen Satz von Gesten zu erkennen, der die zugewiesene Geste beinhaltet.
System, Folgendes umfassend: einen oder mehrere Prozessoren; und einen oder mehrere Datenspeichergeräte, die Speicherungsanweisungen speichern, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, das System veranlassen, die Operationen des Computerprogrammproduktes aus einem der Ansprüche 1–30 durchzuführen.
Ein oder mehrere maschinenlesbare Medien, die Anweisungen speichern, die durch einen oder mehrere Prozessoren ausführbar sind, und veranlassen, dass die Operationen des Computerprogrammprodukts nach einem der Ansprüche 1–30 durchgeführt werden.