-
QUERVERWEIS AUF VERWANDTE ANMELDUNG
-
Diese Offenbarung beansprucht Priorität unter 35 U.S.C. § 119(e) der mit anhängigen vorläufigen US-Patentanmeldung Nr. 61/780,023, eingereicht am 13. März 2013, die in ihrer Gesamtheit hierin unter Bezugnahme aufgenommen wird.
-
GEBIET DER OFFENBARUNG
-
Die vorliegende Offenbarung betrifft die Informationsabfrage in einem Fahrzeug durch Verfolgen der Fingerspitzenbewegungen eines Benutzers.
-
HINTERGRUND DER OFFENBARUNG
-
Ein Fahrer eines Fahrzeugs betätigt typischerweise Vorrichtungen im Fahrzeug mittels Schaltern, Bildschirmen, Tastaturen oder anderen Eingabemechanismen, die typischerweise Finger oder Hände involvieren. Diese Eingabemechanismen können dazu benutzt werden, z. B. ein Navigationssystem, ein Unterhaltungssystem, ein Klimasystem und ein Telefonsystem zu betätigen. Head-up-Displays (HUDs) werden auch dazu benutzt, solchen Systemen zugeordnete Informationen auf der Windschutzscheibe eines Fahrzeugs darzustellen. Die HUDs können verschiedene Typen von nützlicher Information dem Fahrer präsentieren, ohne dass der Benutzer den Blickpunkt von der Straße zum Armaturenbrett oder zur Konsole des Fahrzeugs wechseln muss.
-
Manchmal müssen an dem Eingabemechanismus komplizierte Serien von Bedienungen durchgeführt werden, um einen gewünschten Befehl an die Vorrichtungen in einem Fahrzeug zu geben. Diese Bedienungen können bewirken, dass der Fahrer das Lenkrad des Fahrzeugs mit der einen Hand betätigt, während er den Eingabemechanismus mit der anderen Hand betätigt. Jedoch ist es bevorzugt, dass der Fahrer beide Hände am Lenkrad hält und diese Eingabevorrichtungen mit einer Hand intermittierend für nur eine kurze Zeitdauer betätigt. In Abhängigkeit von der Komplexität der Operation kann es mehrere Versuche brauchen, die Eingabevorrichtungen zu betätigen, bevor der Fahrer die Operationen nach Wunsch ausführen kann.
-
Ferner erfordert die Geschwindigkeit des Fahrzeugs manchmal eine rasche Eingabe vom Fahrer. Wenn z. B. ein Fahrer nach einem naheliegenden Restaurant an einer Autobahn sucht, könnte er eine begrenzte Zeit haben, um das Navigationssystem abzufragen, bevor er eine Ausfahrt der Autobahn passiert. Wenn die Abfrage und die Antwort vor der Passage der Ausfahrt nicht erfolgen, könnte der Fahrer eine andere Abfrage für die Restaurants in der Nähe der nächsten Ausfahrt durchführen müssen. Diese Abfrageoperationen werden häufig gemacht, während der Benutzer aktiv zum Bedienen des Fahrzeugs engagiert ist, was die Wahrscheinlichkeit einer ungenauen Eingabe aufgrund der verringerten Aufmerksamkeitsspanne und der Mobilität der Hände verschärft.
-
Aufgrund der begrenzten Aufmerksamkeitsspanne und Mobilität der Hände könnte der Fahrer schließlich eine ungenaue Benutzereingabe vorsehen. Diese Benutzereingabe resultiert in ungewünschten Operationen und Zeitverschwendung bei anschließenden hilfsweisen Aktionen.
-
ZUSAMMENFASSUNG DER OFFENBARUNG
-
Ausführungen betreffen die Verarbeitung eines Tiefenbilds, das eine Hand eines Benutzers bedeckt, um den Ort einer Fingerspitze eines zeigenden Fingers zu bestimmen und ein Wählsignal durch eine Eingabevorrichtung zu empfangen, um eine Operation auszuführen, die einem Objekt oder Gegenstand zugeordnet ist, das oder der an einem Ort oder Bereich einer Anzeigevorrichtung entsprechend dem Ort der Fingerspitze gezeigt wird. Eine im Fahrzeug angeordnete Tiefenkamera nimmt die Hand des Benutzers auf und erzeugt das Tiefenbild. Der Ort der Fingerspitze des zeigenden Fingers wird durch Verarbeitung des aufgenommenen Tiefenbilds bestimmt. Ein Wählsignal wird von der Eingabevorrichtung empfangen, um die Auswahl des Gegenstands oder des Objekts an einem dem Ort der Fingerspitze entsprechenden Ort oder Bereich der Anzeigevorrichtung anzuzeigen. Die dem Gegenstand oder dem Objekt zugeordnete Operation wird nach Empfang des Wählsignals durchgeführt.
-
In einer Ausführung wird der Ort einer Fingerspitze durch Erzeugen einer Skelettstruktur der Hand bestimmt. Die Skelettstruktur enthält eine Mehrzahl von Liniensegmenten, deren jedes unterschiedliche Teile der Hand repräsentiert.
-
In einer Ausführung enthält die Eingabevorrichtung ein Mikrofon zum Empfangen eines Sprachbefehls vom Benutzer. Das Wählsignal wird ausgeführt, indem Spracherkennung an dem Sprachbefehl ausgeführt wird.
-
In einer Ausführung enthält die Eingabevorrichtung einen Knopf oder Schalter, und das Wählsignal gibt an, dass die Eingabevorrichtung betätigt wurde.
-
In einer Ausführung wird das Ergebnis der Operation auf der Anzeigevorrichtung angezeigt.
-
In einer Ausführung ist die Anzeigevorrichtung in eine Mehrzahl von Bereichen unterteilt, wobei die horizontale Breite der Bereiche basierend auf den horizontalen Orten der Bereiche unterschiedlich ist.
-
In einer Ausführung ist die Anzeigevorrichtung eine volumetrische Head-up-Displaying(HUD)-Vorrichtung, die künstliche graphische Elemente auf eine Windschutzscheibe des Fahrzeugs projiziert.
-
In einer Ausführung wird der dem Ort der Fingerspitze entsprechenden Ort oder Bereich der Anzeigevorrichtung bestimmt, indem eine einer Mehrzahl von virtuellen Flächen, die auf die Fingerspitze gemappt sind, durch ein erstes Mapping identifiziert wird.
-
In einer Ausführung wird der dem Ort der Fingerspitze entsprechenden Ort oder Bereich der Anzeigevorrichtung ferner bestimmt, indem der Ort oder der Bereich der Anzeigevorrichtung entsprechend der identifizierten virtuellen Fläche durch ein zweites Mapping identifiziert wird.
-
In einer Ausführung ist jede der Mehrzahl von virtuellen Flächen entlang einer Projektion eines gleichwinkligen Abschnitts eines Halbkreises auf eine Ebene segmentiert.
-
Die in der Beschreibung beschriebenen Merkmale und Vorteile sind überhaupt nicht inklusiv, und insbesondere werden einem Fachkundigen im Hinblick auf die Zeichnungen, die Beschreibung und die Ansprüche zusätzliche Merkmale und Vorteile ersichtlich werden. Darüber hinaus sollte angemerkt werden, dass die in der Beschreibung benutzte Sprache grundlegend zur Lesbarkeit und zu Instruktionszwecken ausgewählt wurde, und nicht ausgewählt werden braucht, um den Gegenstand einzugrenzen oder zu umschreiben.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Die Lehren der vorliegenden Offenbarung können unter Berücksichtigung der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen leicht verstanden werden.
-
1A ist eine Seitenansicht eines beispielhaften Fahrzeugs, das mit einer Bildaufnahmevorrichtung und einer Head-up-Display-Einheit gemäß einer Ausführung ausgestattet ist.
-
1B ist eine Draufsicht des beispielhaften Fahrzeugs von 1A gemäß einer Ausführung.
-
2 ist ein Blockdiagramm eines beispielhaften Befehlverarbeitungssystems gemäß einer Ausführung.
-
3 ist ein Blockdiagramm eines beispielhaften Bildverarbeitungsmoduls in dem Befehlsverarbeitungssystem gemäß einer Ausführung.
-
4 ist ein Flussdiagramm eines beispielhaften Verfahrens zur Verarbeitung von Benutzerbefehlen, gemäß einer Ausführung.
-
5 ist ein Diagramm, das eine Ansicht einer beispielhaften Windschutzscheibe, bei Betrachtung vom Benutzer, worauf ein Head-up-Display(HUD)-Bild projeziert ist, gemäß einer Ausführung.
-
6 ist ein Diagramm, das eine beispielhafte horizontale Unterteilung von Zellen basierend auf dem Drehwinkel des Fingers darstellt, gemäß einer Ausführung.
-
7 ist ein Diagramm, das das Mapping des Drehwinkels eines Fingers auf horizontal unterteilte Zellen darstellt, gemäß einer Ausführung.
-
8 ist ein Diagramm, das ein beispielhaftes Befehlssystem zur Verwendung einer Zeigevorrichtung darstellt, um ein Informationsabfragesystem zu betätigen, gemäß einer Ausführung.
-
DETAILLIERTE BESCHREIBUNG DER OFFENBARUNG
-
Nun wird eine bevorzugte Ausführung in Bezug auf die Figuren beschrieben, wo gleiche Bezugszahlen identische oder funktionell ähnliche Elemente bezeichnen.
-
Der Bezug in der Beschreibung „eine Ausführung” oder „Ausführung” bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder eine Charakteristik, die in Verbindung mit den Ausführungen beschrieben ist, in zumindest einer Ausführung enthalten ist. Das Auftreten der Phrase „in einer Ausführung” in verschiedenen Stellen in der Beschreibung bezieht sich nicht notwendigerweise insgesamt auf die gleiche Ausführung.
-
Einige Abschnitte der folgenden detaillierten Beschreibung sind im Hinblick auf Algorithmen und symbolische Darstellungen von Operationen an Datenbits innerhalb eines Computerspeichers aufgezeigt. Diese algorithmischen Beschreibungen und Darstellungen sind die Mittel, die vom Fachkundigen in der Datenverarbeitung verwendet werden, um die Substanz ihrer Arbeit anderen Fachkundigen am effizientesten zu übermitteln. Ein Algorithmus ist hier und allgemein als eine in sich selbst konsistente Folge von Schritten (Instruktionen) gedacht, die zu einem gewünschten Ergebnis führen. Die Schritte sind jene, die physikalische Manipulationen von physikalischen Größen fordern. Normalerweise, aber nicht notwendigerweise, haben diese Größen die Form von elektrischen, magnetischen oder optischen Signalen, die speicherbar, überführbar, kombinierbar, vergleichbar und anderweitig manipulierbar sind. Manchmal ist es, hauptsächlich aus Gründen des allgemeinen Gebrauchs, vorteilhaft, diese Signale als Bits, Werte, Elemente, Symbole, Schriftzeichen, Begriffe, Zahlen oder dergleichen zu bezeichnen. Ferner ist es manchmal auch vorteilhaft, bestimmte Anordnungen von Schritten, die physikalische Manipulationen von physikalischen Größen erfordern, als Module oder Codevorrichtungen zu bezeichnen, ohne Verlust an Verallgemeinerung.
-
Jedoch sollen alle diese und ähnliche Begriffe den geeigneten physikalischen Größen zugeordnet werden und sind lediglich vorteilhafte Kennzeichnungen, die für diese Größen angewendet werden. Solange nicht anderweitig spezifisch ausgedrückt, wie aus der folgenden Diskussion ersichtlich, versteht es sich, dass in der gesamten Beschreibung die Diskussionen unter Verwendung von Begriffen wie etwa „Verarbeiten” oder „Berechnen” oder „Errechnen” oder „Bestimmen” oder „Darstellen” oder „Bestimmen” oder dergleichen sich auf die Aktion und die Prozesse eines Computersystems beziehen, oder eine ähnliche elektronische Rechenvorrichtung, die als physikalische (elektronische) Größen repräsentierte Daten innerhalb der Computersystemspeicher oder Register oder anderen solchen Informationsspeicher-, Übertragungs- oder Anzeigevorrichtungen, manipuliert und transformiert.
-
Bestimmte Aspekte der Ausführung enthalten Prozessschritte und Anweisungen, die hierin in Form eines Algorithmus beschrieben sind. Es sollte angemerkt werden, dass die Prozessschritte und Instruktionen in Software, Firmware oder Hardware verkörpert sein könnten, und wenn sie in Software verkörpert sind, könnten sie heruntergeladen werden, die auf verschiedenen Plattformen, die von einer Vielzahl von Betriebssystemen verwendet werden, abgelegt und von dort betrieben werden.
-
Die Ausführungen beziehen sich auch auf eine Vorrichtung zur Durchführung von Operationen darin. Diese Vorrichtung kann für die erforderlichen Zwecke speziell konstruiert sein oder kann einen Mehrzweckcomputer aufweisen, der durch ein im Computer gespeichertes Computerprogramm selektiv aktiviert oder rekonfiguriert wird. Ein solches Computerprogramm kann in einem computerlesbaren Speichermedium gespeichert sein, wie etwa, aber nicht beschränkt auf, einen beliebigen Typ von Platte, einschließlich Floppydisks, optischen Platten, CD-ROMs, magnetoptischen Platten, Festwertspeichern (ROMs), Direktzugriffsspeichern (RAMs), EPROMs, EEPROMs, magnetischen oder optischen Karten, anwenderspezifischen integrierten Schaltungen (ASICs), oder einem beliebigen Typ von Medium, das zum Speichern von elektronischen Anweisungen geeignet ist und jeweils mit einem Computersystembus gekoppelt ist. Ferner können Computer, auf die in der Beschreibung Bezug genommen wird, einen einzelnen Prozessor enthalten, oder können Architekturen sein, die Mehrfachprozessorkonstruktionen für erhöhte Rechenleistung verwenden.
-
Die hierin aufgezeigten Algorithmen und Anzeigen beziehen sich nicht inherent auf irgendeinen bestimmten Computer oder eine andere Vorrichtung. Es können auch verschiedene Mehrzwecksysteme mit Programmen gemäß den Lehren hierin verwendet werden, oder es kann sich als vorteilhaft erweisen, eine mehr spezialisierte Vorrichtung zu konstruieren, um die erforderlichen Verfahrensschritte durchzuführen. Die erforderliche Struktur für eine Vielzahl dieser Systeme wird aus der folgenden Beschreibung ersichtlich. Darüber hinaus sind die Ausführungen nicht in Bezug auf irgendeine bestimmte Programmiersprache beschrieben. Es versteht sich, dass eine Vielzahl von Programmiersprachen verwendet werden können, um die hierin beschriebenen Lehren zu implementieren, und etwaige nachfolgende Bezugnahmen auf bestimmte Sprachen sind zur Offenbarung einer Möglichkeit und einer besten Art vorgesehen.
-
Darüber hinaus ist die in der Beschreibung verwendete Sprache hauptsächlich zur Lesbarkeit und zu Instruktionszwecken gewählt worden und nicht notwendigerweise ausgewählt worden, um den Gegenstand einzugrenzen oder zu umschreiben. Dementsprechend soll die Offenbarung illustrativ sein, aber den Umfang, der in den folgenden Ansprüchen aufgeführt ist, nicht einschränken.
-
Ausführungen beziehen sich auf die Navigation durch Objekte oder Gegenstände in der Anzeigevorrichtung (z. B. Head-up-Anzeigevorrichtung) mittels einer ersten Eingabevorrichtung (z. B. einer Kamera) zum Erfassen des Zeigens vom Finger eines Benutzers (z. B. Zeigefinger) auf ein Objekt oder Gegenstand, und mittels einer zweiten Eingabevorrichtung (z. B. eines Mikrofons), um Angabe des Benutzers zur Auswahl des Objekts oder Gegenstands aufzunehmen. Ein Bild der Hand wird von der ersten Eingabevorrichtung aufgenommen und wird bearbeitet, um einen Ort auf der Anzeigevorrichtung entsprechend dem Ort der Fingerspitze des zeigenden Fingers zu bestimmen. Das Objekt oder der Gegenstand entsprechend dem Ort der Fingerspitze wird gewählt, nachdem die zweite Eingabevorrichtung eine vorbestimmte Benutzereingabe von der zweiten Eingabevorrichtung empfangen hat.
-
Der hierin benutzte Begriff „Benutzer” beinhaltet einen Fahrer eines Fahrzeugs sowie einen Passagier des Fahrzeugs. Der Benutzer kann jemand sein, der versucht, eine oder mehrere Vorrichtungen in einem Fahrzeug zu steuern.
-
Wie hierin benutzt, bezieht sich „zeigender Finger” auf den Finger eines Benutzers, der benutzt wird, um durch Zeigen einen Ort auf der Anzeigevorrichtung anzugeben. Der zeigende Finger wird gestreckt, während die anderen Finger gebeugt sind oder ein Objekt (z. B. ein Lenkrad) zu ergreifen. Der zeigende Finger ist meist der Zeigefinger, aber es können auch andere Finger als der zeigende Finger benutzt werden.
-
ÜBERBLICK AUF EIN FAHRZEUG, DAS MIT EINEM FINGERSPITZENERFASSUNGSMECHANISMUS AUSGESTATTET IST
-
Die Figuren 1A und 1B stellen ein Fahrzeug 100 dar, das mit einem Befehlsverarbeitungssystem gemäß einer Ausführung ausgestattet ist. Das Befehlsverarbeitungssystem kann, unter anderen Komponenten, eine Bildaufnahmevorrichtung 120 und ein Head-up-Display(HUD)-System 130 enthalten. Das Befehlsverarbeitungssystem kann mit anderen Komponenten (z. B. einem drahtlosen Kommunikationssystem) des Fahrzeugs 100 verbunden sein, um verschiedene Operationen auszuführen. Das Befehlsverarbeitungssystem erfasst einen Ort oder einen Bereich auf einer Anzeigevorrichtung, den der Benutzer mit dem Finger zeigt.
-
Die Bildaufnahmevorrichtung 120 nimmt Bilder eines Benutzers (entweder eines Fahrers oder Beifahrers) auf und schickt die Bilder zur weiteren Verarbeitung zu einem Bildverarbeitungsmodul 214. Die Bildaufnahmevorrichtung 120 wird so angeordnet, dass sie zum Benutzer weist und ein Frontalbild eines Benutzers erzeugt, einschließlich zumindest der rechten und der linken Hand des Benutzers. In einer Ausführung ist die Bildaufnahmevorrichtung 120 eine Tiefenkamera, die den Abstand von der Tiefenkamera zu verschiedenen Abschnitten vom Körper des Benutzers erfasst. Die aufgenommenen Bilder können ein Grauwertbild sein, wobei ein helleres Pixel einen Abschnitt vom Körper des Benutzers anzeigt, der der Bildaufnahmevorrichtung 120 näher ist, und ein dunkleres Pixel einen Abschnitt vom Körper eines Benutzers oder von Hintergrundmaterial anzeigt, der oder das von der Bildaufnahmevorrichtung 120 weiter entfernt ist.
-
Das HUD-System 130 projiziert grafische Elemente auf die Windschutzscheibe des Fahrzeugs 100, so dass der Benutzer die projizierten Bilder sehen kann, die auf reale Objekte außerhalb des Fahrzeugs überlagert sind. Die grafischen Elemente können z. B. Icons, Textkästen, Werbung, Pfeile und Linienelemente enthalten. Einige oder alle dieser grafischen Elemente können vom Benutzer für bestimmte Operationen ausgewählt werden.
-
In einer oder mehreren Ausführungen verkörpert das HUD-System 130 erweiterte Realität (AR) durch Projizieren von grafischen Elementen auf aktuelle Objekte, die der Benutzer so wahrnimmt, dass sie sich an der entgegengesetzten Seite der Windschutzscheibe außerhalb des Fahrzeugs befinden. Die grafischen Elemente können auf den aktuellen Objekten angeordnet oder damit vermischt werden, so dass der Benutzer die grafischen Elemente als Teil des realen Objekts annimmt. 3D-Volumetrie-HUD kann dazu benutzt werden, eine noch realistischere Vermischung von grafischen Elementen und realen aktuellen Objekten zu geben, indem die Brennpunkte der grafischen Elemente mit den aktuellen Objekten der realen Welt abgeglichen werden. Ein Beispiel eines auf der Windschutzscheibe mittels AR gezeigten Bilds wird nachfolgend im Detail in Bezug auf 5 beschrieben.
-
Das Befehlsverarbeitungssystem kann andere Komponenten enthalten, die in den 1A und 1B nicht dargestellt sind. Zum Beispiel kann das Befehlsverarbeitungssystem eine Computervorrichtung enthalten, die innerhalb eines Armaturenbretts oder anderen Bereichen des Fahrzeugs 100 installiert ist, um eine weitere Verarbeitung der von der Bildaufnahmevorrichtung 120 aufgenommenen Bilder durchzuführen.
-
Obwohl die Ausführungen hauptsächlich in Bezug auf die Verwendung von HUD als Anzeigevorrichtung beschrieben sind, können andere Ausführungen eine Flüssigkristallanzeige (LCD) oder andere Anzeigevorrichtungen enthalten. In diesen Ausführungen kann das Befehlsverarbeitungssystem auch dazu benutzt werden, um auf einer solchen Anzeigevorrichtung angezeigte Gegenstände auszuwählen.
-
BEISPIEL EINES BEFEHLSVERARBEITUNGSSYSTEMS
-
2 ist ein Blockdiagramm, das das Befehlsverarbeitungssystem 200 gemäß einer Ausführung darstellt. Das Befehlsverarbeitungssystem 200 ermöglicht es dem Benutzer, Informationsabfrageoperationen, die vom Fahrzeug druchgeführt werden sollen, zu manipulieren und auszuwählen. Das Befehlsverarbeitungssystem 200 kann, unter anderen Komponenten, eine Bildaufnahmevorrichtung 210, ein Bildverarbeitungsmodul 214, eine Eingabevorrichtung 220, ein Auswahlerfassungsmodul 224, ein Informationsabfragesystem 240 und ein HUD-System 130 sein. Obwohl in 2 nicht dargestellt, kann das Befehlsverarbeitungssystem 200 auch andere Komponenten enthalten, wie etwa zusätzliche Eingabevorrichtungen und Lautsprecher zum Erzeugen einer künstlichen Stimme.
-
Das Bildverarbeitungsmodul 214 ist Hardware, Firmware, Software oder eine Kombination davon zum Verarbeiten von Bildern 212, zum Erfassen des Orts 216 und der Fingerspitze des Benutzers. Die Bilder 212 können ein Tiefenbild sein. Das Bildverarbeitungsmodul 214 extrahiert die Bereiche des Bilds 212 um die Hand des Benutzers herum durch Zurichten des Bilds 212, und erzeugt aus dem Bild 212 eine Skelettstruktur der Hand.
-
Die Eingabevorrichtung 220 ist Hardware, Firmware, Software oder eine Kombination davon zum Empfangen einer Eingabe von dem Benutzers mittels eines anderen Mechanismus als der Bildaufnahme. Die Eingabevorrichtung 220 kann ein Mikrofon zum Erfassen von Sprachbefehlen sein. Alternativ kann die Eingabevorrichtung 220 ein Knopf oder ein Schalter sein, der am Lenkrad des Fahrzeugs vorgesehen oder an anderen leicht zugänglichen Bereichen des Fahrzeugs, wie etwa dem Armaturenbrett. Die Eingabevorrichtung 220 empfängt Benutzereingaben, welche die Auswahl von Operationen angibt, nachdem der Benutzer bestimmt hat, dass der durch die Fingerspitzenbewegung angegebene Ort oder Bereich der Anzeigevorrichtung ein solcher ist, an dem der Benutzer eine Operation durchführen möchte. Als Ergebnis vom Bereitstellen der Benutzereingabe wird durch die Eingabevorrichtung 220 ein Sensorsignal 222 erzeugt.
-
Das Wählerfassungsmodul 224 ist eine Schnittstellenvorrichtung, die das Sensorsignal 222 empfängt und ein Wählsignal 226 erzeugt, welches anzeigt, dass der durch die Fingerspitzenbewegung angezeigt Ort oder Bereich der Anzeigevorrichtung ein solcher ist, von dem der Benutzer möchte, dass er eine Betätigung ausführt. Wenn das Mikrofon als Eingabevorrichtung 220 benutzt wird, um Sprachbefehle zu erfassen, kann das Wählerfassungsmodul 224 Teil eines Spracherkennungssystems sein.
-
Das Informationsabfragesystem 240 ist Hardware, Software, Firmware oder eine Kombination davon zur Durchführung von verschiedener Informationsabfrageoperationen basierend auf Benutzereingaben. Ein beispielhaftes Informationsabfragesystem 240 enthält, neben anderen Systemen, bordeigene Navigationssysteme, Unterhaltungssysteme, Telefonbetriebssysteme und Fahrzeugklimasteuersysteme. Das Informationsabfragesystem 240 kann ein kombiniertes System sein, um alle oder einen Teil dieser Funktionen auszuführen. Das Informationsabfragesystem 240 kann auch Anfrageinformation 228 an ein externes System senden und Antwortinformation 230 von dem externen System empfangen.
-
Das Informationsabfragesystem 240 empfängt den Ort 216 der Fingerspitze des Benutzers und das Wählsignal 226, um Operationen gemäß Wunsch durch den Benutzer auszuführen. Nach der Durchführung der Operation, wie durch den Ort 216 der Fingerspitze des Benutzers und das Wählsignal 226 angegeben, sendet das Informationsabfragesystem 240 Anzeigeinformation 244 zum HUD-System 230 oder anderen Anzeigevorrichtungen, um dem Benutzer relevante Information zu präsentieren.
-
In einer oder mehreren Ausführungen können die Eingabevorrichtung 220 und das Wählerfassungsmodul 224 umgangen werden. Stattdessen können vorbestimmte Aktionen am Finger (z. B. eine rasche doppelte Zuckaktion) verwendet und erfasst werden, um die Auswahl eines am HUD-System 230 gezeigten Objekts oder Gegenstands anzugeben.
-
BEISPIEL DER ARCHITEKTUR EINES BILDVERARBEITUNGSMODULS
-
3 ist ein Blockdiagramm, das Komponenten des Bildverarbeitungsmoduls 214 gemäß einer Ausführung darstellt. Das Bildverarbeitungsmodul 216 kann, neben anderen Komponenten, einen Prozessor 312, ein Eingabemodul 324, ein Ausgabemodul 326, einen Speicher 340 und eine diese Komponenten verbindenden Bus 330 enthalten. Das Bildverarbeitungsmodul 216 kann eine separate alleinstehende Vorrichtung oder Teil eines größeren Systems sein, das auch andere Operationen als die Bildverarbeitung durchführt.
-
Der Prozessor 312 ist eine Hardwarekomponente, die im Speicher 314 gespeicherte Anweisungen ausführt. Das Eingabemodul 324 ist eine Hardwarekomponente zum Erhalt des Bilds 212 von der Bildaufnahmevorrichtung 210. Das Eingabemodul 324 kann einen Puffer zum vorübergehenden Speichern von einem oder mehreren Bildern 212 enthalten. Das Ausgabemodul 326 ist eine Komponente, um den Ort 216 der Fingerspitze zu dem Informationsabfragesystem zu senden. Diese Komponenten können in einem einzelnen integrierten Schaltungs(IC)-Chip oder mehreren IC-Chips verkörpert sein.
-
Der Speicher 340 ist ein nicht flüchtiges computerlesbares Speichermedium, das Softwarekomponenten speichert. Die im Speicher 340 gespeicherten Softwarekomponenten können, neben anderen Komponenten, ein Kalibriermodul 342, ein Extraktionsmodul 346, ein Skelettmodul 350, ein Fingerspitzenerfassungsmodul 354 sowie ein Koordinatenmappingmodul 358 enthalten. Der Speicher 340 kann auch andere Module, wie etwa ein Nachführmodul zum Nachführen und Speichern der Bahn der Hand oder Fingerspitze des Benutzers sowie ein Filtermodul zum Herausfiltern von Rauschen in dem Bild 212 speichern.
-
Das Kalibriermodul 342 speichert Anweisungen zum Empfangen und Speichern einer Benutzereingabe zum Kalibrieren des Bildeverarbeitungsmoduls 216. In einer oder mehreren Ausführungen wird die Kalibrierung durch Anweisung des Benutzers ausgeführt, (i) seine Hand auf dem Lenkrad in einer komfortablen Haltung anzuordnen, und (ii) einen zeigenden Finger (z. B. Zeigefinger) zu den äußerst rechten, äußerst linken, unteren und oberen Positionen zu bewegen, während die Handfläche auf dem Lenkrad angeordnet ist. Die Orte der Fingerspitze entsprechend den vier Punkten werden dann auf Orte oder Bereiche (d. h. Zellen) der Anzeigevorrichtung (z. B. HUD-Windschutzscheibe) gemappt (kartiert). Zwischenliegende Orte der Fingerspitze und andere Orte oder Bereiche in der Anzeigevorrichtung werden durch Interpolation gemappt.
-
Das Extraktionsmodul
346 speichert Anweisungen zum Zurichten des Bilds
212 zum Extrahieren eines Bereichs des Bilds
212, der die Hand des Benutzers zeigt. Die Hände des Benutzers befinden sich tendenziell nächst der Kamera, und daher kann der die Hand zeigende Bereich des Bilds
212 mittels der Tiefeninformation des Bilds extrahiert werden. Zur verbesserten Genauigkeit der Extraktion können die Bewegungen an Pixelclustern über die Zeit verfolgt werden, z. B. mittels Techniken, die im
US-Patent Nr. 7,308,112 (ausgegeben am 11. Dezember 2007, nachfolgend als „das '112-Patent” bezeichnet), und im
US-Patent Nr. 8,351,646 (ausgegeben am 8. Januar 2013, nachfolgend als „das '646-Patent” bezeichnet) beschrieben sind, die hierin in ihrer Gesamtheit unter Bezugnahme aufgenommen werden.
-
Das Skelettmodul 350 erzeugt eine Skelettstruktur der Hand in dem extrahierten Bild. Eine von vielen Techniken, die zum Erzeugen der Skelettstruktur verwendet werden können, sind im '112-Patent im Abschnitt mit dem Titel ”Skeletterzeugung” beschrieben. Die Skelettstruktur enthält ein Liniensegment für zumindest den zeigenden Finger, und kann auch andere Liniensegmente für andere Finger des Benutzers enthalten.
-
Das Fingerspitzenerfassungsmodul 354 bestimmt den Ort der Fingerspitze basierend auf der Skelettstruktur der Hand. Ein Weg der Bestimmung des Orts der Fingerspitze ist es, einen Kreis zu benutzen, der sich entlang eines den zeigenden Finger repräsentierenden Liniensegment bewegt, um den Ort der Fingerspitze zu bestimmen. Ein anderer Weg ist es, den Ort von einem oder mehreren Pixeln der Hand nächst der Kamera als den Ort der Fingerspitze zu benutzen. Wenn der zeigende Finger auf die Kamera zeigt, könnte das Skelettmodul 350 kein Liniensegment erzeugen, das den zeigenden Finger akkurat repräsentiert, und daher werden die Pixelpunkte der Hand nächst der Kamera als der Fingerspitze entsprechend ausgewählt, ohne die Skelettstruktur zu benutzen. Der durch das Fingerspitzenerfassungsmodul 354 bestimmte Ort der Fingerspitze wird zu dem Koordinatenmappingmodul 358 geschickt.
-
Das Koordinatenmappingmodul 358 bearbeitet die im Kalibriermodul 342 Mappinginformation und den vom Fingerspitzenerfassungsmodul 354 erfassten Ort der Fingerspitze, um eine Koordinate in der Anzeigevorrichtung entsprechend dem Ort der Fingerspitze zu bestimmen. In einer Ausführung wird die Koordinate in eine Koordinate eines Punkts oder Bereichs in der Anzeigevorrichtung umgewandelt, wie nachfolgend im Detail in Bezug auf 5 beschrieben.
-
BEISPIELHAFTES VERFAHREN ZUR INFORMATIONSABFRAGE MITTELS DES ORTS DER FINGERSPITZE
-
4 ist ein Flussdiagramm eines Verfahrens zur Verarbeitung von Benutzerbefehlen gemäß einer Ausführung. Zuerst wird eine Kalibrierung 420 für einen Benutzer in einem Fahrzeug ausgeführt. Die Kalibrierung kann enthalten, dass der Benutzer die Hände auf das Lenkrad legt, dass der Benutzer mit einem Finger in bestimmte Richtungen zeigt. Als Ergebnis der Kalibrierung kann ein Mapping (Kartierung) zwischen den Orten der Fingerspitze des Benutzers und Punkten oder Bereichen auf einer Anzeigevorrichtung erstellt werden.
-
Ein Ort auf der Anzeigevorrichtung wird bestimmt 430, indem der Ort einer Spitze vom zeigenden Finger eines Benutzers erfasst wird. Der Ort der Fingerspitze des Benutzers kann durch Verarbeitung eines Tiefenbilds erfasst werden.
-
Die Auswahl eines Gegenstands oder eines Objekts am dem Ort der Fingerspitze des Benutzers entsprechenden Ort oder Bereich wird von der Eingabevorrichtung 220 empfangen 440. Die Auswahl des Gegenstands oder Objekts kann mit dem Betrieb in einem Desktop- oder Laptop-Computer verglichen werden, wo ein Knopf an einer Maus klickt oder geklickt wird, nachdem ein Zeiger auf dem Gegenstand oder Objekt platziert ist.
-
Basierend auf der Auswahl des Gegenstands oder Objekts wird durch das Informationsabfragesystem 240 eine Operation ausgeführt 450. Die Operation kann z. B. das Abfragen von Information eines Zielgegenstands oder Objekts vom bordeigenen Navigationssystem oder Unterhaltungssystem enthalten, das Sammeln von Telemetriedaten von einer externen Quelle, das Starten einer Anwendung zur Ausführung, das Durchführen oder Empfangen eines Telefonanrufs, und das Abfragen von Statistiken (z. B. Fahrstrecke und Geschwindigkeit) einer gegenwärtigen Fahrt. Das Ergebnis der Operation kann auf der Anzeigevorrichtung angezeigt werden.
-
Obwohl oben Ausführungen beschrieben wurden, die ein aus aufgenommenen Bildern eines erzeugten Skelett verwenden, um die Zeigerichtung eines Fingers zu erfassen, können auch verschiedene andere Schemata dazu benutzt werden, die Zeigerichtung zu erfassen, ohne ein Skelett zu benutzen.
-
BEISPIELHAFTE ZELLAUFTEILUNG IN EINER ANZEIGEVORRICHTUNG
-
5 ist ein Diagramm, das eine Ansicht 800 aus Sicht eines Benutzers auf einer Windschutzscheibe darstellt, auf die ein HUD-Bild projiziert ist, gemäß einer Ausführung. Die Ansicht 800 enthält reale Objekte außerhalb der Windschutzscheibe sowie künstliche grafische Elemente, die durch das HUD-System 130 auf die Windschutzscheibe projiziert werden. In einer Ausführung wird erweiterte Realität (AR) implementiert, indem die realten Bilder mit den künstlichen grafischen Elementen vermischt werden. Der Benutzer kann einen zeigenden Finger (z. B. einen Zeigefinger) benutzen, um dort hindurch zu navigieren und ein in der Windschutzscheibe gezeigtes Objekt oder einen solchen Gegenstand auszuwählen.
-
Da der vertikale Bewegungsbereich des Fingers, im Vergleich zur horizontalen Bewegung, stärker eingeschränkt ist, kann das HUD-Bild 800 eine geringere vertikale Auflösung als horizontale Auflösung haben. Im Beispiel von 5 beträgt die vertikale Auflösung 10 Bereiche (d. h. Zellen), während die horizontale Auflösung 17 Zellen beträgt. Der Benutzer kann den Zeigefinger bewegen, um eine dieser Zellen (z. B. Zelle 810) auszuwählen, um eine bestimmte Operation auszuführen. Im Beispiel von 5 wird die Zelle 810 gewählt. Im Ergebnis wird Information 814 des Gebäudes 804, das einen Teil des in der Zelle 810 gezeigten Bilds aufweist, auf der HUD-Windschutzscheibe angezeigt.
-
Ferner haben die Zellen an den zentralen Orten eine größere Abmessung als an rechten oder linken Endorten. Die rechten oder linken äußersten Enden sind, aufgrund der beschränkten Bewegung der Finger, an beiden Enden schwieriger zu erreichen, wie nachfolgend im Detail in Bezug auf 6 beschrieben. Indem die Zellen in der Mitte der HUD-Windschutzscheibe eine größere Fläche bedecken, kann der Benutzer daher die Auswahl der Zellen durch Bewegung der Finger noch intuitiver steuern. Obwohl die vertikale Höhe jeder Zelle in 8 die gleiche ist, kann die Höhe jeder Zelle auch variiert werden, im Hinblick auf die Schwierigkeit, die oberen und unteren Enden der Fingerbewegungen zu erreichen.
-
In einer oder mehreren Ausführungen werden die Zellen auf die Orte der Fingerspitze gemappt. In diesen Ausführungen erzeugt das Bildverarbeitungsmodul 214 die Identität der Zelle entsprechend dem gegenwärtigen Ort der Fingerspitze. In anderen Betriebsmodi kann das Bildverarbeitungsmodul 214 Koordinaten der Mitte des Orts der Fingerspitze erzeugen.
-
In einer Ausführung wird ein Ort auf dem HUD-Bild 800 entsprechend dem Ort der Fingerspitze beleuchtet, um es dem Benutzer zu erleichtern, korrekt auf ein Objekt oder einen Gegenstand von Interesse zu zeigen.
-
6 ist ein Diagramm, das die horizontale Unterteilung von Zellen basierend auf dem Drehwinkel des Finger darstellt, gemäß einer Ausführung. Ein zeigender Finger hat einen begrenzten Bewegungsbereich, insbesondere wenn die anderen Finger ein Lenkrad ergreifen. In der Ausführung von 6 sind zur leichteren Erläuterung nur 8 Zellen dargestellt, aber in der Praxis ist der Bereich der Anzeigevorrichtung mit einer höheren Auflösung segmentiert (z. B. horizontale Unterteilung in 30 Zellen).
-
Die Zellen des HUD-Bilds in 6 unterteilen die horizontalen Dimesionen der Anzeigevorrichtung horizontal derart, dass jede Zelle eine Breite entsprechend (Sinus n × θ – Sinus (n – 1)θ) hat, wobei n die Aufeinanderfolge von Zellen ausgehend von der mittleren Zelle ist (n der mittleren Zelle ist 0) und zu den linken oder rechten Enden hin zunimmt. Das heißt, die Zellen sind an Orten entsprechend der Projektion von gleichwinkligen Abschnitten eines entlang der Mitte der geschnittenen Halbkreise unterteilt. Die Unterteilung von Zellen in der Art von 6 resultiert in einer eher intuitiven Steuerung der Wähloperation, wenn der zeigende Finger horizontal bewegt wird.
-
Die horizontale Unterteilung der Bereiche der Anzeigevorrichtung, wie in den 5 und 6 gezeigt, ist lediglich illustrativ. Es können verschiedene andere Wege dazu benutzt werden, die Bereiche der Anzeigevorrichtung horizontal zu segmentieren. Zum Beispiel können die Bereiche der Anzeigevorrichtung derart unterteilt werden, dass jede Zelle die gleiche horizontale Breite hat.
-
7 ist ein Diagramm, das das Mapping des Drehwinkels eines Fingers zu horizontal unterteilten Zellen darstellt, gemäß einer Ausführung. In der Ausführung von 7 wird der Drehwinkel des Fingers auf eine von virtuellen Säulen 914 mit unterschiedlichen Breiten gemappt, so ähnlich wie oben in Bezug auf 6 beschrieben. Insbesondere sind die virtuellen Säulen an Orten entsprechend der Projektion von gleichwinkligen Abschnitten eines entlang der Mitte geschnittenen Halbkreises unterteilt.
-
Jedoch werden die virtuellen Säulen 914 auf den Sichtschirm 800, der Zellen mit gleichem horizontalem Abstand hat, erneut gemappt. Das heißt, die Drehung des Fingers wird auf Zellen durch doppeltes Mapping gemappt, einmal vom Finger auf den virtuellen Säulen 914, und dann von den virtuellen Säulen auf Zellen des Sichtschirms 800. Auf diese Weise bewirkt die kleine Drehung des Fingers nach rechten und linken Extrema eine relativ große horizontale Bewegung am linken Ende und rechten Ende des Sichtschirms 800. Durch doppeltes Mappen der Drehung des Fingers auf die virtuellen Säulen und dann das Mappen der virtuellen Säulen auf die Zellen des Sichtschirms 800, kann ein Benutzer noch intuitiver Navigieren und die Wähloperation mittels der Drehung des Fingers ausführen.
-
In einer oder mehreren Ausführungen arbeitet das Befehlsverarbeitungssystem 200 in einem Schreibmodus, wo die Bewegung der Fingerspitze verfolgt wird, um es dem Benutzer möglich zu machen, alphanumerische Zeichen oder Symbole durch Bewegen des zeigenden Fingers zu zeichnen. Der Schreibmodus wird durch das Bereitstellen einer bestimmten Benutzereingabe an der Eingabevorrichtung 220 eingeschaltet. Der Ort der Fingerspitze wird verfolgt, wenn die Fingerspitze bewegt wird. Die Bahn der Fingerspitze wird erhalten und mit einem gespeicherten Mustersatz verglichen, um ein Zeichen oder ein Symbol entsprechend der Bahn der Fingerspitze zu bestimmen. Um Rauschen zu beseitigen und das Verfolgen des Fingers robuster zu machen, kann ein Filter (z. B. Butterworth-Filter) verwendet werden.
-
In einer oder mehreren Ausführungen wird das Befehlsverarbeitungssystem 200 in einer anderen Transportvorrichtung als einem Fahrzeug verwendet. Das Befehlsverarbeitungssystem 200 kann z. B. auch in Flugzeugen oder Krafträdern verwendet werden.
-
In einigen Ausführungen kann eine Zeigevorrichtung anstelle eines Fingers benutzt werden, um auf einen Gegenstand oder ein Objekt zu zeigen, das auf der Windschutzscheibe des Fahrzeugs 100 gezeigt wird. 8 ist ein Diagramm, das ein Befehlssystem 1000 darstellt, das eine Zeigevorrichtung 1010 verwendet, um ein Informationsabfragesystem 240 zu betätigen, gemäß einer Ausführung. Die Zeigevorrichtung 1010 kann als verschiedene tragbare Vorrichtungen verkörpert sein, enthaltend aber nicht beschränkt auf einen Schlüsselanhänger, ein Mobiltelefon, eine Fernsteuervorrichtung und einen Schreibstift. Die Zeigevorrichtung wird vom Benutzer gehalten und zu bestimmten Objekten oder Gegenständen hin gezeigt, die in der Windschutzscheibe dargestellt sind. Bestimmte Aktionen kann der Zeigevorrichtung oder anderen Vorrichtungen ausgeführt werden, um ein Objekt oder einen Gegenstand auszuwählen, auf den mit der Zeigevorrichtung 1010 gezeigt wird.
-
Die tragbare Vorrichtung 1010 kann, neben anderen Komponenten, einen Sensor 1016 enthalten, um die Zeigerichtung der tragbaren Vorrichtung zu sensieren, sowie ein Kommunikationsmodul 1018 zum Senden eines Signals 1222 über Draht oder drahtlose Kommunikation hinüber zum Informationsabfragesystem 240. Der Sensor 1016 kann ein Trägheitssensor sein, der Beschleunigungsmesser, Gyroskope und Magnetometer enthält, um die Bewegung und Orientierung der tragbaren Vorrichtung 1010 zu detektieren. Die tragbare Vorrichtung 1010 kann eine Schaltung 1020 enthalten, um Sensorsignale vom Sensor 1016 zu empfangen und das Sensorsignal zu verarbeiten, um eine Koordinate oder eine Zelle des Sichtfensters 800 anzugeben. Alternativ können Sensorsignale zu dem Informationsabfragesystem 214 geschickt werden, um die Zeigeorientierung der Zeigevorrichtung 1010 zu verarbeiten und zu erfassen. In einer Ausführung können der Sensor und die Schaltung in einer einzigen Einheit integriert sein. Zum Beispiel kann ein 3DM-Orientierungssensor, erhältlich bei LORD MICROSTAIN SENSING SYSTEMS, Williston, Vermont, als die einzelne Einheit verwendet werden, welche den Sensor und die Schaltung enthält.
-
In einer Ausführung enthält die tragbare Vorrichtung 1010 ferner eine Lichtquelle zum Abgeben von Licht auf die Windschutzscheibe. Wenn das Licht auf die Windschutzscheibe trifft, kann ein Lichtpunkt auf der Windschutzscheibe sichtbar sein. Das auf der Windschutzscheibe gezeigte Licht ermöglicht es dem Benutzer, den Ort auf der Windschutzscheibe zu prüfen, auf den die Zeigevorrichtung 1010 zeigt, und die Orientierung der Zeigevorrichtung 1010 entsprechend zu justieren, um ein auf der Windschutzscheibe angezeigtes Objekt oder einen solchen Gegenstand auszuwählen.
-
Die Kalibrierung kann ausgeführt werden, um die Orientierung der Zeigevorrichtung 1010 mit den Orten auf der Windschutzscheibe auszurichten. Es kann Information vom Global Positioning System (GPS) oder Magnetometer dazu benutzt werden, die Orientierung der Zeigevorrichtung 1010 automatisch zu kalibrieren.
-
Die Architektur und die Funktion des Informationsabfragesystems 240 und des HUD-Systems 130 vom System 1000 sind im Wesentlichen ähnlich oder gleich jenen des Befehlssystems 200 von 2, und daher wird zugunsten der Klarheit eine detaillierte Beschreibung davon weggelassen.
-
Obwohl oben verschiedene Ausführungen beschrieben sind, können innerhalb des Umfangs der vorliegenden Offenbarung verschiedene Modifikationen durchgeführt werden.
-
Navigation durch Objekte oder Gegenstände einer Anzeigevorrichtung mittels einer ersten Eingabevorrichtung zum Erfassen des Zeigens eines Fingers des Benutzers zu einem Objekt oder Gegenstand und mittels einer zweiten Eingabevorrichtung zum Empfangen der Indikation des Benutzers auf die Auswahl des Objekts oder des Gegenstands. Ein Bild der Hand wird von der ersten Eingabevorrichtung aufgenommen und verarbeitet, um einen Ort auf der Anzeigevorrichtung zu bestimmen, der dem Ort der Fingerspitze des zeigenden Fingers entspricht. Das Objekt oder der Gegenstand, das oder der dem Ort der Fingerspitze entspricht, wird ausgewählt, nachdem die zweite Eingabevorrichtung eine vorbestimmte Benutzereingabe von der zweiten Eingabevorrichtung erhält.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7308112 [0056]
- US 8351646 [0056]
