-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum berührungslosen Eingeben von Schriftzeichen. Die Erfindung betrifft ferner ein Fahrzeug, insbesondere einen Pkw oder ein Nutzfahrzeug, das mit einer derartigen Vorrichtung ausgestattet ist.
-
Systeme für Fahrzeuge, z. B. Fahrerassistenzsysteme, Navigationssysteme, Kommunikationssysteme, Audiosysteme, Bordcomputer oder Komfortsysteme zum Einstellen einer Klimaanlage, eines Sitzes, eines Spiegels oder dergleichen, weisen gewöhnlich eine Eingabeeinheit auf, über die ein Benutzer Befehle zum Steuern des Systems eingeben kann. Bekannte Eingabeeinheiten sind beispielsweise Tastaturen oder Sensorbildschirme. Diese haben im Allgemeinen den Nachteil, dass ein Benutzer, typischerweise der Fahrer des Fahrzeugs, sie nicht benutzen kann, ohne seine Aufmerksamkeit vom Verkehr abzuwenden. Zum Beispiel muss der Benutzer seinen Blick auf den Sensorbildschirm richten, um ein auf dem Sensorbildschirm angezeigtes Schaltfeld mit dem Finger auszuwählen. Dies kann die Verkehrssicherheit und die Benutzerfreundlichkeit beeinträchtigen.
-
Eine Verbesserung stellen demgegenüber Eingabeeinheiten dar, die es dem Benutzer ermöglichen, Befehle, insbesondere Befehle in Form von Schriftzeichen, berührungslos, d. h. durch Schreiben „in der Luft“ einzugeben. Für eine derartige Eingabe muss der Benutzer seine Aufmerksamkeit nicht in demselben Maße vom Verkehr abwenden, wie dies bei der Eingabe über Tastaturen oder Sensorbildschirme der Fall ist.
-
Ein Verfahren und eine Vorrichtung zur berührungslosen Eingabe von Schriftzeichen wird beispielsweise in der Druckschrift
DE 10 2007 045 967 A1 beschrieben. Gemäß diesem Verfahren werden mittels mehrerer zueinander beabstandeter optoelektronischer Sensoren Position und Bewegung einer Hand oder eines Fingers einer Person in Form von Positionsdaten erfasst; mittels Auswertung der Positionsdaten werden Schreibspurdaten für eine Schreibspur berechnet, die zur Bewegung der Hand oder des Fingers korrespondiert; schließlich werden die Schreibspurdaten mittels einer Handschriftenerkennung in entsprechende Schriftzeichen gewandelt.
-
Bei derartigen Verfahren wird eine zuverlässige Erkennung oder Identifikation der eingegebenen Schriftzeichen jedoch oft dadurch erschwert oder verhindert, dass die zur Durchführung des Verfahrens vorgesehene Eingabevorrichtung nicht oder nur in ungenügendem Maße eingerichtet ist zu erkennen, welcher Teil der Schreibspurdaten tatsächlich eingegebene Schriftzeichen repräsentieren soll. Ferner verlangt die Eingabevorrichtung gemäß
DE 10 2007 045 967 A1 die Positionierung des Eingabeobjektes, z. B. des Fingers, innerhalb eines von dem Sensor vorgegebenen Eingabebereiches, d. h., der Finger hat innerhalb eines gewissen Abstandes über den Sensoren zu schweben.
-
Der vorliegenden Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum berührungslosen Eingeben von Schriftzeichen zu entwickeln, das bzw. die eine möglichst zu verlässige Erkennung oder Identifikation der eingegebenen Schriftzeichen gewährleistet. Außerdem soll das Verfahren es ermöglichen, die Eingabe möglichst ohne Änderung der Körperhaltung allein durch geeignete Positionierung des Eingabeobjektes im dreidimensionalen Raum zu tätigen.
-
Diese Aufgabe wird gelöst durch ein Verfahren gemäß Anspruch 1 sowie durch eine Vorrichtung und ein Fahrzeug gemäß den nebengeordneten Ansprüchen. Spezielle Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.
-
Vorgeschlagen wird also ein Verfahren zum berührungslosen Eingeben von Schriftzeichen durch einen Benutzer mittels eines Eingabeobjekts, umfassend die Schritte:
- – kamerabasiertes Erfassen einer Position und/oder einer Ausrichtung wenigstens eines Körperteils des Benutzers und Bestimmen einer Position eines Bezugspunktes abhängig von der Position und/oder der Ausrichtung des wenigstens einen Körperteils;
- – kamerabasiertes Erfassen einer Trajektorie des Eingabeobjekts, wobei die Trajektorie durch eine Mehrzahl von Punkten gegeben ist, die jeweils eine Position des Eingabeobjekts und einen Zeitpunkt umfassen;
- – für jeden der Mehrzahl von Punkten der Trajektorie:
– Ermitteln einer ersten Richtung abhängig von der Position des jeweiligen Punktes und abhängig von der Position des Bezugspunktes sowie
– Ermitteln eines ersten Wertes einer ersten Komponente einer Geschwindigkeit des Eingabeobjekts und/oder einer Beschleunigung des Eingabeobjekts, vorzugsweise in dem jeweiligen Punkt, entlang der ersten Richtung;
- – Identifizieren von Schriftzeichen anhand der Positionen einer Teilmenge der Mehrzahl von Punkten, wobei die Teilmenge derart gewählt wird, dass ein Absolutbetrag des ersten Wertes für die Punkte der Teilmenge kleiner ist als ein Schwellwert.
-
Vorgeschlagen wird außerdem eine Vorrichtung zum Durchführen des Verfahrens, umfassend eine oder mehrere Kameras zum Erfassen von Bilddaten sowie eine mit der oder den Kameras verbundene Recheneinheit zum Auswerten der Bilddaten und zum Identifizieren der Schriftzeichen.
-
Die Recheneinheit ist insbesondere eingerichtet, all diejenigen Verfahrensschritte durchzuführen, die sich nicht auf das Erfassen der Bilddaten mittels der Kamera oder der Kameras beziehen. Die Recheneinheit kann z. B. ein Mikroprozessor oder ein FPGA sein. Sofern nur eine Kamera vorgesehen ist, kann es sich z. B. um eine Stereokamera handeln. Die Kamera ist bzw. die Kameras sind vorzugsweise eingerichtet, abhängig von der Art der zu erkennenden Schriftzeichen wenigstens 10, wenigstens 20, wenigstens 50 oder wenigstens 100 Bilder pro Sekunde aufzunehmen.
-
Vorgeschlagen wird zudem ein Fahrzeug, z. B. ein Pkw oder ein Nutzfahrzeug, das die genannte Vorrichtung aufweist bzw. das mit dieser ausgestattet ist. Normalerweise ist wenigstens die Kamera bzw. sind wenigstens die Kameras im Fahrzeuginnenraum angeordnet.
-
Der Erfindung liegt die Erkenntnis zugrunde, dass der Benutzer beim berührungslosen Eingeben von Schriftzeichen, also insbesondere zum Eingeben der Schriftzeichen „in der Luft“ und in einem Abstand von einer physikalischen Oberfläche, gewöhnlich auf einer oder entlang einer virtuellen Eingabefläche schreibt, die normalerweise im Abstand von einigen Dezimetern vom Körper des Benutzers angeordnet ist. Typischerweise kann die Trajektorie des Eingabeobjekts daher in drei Abschnitte unterteilt werden. Dabei umfasst der erste Abschnitt das Bewegen des Eingabeobjekts von außerhalb der virtuellen Eingabefläche zur virtuellen Eingabefläche; der zweite Abschnitt umfasst das Bewegen des Eingabeobjekts innerhalb der virtuellen Eingabefläche oder entlang der virtuellen Eingabefläche zum Eingeben der Schriftzeichen; und der dritte Abschnitt umfasst das Bewegen des Eingabeobjekts aus der virtuellen Eingabefläche heraus oder von der virtuellen Eingabefläche hinweg. Für das Erkennen oder Identifizieren der eingegebenen Schriftzeichen ist dann nur der zweite Abschnitt der Trajektorie relevant.
-
Üblicherweise unterscheiden sich der erste und der dritte Abschnitt der Trajektorie von dem zweiten Abschnitt insbesondere hinsichtlich der Bewegungsrichtung und/oder hinsichtlich der Beschleunigungsrichtung des Eingabeobjekts in dem jeweiligen Abschnitt. Im ersten und dritten Abschnitt erfolgt die Bewegung des Eingabeobjekts normalerweise vornehmlich entlang der genannten ersten Richtung. Im zweiten Abschnitt dagegen erfolgt die Bewegung normalerweise vornehmlich nicht entlang der ersten Richtung, sondern entlang der virtuellen Eingabefläche. Dies kommt dadurch zum Ausdruck, dass der Absolutbetrag des ersten Wertes für die Punkte der Teilmenge, die im zweiten Abschnitt liegen, kleiner ist als der Schwellwert. Der zweite Abschnitt umfasst also die genannte Teilmenge der Mehrzahl von Punkten der Trajektorie oder ist durch diese gegeben. Wenn diese für das Identifizieren der Schriftzeichen relevante Teilmenge der Mehrzahl von Punkten der Trajektorie bestimmt worden ist, kann das Identifizieren der Schriftzeichen unter Verwendung bekannter Verfahren zur Handschrifterkennung vorgenommen werden. Indem gemäß dem hier vorgeschlagenen Verfahren derjenige Abschnitt der Trajektorie identifiziert wird, der die eingegebenen Schriftzeichen umfasst, kann die Zuverlässigkeit der Identifikation oder Erkennung der eingegebenen Schriftzeichen gegenüber bekannten Verfahren entscheidend verbessert werden. Wenn die Schriftzeichen identifiziert worden sind, können sie z. B. einem Befehl zum Steuern eines Fahrerassistenzsystems oder dergleichen zugeordnet werden. Der Befehl kann dann zum Steuern des Systems an das System weitergeleitet werden.
-
Das Eingabeobjekt, mit dem die Schriftzeichen eingegeben werden, ist typischerweise eine Hand oder ein Finger des Benutzers, insbesondere eine Fingerkuppe. Das Eingabeobjekt kann jedoch auch ein Eingabegerät sein, das der Benutzer in der Hand hält, z. B. ein Stab oder Stift. Der Benutzer ist typischerweise ein Fahrer oder Beifahrer eines Fahrzeugs, z. B. eines Pkw oder eines Nutzfahrzeugs. Gewöhnlich erfolgt das berührungslose Eingeben daher, wenn der Benutzer auf einem Fahrersitz bzw. auf einem Beifahrersitz des Fahrzeugs sitzt. Bei den eingegebenen Schriftzeichen kann es sich um in Druck- oder Schreibbuchstaben geschriebene alphanumerische Zeichen oder Worte handeln, gegebenenfalls jedoch z. B. auch um Striche, Kurven, geometrische Figuren oder Kombinationen von diesen.
-
Das genannte wenigstens eine Körperteil, von dessen Position und/oder Ausrichtung ausgehend die Position des Bezugspunktes bestimmt wird, kann z. B. der Kopf und/oder der Rumpf und/oder eine Schulter und/oder ein Oberarm oder ein Unterarm des Benutzers sein. Diese Körperteile können gewöhnlich mittels bekannter Bild- oder Mustererkennungsverfahren mit guter Genauigkeit erkannt werden. Dazu kann insbesondere auch die Position und/oder die Ausrichtung des Fahrersitzes oder des Beifahrersitzes herangezogen werden, da der Benutzer sich normalerweise in einer definierten Ausrichtung relativ zum Fahrersitz bzw. zum Beifahrersitz befindet, wenn er auf diesem sitzt. Ausgehend von der so erfassten Position und/oder Ausrichtung des wenigstens einen Körperteils kann die Position des Bezugspunktes dann normalerweise ebenfalls mit guter Genauigkeit bestimmt werden. Der Bezugspunkt kann z. B. im Bereich einer Schulter, eines Ellenbogens oder des Brustkorbs des Benutzers angeordnet sein. Die erste Richtung kann insbesondere durch eine Gerade gegeben sein, die durch die Position des jeweiligen Punktes der Trajektorie und durch die Position des Bezugspunktes festgelegt ist.
-
Die Kamera bzw. die Kameras sind vorzugsweise ortsfest im Fahrzeuginnenraum angeordnet und haben relativ zum Fahrzeuginnenraum eine definierte Ausrichtung. Die Position/Ausrichtung des wenigstens einen Körperteils, die Position des Bezugspunktes und die Positionen der Mehrzahl von Punkten der Trajektorie des Eingabeobjekts werden daher vorteilhafterweise jeweils durch dreidimensionale Koordinaten in einem fahrzeugfesten Koordinatensystem angegeben.
-
Bei einer speziellen Ausführungsform des Verfahrens kann für jeden der Mehrzahl von Punkten der Trajektorie ferner ein zweiter Wert einer zweiten Komponente der Geschwindigkeit und/oder der Beschleunigung des Eingabeobjekts entlang einer von der ersten Richtung verschiedenen zweiten Richtung ermittelt werden, wobei der Schwellwert für jeden der Mehrzahl von Punkten abhängig von dem zweiten Wert bestimmt werden kann. Zum Beispiel kann der Schwellwert jeweils gleich dem Absolutbetrag des zweiten Wertes multipliziert mit einer Konstanten sein, wobei die Konstante eine positive reelle Zahl ist. Es ist jedoch auch jeder andere funktionale Zusammenhang zwischen dem Schwellwert und dem zweiten Wert denkbar. Bei einer anderen Ausführungsform kann der Schwellwert auch für alle Punkte der Trajektorie durch einen konstanten Wert gegeben sein. In diesem Fall wird also derjenige Abschnitt der Trajektorie als der mit dem Eingeben der Schriftzeichen korrespondierende (zweite) Abschnitt identifiziert, in dem die Geschwindigkeit und/oder die Beschleunigung des Eingabeobjekts entlang der ersten Richtung kleiner ist als der vorgegebene konstante Wert.
-
Typischerweise sind die erste Richtung und die zweite Richtung orthogonal zueinander. Zum Beispiel kann die zweite Richtung im jeweiligen Punkt der Trajektorie durch eine Projektion der Geschwindigkeit und/oder der Beschleunigung des Eingabeobjekts in diesem Punkt auf eine Tangentialebene gegeben sein, die orthogonal zur ersten Richtung ist.
-
Damit die eingegebenen Schriftzeichen anhand des durch die Teilmenge gegebenen (zweiten) Abschnittes der Trajektorie auf einfache Weise mittels bekannter Schrifterkennungsverfahren identifiziert werden können, ist es vorteilhaft, anhand der Positionen der Punkte der Teilmenge zunächst die Anordnung oder Ausrichtung der bereits genannten Eingabefläche zu ermitteln und die Positionen der Punkte der Teilmenge sodann zum Erzeugen eines ersten Bildes der Positionen der Punkte der Teilmenge auf die Eingabefläche abzubilden. Die Schriftzeichen können dann anhand des auf die Eingabefläche abgebildeten ersten Bildes identifiziert werden. So wird die zunächst dreidimensionale Spur der Positionen der Punkte der Trajektorie auf eine zweidimensionale Spur in oder auf der Eingabefläche reduziert, was das Identifizieren der Schriftzeichen vereinfacht. Die Abbildung der Spur der Teilmenge auf die Eingabefläche kann z. B. eine Projektion der Spur der Teilmenge auf die Eingabefläche sein.
-
Zum Beispiel kann die Eingabefläche eine flache, d. h. nicht gekrümmte Ebene sein. Die Eingabefläche kann aber auch gekrümmt sein, z. B. sphärisch, zylindrisch, parabolisch, hyperbolisch oder dergleichen. Die Position und/oder die Ausrichtung der Eingabefläche kann so gewählt werden, dass eine (reellwertige) Funktion der Abstände der Positionen der Punkte der Teilmenge von der Eingabefläche minimiert wird. Zum Beispiel kann die Ausrichtung der Eingabefläche so gewählt werden, dass der mittlere Abstand der Positionen der Punkte der Teilmenge von der Eingabefläche minimal ist. Die virtuelle Eingabefläche kann also derart in den Raum gelegt werden, dass sich die Positionen der Punkte der Teilmenge optimal an diese Ebene anschmiegen. Insbesondere kann die Eingabefläche zusätzlich anhand der Position des Bezugspunktes ermittelt werden. Beispielsweise kann die Eingabefläche die Oberfläche einer Kugel oder ein Ausschnitt dieser Oberfläche sein. Der Kugelmittelpunkt kann dann durch die Position des Bezugspunktes gegeben sein. Der Radius dieser Kugel kann abhängig von den Abständen der Positionen der Punkte der Teilmenge von der Position des Bezugspunktes gewählt werden. Zum Beispiel kann der Radius gleich dem mittleren Abstand der Positionen der Punkte der Teilmenge vom Bezugspunkt sein.
-
Wenn die Eingabefläche gekrümmt ist, kann das Identifizieren der Schriftzeichen weiter dadurch vereinfacht werden, dass das erste Bild der Spur der Teilmenge in oder auf der gekrümmten Eingabefläche zunächst mittels einer weiteren Abbildung zum Erzeugen eines zweiten Bildes in oder auf eine flache Eingabeebene abgebildet wird. Gewöhnlich umfasst diese Abbildung dann eine Transformation von krummlinigen Koordinaten (z. B. Polarkoordinaten) auf kartesische Koordinaten. Im Gegensatz zum ersten Bild der Spur der Teilmenge weist das zweite Bild der Spur der Teilmenge normalerweise einen geringeren Verzerrungsgrad auf. Das Identifizieren der Schriftzeichen kann dann mittels bekannter Schrifterkennungsverfahren oder Mustererkennungsverfahren anhand des zweiten Bildes vorgenommen werden.
-
Die Grundidee dieser Ausführungsform ist es also, vorzugsweise adhoc, eine virtuelle zweidimensionale (ggf. gekrümmte) Eingabefläche im dreidimensionalen Raum zu bestimmen, die zur Auswertung der für die Schriftzeicheneingabe relevanten durch das Eingabeobjekt erzeugten Trajektorien herangezogen wird. Ist diese Eingabefläche, die vorzugsweise gleichzeitig mit Trajektorienerkennung inkrementell bestimmt wird, einmal vorhanden, können anschließend bekannte Methoden zur zweidimensionalen Handschrifterkennung verwendet werden (vorzugsweise sind hier sowohl die räumlich nebeneinander erfolgende Eingabe als auch das fortlaufende Überschreiben von Schriftzeichen an gleicher Stelle zu betrachten). Die Bestimmung der virtuellen Eingabefläche macht sich zunutze, dass die eingebende Person, etwa ein Autofahrer, diese Eingabe auf seinem Sitz platziert ohne Änderung seiner Körperhaltung vollzieht. Es wird also bevorzugt nicht nur die geometrische Gestalt einer Trajektorie, sondern auch deren dynamische Entstehung ausgewertet.
-
Das Erfassen der Trajektorie und das Identifizieren der Schriftzeichen sowie alle dafür erforderlichen weiteren Verfahrensschritte werden vorzugsweise in Echtzeit durchgeführt. Beispielsweise kann es vorgesehen sein, dass die Eingabefläche und das erste Bild der Spur der Teilmenge und gegebenenfalls zusätzlich die Eingabeebene und das zweite Bild der Spur der Teilmenge mit jedem zusätzlich erfassten Punkt der Trajektorie oder jeweils nach einer vorgegebenen Anzahl von neu erfassten Punkten der Trajektorie von Neuem ermittelt oder angepasst werden.
-
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen dargestellt und wird anhand der folgenden Beschreibung näher erläutert. Es zeigen:
-
1a–b schematisch eine Aufsicht auf einen Fahrzeug innenraum mit einer Stereokamera, die einen entlang einer radialen Richtung verlaufenden ersten Abschnitt einer Trajektorie eines von einem Benutzer geführten Eingabeobjekts erfasst, wobei der erste Abschnitt nicht mit dem Eingeben von Schriftzeichen korrespondiert;
-
2a–c schematisch eine Aufsicht auf den Fahrzeuginnenraum aus den 1a–b, wobei die Stereokamera einen entlang einer sphärischen Ein gabefläche verlaufenden zweiten Abschnitt der Trajektorie des von dem Benutzer geführten Eingabeobjekts erfasst, wobei der zweite Abschnitt mit dem Eingeben von Schriftzeichen korrespondiert;
-
3a–b schematisch eine Aufsicht auf den Fahrzeuginnenraum aus den 1 und 2, wobei die Stereokamera einen wiederum entlang einer radialen Richtung verlaufenden dritten Abschnitt der Trajektorie des von dem Benutzer geführten Ein gabeobjekts erfasst, wobei der dritte Abschnitt nicht mit dem Eingeben von Schriftzeichen kor respondiert;
-
4a Positionen einer Mehrzahl von Punkten der Trajektorie aus den 1–3, wobei eine Teilmenge der Mehrzahl von Punkten, deren Positionen entlang der sphärischen Eingabefläche angeordnet sind, mit dem Eingeben von Schriftzeichen korrespondiert;
-
4b ein Bild einer ersten Abbildung, mit der die im dreidimensionalen Fahrzeuginnenraum angeordnete Teilmenge aus 4a auf die zweidimensionale sphärische Eingabefläche projiziert wird;
-
4c ein Bild einer zweiten Abbildung, mit der die im dreidimensionalen Fahrzeuginnenraum angeordnete Teilmenge aus 4a auf eine flache Eingabeebene abgebildet wird sowie
-
5 ein Graph, in dem für die Punkte der Trajektorie aus den 1–3 der Absolutbetrag der Geschwindigkeit des Eingabeobjekts entlang einer tangentialen Rich tung gegen den Absolutbetrag der Geschwindigkeit des Eingabeobjekts entlang einer radialen Richtung auf getragen ist, wobei für die Punkte der Teilmenge aus 4a die Tangentialgeschwindigkeit größer ist als die Radialgeschwindigkeit.
-
Die 1–3 zeigen schematisch eine Aufsicht auf einen Fahrzeuginnenraum 1 eines hier nicht explizit gezeigten Pkw. Im Fahrzeuginnenraum 1 ist eine Stereokamera 10 relativ zum Fahrzeuginnenraum 1 fest angeordnet. Die Stereokamera 10 ist über eine Datenleitung mit einer Recheneinheit 12 verbunden, die einen Mikroprozessor und einen Datenspeicher aufweist. Die Stereokamera 10 kann Bilddaten mit einer Rate von wenigstens 20 Bildern pro Sekunde erfassen. Auf einem im Fahrzeuginnenraum 1 angeordneten Fahrersitz (nicht gezeigt) sitzt ein Benutzer 2, der ein Fahrer des Pkw ist. Zu sehen sind ein Kopf 3, ein Schulterbereich mit einem Bezugspunkt 6, ein Arm 4 sowie ein Finger 5 des Benutzers 2. Die Stereokamera 10 ist auf den Fahrersitz ausgerichtet und nimmt Bilder des Benutzers 2 auf, die mittels der Recheneinheit 12 ausgewertet werden.
-
Die Recheneinheit 12 ist eingerichtet, jedem im Fahrzeuginnenraum 1 angeordneten und von der Stereokamera 10 erfassten Objekt oder Objektpunkt dessen Position im Fahrzeuginnenraum 1 zuzuordnen, wobei die Position jeweils durch Koordinaten in einem fahrzeugfesten dreidimensionalen rechtshändigen kartesischen Koordinatensystem gegeben ist. Hier und im Folgenden wird jeweils dasselbe Koordinatensystem verwendet, das in den 1–3 dargestellt ist. Zudem ist die Recheneinheit 12 eingerichtet, jedem von der Stereokamera 10 aufgenommenen Bild einen Aufnahmezeitpunkt zuzuordnen. Auf diese Weise kann die Recheneinheit 12 anhand der mit der Stereokamera 10 aufgenommenen Bilddaten Trajektorien von Objekten rekonstruieren, die sich im Fahrzeuginnenraum 1 bewegen. Solche Trajektorien sind jeweils durch eine Mehrzahl von Punkten gegeben, die jeweils eine Position des jeweiligen Objekts und einen Zeitwert (d. h. eine Uhrzeit) umfassen. Die Positionen der Punkte der Trajektorie bilden eine Spur der Trajektorie. Die Recheneinheit 12 ist ferner eingerichtet, jedem Punkt der Trajektorie eines Objekts mittels allgemein bekannter Methoden wie Interpolation und Differentiation bzw. diskreter Differentiation einen dreidimensionalen Geschwindigkeitsvektor, einen dreidimensionalen Beschleunigungsvektor und ggf. weitere höhere Ableitungen zuzuordnen.
-
Die 1–3 zeigen schematisch, wie der Benutzer 2 mittels seines Fingers 5 ein oder mehrere Schriftzeichen in die Luft schreibt. Wiederkehrende Merkmale sind jeweils mit denselben Bezugszeichen bezeichnet. Der Finger 5 ist eine Ausführungsform eines Eingabeobjekts, dessen sich der Benutzer 2 zum berührungslosen Eingeben des oder der Schriftzeichen bedient. Dazu bewegt der Benutzer 2 seinen Finger 5 durch den Fahrzeuginnenraum 1, wobei die Stereokamera 10 eine Trajektorie des Fingers 5 erfasst und die aufgenommenen Bilddaten zum Auswerten an die Recheneinheit 12 weiterleitet. Diese ist eingerichtet, die von dem Benutzer 2 in die Luft geschriebenen Schriftzeichen anhand der Trajektorie des Fingers 5 zu identifizieren.
-
Gemäß dem hier vorgeschlagenen Verfahren wird zunächst derjenige Teil der Trajektorie des Fingers 5 identifiziert, der mit dem Eingeben von Schriftzeichen korrespondiert. Daraufhin wird die dreidimensionale Spur dieser Trajektorie dann in einem oder in zwei Schritten auf eine Ebene, also auf eine nicht gekrümmte zweidimensionale Fläche abgebildet. Die Schriftzeichen dieser ebenen Spur können dann anhand bekannter Schrifterkennungsverfahren identifiziert werden, die im Weiteren kurz erläutert werden.
-
Bekannte Verfahren zur Online-Erkennung von zweidimensionalen Handschriften erwarten die fortlaufende Übermittlung von aktuell auf einer flachen Ebene erkannten „Strichen“ durch die Angabe von deren Anfangs- und Endpunkten in Gestalt von Polygonzügen innerhalb einer vereinbarten Zeitauflösung. Dabei werden die Schriftzeichen bzgl. Ausrichtung und Größe gemäß vorher vereinbarten Hilfslinien erwartet, wobei eine gewisse Fehlertoleranz vorhanden ist. Dafür kann eine geeignete Ausrichtung und evtl. auch eine Skalierung und/oder eine Bestimmung der dafür geeigneten Parameter vorgenommen werden. Eine Abschätzung bzgl. der Zeichengröße (d. h. z. B. beim lateinisch-basierten Alphabet die Unterscheidung zwischen Groß- oder Kleinschreibung) kann bei einem zuerst eingegebenen Schriftzeichen aufgrund des Verhältnisses von Schreibgeschwindigkeit zur entsprechenden Strichlänge erfolgen. Wenn dann bei den Folgeschriftzeichen gleichzeitig die Geschwindigkeiten/Beschleunigungen und die Zeichengröße nachlassen, kann auf Kraftverlust im Arm geschlossen und die zu den Schriftzeichen gehörigen Trajektorienpunkte vor Bearbeitung durch das zweidimensionale Handschriftenerkennungsverfahren geeignet skaliert werden, falls die Strichlänge innerhalb der Polygonzüge zunehmend kürzer wird.
-
Es können auch zusätzliche Verbindungslinien (Ligaturen), z. B. zwischen den Buchstaben, auch bei Eingabe von Schriftzeichen in Druckschrift, als relevant für die Handschrifterkennung in Betracht gezogen werden.
-
Ein Beispiel für zusätzliche Ligaturen innerhalb eines Schriftzeichens ist das große Druckschrift-H, das mit den Verbindungslinien eine abgewandelte Gestalt erhält. Hier muss der Handschriftenerkenner auf die Gestalt des Buchstabens mit Ligaturen trainiert werden. Das gilt auch für Schriftzeichen, die in Schreibschrift eingegeben werden, z. B. wenn ein i-Punkt angebracht werden muss. Diese Ligaturen gehören aus Sicht des Handschriftenerkenners dann zu dem jeweiligen Schriftzeichen.
-
Wenn Ligaturen zwischen den Schriftzeichen erzeugt werden, z. B. wenn die Schriftzeichen einzeln (z.B. in Druckschrift) hintereinander oder übereinander eingegeben werden, müssen die Ligaturen erkannt und durch einen Segmentierungsprozess vom Handschriftenerkenner entfernt werden.
-
Zusätzliche Ligaturen zwischen in Schreibschrift eingegebenen Worten müssen ebenfalls erkannt und durch einen Segmentierungsprozess entfernt werden. Dabei können bzgl. der Erkennung von in Schreibschrift eingegebenen Worten statistische Sprachinformationen berücksichtigt werden, wie es beispielsweise von Diktierfunktionen bekannt ist.
-
Momentaufnahmen eines ersten und eines dritten Abschnitts der Trajektorie des Fingers 5, die jeweils nicht mit dem Eingeben von Schriftzeichen korrespondieren, sind in den 1a–b (erster Abschnitt) und 3a–b (dritter Abschnitt) gezeigt. In diesen Abschnitten bewegt der Benutzer 2 den Finger 5 vornehmlich entlang einer radialen Richtung 7 vom Körper weg (erster Abschnitt, 1a–b) oder zum Körper hin (dritter Abschnitt, 3a–b). Eine Bewegungsrichtung oder Beschleunigungsrichtung des Fingers 5 ist in den 1–3 dabei jeweils durch einen Pfeil 11 dargestellt.
-
Die 2a–c dagegen zeigen Momentaufnahmen eines zweiten Abschnitts der Trajektorie des Fingers 5, der mit dem berührungslosen Eingeben von Schriftzeichen korrespondiert. In diesem zweiten Abschnitt bewegt der Benutzer den Finger 5 vornehmlich entlang eines Ausschnitts einer in etwa sphärischen virtuellen Eingabefläche 9 (gestrichelt), also jeweils vornehmlich entlang oder in Richtung einer zur radialen Richtung 7 orthogonalen Tangentialebene 8. Der Mittelpunkt der sphärischen virtuellen Eingabefläche 9 ist durch den Bezugspunkt 6 im Bereich der rechten Schulter des Benutzers 2 gegeben. Der Radius der Sphäre entspricht einem mittleren Abstand zwischen dem Finger 5 und dem Bezugspunkt 6 im Bereich der rechten Schulter des Benutzers 2 bei einer leicht angewinkelten Stellung des Armes 4 des Benutzers 2. In der vereinfachten zweidimensionalen Darstellung der 1–3 ist der Ausschnitt der virtuellen Eingabefläche 9 durch einen Kreisbogen wiedergegeben. Die Anordnung der virtuellen Eingabefläche 9 im Fahrzeuginnenraum 1 wird während der Eingabe der Schriftzeichen durch den Benutzer fortlaufend neu ermittelt und aktualisiert. Bei abgewandelten Ausführungsformen kann die Eingabefläche 9 auch auf andere Weise gekrümmt oder flach, d. h. nicht gekrümmt sein.
-
Der mit dem Eingeben der Schriftzeichen korrespondierende zweite Abschnitt der Trajektorie des Fingers 5 wird anhand der Bewegungsrichtung des Fingers 5 relativ zum Körper des Benutzers 2, insbesondere relativ zum Bezugspunkt 6 identifiziert. Daher wird in einem ersten Verfahrensschritt zunächst die Position des Bezugspunktes 6 bestimmt, also dessen dreidimensionale Koordinaten im fahrzeugfesten Koordinatensystem. Dafür werden zunächst ein Bild oder mehrere Bilder des Benutzers 2 erfasst. Mittels bekannter Bilderkennungs- und/oder Mustererkennungsalgorithmen können z. B. Anordnungen des Kopfes 3, eines Rumpfes und des Arms 4 des Benutzers 2 im fahrzeugfesten Koordinatensystem erfasst und bestimmt werden. Anhand der Anordnungen dieser Körperteile im Fahrzeuginnenraum 1 kann dann z. B. der Bezugspunkt 6 im Schulterbereich des Benutzers 2 bestimmt werden. Dieser kann beispielsweise so gewählt werden, dass er in etwa mit dem Schultergelenk zusammenfällt. Alternativ kann auch ein anderer Punkt als Bezugspunkt gewählt werden, z. B. ein Punkt im Bereich des Ellenbogens oder im Bereich des Brustkorbes des Benutzers 2. Es ist auch denkbar, dass die Position des Bezugspunktes 6 fortwährend aktualisiert wird, um einer Bewegung des Benutzers 2 im Fahrzeuginnenraum 1 beim berührungslosen Schreiben Rechnung zu tragen.
-
Wenn die Position des Bezugspunktes 6 bestimmt worden ist, beginnt das Erfassen der Trajektorie des Fingers 5. Auch der Finger 5, kann mittels bekannter Bild- und/oder Mustererkennungsalgorithmen identifiziert und dann in der Folge der von der Stereokamera 10 aufgenommenen Bilder verfolgt werden. Vorzugsweise werden für jedes der von der Stereokamera 10 aufgenommenen Bilder die Position des Fingers 5, also dessen dreidimensionale Koordinaten im fahrzeugfesten Koordinatensystem, und der Aufnahmezeitpunkt ermittelt. Diese Positionen des Fingers 5 bilden zusammen mit den ihnen jeweils zugeordnen Aufnahmezeitpunkten die Punkte der Trajektorie des Fingers 5 im Fahrzeuginnenraum 1.
-
Vorzugsweise wird für jeden dieser Punkte die radiale Richtung 7 ermittelt. Die radiale Richtung 7 ist jeweils durch eine Gerade gegeben, die durch die Position des jeweiligen Punktes der Trajektorie und durch die Position des Bezugspunktes 6 festgelegt ist. Dann wird im vorliegenden Beispiel die radiale Geschwindigkeit des Fingers 5 ermittelt, also die Geschwindigkeit des Fingers 5 entlang der radialen Richtung 7. Zusätzlich wird für jeden Punkt der Trajektorie, für den die radiale Geschwindigkeit ermittelt wurde, die tangentiale Geschwindigkeit des Fingers 5 in diesem Punkt ermittelt. Dabei handelt es sich um die Komponente des Geschwindigkeitsvektors, die senkrecht auf der radialen Richtung 7 steht, so dass die Vektorsumme der radialen Geschwindigkeit und der tangentialen Geschwindigkeit wieder den dreidimensionalen Geschwindigkeitsvektor des Fingers 5 in dem jeweiligen Punkt ergibt. Die tangentiale Geschwindigkeit ist also gleich der Projektion des dreidimensionalen Geschwindigkeitsvektors in oder auf eine Tangentialebene 8, die jeweils senkrecht auf der radialen Richtung 7 steht. Bei alternativen Ausführungsformen können in diesem Verfahrensschritt anstelle der radialen und der tangentialen Geschwindigkeit auch die radiale und die tangentiale Beschleunigung ermittelt werden. Ebenso ist es denkbar, dass die radiale und die tangentiale Komponente höherer zeitlicher Ableitungen der Trajektorie des Fingers 5 ermittelt werden, z. B. der dritten zeitlichen Ableitung.
-
Im nächsten Verfahrensschritt wird für diejenigen Punkte der Trajektorie des Fingers 5, für die die radiale und die tangentiale Geschwindigkeit bestimmt worden sind, also vorzugsweise für alle Punkte der Trajektorie, überprüft, ob dieser Punkt zur Teilmenge von Punkten der Trajektorie gehört, die den zuvor genannten zweiten Abschnitt der Trajektorie bilden, wobei der zweite Abschnitt mit dem Eingeben der Schriftzeichen korrespondiert. Dafür wird der Absolutbetrag der radialen Geschwindigkeit des Fingers 5 in dem jeweiligen Punkt mit einem positiven Schwellwert verglichen, wobei der Punkt dann zur Teilmenge bzw. zum zweiten Abschnitt gehört, wenn der Absolutbetrag der radialen Geschwindigkeit kleiner ist als der Schwellwert. Im hier beschriebenen Ausführungsbeispiel wird der Schwellwert für jeden Punkt jeweils gleich dem Absolutbetrag der tangentialen Geschwindigkeit des Fingers 5 in dem jeweiligen Punkt gesetzt. Bei abgewandelten Ausführungsformen kann der Schwellwert für alle Punkte derselbe konstante Geschwindigkeitswert sein. Ebenso kann der Schwellwert in anderer Weise von der tangentialen Geschwindigkeit abhängen. Wie zuvor beschrieben können anstelle der radialen/tangentialen Geschwindigkeit wiederum auch die radiale/tangentiale Beschleunigung oder höhere zeitliche Ableitungen gesetzt werden. Vorzugsweise wird der Schwellwert also jeweils derart gewählt, dass die radiale Geschwindigkeit/Beschleunigung des Fingers 5 genau dann kleiner ist als der Schwellwert, wenn die Geschwindigkeit/Beschleunigung des Fingers 5 vornehmlich senkrecht zur radialen Richtung 7 ausgerichtet ist. Dies ist nämlich typischerweise genau dann der Fall, wenn der Benutzer 2 den Finger 5 zum Eingeben der Schriftzeichen bewegt, also normalerweise entlang der Eingabefläche 9.
-
Im nächsten Verfahrensschritt wird für jeden Punkt der Trajektorie, der als Element der den zweiten Abschnitt der Trajektorie bildenden Teilmenge identifiziert wurde, die Ausrichtung der bereits beschriebenen Eingabefläche 9 ermittelt, und zwar anhand der Spur der bis zu diesem Zeitpunkt identifizierten Punkte der Teilmenge. Im vorliegenden Beispiel wird z. B. für jeden neu identifizierten Punkt der Teilmenge erneut der mittlere Abstand der Positionen der Punkte der Teilmenge zum Bezugspunkt 6 bestimmt. Dieser mittlere Abstand wird dann gleich dem Radius der sphärischen virtuellen Eingabefläche 9 gesetzt. Sofern die Eingabefläche bei abgewandelten Ausführungsformen keine Sphäre ist, kann die Ausrichtung der Eingabefläche 9 auf andere Weise aktualisiert werden. Wird die Eingabefläche 9 z. B. als Ebene gewählt, so kann ihre Ausrichtung mit jedem neu identifizierten Punkt der Teilmenge z. B. derart angepasst werden, dass der mittlere Abstand der Positionen der Punkte der Teilmenge zur ebenen Eingabefläche minimal ist oder dergleichen.
-
Zur Illustration der Anordnung der Spur der Teilmenge relativ zur Eingabefläche 9 zeigt 4a schematisch die sphärische Eingabefläche 9 aus den 2 und 3 und die Spur des Fingers. Dabei sollen die ausgefüllten Postionen 21 bis 26 die Positionen solcher Punkte der Trajektorie sein, die als zur Teilmenge bzw. als zum zweiten Abschnitt der Trajektorie gehörig identifiziert wurden. Die nicht ausgefüllten Positionen 31 bis 34 dagegen sind Positionen solcher Punkte der Trajektorie, die nicht zur Teilmenge gehören. Es ist deutlich zu erkennen, dass die Positionen 21 bis 26 der Punkte der Teilmenge, für die im hier beschriebenen Ausführungsbeispiel der Absolutbetrag der radialen Geschwindigkeit des Fingers 5 kleiner ist als der Absolutbetrag der tangentialen Geschwindigkeit, gerade diejenigen Positionen sind, die im Wesentlichen entlang der sphärischen virtuellen Eingabefläche 9 angeordnet sind. Zur Illustration sind in 5 für die Positionen 21 bis 26 der Punkte der Teilmenge und für die Positionen 31 bis 34 der übrigen Punkte der Trajektorie jeweils der Absolutbetrag der Tangentialgeschwindigkeit vt gegen den Absolutbetrag der Radialgeschwindigkeit vr des Fingers 5 aufgetragen.
-
Im nächsten Verfahrensschritt werden dann vorzugsweise für jeden neu identifizierten Punkt der Teilmenge die Positionen der bis dahin identifizierten Punkte der Teilmenge auf die Eingabefläche 9 abgebildet. Typischerweise werden sie jeweils senkrecht auf die Eingabefläche 9 projiziert. Sie können jedoch z. B. auch entlang einer vorgegebenen Richtung auf die Eingabefläche 9 projiziert werden. Mit dieser Projektion der Spur der Teilmenge auf die Eingabefläche 9 entsteht ein erstes Bild der Spur der Teilmenge auf der Eingabefläche 9. Damit wird der durch die Spur der Teilmenge gegebene dreidimensionale zweite Abschnitt der Trajektorie auf einen zweidimensionalen Abschnitt reduziert. Das Bild einer senkrechten Projektion der Positionen 21 bis 26 aus 4a auf die sphärische virtuelle Eingabefläche 9 aus den 2, 3 und 4a ist schematisch in 4b gezeigt, wobei die Bilder der Positionen 21 bis 26 in 4b mit den Bezugszeichen 21' bis 26' bezeichnet sind.
-
Falls die Eingabefläche 9 eben, also nicht gekrümmt ist, können die bis zu diesem Zeitpunkt eingegebenen Schriftzeichen mittels bekannter Mustererkennungsverfahren oder Zeichenerkennungsverfahren anhand des ersten Bildes der Spur der Teilmenge identifiziert werden.
-
Falls die Eingabefläche 9 jedoch gekrümmt ist wie in 4b, ist es vorteilhaft, das Bild der Projektion von der gekrümmten Eingabefläche 9 (siehe 4b) durch eine weitere Abbildung auf eine flache Eingabeebene 13 abzubilden. Dies ist schematisch in 4c gezeigt. Es ist auch denkbar, den in 4b gezeigten Zwischenschritt der Projektion auf die gekrümmte Eingabefläche 9 auszulassen und die Spur der Teilmenge (z. B. die Positionen 21 bis 26 in 4a) unmittelbar auf die flache Eingabeebene 13 abzubilden (4c). Gewöhnlich ist dazu jedoch die Information über die Ausrichtung der gekrümmten Eingabefläche 9 im Fahrzeuginnenraum 1 notwendig. Anhand des Bildes der Spur der Teilmenge in bzw. auf der flachen Eingabeebene 13 können die berührungslos eingegebenen Schriftzeichen dann mittels bekannter Verfahren in einfacher Weise identifiziert werden. Die Bilder der Positionen 21 bis 26 aus 4a in oder auf der flachen Eingabefläche 13 sind in 4c mit den Bezugszeichen 21'' bis 26'' bezeichnet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007045967 A1 [0004, 0005]
