DE102013000072A1 - Operator interface for a handwritten character input into a device - Google Patents

Operator interface for a handwritten character input into a device Download PDF

Info

Publication number
DE102013000072A1
DE102013000072A1 DE102013000072.6A DE102013000072A DE102013000072A1 DE 102013000072 A1 DE102013000072 A1 DE 102013000072A1 DE 102013000072 A DE102013000072 A DE 102013000072A DE 102013000072 A1 DE102013000072 A1 DE 102013000072A1
Authority
DE
Germany
Prior art keywords
character
input
motor vehicle
motion trajectory
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102013000072.6A
Other languages
German (de)
Inventor
Michael Schlittenbauer
Lorenz Bohrer
Martin Roehder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102013000072.6A priority Critical patent/DE102013000072A1/en
Priority to PCT/EP2013/003528 priority patent/WO2014108150A2/en
Publication of DE102013000072A1 publication Critical patent/DE102013000072A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienschnittstelle für eine berührungslose Zeicheneingabe in ein Gerät (12), wobei durch eine Sensoreinrichtung (10) eine 2D-Zeichenspur (48) ermittelt wird, welche zumindest ein von einem Benutzer mit einem Eingabeelement (24) handschriftlich gezeichnetes Zeichen (50) darstellt, und durch eine Zeichenerkennungseinrichtung (16) in Abhängigkeit von der 2D-Zeichenspur (48) zumindest ein erkanntes Zeichen (50) als die Zeicheneingabe erzeugt und dem Gerät (12) bereitgestellt wird. Der Erfindung liegt die Aufgabe zugrunde, eine Bedienschnittstelle für ein Gerät bereitzustellen, mittels welcher Zeichen in das Gerät auf engem Raum eingegeben werden können. Durch die Sensoreinrichtung (10) wird hierzu mittels einer TOF-Kamera (26) eine 3D-Bewegungstrajektorie (44) des Eingabeelements (24) in einem vorbestimmten Raumbereich (38) erfasst und die erfasste 3D-Bewegungstrajektorie (48) auf eine zweidimensionale Projektionsebene (46) projiziert. Die Projektion der 3D-Bewegungstrajektorie (44) wird dann als die 2D-Zeichenspur (48) an die Zeichenerkennungseinrichtung (16) übertragen. Die Bilderfassung kann so auch von oben erfolgen.The invention relates to a method for operating a user interface for contactless input of characters into a device (12), a 2D character track (48) being determined by a sensor device (10), which is at least one handwritten by a user with an input element (24) represents drawn character (50), and by a character recognition device (16) depending on the 2D character track (48) at least one recognized character (50) is generated as the character input and provided to the device (12). The invention is based on the object of providing an operating interface for a device by means of which characters can be entered into the device in a confined space. For this purpose, the sensor device (10) uses a TOF camera (26) to record a 3D movement trajectory (44) of the input element (24) in a predetermined spatial area (38) and to transfer the recorded 3D movement trajectory (48) to a two-dimensional projection plane ( 46) projected. The projection of the 3D movement trajectory (44) is then transmitted as the 2D character track (48) to the character recognition device (16). The image can also be captured from above.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienschnittstelle eines Geräts, welche eine Handschrifterkennung für eine berührungslose Eingabe von handschriftlich gezeichneten Zeichen aufweist. Zu der Erfindung gehören auch ein Kraftfahrzeug mit einer solchen Bedienschnittstelle, ein Computerprogrammprodukt zum Bereitstellen einer solchen Bedienschnittstelle in einem mobilen Endgerät, insbesondere einem Smartphone oder einem Tablet-PC, sowie ein solches mobiles Endgerät.The invention relates to a method for operating a user interface of a device, which has a handwriting recognition for a contactless input of handwritten characters. The invention also includes a motor vehicle with such an operator interface, a computer program product for providing such an operator interface in a mobile terminal, in particular a smartphone or a tablet PC, as well as such a mobile terminal.

In einem Kraftfahrzeug ist in der Regel vorgesehen, einzelne Funktionen des Kraftfahrzeugs, wie beispielsweise das Eingeben des Navigationsziels in ein Navigationsgerät, durch Betätigung dafür vorgesehener, definierter Funktionstasten aufzurufen. Um solche Tastenbetätigungen zu sensieren, ist heute je Taste ein elektrischer oder kapazitiver Schalter notwendig. Die Tasten sind örtlich begrenzt und fix positioniert. Das Suchen der Tasten bzw. auch das Suchen von Bedienfeldern auf einem berührungsempfindlichen Bedienfeld, beispielsweise einem sogenannten Touchpad oder Touchscreen, kann den Fahrer während einer Fahrt in unerwünschter Weise vom Verkehrsgeschehen ablenken. Zudem benötigt jede Taste eine verhältnismäßig teure Auswertungseinheit. Je unterschiedlicher Ausstattungsvarianten eines Kraftfahrzeugs sein müssen, desto mehr unterschiedliche Taster müssen entsprechend verbaut und angeschlossen sein. Dies macht Variantenvielfalt kostspielig.In a motor vehicle is usually provided to call individual functions of the motor vehicle, such as entering the navigation destination in a navigation device, by pressing it provided, defined function keys. To sense such key presses, today each key an electrical or capacitive switch is necessary. The keys are localized and fixed. Searching the buttons or even searching for control panels on a touch-sensitive control panel, for example a so-called touchpad or touch screen, can distract the driver during a journey in an undesirable manner from the traffic situation. In addition, each key requires a relatively expensive evaluation unit. The more different equipment variants of a motor vehicle must be, the more different buttons must be installed and connected accordingly. This makes variant diversity costly.

Um eine Eingabe von Text beispielsweise für das Festlegen eines Navigationsziels in einem Navigationsgerät zu vereinfachen, kann anstelle von Hardwaretasten oder emulierten Tasten auf einem Touchscreen auch eine Zeichenerkennung bereitgestellt sein. Ein Benutzer kann hierbei einzelne Zeichen, also Buchstaben, Zahlen oder auch Sonderzeichen, hintereinander auf ein und demselben berührungsempfindlichen Bedienfeld mit einem Finger oder auch mit einem Stift zeichnen. Eine automatische Handschrifterkennung, auch als Texterkennung oder optische Zeichenerkennung bezeichnet, kann dann beispielsweise auf Grundlage einer Mustererkennung aus der jeweils gezeichneten Zeichenspur den gezeichneten Buchstaben erkennen und eine entsprechende digitale Information an das Navigationsgerät weitergeben. Eine automatische Handschrifterkennung ermöglicht das Erkennen einzelner Zeichen oder auch mehrerer nacheinander mit einer einzelnen Zeichenspur oder auch mit Unterbrechungen gezeichneten Zeichen.In order to simplify an input of text, for example for setting a navigation destination in a navigation device, character recognition may be provided instead of hardware buttons or emulated buttons on a touchscreen. In this case, a user can draw individual characters, that is to say letters, numbers or even special characters, in succession on one and the same touch-sensitive control panel with a finger or also with a pen. An automatic handwriting recognition, also referred to as text recognition or optical character recognition, can then recognize, for example on the basis of pattern recognition from the respectively drawn character trace the drawn letters and pass on a corresponding digital information to the navigation device. Automatic handwriting recognition allows the recognition of single characters or even several characters drawn one after the other with a single character track or intermittently.

Mittels einer automatischen Handschrifterkennung ist es möglich, für die Eingabe von Texten auf einzelne Tasten für die Eingabe der Buchstaben zu verzichten und stattdessen eine einzige berührungsempfindliche Fläche bereitzustellen, auf welcher der Benutzer unterschiedliche Zeichen eingeben kann.By means of an automatic handwriting recognition, it is possible to omit the input of letters for the input of texts on individual keys and instead to provide a single touch-sensitive surface on which the user can input different characters.

Im Zusammenhang mit einer handschriftlichen Texteingabe an einem Arbeitsplatzcomputer ist aus der US 2011/0254765 A1 ein automatisches Handschrifterkennungssystem bekannt, bei welchem ein Benutzer mit einer Hand unabhängig von einem in der Hand gehaltenen Gegenstand ein Wort frei im Raum, d. h. in der Luft, schreiben kann und diese Bewegung der Hand als 3D-Bewegungstrajektorie von einem optischen Sensor erkannt wird. Die 3D-Bewegungstrajektorie wird auf eine Ebene projiziert. Die so gebildete 2D-Abbildung der 3D-Bewegungstrajektorie wird dann einer automatischen Handschrifterkennung zugeführt. Das System geht davon aus, dass der Benutzer beim Ausführen seiner Handbewegungen frontal vor dem optischen Sensor steht und Schreibbewegungen wie an einer Tafel ausführt. Das System kann anhand einer speziellen Geste erkennen, wann der Benutzer mit einer Eingabe fertig ist. Alternativ zu der speziellen Geste kann bei vollständig geschriebenen Worten mit mehreren Buchstaben anhand einer statistischen Analyse überprüft werden, welcher Teil der 3D-Bewegungstrajektorie zu eigentlichen Zeicheneingabe gehört.In connection with a handwritten text input at a workstation computer is from the US 2011/0254765 A1 an automatic handwriting recognition system is known in which a user can write a word freely in space, ie in the air, independently of a hand-held object with a hand and this movement of the hand is detected as a 3D movement trajectory of an optical sensor. The 3D motion trajectory is projected onto a plane. The 2D image of the 3D motion trajectory thus formed is then fed to an automatic handwriting recognition. The system assumes that the user is standing in front of the optical sensor when performing his hand movements, performing writing movements like on a blackboard. The system can detect when the user finishes an entry with a special gesture. As an alternative to the special gesture, in the case of fully written words with several letters, a statistical analysis can be used to check which part of the 3D motion trajectory belongs to the actual character input.

Der Erfindung liegt die Aufgabe zugrunde, eine Bedienschnittstelle für ein Gerät bereitzustellen, mittels welcher Zeichen in das Gerät auf engem Raum eingegeben werden können.The invention has for its object to provide a user interface for a device by means of which characters can be entered into the device in a small space.

Die Aufgabe wird durch ein Verfahren gemäß Patentanspruch 1, ein Kraftfahrzeug gemäß Patentanspruch 6, ein Computerprogrammprodukt gemäß Patentanspruch 9 und ein mobiles Endgerät gemäß Patentanspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is achieved by a method according to claim 1, a motor vehicle according to claim 6, a computer program product according to claim 9 and a mobile terminal according to claim 10. Advantageous developments of the invention are given by the dependent claims.

Auch bei dem erfindungsgemäßen Verfahren wird in an sich bekannter Weise eine automatische Handschrifterkennung zum Erkennen eines Zeichens genutzt, welches von einem Benutzer mit einem Eingabeelement, also beispielsweise seinem Finger oder auch einem Zeicheninstrument, handschriftlich gezeichnet wurde. Die Zeichenspur stellt dabei in der gewohnten Weise eines oder mehrere Zeichen als zweidimensionales, also flaches Abbild dar, wie es der Benutzer gezeichnet hat. Durch eine Zeichenerkennungseinrichtung wird dann in bekannter Weise in Abhängigkeit von der 2D-Zeichenspur zumindest ein erkanntes Zeichen erzeugt, d. h. also z. B. an einem Ausgang ausgegeben, und die erkannten Zeichen als Zeicheneingabe dem zu bedienenden Gerät bereitgestellt. Die Texteingabe ist per Geste ohne Berührung eines Eingabeelements möglich. Hierzu wird gemäß dem Verfahren durch eine Sensoreinrichtung eine 3D-Bewegungstrajektorie (Bewegungsbahn) des Eingabeelements in einem vorbestimmten Raumbereich erfasst. Bei der 3D-Bewegungstrajektorie können sich die Koordinaten der Punkte, aus denen sich die Bewegungstrajektorie zusammensetzt, in alle drei Raumrichtungen unterscheiden. Es handelt sich also um ein dreidimensionales Gebilde. Durch die Sensoreinrichtung wird die erfasste 3D-Bewegungstrajektorie dann auf eine zweidimensionale Projektionsebene projiziert und die Projektion der 3D-Bewegungstrajektorie als die 2D-Zeichenspur an die Zeichenerkennungseinrichtung übertragen.Also in the method according to the invention an automatic handwriting recognition is used for recognizing a character in a conventional manner, which was handwritten by a user with an input element, so for example his finger or a drawing instrument. The character track represents one or more characters in the usual way as a two-dimensional, ie flat image as the user has drawn. By a character recognition device is then generated in a known manner depending on the 2D character track at least one recognized character, ie, for. B. output at an output, and the recognized characters as character input provided to the device to be operated. The text input is possible by a gesture without touching an input element. For this purpose, according to the method by a sensor device, a 3D movement trajectory (trajectory) of the Input element detected in a predetermined space area. In the 3D motion trajectory, the coordinates of the points that make up the motion trajectory may differ in all three spatial directions. It is therefore a three-dimensional structure. The detected 3D movement trajectory is then projected onto a two-dimensional projection plane by the sensor device and the projection of the 3D motion trajectory is transmitted as the 2D character trace to the character recognition device.

Bei dem erfindungsgemäßen Verfahren wird die 3D-Bewegungstrajektorie nun mit einer TOF-Kamera (TOF – Time of Flight) und aus einer Blickrichtung erfasst, deren Richtungsvektor in der Projektionsebene liegt oder parallel zu ihr oder in einem spitzen Winkel kleiner als 45° zur Projektionsebene, bevorzugt kleiner als 30°, angeordnet ist. Mit anderen Worten beobachtet die TOF-Kamera also beispielsweise den zeichnenden Finger des Benutzers z. B. von oben oder unten, während der Benutzer die Zeichen aufrecht im Raum zeichnet. Bei dieser Anordnung ergibt sich der Vorteil, dass die TOF-Kamera sehr unauffällig in einer Umgebung der Bedienperson angeordnet sein kann. Sie muss sich nicht vor dem Benutzer befinden. Insbesondere in einem Kraftfahrzeug hat es sich als günstig erwiesen, die 3D-Kamera beispielsweise im Dachhimmel des Kraftfahrzeugs anzuordnen und den Fahrer von oben herab mittels der 3D-Kamera abzubilden. Indem die so gezeichnete 3D-Bewegungstrajektorie durch eine TOF-Kamera erfasst wird, muss die Person nicht darauf achten, in welchem Winkel zu der 3D-Kamera sie die Bewegung ausführt. Wie versuche zeigen, erfolgt das Erfassen der 3D-Bewegungstrajektorie mittels der TOF-Kamera in alle drei Raumrichtungen mit ausreichender Zuverlässigkeit.In the method according to the invention, the 3D motion trajectory is now detected with a TOF camera (TOF) and from a viewing direction whose direction vector lies in the projection plane or parallel to it or at an acute angle smaller than 45 ° to the projection plane, preferably less than 30 °, is arranged. In other words, the TOF camera thus observes, for example, the drawing finger of the user z. From the top or bottom while the user draws the characters upright in space. In this arrangement, there is the advantage that the TOF camera can be arranged very inconspicuously in an environment of the operator. It does not have to be in front of the user. In particular, in a motor vehicle, it has proven to be favorable to arrange the 3D camera, for example, in the headliner of the motor vehicle and to image the driver from above by means of the 3D camera. By capturing the 3D motion trajectory so drawn by a TOF camera, the person does not have to pay attention to the angle to which the 3D camera is making the motion. As experiments show, the detection of the 3D motion trajectory by means of the TOF camera in all three spatial directions takes place with sufficient reliability.

Es kann bei der Erfindung auch vorgesehen sein, dass eine TOF-Kamera Bestandteil einer Stereo-Kameraanordnung ist. Hierdurch wird in vorteilhafter Weise der für TOF-Kameras bekannte Abschattungseffekt vermieden, der sich ergibt, wenn die TOF-Kamera ein frei im Raum befindliches Objekt nur von einer Seite erfasst und hierdurch die Tiefenabmessungen des Objekts entlang der optischen Achse der TOF-Kamera nicht erfasst werden können. Eine andere Möglichkeit zur Kompensation einer Abschattung ist durch ein Handmodell gegeben, wie es z. B. von dem Produkt „Kinect”® des Unternehmens Microsoft® bekannt ist.It can also be provided in the invention that a TOF camera is part of a stereo camera arrangement. This advantageously avoids the shading effect known for TOF cameras, which results when the TOF camera detects an object located freely in space only from one side and thus does not detect the depth dimensions of the object along the optical axis of the TOF camera can be. Another way to compensate for shading is given by a hand model, as z. B. from the product "Kinect" ® the company Microsoft ® is known.

Ein weiterer Vorteil ergibt sich, wenn eine Neigung der Projektionsebene im Raum an die jeweils erfasste 3D-Bewegungstrajektorie angepasst wird. Hierzu wird dann eine Hülle der 3D-Bewegungstrajektorie ermittelt. Beispielsweise können hierzu Abmessungen der Kanten eines virtuellen Quaders ermittelt werden, welcher die 3D-Bewegungstrajektorie vollständig umfasst (einhüllt) und aus welchem bei Verringerung der Abmessung einer der Kanten die 3D-Bewegungstrajektorie aus dem Quader aber herausstehen würde. Es wird dann diejenige Ausdehnungsrichtung ermittelt, entlang welcher die Hülle eine geringste Ausdehnung aufweist und die Projektionsebene senkrecht zu dieser Ausdehnungsrichtung angeordnet. Die Ausdehnungsrichtung kann auch beispielsweise mittels einer Hauptkomponentenanalyse (PCA – Principle Component Analysis) der Koordinaten der die 3D-Bewegungstrajektorie beschreibenden Punkte ermittelt werden. Durch Ausrichten der Projektionsebene ergibt sich der Vorteil, dass die Zeichenerkennungseinrichtung besonders zuverlässig eine 2D-Zeichenspur erkennen kann.Another advantage arises when an inclination of the projection plane in space is adapted to the respectively detected 3D motion trajectory. For this purpose, an envelope of the 3D motion trajectory is determined. For example, dimensions of the edges of a virtual cuboid can be determined for this purpose, which completely encompasses (envelopes) the 3D motion trajectory and from which, when the dimension of one of the edges is reduced, the 3D motion trajectory would stand out of the cuboid. The expansion direction along which the shell has a smallest extension and the projection plane perpendicular to this expansion direction is then determined. The direction of expansion can also be determined, for example, by means of a principal component analysis (PCA) of the coordinates of the points describing the 3D movement trajectory. By aligning the projection plane, there is the advantage that the character recognition device can detect a 2D character trace with particular reliability.

Ein weiterer Vorteil ergibt sich, wenn für jeweils einen Erkennungsvorgang die Erfassung der 3D-Bewegungstrajektorie begonnen wird, falls durch die Sensoreinrichtung erkannt wird, dass das Eingabeelement in den genannten Raumbereich eindringt, und die Erfassung wieder beendet wird, falls durch die Sensoreinrichtung erkannt wird, dass das Eingabeelement den Raumbereich wieder verlässt. Hierzu kann beispielsweise der Raumbereich als ein quaderförmiges Volumen im Raum definiert sein. Anhand der Koordinaten des Eingabeelements, also beispielsweise einer Fingerspitze, kann dann überprüft werden, ob sich die Fingerspitze innerhalb dieses Quaders befindet oder nicht. Der Benutzer kann dann durch Eintauchen seiner Fingerspitze in das Volumen die Erkennung einer 3D-Bewegungstrajektorie starten und durch Zurückziehen seiner Hand aus dem Volumen dann den Erkennungsvorgang beenden.A further advantage results if the detection of the 3D movement trajectory is started for each detection operation, if it is detected by the sensor device that the input element penetrates into said spatial area, and the detection is terminated again, if it is detected by the sensor device, that the input element leaves the room area again. For this purpose, for example, the space area may be defined as a cuboid volume in space. Based on the coordinates of the input element, so for example a fingertip, it can then be checked whether the fingertip is inside this cuboid or not. The user can then start detecting a 3D motion trajectory by dipping his fingertip into the volume and then, by pulling his hand out of the volume, stop the recognition process.

Eine andere Möglichkeit, um zuverlässig zwischen einerseits einem Eingabevorgang und andererseits einer Handbewegung, die keine Eingabe bewirken soll, unterscheiden zu können, wird gemäß einer Ausführungsform des Verfahrens erreicht, indem die 3D-Bewegungstrajektorie in dem Raumbereich nur erfasst wird, falls durch die Sensoreinrichtung erkannt wird, dass sich eine Hand des Benutzers zumindest teilweise in dem Raumbereich befindet und zumindest ein Finger der Hand eine jeweils vorbestimmte Fingerstellung aufweist. Mit anderen Worten wird die Erfassung der 3D-Bewegungstrajektorie nur ausgelöst, wenn der Benutzer beim Zeichnen mit der Hand eine bestimmte Fingergeste ausführt.Another possibility, in order to be able to reliably differentiate between an input procedure on the one hand and a hand movement which should not cause an input, is achieved according to an embodiment of the method by detecting the 3D motion trajectory in the spatial area only if detected by the sensor device is that a hand of the user is at least partially in the space area and at least one finger of the hand has a respective predetermined finger position. In other words, the detection of the 3D motion trajectory is only triggered when the user performs a specific finger gesture when drawing by hand.

Wie bereits ausgeführt, gehört zu der Erfindung auch ein Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug weist eine Bedienschnittstelle mit einer Zeichenerkennungseinrichtung, also einer automatischen Handschrifterkennung, für eine handschriftliche Zeicheneingabe in eine Komponente des Kraftfahrzeugs auf. Bei der Komponente kann es sich beispielsweise um ein Navigationsgerät oder ein Infotainmentsystem handeln. Bei der Zeichenerkennungseinrichtung kann es sich um eine an sich bekannte Ausführungsform für eine 2D-Zeichenspurerkennung handeln. Das erfindungsgemäße Kraftfahrzeug zeichnet sich dadurch aus, dass bei der Bedienschnittstelle eine TOF-Kamera für die handschriftliche Zeicheneingabe bereitgestellt ist und die Bedienschnittstelle dazu ausgelegt ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.As already stated, the invention also includes a motor vehicle. The motor vehicle according to the invention has an operator interface with a character recognition device, that is to say an automatic handwriting recognition, for handwritten character input into a component of the motor vehicle. The component may be, for example, a navigation device or an infotainment system. The character recognition device may be a per se known embodiment for a 2D character trace detection act. The motor vehicle according to the invention is characterized in that a TOF camera for handwritten character input is provided at the operator interface and the operator interface is designed to carry out an embodiment of the method according to the invention.

Die Kamera ist bevorzugt in einem Dachhimmel des Kraftfahrzeugs angeordnet. Wie bereits beschrieben, ergeben sich hierdurch keine Nachteile bei der Erfassung einer 2D-Zeichenspur für die Zeichenerkennungseinrichtung, wenn das erfindungsgemäße Verfahren genutzt wird. Zudem ergeben sich Vorteile durch die uneingeschränkt freie Sichtbarkeit der Hand, da sich über der Hand in der Regel keine Objekte befinden können.The camera is preferably arranged in a headliner of the motor vehicle. As already described, this results in no disadvantages in the detection of a 2D character trace for the character recognition device when the inventive method is used. In addition, there are advantages due to the unrestricted visibility of the hand, as there are usually no objects above the hand.

Die berührungslose Texteingabe kann auf der Grundlage der Erfindung aber nicht nur in einem Kraftfahrzeug, sondern auch in einem mobilen Endgerät bereitgestellt werden, also etwa in einem Smartphone oder einem Tablet-PC. Um ein herkömmliches mobiles Endgerät nachrüsten zu können, damit es das erfindungsgemäß Verfahren durchführen kann, ist Bestandteil der Erfindung auch ein Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programm, welches dazu ausgelegt ist, beim Ausführen des Programms durch eine Prozessoreinrichtung des mobilen Endgeräts auf der Grundlage von Kameradaten einer Kamera des mobilen Endgeräts eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen.The non-contact text input can be provided on the basis of the invention, but not only in a motor vehicle, but also in a mobile device, so for example in a smartphone or a tablet PC. In order to be able to retrofit a conventional mobile terminal so that it can carry out the method according to the invention, a computer program product with a program stored on at least one storage medium, which is designed to execute the program by a processor device of the mobile terminal on the Based on camera data of a camera of the mobile terminal to perform an embodiment of the method according to the invention.

Zu der Erfindung gehört schließlich auch ein mobiles Endgerät, welches eine Ausführungsform des erfindungsgemäßen Computerprogrammprodukts aufweist. Mit anderen Worten lässt sich das mobile Endgerät in der Weise betreiben, dass berührungslos eine handschriftliche Zeicheneingabe ermöglicht ist.Finally, the invention also includes a mobile terminal which has an embodiment of the computer program product according to the invention. In other words, the mobile terminal can be operated in such a way that hands-free character input is possible without contact.

Im Folgenden ist die Erfindung noch einmal anhand eines konkreten Ausführungsbeispiels erläutert. Hierzu zeigt:In the following, the invention is explained once again with reference to a concrete embodiment. This shows:

1 ein Blockschaltbild zu einer optischen Sensoreinrichtung, die in einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs eingebaut sein kann, und 1 a block diagram of an optical sensor device, which may be installed in an embodiment of the motor vehicle according to the invention, and

2 eine Skizze zu einem Bedienvorgang, wie er einer Bedienperson auf der Grundlage einer Ausführungsform des erfindungsgemäßen Verfahrens ermöglicht wird. 2 a sketch of an operation as it is an operator on the basis of an embodiment of the method according to the invention is made possible.

Die gezeigten Beispiele stellen bevorzugte Ausführungsformen der Erfindung dar.The examples shown represent preferred embodiments of the invention.

In 1 sind von einem Kraftwagen, beispielsweise einem Personenkraftwagen, eine optische Sensoreinrichtung 10 und eine Wiedereingabeeinrichtung 12 gezeigt. Bei der Wiedergabeeinrichtung 12 kann es sich beispielsweise um ein Infotainmentsystem, ein Audiosystem, ein Navigationssystem, ein Fernsehsystem, ein Telefon, ein Kombiinstrument oder ein Head-up-Display handeln. Die Sensoreinrichtung 10 umfasst eine Messeinrichtung 14 und eine Berechnungseinheit 16. Die Messeinrichtung 14 umfasst einen optischen Sensor 18, der beispielsweise eine TOF-Kamera oder PMD-Kamera (PMD – Photonenmischdetektor) sein kann. Es kann sich bei dem optischen Sensor 18 auch beispielsweise um eine Stereoanordnung handeln. In dem in 1 gezeigten Beispiel ist davon ausgegangen, dass es sich bei dem optischen Sensor 18 um eine PMD-Kamera handelt. Der optische Sensor 18 kann beispielsweise in einem Dachhimmel des Kraftfahrzeugs angeordnet sein.In 1 are of a motor vehicle, such as a passenger car, an optical sensor device 10 and a reentry device 12 shown. At the playback device 12 it may be, for example, an infotainment system, an audio system, a navigation system, a television system, a telephone, a combination instrument or a head-up display. The sensor device 10 includes a measuring device 14 and a calculation unit 16 , The measuring device 14 includes an optical sensor 18 which may be, for example, a TOF camera or PMD (PMD) camera. It can be at the optical sensor 18 also act for example to a stereo arrangement. In the in 1 The example shown assumes that the optical sensor 18 is a PMD camera. The optical sensor 18 can be arranged for example in a headliner of the motor vehicle.

Der optische Sensor 18 kann in an sich bekannter Weise ausgestaltet sein, d. h. eine Leuchtquelle 20, z. B. eine Infrarotleuchte, beleuchtet einen Erfassungsbereich 22, beispielsweise einen Raum über einer Mittelkonsole des Kraftfahrzeugs. Befindet sich darin ein Objekt, beispielsweise einer Hand 24 des Fahrers des Kraftfahrzeugs, so wird die von der Leuchtquelle 20 ausgestrahlte elektromagnetische Strahlung von der Hand 24 zu einem Sensorarray 26 zurückgeworfen. Mittels des Sensorarrays 26 können dann 3D-Bilddaten erzeugt werden, welche 3D-Koordinaten zu einzelnen Flächenelementen der Hand 24 angeben. Die 3D-Bilddaten werden von der Messeinrichtung 14 an die Berechnungseinheit 16 übertragen.The optical sensor 18 can be configured in a conventional manner, ie a light source 20 , z. B. an infrared light, illuminates a detection area 22 For example, a space above a center console of the motor vehicle. Is there an object in it, for example a hand 24 the driver of the motor vehicle, so is the light source 20 radiated electromagnetic radiation from the hand 24 to a sensor array 26 thrown back. By means of the sensor array 26 Then 3D image data can be generated, which 3D coordinates to individual surface elements of the hand 24 specify. The 3D image data are taken from the measuring device 14 to the calculation unit 16 transfer.

Bei der Berechnungseinheit 16 kann es sich beispielsweise um ein Steuergerät des Kraftfahrzeugs handeln. In der Berechnungseinheit 16 werden die Signale ausgewertet und dann dem Fahrzeug die ausgewerteten Daten zur Verfügung gestellt, indem sie beispielsweise an die Wiedergabeeinrichtung 12 übertragen werden. Durch die Berechnungseinheit 16 können Gliedmaßen, wie beispielsweise eine Hand, aus den 3D-Bilddaten segmentiert werden, wodurch beispielsweise die Position einer Fingerspitze in dem Erfassungsbereich 22 ermittelt werden kann. Hier können an sich bekannte Segmentierungsalgorithmen zugrunde gelegt werden.In the calculation unit 16 it may, for example, be a control unit of the motor vehicle. In the calculation unit 16 the signals are evaluated and then the vehicle the evaluated data made available, for example, by the playback device 12 be transmitted. By the calculation unit 16 For example, limbs, such as a hand, may be segmented from the 3D image data, thereby, for example, the position of a fingertip in the detection area 22 can be determined. Here, known per se segmentation algorithms can be used.

Durch die 3D-Bilddaten des Sensorarrays 26 des optischen Sensors 18 kann auch eine Sequenz von aufeinander folgenden 3D-Bildern repräsentiert sein, d. h. mit dem optischen Sensor 18 können auch Bewegungen der Hand 24 erfasst werden. Durch Verfolgen der Trajektorie beispielsweise der Fingerspitze in dieser 3D-Bildsequenz, insbesondere durch Verfolgen der Position und der Geschwindigkeit der Fingerspitze, kann so eine mit der Fingerspitze angedeutete Bewegungsgeste aus der Trajektorie extrapoliert werden.Through the 3D image data of the sensor array 26 of the optical sensor 18 a sequence of successive 3D images can also be represented, ie with the optical sensor 18 can also movements of the hand 24 be recorded. By tracking the trajectory of, for example, the fingertip in this 3D image sequence, in particular by tracking the position and speed of the fingertip, one can do so with the fingertip indicated movement gesture are extrapolated from the trajectory.

In 2 ist ein Innenraum 28 eines Kraftfahrzeugs, beispielsweise eines Personenkraftwagens, dargestellt. Gezeigt sind eine Mittelkonsole 30 mit einem Gangwahlhebel 32 und ein Armaturenbrett 34. Ein Fahrer kann mit seiner Hand 24 in einem Raumbereich über der Mittelkonsole 30 frei im Raum zeichnen und so beispielsweise einen Ortsnamen für eine Auswahl eines Navigationsziels in der Wiedergabeeinrichtung 12 festlegen, die in diesem Fall ein Navigationsgerät oder ein Navigationsmodul in einem Infotainmentsystem sein kann. Er kann sich dabei voll auf den Verkehr konzentrieren, d. h. er ist nicht von seiner Fahraufgabe abgelenkt. Die Zeicheneingabe erfordert auch keine elektrische Auswerteeinheiten für Tasten oder ein Touchpad.In 2 is an interior 28 a motor vehicle, such as a passenger car, shown. Shown are a center console 30 with a gear selector lever 32 and a dashboard 34 , A driver can with his hand 24 in a room area above the center console 30 drawing freely in space and so, for example, a place name for a selection of a navigation destination in the display device 12 set, which in this case may be a navigation device or a navigation module in an infotainment system. He can concentrate fully on the traffic, ie he is not distracted from his driving task. The character input also requires no electrical evaluation units for buttons or a touchpad.

Die berührungslose automatische Zeichenerkennung wird mittels der optischen Sensoreinrichtung 10 bereitgestellt, welche eine Bedienschnittstelle für die Wiedergabeeinheit 12 darstellt. Der optische Sensor 26 der Sensoreinrichtung 14 kann hierzu beispielsweise in einem Dachhimmel über der Mittelkonsole 30 angeordnet sein. Eine optische Achse einer Kamera des optischen Sensors kann senkrecht oder schrägt nach unten weisen. Ein Richtungsvektor V der optischen Achse ist in 2 dargestellt.The non-contact automatic character recognition is by means of the optical sensor device 10 which provides a user interface for the playback unit 12 represents. The optical sensor 26 the sensor device 14 can do this, for example, in a headliner above the center console 30 be arranged. An optical axis of a camera of the optical sensor can point vertically or obliquely downward. A direction vector V of the optical axis is in 2 shown.

Der optische Sensor 26 filmt den Innenraum 28 über der Mittelkonsole 30. Aus den so erzeugten 3D-Bilddaten extrahiert die Berechnungseinheit 16 die zur Hand 24 gehörenden Bildinformationen und ermittelt so eine Position P der Fingerspitze der Hand 24. Bei der Position P der Fingerspitze handelt es sich um ein Merkmal, welches durch die Berechnungseinheit 16 über der Zeit verfolgt wird. Der Fahrer hat in dem Beispiel bei ausgestrecktem Finger mit seiner Fingerspitze den Buchstaben A in der Luft gezeichnet. Die Position P der Fingerspitze hat hierdurch eine Trajektorie 36 beschrieben, die von der Berechnungseinheit 16 anhand der 3D-Bilddaten der Sensoreinheit 14 erfasst worden ist. Durch die Berechnungseinheit wird hierbei überwacht, ob sich die Position P innerhalb eines vorbestimmten Raumbereichs 38 befindet. Der Raumbereich 38 kann beispielsweise durch Koordinaten seiner Ecken und Kanten in einem Koordinatensystem 40 beschrieben sein. In dem gezeigten Beispiel ist vorgesehen, dass derjenige Teil der Trajektorie 36, welcher sich innerhalb des Raumbereichs 38 befindet, für die Zeichenerkennung verwendet wird. Durch die Berechnungseinheit 16 wird hierbei ein Eintrittspunkt 40 der Trajektorie 36 und ein Austrittspunkt 42 aus dem Raumbereich 38 beispielsweise durch einen Koordinatenvergleich erkannt. Der innerhalb des Raumbereichs 38 befindliche Anteil der Trajektorie 36 bildet eine 3D-Bewegungstrajektorie 44, auf deren Grundlage die Zeichenerkennung erfolgt.The optical sensor 26 films the interior 28 above the center console 30 , The calculation unit extracts from the 3D image data thus generated 16 the at hand 24 belonging image information and thus determines a position P of the fingertip of the hand 24 , The position P of the fingertip is a feature which is determined by the calculation unit 16 is tracked over time. In the example, with his finger outstretched, the driver drew the letter A in the air with his fingertip. The position P of the fingertip thereby has a trajectory 36 described by the calculation unit 16 based on the 3D image data of the sensor unit 14 has been recorded. In this case, the calculation unit monitors whether the position P is within a predetermined spatial area 38 located. The room area 38 for example, by coordinates of its corners and edges in a coordinate system 40 be described. In the example shown it is provided that that part of the trajectory 36 which is within the space area 38 is used for character recognition. By the calculation unit 16 becomes an entry point 40 the trajectory 36 and an exit point 42 from the room area 38 for example, detected by a coordinate comparison. The inside of the room area 38 located portion of the trajectory 36 forms a 3D motion trajectory 44 based on character recognition.

Die 3D-Bewegungstrajektorie 44 wird auf eine Projektionsebene 46 durch die Berechnungseinheit 16 projiziert. Dies findet rechentechnisch innerhalb der Berechnungseinheit 16 statt und ist in 2 nur der Anschaulichkeit halber auch für den Raumbereich 28 dargestellt. Der Richtungsvektor V der optischen Achse kann in der Projektionsebene 46 oder parallel verschoben zu der Projektionsebene 46 ausgerichtet sein. Ein von dem Richtungsvektor V und der Projektionsebene 46 eingeschlossener Winkel kann auch einen Wert zwischen 0° und 45° aufweisen. In dem in 2 gezeigten Beispiel handelt es sich bei der Projektionsebene 46 um die y-z-Ebene eines Koordinatensystems K, wie sie auch durch die Fahrzeug-Hochachse und die Fahrzeug-Querachse definiert ist. Eine Ausrichtung der Projektionsebene 46 im Raum kann auch abhängig von der 3D-Bewegungstrajektorie 44 eingestellt werden.The 3D motion trajectory 44 becomes on a projection level 46 through the calculation unit 16 projected. This takes place computationally within the calculation unit 16 instead of and is in 2 just for the sake of clarity also for the room area 28 shown. The directional vector V of the optical axis may be in the projection plane 46 or parallel to the projection plane 46 be aligned. One of the direction vector V and the projection plane 46 included angle can also have a value between 0 ° and 45 °. In the in 2 The example shown is the projection plane 46 around the yz plane of a coordinate system K, as defined by the vehicle's vertical axis and vehicle lateral axis. An orientation of the projection plane 46 in space can also be dependent on the 3D motion trajectory 44 be set.

Die Projektion der 3D-Bewegungstrajektorie 44 auf die Projektionsebene 46 ergibt eine 2D-Zeichenspur 48, welche einer in der Berechnungseinheit 16 realisierten, sich aus dem Stand der Technik bekannten 2D-Handschrifterkennung zugeführt wird. Durch die Handschrifterkennung wird die 2D-Zeichenspur 48 in an sich bekannter Weise einem erkannten Zeichen 50, hier dem richtig erkannten Buchstaben A, zugeordnet. Das erkannte Zeichen 50 wird dann als Zeicheneingabe an die Wiedergabeeinrichtung 12 ausgegeben.The projection of the 3D motion trajectory 44 on the projection level 46 gives a 2D character track 48 which one in the calculation unit 16 implemented, known from the prior art 2D handwriting recognition is supplied. Handwriting recognition turns the 2D character track 48 in a known manner a recognized character 50 , here the correctly recognized letter A, assigned. The recognized character 50 is then used as a character input to the playback device 12 output.

Durch das Beispiel ist gezeigt, wie durch die physikalisch einwandfreie Ortbarkeit des Insassen durch eine TOF-Kamera bzw. von Körperteilen des Insassen bestimmte Merkmale verfolgt (getrackt) werden können und die hierdurch erhaltene Trajektorie ausgewertet werden kann. Um Texte in ein System des Kraftfahrzeugs eingeben zu können, kann beispielsweise die Spitze des ausgestreckten Fingers verfolgt werden. Die y-z-Ebene der Trajektorie spiegelt dann den gemalten Buchstaben wider.The example shows how certain characteristics can be traced (tracked) by the TOF camera or body parts of the occupant by means of the physically perfect locability of the occupant and the trajectory obtained thereby can be evaluated. In order to enter texts in a system of the motor vehicle, for example, the tip of the outstretched finger can be followed. The y-z plane of the trajectory then reflects the painted letter.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2011/0254765 A1 [0005] US 2011/0254765 A1 [0005]

Claims (10)

Verfahren zum Betreiben einer Bedienschnittstelle für eine berührungslose Zeicheneingabe in ein Gerät (12), wobei durch eine Sensoreinrichtung (10) eine 2D-Zeichenspur (48) ermittelt wird, welche zumindest ein von einem Benutzer mit einem Eingabeelement (24) handschriftlich gezeichnetes Zeichen darstellt, und durch eine Zeichenerkennungseinrichtung (16) in Abhängigkeit von der 2D-Zeichenspur (48) zumindest ein erkanntes Zeichen (50) als die Zeicheneingabe erzeugt und dem Gerät (12) bereitgestellt wird, wobei durch die Sensoreinrichtung (10) eine 3D-Bewegungstrajektorie (44) des Eingabeelements (24) in einem vorbestimmten Raumbereich (38) erfasst wird und die erfasste 3D-Bewegungstrajektorie (48) auf eine zweidimensionale Projektionsebene (46) projiziert wird und die Projektion der 3D-Bewegungstrajektorie (44) als die 2D-Zeichenspur (48) an die Zeichenerkennungseinrichtung (16) übertragen wird, dadurch gekennzeichnet, dass die 3D-Bewegungstrajektorie (44) mit einer TOF-Kamera (26) aus einer Richtung erfasst wird, deren Richtungsvektor (V) in der Projektionsebene (46) liegt oder parallel versetzt oder in einem spitzen Winkel kleiner als 45° zur Projektionsebene (46) angeordnet ist.Method for operating a user interface for contactless character input into a device ( 12 ), wherein by a sensor device ( 10 ) a 2D character trace ( 48 ), which is at least one of a user with an input element ( 24 ) represents a handwritten character, and by a character recognition device ( 16 ) depending on the 2D character trace ( 48 ) at least one recognized character ( 50 ) as the character input and the device ( 12 ) is provided, wherein by the sensor device ( 10 ) a 3D motion trajectory ( 44 ) of the input element ( 24 ) in a predetermined space area ( 38 ) and the detected 3D motion trajectory ( 48 ) on a two-dimensional projection plane ( 46 ) and the projection of the 3D motion trajectory ( 44 ) as the 2D character trace ( 48 ) to the character recognition device ( 16 ), characterized in that the 3D motion trajectory ( 44 ) with a TOF camera ( 26 ) is detected from a direction whose direction vector (V) in the projection plane ( 46 ) or parallel offset or at an acute angle less than 45 ° to the projection plane ( 46 ) is arranged. Verfahren nach Anspruch 1, wobei eine Ausdehnungsrichtung ermittelt wird, entlang welcher eine Hülle der 3D-Bewegungstrajektorie eine geringste Ausdehnung aufweist, und die Projektionsebene senkrecht zu dieser Ausdehnungsrichtung angeordnet wird.The method of claim 1, wherein an expansion direction is determined along which a shell of the 3D movement trajectory has a smallest extension, and the projection plane is arranged perpendicular to this extension direction. Verfahren nach Anspruch 1 oder 2, wobei für jeweils einen Erkennungsvorgang die Erfassung der 3D-Bewegungstrajektorie (44) begonnen wird, falls durch die Sensoreinrichtung (10) erkannt wird, dass das Eingabeelement (24) in den Raumbereich (38) eindringt, und die Erfassung wieder beendet wird, falls durch die Sensoreinrichtung (10) erkannt wird, dass das Eingabeelement (24) den Raumbereich (38) wieder verlässt.Method according to claim 1 or 2, wherein the detection of the 3D movement trajectory ( 44 ) is started, if by the sensor device ( 10 ) that the input element ( 24 ) in the room area ( 38 ) and the acquisition is terminated again if the sensor device ( 10 ) that the input element ( 24 ) the room area ( 38 ) leaves again. Verfahren nach einem der vorhergehenden Ansprüche, wobei die 3D-Bewegungstrajektorie (44) in dem Raumbereich (38) nur erfasst wird, falls durch die Sensoreinrichtung (10) erkannt wird, dass sich eine Hand (24) des Benutzers zumindest teilweise in dem Raumbereich (38) befindet und zumindest ein Finger der Hand (24) eine jeweils vorbestimmte Fingerstellung aufweist.Method according to one of the preceding claims, wherein the 3D movement trajectory ( 44 ) in the space area ( 38 ) is detected only if by the sensor device ( 10 ) it is recognized that a hand ( 24 ) of the user at least partially in the space area ( 38 ) and at least one finger of the hand ( 24 ) has a respective predetermined finger position. Verfahren nach einem der vorhergehenden Ansprüche, wobei als das Eingabeelement (24) eine Fingerspitze eines ausgestreckten Fingers des Benutzers verfolgt wird, indem die 3D-Bewegungstrajektorie (44) der Fingerspitze in dem Raumbereich erfasst wird.Method according to one of the preceding claims, wherein as the input element ( 24 ) a finger tip of an outstretched finger of the user is tracked by the 3D motion trajectory ( 44 ) of the fingertip is detected in the space area. Kraftfahrzeug, aufweisend eine Bedienschnittstelle mit einer Zeichenerkennungseinrichtung (16) für eine handschriftliche Zeicheneingabe in eine Komponente (12) des Kraftfahrzeugs, wobei die Zeichenerkennungseinrichtung (16) dazu ausgelegt ist, aus einer 2D-Zeichenspur (48), welche zumindest ein handschriftlich eingegebenes Zeichen (50) beschreibt, zumindest ein Zeichen (50) zu erkennen, dadurch gekennzeichnet, dass bei der Bedienschnittstelle eine TOF-Kamera (26) für die handschriftliche Zeicheneingabe bereitgestellt ist und die Bedienschnittstelle dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.Motor vehicle, comprising an operator interface with a character recognition device ( 16 ) for handwritten character input into a component ( 12 ) of the motor vehicle, wherein the character recognition device ( 16 ) is adapted from a 2D character trace ( 48 ) containing at least one handwritten character ( 50 ) describes at least one character ( 50 ), characterized in that at the user interface a TOF camera ( 26 ) is provided for handwritten character input and the operator interface is adapted to perform a method according to any one of the preceding claims. Kraftfahrzeug nach Anspruch 6, wobei die TOF-Kamera (26) Teil einer Stereo-Kameraanordnung ist.Motor vehicle according to claim 6, wherein the TOF camera ( 26 ) Is part of a stereo camera arrangement. Kraftfahrzeug nach Anspruch 6 oder 7, wobei die TOF-Kamera (26) in einem Dachhimmel des Kraftfahrzeugs angeordnet ist.Motor vehicle according to claim 6 or 7, wherein the TOF camera ( 26 ) is arranged in a headliner of the motor vehicle. Computerprogrammprodukt mit einem auf zumindest einem Speichermedium gespeicherten Programm, welches dazu ausgelegt ist, bei Ausführen des Programms durch eine Prozessoreinrichtung eines mobilen Endgeräts auf der Grundlage von Kameradaten einer Kamera des mobilen Endgeräts ein Verfahren nach einem der Ansprüche 1 bis 5 durchzuführen.A computer program product comprising a program stored on at least one storage medium and configured to execute a method according to one of claims 1 to 5 when the program is executed by a processor device of a mobile terminal on the basis of camera data of a camera of the mobile terminal. Mobiles Endgerät, welches ein Computerprogrammprodukt nach Anspruch 9 aufweist.Mobile terminal comprising a computer program product according to claim 9.
DE102013000072.6A 2013-01-08 2013-01-08 Operator interface for a handwritten character input into a device Ceased DE102013000072A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013000072.6A DE102013000072A1 (en) 2013-01-08 2013-01-08 Operator interface for a handwritten character input into a device
PCT/EP2013/003528 WO2014108150A2 (en) 2013-01-08 2013-11-22 User interface for handwritten character input in a device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013000072.6A DE102013000072A1 (en) 2013-01-08 2013-01-08 Operator interface for a handwritten character input into a device

Publications (1)

Publication Number Publication Date
DE102013000072A1 true DE102013000072A1 (en) 2014-07-10

Family

ID=49680973

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013000072.6A Ceased DE102013000072A1 (en) 2013-01-08 2013-01-08 Operator interface for a handwritten character input into a device

Country Status (2)

Country Link
DE (1) DE102013000072A1 (en)
WO (1) WO2014108150A2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014224618A1 (en) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Method and device for operating an input device
CN105872729A (en) * 2015-04-21 2016-08-17 乐视致新电子科技（天津）有限公司 Method and device for identification of operation event
DE102015010421A1 (en) 2015-08-11 2017-02-16 Daimler Ag Three-dimensional detection of the vehicle interior

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036315A (en) * 2020-08-31 2020-12-04 北京百度网讯科技有限公司 Character recognition method, character recognition device, electronic equipment and storage medium
CN112540683B (en) * 2020-12-08 2022-09-02 维沃移动通信有限公司 Intelligent ring, handwritten character recognition method and electronic equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
CN1512298A (en) * 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ Method for three dimension hand writing identification and its system
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
DE102011089195A1 (en) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Apparatus and method for the contactless detection of objects and / or persons and of gestures and / or operating processes carried out by them

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014224618A1 (en) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Method and device for operating an input device
CN105872729A (en) * 2015-04-21 2016-08-17 乐视致新电子科技（天津）有限公司 Method and device for identification of operation event
EP3086205A1 (en) * 2015-04-21 2016-10-26 Le Shi Zhi Xin Electronic Technology (Tianjin) Limited Method and apparatus for identifying operation event
DE102015010421A1 (en) 2015-08-11 2017-02-16 Daimler Ag Three-dimensional detection of the vehicle interior

Also Published As

Publication number Publication date
WO2014108150A2 (en) 2014-07-17
WO2014108150A3 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
EP1998996B1 (en) Interactive operating device and method for operating the interactive operating device
DE102013220203A1 (en) System and method for manipulating a user interface in the vehicle using "finger valleys"
DE102014204320A1 (en) Information query by pointing
DE102014221510A1 (en) System and method for recognizing a user gesture for performing the operation of a vehicle
DE102013000072A1 (en) Operator interface for a handwritten character input into a device
DE102012020607B4 (en) A motor vehicle with a gesture control device and method for controlling a selection element
DE102015115526A1 (en) Method for target detection of target objects, in particular for the target detection of operating elements in a vehicle
DE102016216577A1 (en) A method of interacting with image content displayed on a display device in a vehicle
DE112017007471T5 (en) Message control device and message control method
DE102017201799A1 (en) User interface, means of transport and method of user discrimination
WO2014108147A1 (en) Zooming and shifting of image content of a display device
DE102013000069B4 (en) Motor vehicle user interface with a control element for detecting a control action
DE102013000071A1 (en) Method for synchronizing data between devices integrated in motor car and mobile terminal, involves transmitting synchronization data for detecting predetermined gesture command comprised in free space by running movement of operator hand
EP3234736B1 (en) Method for operating an input device, input device, motor vehicle
DE102014226553A1 (en) Method for operating an input device, input device, motor vehicle
DE102018220693B4 (en) Control system and method for controlling a function of a vehicle, and vehicle with such
DE102013000081B4 (en) Operator interface for contactless selection of a device function
DE102019200632A1 (en) Operating system with portable interface unit and motor vehicle with the operating system
DE102016204274A1 (en) System and method for detecting a user input gesture
DE102014224599A1 (en) Method for operating an input device, input device
DE102018100335B4 (en) Method and device for 3D gesture recognition
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture
WO2015010829A1 (en) Method for operating an input device, and input device
DE102020122969B4 (en) Method for detecting a movement of an input object in relation to a display device via optical features, recording device with computing unit, display device and motor vehicle
DE102019208605B4 (en) Method for detecting an operating action, operating device and motor vehicle with an operating device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final
R003 Refusal decision now final

Effective date: 20150217