DE102005014774A1

DE102005014774A1 - Procedure for input preview and user interface with input preview

Info

Publication number: DE102005014774A1
Application number: DE200510014774
Authority: DE
Inventors: Birgit Otto; Klaus-Peter Dr. Schneider
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2006-10-05
Also published as: WO2006103196A1

Abstract

Bei dem Verfahren zur Eingabevorschau detektiert ein Sensor eine Annäherung einer Extremität eines Benutzers an ein Eingabeelement oder eine Berührung der Extremität mit dem Eingabeelement, ohne dass das Eingabeelement betätigt wird. Weiterhin gibt eine Datenverarbeitungseinheit über ein Ausgabegerät eine Information über mindestens einen Effekt aus, den eine Betätigung des Eingabeelements haben kann.In the input preview method, a sensor detects an approach of a user's extremity to an input element or a touch of the extremity to the input element without actuating the input element. Furthermore, a data processing unit outputs via an output device information about at least one effect that an actuation of the input element can have.

Description

Die Erfindung betrifft ein Verfahren zur Eingabevorschau. Herkömmliche Benutzerschnittstellen setzen voraus, dass ein Benutzer die Funktion ihrer Eingabeelemente deren Beschriftung, seinem Vorwissen oder einer Bedienungsanleitung entnehmen kann. Bei den Eingabeelementen einer Benutzerschnittstelle kann es sich hierbei etwa um Tasten, Knöpfe, Schalter, Drehregler, Jog-Dials, Taumelscheiben, Joysticks, Pedale, Dreh-Drück-Knöpfe, Barrel-Keys, Drehwähler, Fußschalter, Pedale und ähnliche einfache oder komplexe Eingabeelemente handeln. So werden etwa die Tasten herkömmlicher Tastaturen beschriftet, damit der Benutzer die Wirkung eines Tastendrucks vorhersehen kann, bevor er die betreffende Taste drückt. Eingabeelemente in einem Fahrzeug werden ebenfalls durch Symbole oder farbliche Codierung beschriftet, um dem Benutzer einen Hinweis auf ihre Funktion zu geben.The The invention relates to a method for input preview. conventional User interfaces assume that a user has the function their input elements whose caption, his prior knowledge or a user manual. At the input elements a user interface may be buttons, buttons, switches, Knobs, Jog-Dials, Swashplates, Joysticks, Pedals, Rotary-Push Buttons, Barrel Keys, Rotary knobs, footswitch Pedals and similar act simple or complex input elements. This is how the Keys on conventional keyboards for the user to predict the effect of a key press can before he presses that key. Input elements in one Vehicle are also represented by symbols or color coding labeled to give the user an indication of their function give.

Bei einer Vielzahl von Eingabeelementen, wie sie etwa in heutigen Fahrzeugen zu finden sind, oder bei einem Benutzer ohne Vorwissen, muss jedoch davon ausgegangen werden, dass der Benutzer die Funktion der Eingabeelemente nicht allein ihrer Beschriftung entnehmen kann. In diesem Fall muss der Benutzer eine Bedienungsanleitung zu Rate ziehen. Gleiches gilt, wenn über ein Eingabeelement komplexe oder kontextabhängige Funktionen ausgelöst werden können. So ist bei Dreh-Drück-Knöpfen in Fahrzeugen, über die in einem komplexen Menü navigiert und eine Vielzahl von Funktionen kontextabhängig gewählt werden kann, eine einfache Beschriftung des Elements zur Erläuterung seiner Funktion nicht mehr ausreichend. Vergleichbares gilt für Tastenkombinationen bei der Bedienung eines Computers, deren Funktion sich nicht aus der Beschriftung der Tastatur entnehmen lässt. Hier muss der Benutzer entweder die Funktion der Eingabeelemente auswendig lernen oder eine Bedienungsanleitung lesen. Alternativ besteht die Möglichkeit, das jeweilige Eingabeelement bzw. die Tastenkombination einfach zu betätigen und nach dem Versuch- und-Irrtum-Prinzip (trial and error) die Funktion der Eingabeelemente zu erlernen. Eine solche Herangehensweise kann jedoch zu Bedienfehlern führen und wird nicht von allen Benutzern akzeptiert.at a variety of input elements, such as in today's vehicles must be found, or a user without prior knowledge, but must assume that the user is the function of the input elements not alone can take her caption. In this case, must the user should consult a user guide. Same for, if over an input element complex or context-dependent functions are triggered can. So is in turn-push buttons in Vehicles, over which navigates in a complex menu and a variety of functions can be chosen contextually, a simple one Caption of element not explaining its function more adequate. The same applies to keyboard shortcuts in the case of Operation of a computer whose function is not from the label can be seen from the keyboard. Here the user must either memorize the function of the input elements learn or read a manual. Alternatively, there is the Possibility, the respective input element or the key combination easy to press and after the trial and error principle (trial and error) to learn the function of the input elements. However, such an approach can lead to operator errors and is not accepted by all users.

Insbesondere beim Führen eines Fahrzeugs ist es nicht wünschenswert, dass der Benutzer den Blick senken muss, um anhand der Beschriftung das richtige Eingabeelement zu identifizieren. Hier sollen Blick und Aufmerksamkeit des Fahrers nach Möglichkeit auf der Fahrbahn verbleiben. Dies ist problematisch, da es dem Fahrer je nach Position und Komplexität der Eingabeelemente schwer fällt, diese ohne hinzusehen zu lokalisieren, korrekt zu betätigen und die Reaktion des Systems auf seine Eingabe vorherzusehen. In herkömmlichen Benutzerschnittstellen werden die Eingabeelemente daher so angepasst, dass beispielsweise ein Umgreifen nicht erforderlich ist. Hierbei entstehen jedoch erhebliche Restriktionen für die Gestaltung der Eingabeelemente. Andernfalls muss in Kauf genommen werden, dass der Fahrer doch einige Male auf die Eingabeelemente blicken muss, um seine Eingabe vorzunehmen.Especially while guiding of a vehicle, it is not desirable that the user must lower his gaze to the label to identify the correct input element. Here are look and attention of the driver on the road, if possible remain. This is problematic as it allows the driver depending on the position and complexity the input elements is difficult, to look at these without looking, pressing correctly and the Prediction of system response to his input. In conventional User interfaces are therefore adapted to the input elements so that For example, embracing is not required. Here arise However, significant restrictions on the design of the input elements. Otherwise, it has to be accepted that the driver has some Male must look at the input elements to make his input.

Es stellt sich somit die Aufgabe, ein Verfahren und eine Benutzerschnittstelle anzugeben, welche es einem Benutzer erleichtern, Eingabeelemente zu bedienen, deren Funktion ihm unbekannt ist oder die er zum Zeitpunkt der Bedienung nicht ansehen will.It Thus, the task, a method and a user interface which make it easier for a user to input elements operate, whose function is unknown to him or who he is at the time the service does not want to look.

Diese Aufgabe wird durch das Verfahren zur Eingabevorschau und die Benutzerschnittstelle mit Eingabevorschau gemäß den unabhängigen Patentansprüchen gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.These Task is through the method of input preview and the user interface solved with input preview according to the independent claims. further developments of the invention are in the dependent claims Are defined.

Bei dem Verfahren zur Eingabevorschau detektiert ein Sensor eine Annäherung einer Extremität eines Benutzers an ein Eingabeelement oder eine Berührung der Extremität mit dem Eingabeelement, ohne dass das Eingabeelement betätigt wird. Weiterhin gibt eine Datenverarbeitungseinheit über ein Ausgabegerät eine Information über mindestens einen Effekt aus, den eine Betätigung des Eingabeelements haben kann.at In the input preview method, a sensor detects an approach of a sensor Extremity of one User to an input element or a touch of the extremity with the Input element without the input element being actuated. There is also one Data processing unit via an output device an information about at least one effect that an actuation of the input element may have.

Die Benutzerschnittstelle mit Eingabevorschau weist einen Sensor auf, der eine Annäherung einer Extremität eines Benutzers an ein Eingabeelement oder eine Berührung der Extremität mit dem Eingabeelement detektieren kann, ohne dass das Eingabeelement betätigt wird. Weiterhin weist die Benutzerschnittstelle eine Datenverarbeitungseinheit auf, welche über ein Ausgabegerät eine Information über mindestens einen Effekt ausgeben kann, den eine Betätigung des Eingabeelements haben kann.The User interface with input preview has a sensor, an approximation of one extremity a user to an input element or a touch the extremity can detect with the input element without the input element actuated becomes. Furthermore, the user interface has a data processing unit, which over an output device an information about can spend at least one effect that an actuation of the Can have input element.

Bei der Extremität kann es sich etwa um eine Hand, einen Fuß oder eine Fingerspitze eines Benutzers handeln. Es kann entweder eine Annäherung oder eine Berührung, aber auch beides detektiert werden.at the extremity it can be about a hand, a foot or a fingertip of a User act. It can be either an approach or a touch, but both are detected.

Das Verfahren zur Eingabevorschau bzw. die Benutzerschnittstelle mit Eingabevorschau weisen zahlreiche Vorteile auf. So bekommt der Benutzer eine Vorschau über mögliche Interaktionen, die er auslösen könnte. Falls die Vorschau nicht seiner Handlungsabsicht entspricht, kann er beispielsweise seine Hand einfach anders positionieren. Aufwändige Korrekturen bei falschen Eingaben sind nicht notwendig, solange das Eingabeelement nicht tatsächlich betätigt wurde. Hierdurch steigt die Effizienz der Bedienung. Eingabefehler verringern sich und die Ablenkung etwa eines Fahrers im Straßenverkehr wird deutlich verringert, wodurch die Verkehrssicherheit verbessert wird.The method of input preview or the user interface with input preview have numerous advantages. This gives the user a preview of possible interactions he might trigger. For example, if the preview does not reflect his intention to act, he can simply reposition his hand differently. Elaborate corrections for wrong inputs are not necessary agile, as long as the input element has not actually been actuated. This increases the efficiency of operation. Input errors are reduced and the distraction of about a driver in traffic is significantly reduced, thereby improving traffic safety.

Weiterhin werden zahlreiche Anwendungen vereinfacht oder erstmals möglich, die eine Blindbedienung von Eingabeelementen erfordern. Auch hier sinkt das Risiko von Fehlbedienungen bei gleichzeitiger Steigerung der Effizienz. Eine Selbstbeschreibungsfähigkeit, Erwartungskonformität und Bedienfreundlichkeit der Benutzerschnittstelle werden erhöht.Farther Numerous applications are simplified or made possible for the first time require a blind operation of input elements. Here, too, sinks the risk of operating errors while increasing the Efficiency. A self describing ability, expectation conformity and ease of use of the user interface are increased.

Die Eingabevorschau ermöglicht es einem Benutzer, das von ihm gewünschte Eingabeelement auch ohne Hinsehen zu lokalisieren. Weiterhin können die ausgegebenen Informationen ein Nachschlagen in einer Bedienungsanleitung ersparen.The Input preview enabled It also gives a user the input element they desire to locate without looking. Furthermore, the information output a reference in a manual spare.

In einer Weiterbildung wird eine Haltung der Extremität klassifiziert. Weiterhin wird eine Information über mindestens einen Effekt ausgegeben, den eine Betätigung des Eingabeelements mit dieser Haltung haben kann.In A further education classifies an attitude of the extremity. Furthermore, information about at least one effect that an actuation of the input element with this attitude can have.

Diese Weiterbildung kommt bei komplexen Eingabeelementen zum Tragen, die je nach Handposition bzw. Handhaltung etwa gedrückt, gedreht oder verschoben werden können. Die Weiterbildung identifiziert nun die jeweilige Haltung der Extremität des Benutzers und gibt eine Information aus, welche Interaktionen mit der aktuellen Haltung vorgenommen werden können. So wird bei einem Drehwähler die Information erst ausgegeben, wenn eine Haltung klassifiziert wird, die tatsächlich eine Drehung des Drehwählers ermöglicht. Auf diese Weise wird sichergestellt, dass die Information erst dann ausgegeben wird, wenn sich der Benutzer für die Betätigung bereit macht, und dass die Information spezifisch für die Form der Betätigung ausgegeben werden kann, welche der Benutzer beabsichtigt.These Training is used for complex input elements, the depending on hand position or hand posture about pressed, rotated or moved can be. The training now identifies the respective posture of the extremity of the user and outputs information about what interactions with the current one Attitude can be made. This is how it works with a rotary selector the information is only issued when an attitude is classified that will actually be a rotation of the rotary selector allows. This will ensure that the information is only then is issued when the user prepares for the operation, and that the information specific to the form of operation can be issued, which the user intends.

Gemäß einer Ausführungsform ist das Ausgabegerät ein Bildschirm. Auf dem Bildschirm wird ein Element angezeigt, welches das Eingabeelement repräsentiert. Nach der Detektion werden Farbe oder Form des Elements auf dem Bildschirm verändert.According to one embodiment is the output device a screen. On the screen, an item is displayed which represents the input element. After detection, the color or shape of the item will be on the screen changed.

Diese Ausführungsform ermöglicht es dem Benutzer, das gewünschte Eingabeelement schnell und einfach zu lokalisieren, indem ihm eine entsprechende Selektion angezeigt wird. Es kann entweder die Farbe oder die Form des Elements auf dem Bildschirm, aber auch beides verändert werden. Weiterhin können Position, Größe oder Anordnung des Elements auf dem Bildschirm variiert werden. Das Element kann beispielsweise ein Icon sein.These embodiment allows it to the user, the desired Input element quickly and easily locate by giving it a corresponding selection is displayed. It can either be the color or the shape of the element on the screen, but also both changed become. Furthermore you can Position, size or Arrangement of the element on the screen can be varied. The element may be an icon, for example.

In einer weiteren Ausführungsform wird nach der Detektion auf dem Bildschirm ein Zustand eingeblendet, welcher durch Betätigung des Eingabeelements eintreten würde.In a further embodiment If a condition is displayed on the screen after detection, which by operation the input element would occur.

Diese Ausführungsform ermöglicht eine besonders intuitive Vorschau auf die Wirkung einer Betätigung des Eingabeelements.These embodiment allows a particularly intuitive preview of the effect of operating the Input element.

In einer anderen Ausführungsform wird die Information auf einem Bildschirm als textuelle Beschreibung ausgegeben. Ähnlich den "Tool-Tipps" für unbekannte Icons auf Symbolleisten in Windows-Anwendungen erfährt der Benutzer so vorab die Funktion des betreffenden Eingabeelements.In another embodiment the information is displayed on a screen as a textual description output. Similar the "tool tips" for unknown The icon on toolbars in Windows applications is experiencing the User so previously the function of the relevant input element.

Ergänzend oder alternativ kann die Information auch akustisch ausgegeben werden. Dies ist insbesondere im Straßenverkehr oder für blinde Benutzer vorteilhaft, da hier der Blick auf einen Bildschirm gänzlich entfallen kann. Die akustische Ausgabe kann durch ein nicht-sprachliches Signal erfolgen, wodurch etwa ein Gespräch des Fahrers weniger beeinträchtigt wird.Complementary or Alternatively, the information can also be output acoustically. This is especially in road traffic or for blind users advantageous because the view of a screen completely eliminated can. The acoustic output may be due to a non-lingual signal done, making about a conversation Less affected by the driver becomes.

Die akustische Ausgabe kann jedoch auch eine Sprachausgabe sein. Dies ermöglicht es, dem Benutzer einen genauen Hinweis zur Funktion des Eingabeelements auszugeben.The However, acoustic output can also be a voice output. This allows it, the user an accurate indication of the function of the input element issue.

In einer Weiterbildung wird die Information erst ausgegeben, nachdem die Annäherung oder Berührung über einen vorgegebenen Zeitraum detektiert wurde.In In a further education the information is issued only after the approach or touch over one predetermined period was detected.

Ähnlich den "Tool-Tipps" wird die Information somit nur ausgegeben, wenn sich der Benutzer über die Funktion des jeweiligen Eingabeelements im Unklaren ist.The information thus becomes similar to the "tool tips" only issued when the user is aware of the function of each Input element is unclear.

In einer weiteren Ausführungsform kann die Betätigung des Eingabeelements unterschiedliche Effekte haben. Die Information beschreibt die unterschiedlichen Effekte.In a further embodiment can the operation of the input element have different effects. The information describes the different effects.

Dies ist besonders bei komplexen Eingabeelementen von Vorteil, welche eine Vielzahl von Funktionen bereitstellen. Weiterhin kann auf diese Weise auch ein Spektrum, eine Skala oder eine Liste anwählbarer Werte etwa beim Berühren eines Drehwählers angezeigt werden.This is particularly advantageous for complex input elements which to provide a variety of functions. Furthermore, on this Also include a spectrum, a scale or a list of selectable ones Values about when touching a rotary selector are displayed.

In einer Weiterbildung ist das Eingabeelement eine Taste auf einer Tastatur. Durch die Vorschau kann hier auch ohne ein Drücken der Taste eine Information über ihre Funktion ausgegeben werden. Dies ist insbesondere bei Funktionstasten vorteilhaft.In In a further development, the input element is a button on one Keyboard. Through the preview can be done here without pressing the Key information about their function will be output. This is especially true for function keys advantageous.

In einer besonderen Weiterbildung werden mehrere Annäherungen oder Berührungen gleichzeitig detektiert. Die Information beschreibt hierbei mindestens einen Effekt, der durch das Drücken der entsprechenden Tastenkombination hervorgerufen würde. Auf diese Weise wird es möglich, auch eine Eingabevorschau für Tastenkombinationen bereitzustellen.In a special training will be several approaches or touches detected simultaneously. The information here describes at least one effect that would be caused by pressing the corresponding key combination. In this way, it becomes possible to also provide an input preview for keyboard shortcuts.

Gemäß einer Ausführungsform ist der Sensor ein Berührungssensor, eine Kamera oder ein Infrarotsensor. Der Berührungssensor ermöglicht ein besonders genaues Tracking der Extremität des Benutzers, insbesondere bei einer Vielzahl kleiner Eingabeelemente. Die Kamera ist vorteilhaft, da sie eine Vielzahl von Berührungssensoren ersetzen kann. Weiterhin ermöglicht sie den Einsatz eines der ausgereiften Verfahren im Bereich des Kameratrackings. Der Infrarotsensor ist insbesondere in dunklen Umgebungen im Vorteil.According to one embodiment is the sensor a touch sensor, a camera or an infrared sensor. The touch sensor allows a special accurate tracking of the extremity the user, especially in a variety of small input elements. The camera is advantageous because it has a variety of touch sensors can replace. Furthermore possible They use one of the mature procedures in the field of Camera tracking. The infrared sensor is especially in dark Environments in the advantage.

In einer Weiterbildung wird der Sensor durch ein System mit mehreren Sensoren gebildet. So sind etwa bei einer Vielzahl von kleinen Schaltern entsprechend viele Berührungssensoren wünschenswert. Alternativ können unterschiedliche Technologien kombiniert werden, um die Genauigkeit des Trackings zu erhöhen oder die jeweils kostengünstigste Trackingtechnologie zu wählen.In In a further development, the sensor is replaced by a system with several Sensors formed. Such are the case with a large number of small switches correspondingly many touch sensors desirable. Alternatively you can Different technologies are combined to increase accuracy of the tracking or the most cost-effective tracking technology to choose.

Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert, die in den Figuren schematisch dargestellt sind. Gleiche Bezugszeichen in den einzelnen Figuren bezeichnen dabei gleiche Elemente. Im einzelnen zeigt:in the The invention will be explained in more detail below with reference to exemplary embodiments which are shown schematically in the figures. Same reference numerals in the individual figures designate the same elements. In detail shows:

1 eine Benutzerschnittstelle 1 a user interface

2 einen PC-Arbeitsplatz 2 a PC workstation

3 ein Fahrzeug-Cockpit 3 a vehicle cockpit

4 ein Mobiltelefon 4 a mobile phone

5 ein Multimediagerät. 5 a multimedia device.

1 zeigt eine Anordnung 100, welche eine Eingabevorschau ermöglicht. Bei der Anordnung 100 handelt es sich um eine Benutzerschnittstelle, mit der ein Benutzer Eingaben vornehmen kann. Hierfür steht dem Benutzer ein Eingabeelement 102 zur Verfügung, welches er mit einer Extremität 101 bedienen kann. Als Eingabeelement 102 kommen beispielsweise Schalter, Drehregler, Jog-Dial, Taumelscheibe, Joystick, Fußschalter, Pedal, Drehwähler, Dreh-Drück-Knopf, Barrel-Key etc. in Frage. Die Extremität 101 des Benutzers kann etwa eine Hand, eine Fingerspitze oder ein Fuß sein. Hierbei wird durch einen Sensor 103 eine Annäherung oder Berührung der Extremität 101 an das Eingabeelement 102 detektiert. Bei dem Sensor 103 kann es sich um eine Kamera, einen Berührungssensor, einen Temperatursensor oder ähnliches handeln. Es kann auch ein Sensorsystem aus mehreren Sensoren zum Einsatz kommen. Der Sensor 103 detektiert die Annäherung oder Berührung, ohne dass das Eingabeelement 102 tatsächlich betätigt wird. Eine spätere Betätigung ist jedoch nicht ausgeschlossen. Nach der Detektion gibt eine Datenverarbeitungseinheit 104 eine Information über mindestens einen Effekt aus, den eine Betätigung des Eingabeelements 102 haben kann. Die Ausgabe erfolgt hierbei über ein Ausgabegerät 105. Die Datenverarbeitungseinheit 104 kann etwa ein Personalcomputer, ein Prozessor in einem mobilen Endgerät (Videohandy, PDA, Notebook, ...) oder einem Multimediagerät oder ein eingebettetes System etwa in einem Fahrzeug oder in einer Schalttafel sein. Als Ausgabegerät 105 können sowohl visuelle Ausgabegeräte wie Bildschirme, Projektoren oder LCD-Displays als auch akustische Ausgabegeräte wie Einzellautsprecher oder Surround-Systeme dienen. 1 shows an arrangement 100 , which allows an input preview. In the arrangement 100 It is a user interface that allows a user to make input. For this purpose, the user has an input element 102 available to him with a limb 101 can serve. As input element 102 For example, switches, rotary knobs, jog dial, swashplate, joystick, footswitch, pedal, rotary selector, rotary pushbutton, barrel key etc. are considered. The extremity 101 the user may be about a hand, a fingertip or a foot. This is done by a sensor 103 an approach or touch of the extremity 101 to the input element 102 detected. At the sensor 103 it can be a camera, a touch sensor, a temperature sensor or similar. It is also possible to use a sensor system comprising a plurality of sensors. The sensor 103 Detects the approach or touch without the input element 102 actually operated. A later operation is not excluded. After detection, there is a data processing unit 104 an information about at least one effect, the actuation of the input element 102 may have. The output is done via an output device 105 , The data processing unit 104 may be a personal computer, a processor in a mobile terminal (video cell phone, PDA, notebook, ...) or a multimedia device or an embedded system such as in a vehicle or in a control panel. As an output device 105 Both visual output devices such as monitors, projectors or LCD displays and acoustic output devices such as single speakers or surround systems can be used.

Die Information gibt hierbei an, was die Betätigung des Eingabeelements 102 bewirken würde. Die Information kann als Text, als Symbol oder als Grafik visuell ausgegeben werden. Akustisch kann die Information als Sprachsignal oder als nicht-sprachliches Signal ausgegeben werden. Verweilt die Fingerspitze des Benutzers etwa auf einem Druckknopf, welcher die Lautstärke einer Musikwiedergabe erhöhen kann, so wird z.B. die Lautstärke der Musikwiedergabe vorübergehend erhöht. In diesem Fall wird die Information also akustisch, aber nicht-sprachlich ausgegeben.The information here indicates what the actuation of the input element 102 would effect. The information can be displayed visually as text, as a symbol or as a graphic. Acoustically, the information can be output as a speech signal or as a non-speech signal. If the user's fingertip is caught on a push button, for example, which can increase the volume of a music playback, the volume of the music playback, for example, is temporarily increased. In this case, the information is thus output acoustically, but non-linguistically.

Die Information kann auch angeben, wie das Eingabeelement 102 zu bedienen ist, etwa dass das Eingabeelement 102 gedreht werden kann, um einen bestimmten Effekt zu erzielen.The information may also indicate how the input element 102 to use is about that the input element 102 can be rotated to achieve a specific effect.

2 zeigt einen PC-Arbeitsplatz 200, welcher eine Eingabevorschau ermöglicht. Hierbei bedient ein Benutzer mit einer Hand 201 und einem Fuß 211 eine Tastatur 210 sowie einen Fußschalter 212. Weiterhin detektiert eine Kamera 203 eine Annäherung oder Berührung einer Fingerspitze des Benutzers an eine Taste 202, ohne dass der Benutzer diese Taste 202 drückt. Anschließend wird über einen Personal-Computer 204 eine Information ausgegeben, was der Druck der Taste 202 im aktuellen Kontext bewirken würde. Die ausgegebene Information kann hierbei vom aktuellen Menü oder Zustand einer Anwendung auf dem Personal-Computer 204 abhängig sein. Die Ausgabe kann wahlweise über einen Bildschirm 205 oder über Lautsprecher 206 erfolgen. Auch in Bezug auf den Fußschalter 212 kann in Abhängigkeit von seiner aktuellen Funktion eine entsprechende Information ausgegeben werden. Bei dieser wie auch bei allen anderen Ausführungsformen kann es sinnvoll sein, die Ausgabe der Information erst nach einer vorgegebenen Zeitspanne vorzunehmen. Wenn der Benutzer beispielsweise mit seiner Fingerspitze länger als 1,5 Sekunden auf der Taste 202 verweilt, wird davon ausgegangen, dass er eine Hilfestellung benötigt, woraufhin die Information ausgegeben wird. 2 shows a PC workstation 200 , which allows an input preview. Here a user operates with one hand 201 and a foot 211 a keyboard 210 and a footswitch 212 , Furthermore, a camera detects 203 an approach or touch of a user's fingertip to a button 202 without the user pressing this button 202 suppressed. Subsequently, via a personal computer 204 issued an information, what the pressure of the button 202 in the current context. The output information may be from the current menu or state of an application on the personal computer 204 be dependent. The output can optionally via a screen 205 or over loudspeakers 206 respectively. Also in terms of the footswitch 212 Depending on its current function, corresponding information can be output. at This as well as in all other embodiments, it may be useful to make the output of the information after a predetermined period of time. For example, if the user uses his fingertip for more than 1.5 seconds on the button 202 lingers, it is assumed that he needs help, whereupon the information is output.

Führt die Betätigung eines Eingabeelements zu einem Zustandwechsel der jeweiligen Anwendung, so kann auf dem Bildschirm 205 als Vorschau in den jeweiligen Zustand überblendet werden. Bewirkt etwa das Drücken der Taste 202 den Wechsel in ein Untermenü, so kann eine Annäherung oder Berührung der Taste durch den Benutzer dazu führen, dass das jeweilige Untermenü vorübergehend eingeblendet wird. Drückt der Benutzer die Taste 202 daraufhin tatsächlich, wechselt die jeweilige Anwendung tatsächlich in den vorab gezeigten Zustand. Bei dieser und allen anderen Ausführungsformen ist auch eine Kombination der genannten Ausgabearten möglich.If the actuation of an input element leads to a change of state of the respective application, it may appear on the screen 205 as a preview in the respective state to be blended. For example, press the button 202 Switching to a sub-menu, an approach or touch of the button by the user may result in the respective sub-menu being temporarily displayed. The user presses the button 202 then actually, the respective application actually changes to the state shown above. In this and all other embodiments, a combination of the aforementioned types of output is possible.

Berührt der Benutzer mehrere Tasten gleichzeitig, ohne diese zu drücken, so kann als Vorschau eine Information über den Effekt ausgegeben werden, welche die jeweilige Tastenkombination derzeit in der aktuellen Anwendung bewirken würde. In einer Textverarbeitung könnte das Berühren mehrerer Tasten hierbei etwa Formatierungen vorübergehend bewirken – kursiv, unterstrichen etc.. Das geänderte Format wird dabei nur vorübergehend angezeigt, solange die entsprechende Tastenkombination berührt wird, und nur dann übernommen, wenn der Benutzer die Tasten tatsächlich drückt.Touched the Users multiple keys simultaneously without pressing them, so can be output as preview information about the effect which the respective key combination currently in the current Application would effect. In a word processor could the touch several keys to cause formatting temporarily - in italics, underlined etc .. The changed format becomes only temporary displayed as long as the corresponding key combination is touched, and only then taken over, when the user actually presses the keys.

3 zeigt ein Cockpit 300. Das Cockpit 300 kann ein Piloten-Cockpit in einem Flugzeug, ein Fahrer-Cockpit in einem Fahrzeug oder auch ein Cockpit in einem Schiff, Unterseeboot oder Simulator sein. Bei dem Cockpit kann es sich weiterhin auch um eine Bedienkonsole für ein medizinisches Operationssystem oder um jede andere Benutzerschnittstelle handeln. Das Cockpit zeichnet sich durch eine Vielzahl von Bedienelementen aus, teilweise mit hoher Komplexität. Für einen Benutzer bzw. Fahrer ist eine Blindbedienung all dieser Bedienelemente bzw. das Auswendiglernen ihrer Funktion nur schwer möglich. Eine Blindbedienung ist wünschenswert, da der Benutzer etwa im Straßenverkehr die Umgebung durch eine Windschutzschreibe 320 beobachten möchte, ohne den Blick auf die Bedienelemente zu richten. In diesem Kontext werden üblicherweise die Bedienelemente von einem Bildschirm 315 getrennt angeordnet, damit dieser möglichst nah an der Windschutzscheibe 320 platziert werden kann. Um ein Umgreifen des Benutzers zu vermeiden, werden hierbei oft mehrere Funktionen über ein Multifunktions-Eingabeelement 301 zugänglich gemacht. Da ein solches Multifunktions-Eingabeelement 301 auf unterschiedliche Arten betätigt werden kann, etwa durch Drücken, Drehung oder Verschieben, ist es sinnvoll, Informationen zu allen Effekten auszugeben, die die unterschiedlichen Betätigungsarten haben können. Alternativ kann eine Haltung etwa einer Hand 201 des Benutzers detektiert werden, welche sich an das Multifunktions-Eingabeelement 301 annähert oder dieses berührt. Da bestimmte Betätigungsarten, wie etwa eine Drehung, nur mit einer bestimmten Haltung möglich sind, kann die Information spezifisch für die Effekte ausgegeben werden, die durch eine Betätigung des Multifunktions-Eingabeelements 301 mit der aktuellen Haltung erzielt werden können. 3 shows a cockpit 300 , The cockpit 300 may be a pilot's cockpit in an airplane, a driver's cockpit in a vehicle, or even a cockpit in a ship, submarine or simulator. The cockpit may also be a medical surgical system operator console or any other user interface. The cockpit is characterized by a variety of controls, sometimes with high complexity. For a user or driver, a blind operation of all these controls or memorizing their function is difficult. A blind operation is desirable because the user about the road through a windscreen write about the traffic 320 want to observe without looking at the controls. In this context, usually the controls of a screen 315 arranged separately so that this as close to the windshield 320 can be placed. In order to avoid encompassing the user, this often involves multiple functions via a multifunction input element 301 made accessible. Because such a multifunction input element 301 can be operated in different ways, such as by pressing, rotating or moving, it makes sense to output information on all the effects that can have the different types of actuation. Alternatively, an attitude can be about a hand 201 the user are detected, which are connected to the multifunction input element 301 approaches or touches. Since certain types of operation, such as rotation, are possible only with a certain attitude, the information can be output specifically for the effects caused by an operation of the multifunction input element 301 can be achieved with the current attitude.

Gleiches gilt etwa für einen Drehregler 304. Da dieser nur mit einer bestimmten Handhaltung gedreht werden kann, wird die Information erst dann ausgegeben, wenn die entsprechende Haltung detektiert wird. Auf diese Weise werden überflüssige Ausgaben bei flüchtigen Bewegungen des Benutzers vermieden.The same applies to a rotary knob 304 , Since this can only be rotated with a certain hand position, the information is output only when the corresponding posture is detected. In this way, superfluous expenses are avoided during fleeting movements of the user.

Das Cockpit 300 weist eine Vielzahl von Eingabeelementen 302 auf. Diese können beispielsweise als Druckknöpfe ausgeführt sein. Wenn der Benutzer nach einem bestimmten Eingabeelement 302 sucht, seinen Blick aber nicht vom Bildschirm 315 abwenden möchte, so können auf letzterem textuelle oder graphische Elemente angezeigt werden. Wird nun eine Annäherung oder Berührung des Benutzers an eine der Eingabeelemente 302 detektiert, so wird beispielsweise die Form oder Farbe des zugeordneten Elements auf dem Bildschirm 315 verändert.The cockpit 300 has a plurality of input elements 302 on. These can for example be designed as push buttons. When the user searches for a specific input element 302 but does not look away from the screen 315 If you want to avoid this, textual or graphic elements can be displayed on the latter. Will now be an approach or touch of the user to one of the input elements 302 detected, for example, the shape or color of the associated element on the screen 315 changed.

Auch eine Berührung weiterer Bedienelemente, etwa eines Kippschalters 303, eines Pedals 305 oder eines Lenkrads 310 kann hierbei zu einer Ausgabe entsprechender Informationen führen. Alternativ oder ergänzend zu einer visuellen Ausgabe über den Bildschirm 315 kann auch eine akustische Ausgabe über Lautsprecher 316 erfolgen. Die Detektion der Annäherung oder Berührung erfolgt hierbei durch ein Sensorsystem 313. Für das Sensorsystem 313 können etwa Berührungssensoren, Kameras, Infrarotsensoren, Temperatursensoren, Laserüberwachungssysteme jeweils allein oder in Kombination zum Einsatz kommen. Die Detektion basiert hierbei etwa bei einem Videoüberwachungssystem auf herkömmlichen Trackingverfahren. Als Referenzpunkt für das Tracking kann etwa die Fingerspitze des Benutzers ermittelt werden. Je nach Ausgestaltung des Sensorsystems 313 kann eine Annäherung oder eine Berührung detektiert werden. So kann auf Basis eines Kameratrackings eine Annäherung detektiert werden, sobald der Abstand der Hand 201 zum jeweiligen Eingabeelement einen vorgegebenen Schwellwert unterschreitet. Die Information kann etwa als Text oder als Sprache ausgegeben werden: "Durch Betätigung dieses Eingabeelements können Sie die Raumtemperatur erhöhen."Also a touch of other controls, such as a toggle switch 303 , a pedal 305 or a steering wheel 310 This can lead to an output of appropriate information. Alternatively or in addition to a visual output via the screen 315 can also have an acoustic output through speakers 316 respectively. The detection of the approach or contact takes place here by a sensor system 313 , For the sensor system 313 For example, touch sensors, cameras, infrared sensors, temperature sensors, laser monitoring systems can each be used alone or in combination. The detection is based here, for example, in a video surveillance system on conventional tracking methods. As a reference point for the tracking, for example, the fingertip of the user can be determined. Depending on the configuration of the sensor system 313 An approximation or a touch can be detected. Thus, based on a camera tracking approach can be detected as soon as the distance of the hand 201 to the respective input element falls below a predetermined threshold. The information can be output as text or as language: "By pressing this input element you can You increase the room temperature. "

4 zeigt ein Mobiltelefon 400. Dieses weist Tasten 402 auf, welche durch einen Benutzer mit einer Fingerspitze 401 gedrückt werden können. Weiterhin enthält das Mobiltelefon 400 einen Bildschirm 405 und einen Lautsprecher 406. Neben den Tasten 402 steht eine Taumelscheibe 412 zur Eingabe zur Verfügung. In diesem Ausführungsbeispiel wird eine Berührung der Fingerspitze 401 mit einer der Tasten 402 oder der Taumelscheibe 412 vorzugsweise durch Berührungssensoren registriert. Etwa bei der Taumelscheibe 412 kann hierbei zusätzlich detektiert werden, welche Seite der Taumelscheibe 412 berührt wird. Anschließend wird über den Bildschirm 405 oder den Lautsprecher 406 eine Information ausgegeben, was das Drücken der jeweiligen Taste 402 oder der jeweiligen Seite der Taumelscheibe 412 bewirken würde. 4 shows a mobile phone 400 , This has buttons 402 on which by a user with a fingertip 401 can be pressed. Furthermore, the mobile phone contains 400 a screen 405 and a speaker 406 , Next to the buttons 402 there is a swashplate 412 available for input. In this embodiment, a touch of the fingertip 401 with one of the buttons 402 or the swash plate 412 preferably registered by touch sensors. For example, with the swash plate 412 In this case, it is additionally possible to detect which side of the swashplate 412 is touched. Then it will go over the screen 405 or the speaker 406 an information is output, indicating the pressing of the respective button 402 or the respective side of the swash plate 412 would effect.

5 zeigt ein Multimediagerät 500. Dieses weist ein Display 505 auf. Weiterhin enthält es Lautsprecher 506 und Eingabeelemente 502. Auch hier können Hinweise zur Funktion der Eingabeelemente 502 bereits vor deren Betätigung über das Display 505 oder die Lautsprecher 506 visuell bzw. akustisch ausgegeben werden. Wenn das Multimediagerät 500 beispielsweise einen Drehregler aufweist, durch welchen der Tuner eines eingebauten Radioempfängers steuerbar ist, so kann eine Berührung oder Annäherung an den Drehregler auf dem Display 505 eine Skala oder Liste möglicher Frequenzen oder Sender einblenden. Hier dient die Eingabevorschau nicht der Blindbedienung, sondern einer vereinfachten Betätigung. Weitere denkbare Ausführungsformen können sich auf beliebige Haushaltsgeräte wie etwa Waschmaschinen erstrecken. 5 shows a multimedia device 500 , This has a display 505 on. It also contains speakers 506 and input elements 502 , Here, too, can provide information on the function of the input elements 502 even before they are pressed via the display 505 or the speakers 506 be issued visually or acoustically. If the multimedia device 500 For example, has a knob through which the tuner of a built-in radio receiver is controllable, it may be a touch or approach to the knob on the display 505 Show a scale or list of possible frequencies or stations. Here, the input preview is not the blind operation, but a simplified operation. Other conceivable embodiments may extend to any household appliances such as washing machines.

Auch im medizintechnischen Kontext sind Benutzerschnittstellen denkbar, welche eine Eingabevorschau entsprechend den genannten Ausführungsbeispielen ermöglichen. Dies kann etwa einem Chirurgen ermöglichen, eine Operation über eine Benutzerschnittstelle durchzuführen, wobei der eigentliche Eingriff durch Roboterarme geführt wird. Da der Chirurg hier nicht nach dem Trial-End-Error-Prinzip vorgehen kann, braucht er Informationen, welchen Funktionen die einzelnen Eingabeelemente zugeordnet sind. Die Informationen können hierbei auch medizinisches Wissen und physiologische Daten des Patienten beinhalten.Also In the context of medical technology, user interfaces are conceivable, which an input preview according to the aforementioned embodiments enable. This may allow a surgeon to perform an operation over a Perform user interface, wherein the actual intervention is guided by robotic arms. Since the surgeon does not proceed according to the trial-end-error principle here can, he needs information, which functions the individual Input elements are assigned. The information can be here also medical knowledge and physiological data of the patient include.

Die Ausführungsformen können als Hardware, etwa durch eine elektronische Schaltung, oder Software implementiert werden. Alle genannten Ausführungsformen können in beliebiger Kombination zum Einsatz kommen.The embodiments can as hardware, such as an electronic circuit, or software be implemented. All mentioned embodiments can be found in any combination are used.

Claims

Input preview method in which - a sensor ( 103 ) an approach of a limb ( 101 ) of a user to an input element ( 102 ) or a touch of the extremity ( 101 ) with the input element ( 102 ) is detected without the input element ( 102 ), - a data processing unit ( 104 ) via an output device ( 105 ) outputs information about at least one effect which an actuation of the input element ( 102 ) may have.

Method according to claim 1, in which a posture of the extremity ( 102 ) and in which information is output about at least one effect which an actuation of the input element ( 102 ) with this attitude can have.

Method according to Claim 1, - in which the output device ( 105 ) a screen ( 205 ), - in which on the screen ( 205 ) an element is displayed which contains the input element ( 102 ), in which, after the detection, the color and / or shape of the element on the screen ( 205 ) to be changed.

Method according to Claim 1, - in which the output device ( 105 ) a screen ( 205 ), - in which after the detection on the screen ( 205 ) a state is displayed, which by actuation of the input element ( 102 ) would occur.

Method according to Claim 1, - in which the output device ( 105 ) a screen ( 205 ), - where the information on the screen ( 205 ) is output as a textual description.

Method according to Claim 1, in which the information about the output device ( 105 ) is output acoustically.

The method of claim 6, wherein the acoustic Edition is a linguistic edition.

The method of claim 1, wherein the information is issued only after the approach or touch over a predetermined period was detected.

Method according to Claim 1, in which the actuation of the input element ( 102 ) can have different effects and in which the information describes the different effects.

Method according to Claim 1, in which the input element ( 102 ) a button ( 202 ) on a keyboard ( 210 ).

Method according to claim 10, - in which several approaches or touches at the same time be detected - at which the information describes at least one effect by the pressing would cause the corresponding key combination.

User interface with input preview, - with a sensor ( 103 ), which is an approximation of a limb ( 101 ) of a user to an input element ( 102 ) or a touch of the extremity ( 101 ) with the input element ( 102 ) without the input element ( 102 ), - with a data processing unit ( 104 ), which via an output device ( 105 ) can output information about at least one effect which an actuation of the input element ( 102 ) may have.

User interface according to claim 12, in which the sensor ( 103 ) a touch sensor, a camera ( 203 ) or an infrared sensor.

User interface according to claim 12, in which the sensor ( 103 ) is formed by a system with multiple sensors.

User interface according to Claim 12, in which the output device ( 105 ) a screen ( 205 ) and / or a loudspeaker ( 206 ).