CH702146A1 - Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. - Google Patents
Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. Download PDFInfo
- Publication number
- CH702146A1 CH702146A1 CH01701/09A CH17012009A CH702146A1 CH 702146 A1 CH702146 A1 CH 702146A1 CH 01701/09 A CH01701/09 A CH 01701/09A CH 17012009 A CH17012009 A CH 17012009A CH 702146 A1 CH702146 A1 CH 702146A1
- Authority
- CH
- Switzerland
- Prior art keywords
- pen
- finger
- dimensional position
- screen
- display
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Abstract
Die vorliegende Erfindung beschreibt die Bedienung eines Gerätes mit einer grafischen Anzeiget (a), welches mit der Hand oder einem Stift bedient wird, dadurch gekennzeichnet, dass eine grafische Interaktion auf dieser Anzeige (a) erzeugt wird, die in Analogie zur dreidimensionalen Position der Hand oder des Stiftes steht, sobald sich diese in der unmittelbaren Nähe dieser Anzeige befinden. Es geht um ein System, welches den Bediener bei der Manipulation von grafischen Benutzeroberflächen in einer dreidimensionalen Form unterstützt, dergestalt, dass auf der bestehenden graphischen Applikation bereits bei Annäherung des Bedieners (e) eine optische Reaktion erfolgt, die eine analoge Funktion zur Position des Fingers oder des Bedienstiftes wiederspiegelt. Das Benutzerinterface reagiert an der Stelle, wo sich der Finger des Benutzers nähert, indem sich die Darstellung beispielsweise wie durch eine Kugel gesehen verkrümmt. Je näher der Finger kommt, desto stärker wird der Effekt, bis schliesslich die Berührung mit der Oberfläche die vorgesehene Aktion ausführt.
Description
[0001] Die Bedienung von Computersystemen, welche über graphische Benutzeroberflächen verfügen, erfolgt heute oftmals über sogenannte Touchscreens, welche bei Berührung des Bildschirmes mit dem Finger oder einem Stift eine an der betreffenden Position vorgesehene Interaktion auslösen. Solche Systeme sind heute beispielsweise in der Industrie für die Bedienung von Steuerungen (Operator Panels), aber auch auf portablen Geräten, z.B. im Mobilfunkbereich, breit im Einsatz.
[0002] Im Bereich der industriellen Anwendungen hat der Operateur häufig den Blick parallel auf die Maschine oder die Anlage gerichtet, um die reale Reaktion seiner Interaktionen zu beobachten. Es ist daher sehr wichtig, dass diese User-Interfaces sehr einfach und übersichtlich gehalten werden, um diese noch sicher bedienen zu können, wenn der Benutzer sich auch auf andere Objekte konzentrieren muss. Es ist aus diesem Blickwinkel betrachtet daher wünschenswert, wenn der Benutzer über möglichst viele Kanäle seiner Wahrnehmung und seiner Sinne einem Feedback über seine Aktionen bekommt, da er die Bedienung dadurch schneller und sicherer vornehmen kann.
[0003] Im Unterschied zu einer bereits bekannten Technik zur Bedienung über Gesten und Bewegungen des Benutzers geht es in diesen Fall um einen komplett anderen Ansatz. Es geht nicht darum, komplexere Bewegungsabläufe (Gestik) des Benutzers auf eine u.U. relativ grössere Entfernung zu interpretieren und diesen Gesten unterschiedlichen Funktionen zuzuordnen, sondern darum, Objekte, welche sich in den Nahbereich des Bildschirmes hinein bewegen, dreidimensional zu orten und darauf unmittelbar eine entsprechende Reaktion zu erzeugen, welche dazu dienen soll, dem Benutzer anzukündigen, was passieren wird, wenn er sich dem Bildschirm weiter nähert und diesen schliesslich berührt.
[0004] Ganz im Sinne dieser Bedienphilosophie sind bereits bekannte Geräte zu verstehen, welche über haptische Rückmeldungen verfügen, die bei Berührung einer mit einer Funktion verknüpften Fläche des Bildschirmes eine Vibration des Gerätes auslösen, welche der Benutzer spüren kann.
[0005] In diese Richtung will die beschriebene Erfindung eine weitere Verbesserung der Benutzerfreundlichkeit erreichen, indem das Bediengefühl um die dritte Dimension erweitert wird.
[0006] Der gewünschte Effekt kann zusätzlich noch durch akustische Signale unterstützt werden, welche ebenfalls analog zu einer Annäherung einen Toneffekt variieren. Der Toneffekt kann je nach der an der fraglichen Position hinterlegten Funktion anders gewählt sein, sodass der Benutzer schon rein akustisch unterscheiden kann, welche Funktion sein Tastendruck auslösen wird.
[0007] Wird der Touchscreen von der Seite her bedient, so wird es für den Bediener normalerweise schwieriger, die Position seines Fingers relativ zur Oberfläche abzuschätzen. Auch hier hilft dieses System, weil die Benutzeroberfläche kontinuierlich eine objektive optische Rückmeldung liefert, die die Position des Fingers zur gesuchten Funktion genau beschreibt.
[0008] Neben der vorgängig beschriebenen Funktion zur Unterstützung der Positionierung des Fingers sind auch weitere Funktionen möglich. Auf PC Programmen kennt man seit langem die sogenannten Tooltips, welche wie Schilder über einer Funktion aufklappen, wenn der Benutzer seinen Mauszeiger darüber bewegt. Auf Touchscreen Systemen ist diese Funktion kaum benutzt, weil keine sichere Unterscheidung gemacht werden kann zwischen den auf dem PC üblichen Mouse-Move bzw. Mouse-Up/Down Ereignissen. Um ein Mouse-Move zu machen, muss der Benutzer ja zuerst den Schirm berühren, was zwangsläufig einen Mouse-Down erzeugt. Mittels dieses dreidimensionalen Verfahrens können diese Events und damit verbundene Effekte jetzt problemlos auch bei Touchscreens eingesetzt werden.
[0009] Ein weiterer Aspekt und Vorteil des dreidimensionalen Verfahrens zur Bedienung besteht darin, dass auf Wunsch die heute gebräuchlichen Touch-Systeme, welche z.B. elektromechanisch oder kapazitiv funktionieren, ersetzt werden können. Viele dieser Verfahren benötigen eine weitere Folie über dem Display, was dessen Anzeigequalität nachteilig beeinflusst.
Ablauf
[0010] Abbildung 1 zeigt eine vorteilhafte Ausführung dieser Erfindung unter Verwendung von zwei Kameras (b). Ein Bediener (e) interagiert mit einer grafischen Applikation (Mensch Maschine Interface), welche mit einem Computer (d) auf einer grafischen Anzeige (a) dargestellt wird. Die Bedienung erfolgt z.B. mit einem Finger oder einem Bedienstift. Die Kameras (b), die modulierbaren Leuchtquellen (c) sowie das Display (a) sind mit der Computer Applikation (d) verbunden und werden durch diese gesteuert. Nähert sich der Bediener (e) nun z.B. mit seinem Finger dem Display (a), so wird dieser durch die Kameras (b) erfasst und dessen dreidimensionale Position in Relation zur Anzeige (a) wird durch die Computer Applikation (d) berechnet. Das durch die Computer Applikation dargestellte Bild wird nun in Relation zur Position des Bedieners verändert. Abbildung 2 zeigt schematisch eine mögliche grafische Anzeige. Nähert sich der Bediener (e) dieser Anzeige, so wird an dieser Stelle das Bild entsprechend verändert. Abbildung 3zeigt eine mögliche optische Veränderung. Der Grad dieser Veränderung wird umso stärker, je näher der Bediener sich mit seinem Finger dem Display annähert. Die Veränderung bewegt sich horizontal und vertikal, parallel zur Bewegung des Benutzers.
[0011] Die dreidimensionale Analyse der Position des Fingers oder Bedienerstiftes erfolgt in einer vorteilhaften Konfiguration mit zwei Kameras (b), welche seitlich am Display angebracht werden können. Eine vorteilhafte Ausführung dieser Aufgabe erfolgt dergestalt, dass die Kameras (b) jeweils um 90 Grad versetzt an der Seite des Bildschirmes angebracht werden, also z.B. oben und rechts.
[0012] Ausserdem kann dieses System durch in der Nähe der Kameras angebrachte, modulierbare Lichtquellen (c) unterstützt werden. Diese Lichtquellen können im Infrarot Bereich arbeiten, um den Bediener nicht zu stören. Die Lichtquellen (z.B. LED’s) werden jeweils zyklisch für die Aufnahme eines Bildes ein- und beim nächsten Bild wieder ausgeschaltet. Dieses Verfahren ermöglicht eine einfache Extraktion von störenden Objekten im Blickfeld der Kamera, die weiter entfernt sind. Ein sich näherndes Objekt ist somit einmal sehr gut beleuchtet und in der nächsten Aufnahme nicht mehr beleuchtet, was die Bildanalyse stark vereinfacht. Die um 90 Grad versetzte Konfiguration der Kameras wiederum erlaubt den Einsatz von einfacheren Algorithmen zur dreidimensionalen Positionsbestimmung als dies bei einer Anordnung nebeneinander oder links/rechts vom Bildschirm notwendig wäre. Dies ist z.B von Bedeutung, um die Kosten für dieses System möglichst gering zu halten, weil durch die geringere Komplexität der Bildverarbeitung weniger hohe Anforderungen an die Rechenkapazität des entsprechenden Systems gefordert werden und dadurch eine einfachere Hardware verwendet werden kann.
[0013] Ein weiteres Anwendungsfeld von solchen kameragestützten Bediensensoren ist im Bereich von Bediengeräten zu sehen, welche komplett und möglichst gut geschützt hinter einer Glasscheibe angebracht werden. Diese werden eingesetzt in Bereichen, wo eine hohe Robustheit gefordert ist, z.B. gegen Vandalismus, oder auch in Bereichen, wo die Geräte leicht mit Chemikalien und mechanischen Hilfsmitteln (Wasser, Dampf, Hochdruck, etc.) gereinigt werden sollen (Bereich Food, Labor, Medizin), oder wo sehr viel Schmutz vorhanden ist. Die Kamera kann somit, zusammen mit dem Display, hinter dem schützenden Glas angebracht werden. Um Problemen vorzubeugen, die durch Verschmutzung auftreten können, können diese Kameras redundant ausgeführt werden. Es wird, wie bereits beschrieben, von zwei Seiten her beobachtet, jedoch können von jeder Seite her mehrere Kameras nebeneinander versetzt angebracht werden. Auf diese Weise ist es möglich, partielle Verschmutzungen an der Glasoberfläche herauszurechnen.
Zusammenfassung der Vorteile:
[0014] Bedieneroberflächen werden durch eine optische Reaktion bereits bei der Annäherung der Hand interaktiver und deshalb für den Benutzer leichter zu bedienen.
[0015] Es wird durch diese Technik auch einfacher, kleine Objekte auf dem Bildschirm zu bedienen bzw. auf kleinen, hochauflösenden Bildschirmen mehr Informationen darzustellen und diese zu bedienen.
Claims (6)
1. Verfahren zur Bedienung eines Gerätes mit einer grafischen Anzeige, welches mit der Hand oder einem Stift bedient wird, dadurch gekennzeichnet, dass eine grafische Interaktion auf dem Bedienbild dieser Anzeige erzeugt wird, die in Analogie zur dreidimensionalen Position der Hand oder des Stiftes steht, sobald sich diese in der unmittelbaren Nähe dieser Anzeige befinden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Auswertung dieser dreidimensionalen Position auch zur Erzeugung von Mouse-Move Ereignissen genutzt wird, ohne dass dazu eine Berührung des Bildschirmes erforderlich ist.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die in Anspruch 1 beschriebenen graphischen Funktionen in analoger Weise durch Toneffekte unterstützt werden.
4. Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Anwendung der in 1 beschriebenen Ansprüche im Bereich von Maschinen- und Anlagenbedienung erfolgt.
5. Verfahren und Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyse dieser dreidimensionalen Position über zwei Kamerasysteme, welche sich in einer vorteilhaften Konfiguration jeweils um 90 Grad versetzt an der Seite des Bildschirmes befinden und vorzugsweise durch eine modulierbare Beleuchtung unterstützt werden.
6. Verfahren und Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass die Analyse dieser dreidimensionalen Position über mehr als zwei Kamerasysteme erfolgt, um durch eine redundante Konfiguration Störungen, z.B. durch Verschmutzung der Optik, auszugleichen.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CH01701/09A CH702146A1 (de) | 2009-11-04 | 2009-11-04 | Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. |
EP10778917A EP2497006A1 (de) | 2009-11-04 | 2010-10-28 | Verfahren zur dreidimensionalen unterstützung der manuellen bedienung von graphischen benutzeroberflächen |
US13/505,944 US20120218217A1 (en) | 2009-11-04 | 2010-10-28 | Method for three-dimensional support of the manual operation of graphical user interfaces |
PCT/EP2010/066396 WO2011054740A1 (de) | 2009-11-04 | 2010-10-28 | Verfahren zur dreidimensionalen unterstützung der manuellen bedienung von graphischen benutzeroberflächen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CH01701/09A CH702146A1 (de) | 2009-11-04 | 2009-11-04 | Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. |
Publications (1)
Publication Number | Publication Date |
---|---|
CH702146A1 true CH702146A1 (de) | 2011-05-13 |
Family
ID=43528378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CH01701/09A CH702146A1 (de) | 2009-11-04 | 2009-11-04 | Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120218217A1 (de) |
EP (1) | EP2497006A1 (de) |
CH (1) | CH702146A1 (de) |
WO (1) | WO2011054740A1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
LU92408B1 (en) * | 2014-03-21 | 2015-09-22 | Olivier Raulot | User gesture recognition |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61196317A (ja) * | 1985-02-27 | 1986-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方式 |
JPH05189137A (ja) * | 1992-01-16 | 1993-07-30 | Sumitomo Heavy Ind Ltd | 計算機用コマンド入力装置 |
US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
DE19918072A1 (de) * | 1999-04-21 | 2000-06-29 | Siemens Ag | Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß |
US6421042B1 (en) * | 1998-06-09 | 2002-07-16 | Ricoh Company, Ltd. | Coordinate position inputting/detecting device, a method for inputting/detecting the coordinate position, and a display board system |
US20070002028A1 (en) * | 2000-07-05 | 2007-01-04 | Smart Technologies, Inc. | Passive Touch System And Method Of Detecting User Input |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US8381135B2 (en) * | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
DE102006059032B4 (de) * | 2006-12-14 | 2009-08-27 | Volkswagen Ag | Bedienvorrichtung eines Kraftfahrzeugs und Verfahren zum Erfassen von Nutzereingaben |
US8432372B2 (en) * | 2007-11-30 | 2013-04-30 | Microsoft Corporation | User input using proximity sensing |
US8274484B2 (en) * | 2008-07-18 | 2012-09-25 | Microsoft Corporation | Tracking input in a screen-reflective interface environment |
-
2009
- 2009-11-04 CH CH01701/09A patent/CH702146A1/de not_active Application Discontinuation
-
2010
- 2010-10-28 EP EP10778917A patent/EP2497006A1/de not_active Withdrawn
- 2010-10-28 US US13/505,944 patent/US20120218217A1/en not_active Abandoned
- 2010-10-28 WO PCT/EP2010/066396 patent/WO2011054740A1/de active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61196317A (ja) * | 1985-02-27 | 1986-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方式 |
JPH05189137A (ja) * | 1992-01-16 | 1993-07-30 | Sumitomo Heavy Ind Ltd | 計算機用コマンド入力装置 |
US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
US6421042B1 (en) * | 1998-06-09 | 2002-07-16 | Ricoh Company, Ltd. | Coordinate position inputting/detecting device, a method for inputting/detecting the coordinate position, and a display board system |
DE19918072A1 (de) * | 1999-04-21 | 2000-06-29 | Siemens Ag | Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß |
US20070002028A1 (en) * | 2000-07-05 | 2007-01-04 | Smart Technologies, Inc. | Passive Touch System And Method Of Detecting User Input |
Also Published As
Publication number | Publication date |
---|---|
WO2011054740A1 (de) | 2011-05-12 |
US20120218217A1 (en) | 2012-08-30 |
EP2497006A1 (de) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2761399B1 (de) | Datenhandschuh mit taktiler rückinformation und verfahren | |
DE10340188A1 (de) | Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe | |
DE102009043655A1 (de) | Maus mit Schwenk-, Zoom- und Bildlaufsteuerelementen | |
DE102012109058A1 (de) | Steuerverfahren und elektronische Einrichtung | |
EP2422702A1 (de) | Strahlenschutzwand für Mammographiesysteme mit integrierter Benutzeroberfläche | |
WO2010081702A2 (de) | Multitouch-bedienfeld | |
DE102012020607B4 (de) | Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements | |
DE102016204473A1 (de) | Verfahren zum unterstützen einer benutzereingabe mit berührungsanzeige | |
WO2014108147A1 (de) | Zoomen und verschieben eines bildinhalts einer anzeigeeinrichtung | |
DE102015102238A1 (de) | Verfahren und Anordnung zum Überprüfen einer Fläche | |
EP2953793B1 (de) | System zur druckmaschinenbedienung | |
DE102014210893A1 (de) | Verfahren zum Betrieb einer Bildaufnahmeeinrichtung mit Touchscreen und Bildaufnahmeeinrichtung | |
DE102014107211A1 (de) | Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät | |
WO2017054894A1 (de) | Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem | |
CH702146A1 (de) | Verfahren zur dreidimensionalen Unterstützung der manuellen Bedienung von graphischen Benutzeroberflächen. | |
DE19918072A1 (de) | Bedienverfahren und Bedienvorrichtung für einen bildschirmgesteuerten Prozeß | |
DE102008050542A1 (de) | Medizinisches Bildaufnahmesystem, Bedieneinrichtung und Verfahren zum Steuern einer Bildaufnahmevorrichtung | |
DE102014224599A1 (de) | Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung | |
WO2003042802A2 (de) | Eingabegerät, webcam und bildschirm mit spracheingabefunktion | |
DE102010036904A1 (de) | Haptische Messvorrichtung und Messverfahren | |
DE102019108670A1 (de) | Verfahren zur Steuerung eines Geräts, insbesondere einer Handprothese oder eines Roboterarms | |
EP3281098B1 (de) | Gestensensitiver bildschirm und rechner mit gestensensitivem bildschirm | |
AT514926B1 (de) | Sitzmöbel mit berührungsloser Abtastung der Fingerbewegungen des darin sitzenden Operators zur Steuerung von elektrischen und elektronischen Geräten | |
DE102014207699B4 (de) | Verfahren zur Bildüberwachung eines Eingriffs mit einer Magnetresonanzeinrichtung, Magnetresonanzeinrichtung und Computerprogramm | |
DE102014107220A1 (de) | Eingabevorrichtung, Rechner oder Bedienanlage sowie Fahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NV | New agent |
Representative=s name: BRAUNPAT BRAUN EDER AG, CH |
|
AZW | Rejection (application) |