DE102016115479A1 - Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät - Google Patents

Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät Download PDF

Info

Publication number
DE102016115479A1
DE102016115479A1 DE102016115479.2A DE102016115479A DE102016115479A1 DE 102016115479 A1 DE102016115479 A1 DE 102016115479A1 DE 102016115479 A DE102016115479 A DE 102016115479A DE 102016115479 A1 DE102016115479 A1 DE 102016115479A1
Authority
DE
Germany
Prior art keywords
picture
coordinates
sub
flying
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016115479.2A
Other languages
English (en)
Inventor
Susumu Shimotono
Ryohta Nomura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of DE102016115479A1 publication Critical patent/DE102016115479A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

Die vorliegende Erfindung stellt eine Nutzerschnittstelle zum Verhindern einer fehlerhaften Bedienung bereit, die verhindert, dass das Gefühl einer Bedienungsberührung auf dem Touchscreen ruiniert wird. Eine fliegende Streifbedienung wird in einer geringfügig getrennten Position von einer Oberfläche 100a der Anzeige 100 ausgeführt. Wenn die fliegende Streifbedienung ausgeführt wird, wird ein Teilbild rund um die Koordinaten gerade unterhalb einer Fingerspitze vergrößert und in einer Weise angezeigt, welche ein ursprüngliches Bild überlappt. Eine Berührungsbedienung mit einem Finger in Kontakt mit der Anzeige 100 wird auf dem Teilbild ausgeführt. Die Berührungsbedienung auf dem Teilbild wird als eine Berührungsbedienung des ursprünglichen Bildes verarbeitet. Bevor die fliegende Streifbedienung ausgeführt wird, wird das Teilbild nicht angezeigt, selbst wenn sich eine Fingerspitze der Anzeige 100 nähert. Wenn die Fingerspitze vollständig von der Oberfläche getrennt ist, nachdem das Teilbild einmal angezeigt wird, wird das Teilbild verschwinden.

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Technik, um eine Eingabe auf einem Touchscreen zu erleichtern, und insbesondere auf eine Technik, um eine Eingabe auf einem Touchscreen zu erleichtern, auf dem kleine Bedienobjekte angezeigt werden.
  • Hintergrund der Erfindung
  • Ein Elektronikgerät, wie ein Smartphone oder ein Tablet-Terminal, ermöglicht einem Nutzer eine Berührungsbedienung mit einem Finger oder einem Stylus-Stift auf einem Bedienobjekt auszuführen, das auf einem Touchscreen angezeigt wird, der aus einer Kombination einer Anzeige und einem Berührungssensor aufgebaut ist, um eine Bildschirmbedienung oder ein Eingeben von Zeichen auszuführen. Wenn der Touchscreen klein ist, kann der Nutzer ein Bedienobjekt benachbart zu dem Zielbedienobjekt berühren, da das Bedienobjekt ebenfalls dazu tendiert, klein zu sein.
  • Ferner gibt es in einem Betriebssystem bzw. OS, wie das Windows (registrierte Handelsmarke) 8/10, welches es dem Nutzer ermöglicht, sowohl einen Maus-Betriebsmodus für Bedienungen mit einem Mauszeiger als auch einen Touchpanel-Betriebsmodus für Berührungsbedienungen auf einem Touchscreen zu verwenden, einen Fall, bei dem kleine Bedienobjekte unter der Voraussetzung des Gebrauchs eines Mauszeigers enthalten sind. In diesem Fall werden Berührungsbedienungen schwieriger ausführbar. Es wurden verschiedene Versuche unternommen, um dieses Problem zu lösen. Microsoft (registrierte Handelsmarke) Co., Ltd. bietet eine Nutzerschnittstelle (UI), die Modern UI genannt wird, mit neuer Anzeigeart und Betriebsregeln an. In der Modern UI werden die Icons, die Kacheln genannt werden, in einer geeigneten Größe für eine Berührungsbedienung angezeigt.
  • Lenovo Co., Ltd. bietet eine UI, die Aura UI genannt wird, an, in der eine neue Schale für eine Berührungsbedienung einem bestehenden Betriebssystem überlagert ist. In dem Fall eines Multi-Touch-OS kann der Bildschirm zeitweise mit einem Aufspreizen als eine Berührungsbedienung zum Auseinanderfahren von zwei Fingern vergrößert werden, um eine Fehlbedienung zu verhindern. Patentdokument 1 offenbart ein Anzeigegerät, das eine Eingabe mit einer Schwebebedienung ausführt, bei der ein Finger in einer räumlichen Abstandsposition von der Ebene des Touchpanels gehalten wird, eine Schwebe-Gleitbedienung durch Gleiten des Fingers, welcher in der Schwebebedienung im Wesentlichen parallel mit der Ebene des Touchpanels ist, welches einen Touchscreen konfiguriert, und eine Berührungsbedienung.
  • Das Anzeigegerät erfasst auf dem Touchpanel die Koordinaten des Fingers in der Schwebebedienung und der Schwebegleitbedienung und die Koordinaten des Fingers in der Berührungsbedienung. Wenn die Nähe des Fingers zu dem Touchpanel bei der Schwebebedienung erfasst wird, zeigt das Anzeigegerät einen vergrößerten Bildschirm mit dem Zentrum, das direkt unter dem Finger angeordnet ist, beim Überlappen des vergrößerten Bildschirms auf einem ursprünglichen Bild, und wenn die Schwebe-Gleitbedienung ausgeführt wird, zeigt das Anzeigegerät einen vergrößerten Bildschirm an, der direkt unter dem Zielpunkt angeordnet ist. Patentdokument 2 offenbart ein Touchpanelgerät zum Bereitstellen einer vergrößerten Anzeige, wenn ein Finger sich einem kapazitiven Touchpanel nähert. Das Dokument lehrt, dass ein Tastenfeld auf dem Bildschirm vergrößert wird und mit einer Bildtaste in dem Zentrum, dem sich ein Zeigefinger zuerst dem Tastenfeld auf dem Bildschirm nähert, gezeigt wird, und dass das vergrößerte Bild angezeigt bleibt, bis der Finger sich davon wegbewegt. Patentdokument 3 offenbart ein Touchpanelgerät zum Bereitstellen einer vergrößerten Anzeige, wenn sich ein Finger einem kapazitiven Touchpanel nähert. Das Dokument lehrt, dass ein Steuergerät die Koordinaten eines vergrößerten Anzeigebereichs vor dem Vergrößern in die Koordinaten eines ursprünglichen Bildes transformiert.
  • Patentdokument 4 offenbart ein Steuerverfahren für eine Touchpanelanzeige, wobei ein Bildschirm vergrößert wird, wenn sich ein Finger einem Touchpad nähert. Das Dokument lehrt, dass der vergrößerte Bildschirm so lange anzeigt wird, wie der Finger innerhalb eines bestimmten Abstands von der Oberfläche des Touchpanels angeordnet ist, und dass der vergrößerte Bildschirm mit einer Berührungsbedienung gelöscht wird oder wenn der Finger weit weg von dem Touchpanel bewegt wird. Patentdokument 5 offenbart eine Nutzerschnittstelle zum Anzeigen eines vergrößerten Bildschirms mit einer Vergrößerung, die entsprechend dem Abstand eines Fingers von einem Touchpanel variiert.
  • Ein nicht patentgeschütztes Dokument 1 offenbart eine Schnittstelle unter Verwendung einer Geste von Fingern in der Nähe einer Tabletoberfläche. Das Dokument lehrt, dass mehrfach geschichtete IR-Ebenen mit einem Kameraverschlusssignal von einer Hochgeschwindigkeitskamera synchronisiert werden, um die Geste der Finger zu erfassen. Das Dokument lehrt auch, dass eine Karte durch Zeigen auf die Karte mit einem Finger und Variieren der Höhe des Fingers gezoomt oder gescrollt wird.
  • Ein nicht patentgeschütztes Dokument 2 offenbart eine 3D-Touchpanelschnittstelle für ein Erfassen eines Näherungszustands bevor ein Finger des Nutzers in Kontakt mit einem Touchpanel kommt, um den Fokus auf eine Taste oder zum Vergrößern der Taste in Abhängigkeit von der Näherungsposition zu ändern. Das Dokument beschreibt einen 3D-Touchpanel zum Erfassen eines Fingernäherungszustands lediglich unter Verwenden eines normalen Touchpanel zusätzlich zu einem Kontaktzustand eines Fingers. Das Dokument lehrt auch, dass die Geschwindigkeit oder die Beschleunigung des Fingers beim Annähern an das Touchpanel aus einem Zeitübergang des Näherungsabstands berechnet wird, um Schnittstellen bzw. UIs umzuschalten.
    [Patentdokument 1] Japanische Patentanmeldung Offenlegungsschrift JP 2013-225 261 A .
    [Patentdokument 2] PCT Internationale Veröffentlichung WO 2012/132802
    [Patentdokument 3] PCT Internationale Veröffentlichung WO 2011/027665
    [Patentdokument 4] Japanische Patentanmeldung Offenlegungsschrift JP H11-65 769 A
    [Patentdokument 5] US Patentanmeldung Offenlegungsschrift US 2013/0293490 A
    [kein Patentdokument 1] Yoshiki Takeoka, et al. Z-touch: Eine Infrastruktur für 3D Gesteninteraktion in der Nähe von Tabletop-Oberflächen, [online], ITS 2010: Devices & Algorithms, [recherchiert am 1. August 2015], das Internet <URL: http://lab.rekimoto.org/projects/z-touch/>
    [kein Patentdokument 2] Hiroyuki Washino, et al. 3D Touchpanel Nutzerschnittstelle, [online], Information Processing Society of Japan Interaction 2009, [recherchiert am 1. August 2015], das Internet <URL: http://www.interactionipsj.org/archives/seite2009/interactive/0037/0037.pdf>
  • Zusammenfassung der Erfindung
  • Der Touchscreen ist hervorragend in der Lage eine intuitive Bedienung mit einem Bedienobjekt auf einem Bildschirm auszuführen, aber es wird gefordert, dass eine fehlerhafte Bedienung verhindert werden sollte. Obwohl die Modern UI oder die Aura UI Berührungsbedienungen wenige fehlerhafte Bedienungen in einer speziellen Umgebung erreichen, ist ein Verfahren wünschenswert, das Berührungsbedienungen in einer derartigen Umgebung erreichen kann, die sich nicht auf eine vorhandene Applikation oder ein bestehendes Betriebssystem bzw. OS auswirken. Ferner ist es üblich, in einem Elektronikgerät, wie einem Smartphone oder Tablet-Terminal mit einem Touchscreen, das als ein feststehendes Eingabegerät genutzt wird, Bedienobjekte im Voraus größer einzustellen als einen Finger oder einen Stylus-Stift. Andererseits begrenzt dies die Anzahl der Bedienobjekte, die auf dem Bildschirm enthalten sind, die eine vorbestimmte Größe aufweisen, und das bedeutet, dass die Bildschirmdichte oder die Menge von Informationen grobmaschig wird.
  • In einem OS (Betriebssystem), welches es dem Nutzer ermöglicht sowohl den Mausbedienungsmodus als auch den Touchpanel-Bedienmodus zu verwenden, wenn die Bedienobjekte auf eine geeignete Größe für die Mausbedienung festgelegt sind, kann eine fehlerhafte Bedienung in einer Berührungsbedienung auftreten, während wenn das Bedienobjekt auf eine geeignete Größe für die Berührungsbedienung festgesetzt wird, dann kann der Bildschirm grobmaschiger werden als ein Grad, bei dem die Mausbedienung möglich ist. Ein Verfahren zum Vergrößern des Bildschirms mit Hilfe eines Ausspreizens kann durch eine Ausspreizbedienung begleitet werden, um den Bildschirm zu restaurieren, und dies stellt eine Extrabelastung für den Nutzer dar. Es gibt auch ein Verfahren des Vergrößerns eines vorbestimmten Bereichs über Koordinaten eines Zentrums, bei dem die Berührungsbedienung durchgeführt wird, um eine Berührungsbedienung auf dem vergrößerten Bild auszuführen. Da das vergrößerte Bild jedoch immer dargestellt wird, selbst wenn die Berührungsbedienung ohne Vergrößerung des Bildes möglich ist, kann der Nutzer sich dadurch verärgert fühlen.
  • In den Dokumenten der betreffenden Technik wird eine Geste, die in der Nähe der Fläche gemacht wird, erfasst, um den Bildschirm vor der Berührungsbedienung zu vergrößern. Diese Dokumente der betreffenden Technik haben einige der folgenden Nachteile: Erstens kann der Nutzer einen Finger auf dem Touchpanel anhalten bevor die Touchbedienung ausgeführt wird, um ein Bedienungsziel auszuwählen oder daran zu denken. Zu dieser Zeit, wenn ein vergrößerter Bildschirm angezeigt wird, unmittelbar nachdem die Näherung des Fingers erfasst wurde, wird ein Nutzer, der fortgesetzt einen Blick auf einen weiten Bereich des ursprünglichen Bildes sehen möchte, ohne dass es vergrößert ist, gezwungen, eine Bedienung zum Löschen des vergrößerten Bildschirms auszuführen, und folglich kann sich der Nutzer dadurch verärgert fühlen. Ferner verursacht das Anzeigen eines vergrößerten Bildschirms, selbst wenn ein Bedienobjekt groß genug ist, um eine genaue Berührungsbedienung zu ermöglichen ohne vergrößert zu sein, beim Nutzer das Gefühl einer Berührungsbedienung auf einem ursprünglichen Bild zu ruinieren.
  • Es ist schwierig für den Nutzer eine Berührung durchzuführen, während er die Entfernung von dem Touchpanel, wenn sich ein Finger dem Touchpanel nähert, und die Geschwindigkeit oder Beschleunigung des Näherns steuert. Ferner kann eine kontinuierliche Aufrechterhaltung des Fingers in einem bestimmten Abstandsbereich von dem Touchpanel, um den vergrößerten Bildschirm kontinuierlich anzuzeigen, den Nutzer in eine Notlage versetzen. Wenn ferner der vergrößerte Bildschirm genau unter dem Finger angezeigt wird, kann das Bedienobjekt unter dem Finger verborgen bleiben.
  • Wenn ein vergrößerter Bildschirm angezeigt wird, müssen die Bedienungen, die zu einer Touchbedienung auf das Bedienobjekt hinzugefügt werden, so einfach wie möglich sein, um das Gefühl der Berührungsbedienung auf dem Touchscreen nicht zu ruinieren. Es ist auch wünschenswert, dass die konventionelle Berührungsbedienung, die ohne das Anzeigen des vergrößerten Bildschirms ausgeführt wird, aufrechterhalten wird. Ferner ist es wünschenswert, dass der vergrößerte Bildschirm in Abhängigkeit von der Absicht des Nutzers angezeigt wird.
  • Deshalb ist es eine Aufgabe der vorliegenden Erfindung, eine Nutzerschnittstelle zum Verhindern einer fehlerhaften Bedienung bereitzustellen, während verhindert wird, dass das Gefühl einer Bedienungsberührung auf dem Touchscreen ruiniert wird. Eine andere Aufgabe der vorliegenden Erfindung ist es, eine Nutzerschnittstelle bereitzustellen, die beim Anpassen an ein bestehendes OS oder eine Applikation besser ist. Es ist noch eine andere Aufgabe der vorliegenden Erfindung, eine Nutzerschnittstelle zum Anzeigen eines Teilbildes mit einer vorbestimmten Vergrößerung relativ zu einem ursprünglichen Bild nur dann bereitzustellen, wenn es durch den Nutzer beabsichtigt wird. Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Eingabeverarbeitungsverfahren, ein Elektronikgerät und ein Computerprogramm bereitzustellen, welche an eine derartige Nutzerschnittstelle angepasst sind.
  • Die vorliegende Erfindung bezieht sich auf eine Nutzerschnittstelle, die eine Eingabe in ein Elektronikgerät mit einem Zeigemedium ermöglicht. Die Nutzerschnittstelle kann in dem Elektronikgerät enthalten sein oder mit dem Elektronikgerät drahtlos oder über ein Kabel verbunden sein. Die Nutzerschnittstelle umfasst eine Anzeige; einen Näherungssensor zum Erzeugen von Näherungskoordinaten des Zeigemediums in einem Näherungszustand zu einer Oberfläche der Anzeige mit einem ursprünglichen Bild, das darauf angezeigt wird; einen Berührungssensor zum Erzeugen von Kontaktkoordinaten des Zeigemediums in einem Kontaktzustand mit der Oberfläche der Anzeige; einen Teilbild-Steuerabschnitt zum Erzeugen von Daten, um ein Teilbild auf der Anzeige anzuzeigen, das durch Vergrößern eines vorbestimmten Bereichs des ursprünglichen Bildes in einer Weise erhalten wird, die das ursprüngliche Bild überlappt, wenn eine fliegende Streifbedienung, die mit dem Zeigemedium in dem Näherungszustand ausgeführt wird, durch die Näherungskoordinaten erkannt wird; und einen Kontaktkoordinaten-Verarbeitungsabschnitt zum Ausgeben von Kontaktkoordinaten auf dem Teilbild als Kontaktkoordinaten des ursprünglichen Bildes an eine Nutzerfunktion.
  • Das Zeigemedium kann eine Fingerspitze oder ein Stylus-Stift sein. Entsprechend der obigen Konfiguration ist, da ein vorbestimmter Bereich des ursprünglichen Bildes mit einer einfachen fliegenden Streifbedienung vergrößert werden kann, ein Aufspreizen zum Vergrößern des gesamten Bildschirms unnötig, wenn auf kleine Zeichen geschaut wird. Das Teilbild wird nicht angezeigt, selbst wenn das Zeigemedium in einem Näherungszustand ist, außer es wird eine fliegende Streifbedienung ausgeführt. Da das Teilbild nur angezeigt werden kann, wenn es durch den Nutzer beabsichtigt ist, wird der Nutzer, der eine Fingerspitze in dem Näherungszustand anordnet, während er das ursprüngliche Bild anschaut und vor der Berührungsbedienung überlegt, somit nicht gestört.
  • Ferner kann es für den Nutzer ziemlich bequem sein, ein Teilbild eines ausreichend großen Bedienobjekts nicht anzuzeigen. In der vorliegenden Erfindung kann eine Berührungsbedienung auf dem ursprünglichen Bild jedoch ausgeführt werden ohne Anzeigen des Teilbildes in der konventionellen Weise, solange die fliegende Streifbedienung nicht ausgeführt wird. Deshalb kann eine fehlerhafte Bedienung verhindert werden, während verhindert wird, dass das Gefühl einer Berührungsbedienung auf dem Touchscreen ruiniert wird. Ferner besteht keine Notwendigkeit, ein bestehendes Betriebssystem oder eine Applikation zu ändern, um an die Nutzerfunktion, die Kontaktkoordinaten als die Kontaktkoordinaten des ursprünglichen Bildes auszugeben.
  • Der Näherungssensor und der Berührungssensor können durch einen Touchpanel konfiguriert sein und ein Touchscreen kann durch die Anzeige und den Touchpanel konfiguriert sein. Der Kontaktkoordinatenverarbeitungsabschnitt kann, an die Nutzerfunktion, Kontaktkoordinaten ausgeben entsprechend einer ersten Streifbedienung, die auf dem ursprünglichen Bild mit dem Zeigemedium in dem Kontaktzustand ausgeführt wird. Da die Nutzerschnittstelle die fliegende Streifbedienung mit den Näherungskoordinaten verarbeitet, sind bislang bekannte Streifbedienungen, wie zum Bewegen eines Bedienobjekts in eine Streifrichtung, die an den Kontaktkoordinaten verarbeitet wird, zum Scrollen des Bildschirms und dergleichen, auch einschaltbar. Die Nutzerschnittstelle kann auch ein Zeigegerät haben zum Erzeugen eines Vorgangs, um einen Mauszeiger, der durch das ursprüngliche Bild angezeigt wird, zu steuern. In diesem Fall kann, selbst wenn das ursprüngliche Bild ein kleines Bedienobjekt enthält, das für eine Bedienung mit dem Mauszeiger geeignet ist, eine fehlerhafte Bedienung durch eine Berührungsbedienung auf dem Teilbild verhindert werden.
  • Ein vorbestimmter Bereich des ursprünglichen Bildes kann Startkoordinaten für eine fliegende Streifbedienung enthalten. Da der Nutzer leicht die Startkoordinaten der fliegenden Streifbedienung erkennen kann, kann der Nutzer, in dem Teilbild ein Bedienobjekt, das mit den Startkoordinaten überlappt, einfach durch Enthalten der Startkoordinaten in dem Teilbild erhalten. Der Teilbild-Steuerabschnitt kann einen Bildpunkt gerade unterhalb des Zeigemediums in dem Näherungszustand anzeigen. Dies ermöglicht es dem Nutzer den Bildpunkt zu verwenden, um eine Berührungsbedienung genau auf einem Bedienobjekt auszuführen, auf welchem eine Berührungsbedienung auszuführen wahrscheinlich ist, ohne das dem Teilbild anzuzeigen. Der Teilbild-Steuerabschnitt kann die Anzeige des einen Bedienobjekts ändern, wenn das Zeigemedium in dem Näherungszustand gerade oberhalb eines Bedienobjekts des ursprünglichen Bildes angeordnet wird. Somit kann der Nutzer durch die Anzeigenänderung die Anwesenheit eines Bedienobjekts erkennen, das in dem ursprünglichen Bild schwer zu erkennen ist. Ferner kann der Nutzer eine Berührungsbedienung exakt auf einem beabsichtigten Bedienobjekt ausführen ohne das Teilbild anzuzeigen.
  • Der Teilbild-Steuerabschnitt kann das Teilbild löschen, wenn eine vorbestimmte Zeit vergangen ist, da das Zeigemedium in einem getrennten Zustand bewegt wird, nachdem das Teilbild angezeigt wurde. Sobald das Teilbild angezeigt ist, kann der Nutzer lediglich durch Abziehen des Zeigemediums den Bildschirm in den Zustand des ursprünglichen Bildes zurückversetzen, wenn die Eingabe aufgegeben wird. Der Teilbild-Steuerabschnitt kann Daten erzeugen zum Anzeigen des Teilbildes, so dass ein Bedienobjekt, das in dem Teilbild enthalten ist, einem Bedienobjekt der ursprünglichen Bildes entspricht, das rund um das Bedienobjekt, das in dem ursprünglichen Bild enthalten ist, angeordnet ist.
  • Der Teilbild-Steuerabschnitt kann eine Position des Teilbildes bestimmen, die relativ zu dem ursprünglichen Bild entsprechend einer Bewegungsrichtung von den Startkoordinaten zu der fliegenden Streifbedienung ist. Dies ermöglicht dem Nutzer, die Anzeigeposition des Teilbildes in die Richtung der fliegenden Streifbedienung zu steuern. Der Teilbild-Steuerabschnitt kann eine Vergrößerung des Teilbildes relativ zu dem ursprünglichen Bild entsprechend der Bewegungsrichtung von den Startkoordinaten der fliegenden Streifbedienung bestimmen. Dies ermöglicht dem Nutzer die Richtung der fliegenden Streifbedienung auszuwählen, um ein vergrößertes Teilbild oder ein verkleinertes Teilbild anzuzeigen. Ferner kann der Nutzer einen Bildschirm ohne einen Pinch-in Effekt anzeigen, auf dem nur ein geforderter Bereich reduziert wird.
  • Der Teilbild-Steuerabschnitt kann eine Vergrößerung des Teilbildes relativ zu dem ursprünglichen Bild gemäß der Geschwindigkeit und Beschleunigung des Zeigemediums bestimmen, das sich bewegt, wenn die fliegende Streifbedienung ausgeführt wird. Wenn ein stärker vergrößertes Teilbild anzuzeigen ist, kann der Nutzer eine schnellere fliegende Streifbedienung ausführen. Der Teilbild-Steuerabschnitt kann das Teilbild mit einer Vergrößerung, die mit Bezug auf das ursprüngliche Bild variiert, auf einer Schritt-für-Schritt-Basis jedes Mal bei einer fliegenden Streifbedienung anzeigen, die wiederholt in einem vorbestimmten Zeitintervall oder kürzer ausgeführt wird. Dies ermöglicht es dem Nutzer, die fliegenden Streifbedienungen zu wiederholen, um die Vergrößerung des Teilbildes in kleinen Schritten Schritt für Schritt zu variieren.
  • Der Teilbild-Steuerabschnitt kann die Anordnung einer Vielzahl von Bedienobjekten erkennen, die in dem ursprünglichen Bild enthalten sind, um beide oder nur eine der Form und der Größe des Teilbildes gemäß der Anordnung der Bedienobjekte einzustellen. Dies ermöglicht dem Nutzer in einem Teilbild bestimmter Größe mehr Bedienobjekte zu erhalten, auf denen Berührungsbedienungen am wahrscheinlichsten ausgeführt werden, wenn die Vielzahl der Bedienobjekte in dem ursprünglichen Bild angeordnet sind.
  • Gemäß der vorliegenden Erfindung kann eine Nutzerschnittstelle zum Verhindern einer fehlerhaften Bedienung bereitgestellt werden, während verhindert wird, dass das Gefühl einer Berührungsbedienung auf dem Touchscreen ruiniert wird. Es kann auch eine Nutzerschnittstelle bereitgestellt werden, die beim Anpassen an ein bestehendes OS (Betriebssystem) oder eine Applikation besser ist. Ferner kann eine Nutzerschnittstelle zum Anzeigen eines Teilbildes mit einer vorbestimmten Vergrößerung zu dem ursprünglichen Bild nur bereitgestellt werden, wenn es der Nutzer beabsichtigt. Ferner können ein Eingabeverarbeitungsverfahren, ein Elektronikgerät und ein Computerprogramm bereitgestellt werden, welche an eine derartige Nutzerschnittstelle angepasst sind.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist eine Darstellung zum Beschreiben eines Zustands, wenn eine Berührungsbedienung und eine fliegende Streifbedienung auf einer Anzeige 100 ausgeführt werden.
  • 2 ist ein funktionelles Blockdiagramm zum Beschreiben der Konfiguration einer Nutzerschnittstelle 200.
  • 3 ist ein Hauptflussdiagramm zum Beschreiben eines Beispiels eines Vorgangs, wenn die Nutzerschnittstelle 200 ein Streiffenster anzeigt.
  • 4 ist ein Flussdiagramm zum Beschreiben eines Beispiels eines Vorgangs zum Anzeigen eines Teilbildes.
  • 5 ist eine Darstellung zum Beschreiben eines Zustands einer Tippbedienung auf einem ursprünglichen Bild 303.
  • 6 ist eine Darstellung zum Beschreiben eines Zustands, wenn ein Bildpunkt 307 auf Koordinaten unmittelbar unterhalb einer Fingerspritze angezeigt wird, und eines Zustands, wenn das fliegende Streifen gestartet wird.
  • 7 ist eine Darstellung zum Beschreiben eines Zustands, wenn ein Teilbild 313 in einer Weise angezeigt wird, um ein ursprüngliches Bild 303 zu überlappen.
  • 8 ist eine Darstellung zum Beschreiben eines Beispiels eines Steiffensters 325, das durch Verwenden der Bewegungsinformationen über die fliegende Steifbedienung konfiguriert wird.
  • 9 ist eine Darstellung zum Beschreiben eines anderen Beispiels des Steiffensters 325, das durch Verwenden der Bewegungsinformationen über die fliegende Steifbedienung konfiguriert wird.
  • 10 ist eine Darstellung zum Beschreiben eines Beispiels des Bestimmens der Form des Steiffensters 325 basierend auf der Anordnung der Bedienobjekte, die in dem ursprünglichen Bild 303 enthalten sind.
  • Detaillierte Beschreibung der Erfindung
  • [Berührungsbedienung und fliegende Streifbedienung]
  • 1 ist eine Darstellung zum Beschreiben eines Zustands, wenn eine Berührungsbedienung und eine fliegende Streifbedienung auf einer Anzeige 100 ausgeführt werden. Die XY-Achsen sind auf einer Oberfläche 100a der Anzeige 100 definiert und eine Z-Achse ist in einer Richtung senkrecht zu der XY-Ebene definiert. Eine Fingerspitze ist relativ zu der Anzeige 100 in einem Zustand, der durch einen Abstand Z1 in der Z-Achsenrichtung von der Oberfläche 100a des Touchscreens getrennt ist, in einem Zustands, der durch einen Abstand geringer als der Abstand Z1 und größer als der Abstand Z2 getrennt ist, in einem Zustand, der durch einen Abstand geringer als der Abstand Z2 getrennt ist, wie in 1B gezeigt, oder in einem Zustand, in dem die Fingerspitze in Kontakt mit dem Touchscreen ist, wenn der Abstand Z Null ist, wie in 1C dargestellt.
  • Eine Nutzerschnittstelle gemäß der Ausführungsform akzeptiert eine Eingabe mit einer Berührungsbedienung in einem Kontaktzustand, in dem der Finger in Kontakt mit der Oberfläche 100a ist, wie in 1C dargestellt. Zu dieser Zeit kann die fliegende Streifbedienung, die in dem Näherungszustand ausgeführt wird, in dem sich der Finger der Oberfläche 100a um einen bestimmten Abstand annähert, wie in 1B dargestellt, falls benötigt ergänzend verwendet werden. Der Zustand, in dem die Fingerspitze durch den Abstand Z1 oder mehr von der Oberfläche 100a getrennt ist, wird als ein Trennungszustand bezeichnet. Wenn sich der Finger der Oberfläche 100a von dem Trennungszustand auf einen Abstand Z2 oder weniger nähert, tritt der Zustand des Näherungszustands ein. Nachdem der Zustand in den Näherungszustand eingetreten ist, wird der Näherungszustand beibehalten, bis die Fingerspitze in einen Kontaktzustand oder in einen durch den Abstand Z1 oder mehr getrennten Zustand kommt.
  • Wenn somit die Position der Fingerspitze in der Z-Achsenrichtung innerhalb eines Bereichs bis zu dem Abstand Z2, im Extremfall bis zu dem Abstand 0 ist, entspricht der Zustand dem Näherungszustand. Wenn die Fingerspitze zwischen dem Abstand Z1 und dem Abstand Z2 angeordnet ist, ist der Zustand entweder der Näherungszustand oder der Trennungszustand, abhängig wie die Fingerspitze die Position erreicht. Beachte, dass die Berührungsbedienung und die fliegende Streifbedienung verwendet werden können unter Verwenden eines leitenden Zeigemediums, wie eines Stylus-Stifts, anstelle einer Fingerspitze. Hier wird die fliegende Streifbedienung beschrieben. Eine Streifbedienung in einem Kontaktzustand ist gut bekannt. Die fliegende Streifbedienung ist eine Geste zum Ausführen der gleichen Bewegung der Fingerspitze in dem Näherungszustand wie jede der Streifbedienung im Kontaktzustand (Kontaktstreifbedienung). Da die fliegende Streifbedienung jedoch in der Luft ausgeführt wird, gibt es keine Führungsfläche, auf der die Fingerspitze gleiten kann, wie bei der Kontaktstreifbedienung, welches eine leichte Bewegung der Fingerspitze in der Z-Achsenrichtung verursacht.
  • Obwohl eine Vielfalt von Gesten zu Berührungsbedienungen definiert sind, die in dem Kontaktzustand ausgeführt werden, kann die Bewegung des Fingers in der XY-Richtung, welche von der fliegenden Streifbedienung zu extrahieren ist, durch den gleichen Algorithmus wie die Kontaktstreifbedienung erfasst werden. Mit Berührungsbedienungen sind alle Eingabebedienungen gemeint, die durch in Kontakt Bringen des Fingers oder eines Stylus-Stifts (welche beide hiernach einfach als Fingerspitze in dieser Spezifikation bezeichnet werden) mit der Oberfläche 100a der Anzeige 100 durchgeführt werden. Die Berührungsbedienungen schließen sowohl eine Eingabebedienung auf einem Bedienobjekt, wie einem Icon, welches mit einer spezifischen Applikation oder einem spezifischen File, der auf der Anzeige 100 anzuzeigen ist, assoziiert ist oder einem Zeichen oder einem Bildobjekt, das mit einer vorbestimmten Adresse assoziiert ist, als auch eine Eingabebedienung auf irgendeinem anderem Anzeigebereich als dem Bedienobjekt ein.
  • Die Berührungsbedienungen schließen Tippbedienungen ohne irgendeine Änderung in der Position einer Berührungsbedienung in einer Serie von Bedienungen ein und Gestenbedienungen mit einer Änderung in der Position. Ein System, das eine Tippbedienung erfasst, kann Informationen wie die Koordinaten der Berührungsbedienung, die Größe der Zeit, in welcher die Berührungsbedienung auf den Koordinaten fortgesetzt wird und die Anzahl der Berührungsbedienungen erhalten. Die Gestenbedienungen umfassen einzelne Berührungsbedienungen wie ein Streifbedienung, eine Wischbedienung, eine Ziehbedienung und eine Drehbedienung, und mehrfache Berührungsbedienungen wie eine Pinch-in- und eine Pinch-out-Bedienung. Das System, das eine Gestenbedienung erfasst, kann Informationen wie eine Koordinatentrajektorie der Berührungsbedienungen und die Geschwindigkeit und Beschleunigung der Koordinatenänderung enthalten. Dann kann das System die Art der Geste durch die Koordinatentrajektorienmuster, die Richtung der Änderung und dergleichen identifizieren.
  • Die Kontaktstreifbedienung ist eine Bedienung für das Bewegen eines Fingers, mit dem eine Berührungsbedienung ausgeführt wird, bei einem kurzen Abstand in einer annähernd konstanten Richtung. Die Wischbedienung ist eine Bedienung, die auch als Gleitbedienung bezeichnet wird, zum Bewegen des Fingers, mit dem die Berührungsbedienung ausgeführt wird, bei einer Entfernung, die größer als die der Streifbedienung ist, in einer annähernd konstanten Richtung. Die Kontaktstreifbedienung ist eine Bedienung, bei der die Bewegungsgeschwindigkeit des Fingers schneller als die der Wischbedienung ist. Die Ziehbedienung ist eine Bedienung zum Bewegen, in eine bestimmte Position, des Fingers, mit dem eine Berührungsbedienung auf einem spezifischen Objekt ausgeführt wird.
  • Bei den Kontaktstreifbedienungsmerkmalen besteht keine Notwendigkeit dafür, dass der Nutzer von den Koordinaten eines Bestimmungsortes der Fingerspitze unterrichtet sein muss sowie dass der Bewegungsabstand kürzer und die Bewegungsgeschwindigkeit schneller als bei der Wischbedienung und der Ziehbedienung ist. Deshalb ist die Kontaktstreifbedienung geeignet für den Gebrauch beim Umblättern einer Seite, dem Abrollen bzw. Scrollen eines Bildschirms bei hoher Geschwindigkeit und dem Bewegen der Fingerspitze in eine spezifizierte Richtung, um Eingabe ähnliche Streifeingaben auf einem Keyboard bzw. einer Tastatur sicherzustellen, wobei all dies den Zielort der Koordinaten wenig beeinflusst.
  • Obwohl die Fingerspitze in dem Zustand einer Näherung zu der Oberfläche 100a in einer fliegenden Streifbedienung ist, ist es leicht auf ein existierendes System anwendbar, da das System die fliegende Streifbedienung durch den gleichen Algorithmus wie eine Kontaktstreifbedienung in Bezug auf die Bewegungsgeschwindigkeit und den Bewegungsabstand der Fingerspitze in der XY-Richtung erfassen kann. Um die fliegende Streifbedienung zu erfassen, ist ein Näherungssensor erforderlich, um die Koordinaten der Fingerspitze in dem Näherungszustand zu erfassen.
  • [Konfiguration einer Nutzerschnittstelle]
  • 2 ist ein funktionelles Blockdiagramm zum Beschreiben der Konfiguration einer Nutzerschnittstelle 200. Die Nutzerschnittstelle 200 ist konfiguriert um ein Eingabegerät zu umfassen, das aus einer Anzeige 151, einem Näherungssensor 153 und einem Berührungssensor 155 und Hardwarequellen, wie eine CPU, einen RAM und einen Chipsatz, in Kooperation mit Softwarequellen wie Applikationen, einem OS und Gerätetreibern zusammengesetzt ist.
  • Die Nutzerschnittstelle 200 kann auch ein Zeigegerät 157 wie eine Maus, einen Zeigestift oder ein Touchpad, um den Mauscursor zu steuern, umfassen. Mit anderen Worten kann die Nutzerschnittstelle 200 sowohl durch den Maus-Bedienungsmodus als auch durch den Touchpanel-Bedienungsmodus unterstützt werden. Vor der Durchführung werden die Softwarequellen in einem nichtflüchtigen Speicher gespeichert, der in der Nutzerschnittstelle 200 oder einem Elektronikgerät mit der Nutzerschnittstelle 200, wie einem Computer, einem Tablet-Terminal oder einem Smartphone, montiert ist.
  • Der Näherungssensor 153 gibt einen physikalischen Wert aus, der in der Lage ist, die XYZ-Koordinaten einer Fingerspitze in dem Näherungszustand mit Bezug auf die Anzeige 151 zu erzeugen. Es besteht keine Notwendigkeit, dass die Art und die grundlegenden Prinzipien des Näherungssensors 153 besonders begrenzt werden, und ein elektromagnetischer Induktionssensor, ein optischer Liniensensor unter Verwendung von Infrarotlicht, eine Stereokamera, ein Ultraschallsensor oder dergleichen, die als eine Baugruppe unterschiedlich zu der Anzeige 151 bereitgestellt werden, können verwendet werden.
  • Der Berührungssensor 155 gibt einen physikalischen Wert aus, der in der Lage ist, die XY-Koordinaten einer Fingerspitze in dem Kontaktzustand mit der Oberfläche der Anzeige 151 auszugeben. Es besteht also keine Notwendigkeit, dass die Art und die grundlegenden Prinzipien des Berührungssensors 155 besonders gut begrenzt werden. Ein kapazitiver Touchpanel, der wie ein Berührungssensor funktioniert, kann als die Größe die Kapazität erfassen, während der Abstand Z der Fingerspitze in dem Näherungszustand von der Touchpanel-Oberfläche ist. In der Ausführungsform wird eine Beschreibung ausgeführt durch beispielhaftes Zeigen des kapazitiven Touchpanels, der aus transparenten Elektroden, die als Näherungssensor 153 funktionieren, und dem Berührungssensor 155 und einem Touchscreen 150, der auf der Anzeige 151 festgelegt ist, besteht.
  • In einem Beispiel können ein Näherungskoordinaten-Erzeugungsabschnitt 211, ein Kontaktkoordinaten-Verarbeitungsabschnitt 215 und ein Vorgangserzeugungsabschnitt 217 durch Gerätetreiber und ein Gerätesteuergerät konfiguriert sein. Der Näherungskoordinaten-Erzeugungsabschnitt 211 erzeugt die XYZ-Koordinaten 150 einer Fingerspitze in dem Näherungszustand aus einem physikalischen Wert, der durch den Touchscreen 150 ausgegeben wird. In dem Näherungszustand nimmt der Abstand zwischen der Oberfläche des Touchscreens 150 und der Fingerspitze verschiedene Werte an. Wenn der Näherungszustand aus dem Z-Achsenabstand der Fingerspitze erfasst wird und historische Informationen zu dem Abstand führen, gibt der Näherungskoordinaten-Erzeugungsabschnitt 211 als Näherungskoordinaten Koordinaten, die einem physikalischen Wert entsprechen, der als der Näherungszustand identifizierbar ist, zu dem Näherungskoordinaten-Verarbeitungsabschnitt 209 aus.
  • Der Kontaktkoordinaten-Erzeugungsabschnitt 215 erzeugt die XY-Koordinaten einer Fingerspitze in dem Kontaktzustand (Kontaktkoordinaten) von einer physikalischen Werteausgabe durch den Touchscreen 150. Wenn der Kontaktzustand durch einen Z-Achsenabstand der Fingerspitze oder von einer physikalischen Werteausgabe durch den Touchscreen 150 erfasst ist, gibt der Kontaktkoordinatenerzeugungsabschnitt 215 die Kontaktkoordinaten aus. Wenn das Näherungskoordinatensystem und das Kontaktkoordinatensystem unterschiedlich sind, müssen beiden miteinander assoziiert werden, um eine Berührungsbedienungs-Teilbild 313 (7) auszuführen, wie es später als eine Berührungsbedienung auf dem ursprünglichen Bild 303 (7) beschrieben wird. In der Ausführungsform stimmen jedoch beide überein, um die zwei Koordinatensysteme auf dem Touchscreen 150 zu konfigurieren. Das Zeigegerät 157 gibt einen physikalischen Wert entsprechend einer Nutzerbedienung zum Bewegen eines Mauscursors aus. Der Vorgangserzeugungsabschnitt 217 gibt einen Vorgang aus, der einem Vorgang zum Bewegen des Mauscursors oder einem Mausklick entspricht.
  • In dem Näherungszustand führt die Fingerspitze eine Änderung der Kapazität in einem Bereich der Zellen durch, welcher breiter ist als der in einem Kontaktzustand. Der Näherungskoordinaten-Verarbeitungsabschnitt 209 gibt als Näherungskoordinaten einen Bereich von Zellen aus, der breiter ist als der, wenn der Kontaktkoordinaten-Verarbeitungsabschnitt 215 Kontaktkoordinaten erzeugt. Die YX-Koordinaten auf dem Touchscreen 150, der durch eine rechtwinklige Linie von dem Pad einer Fingerspitze zu dem Touchscreen 105 geformt ist, werden als gerade darunterliegende Koordinaten bezeichnet. Der Näherungskoordinaten-Verarbeitungsabschnitt 209 erzeugt die gerade darunterliegenden Koordinaten aus einem Satz von Näherungskoordinaten und benachrichtigt einen Teilbild-Steuerabschnitt 207 über die erzeugten Koordinaten. Beispielsweise können die gerade darunterliegenden Koordinaten als ein Zentrum der Schwerkraft des Satzes der Näherungskoordinaten festgelegt sein.
  • Ein Kontaktkoordinaten-Verarbeitungsabschnitt 213 erzeugt Koordinaten einer Fingerspitze aus einem Satz von Kontaktkoordinaten und sendet die erzeugten Koordinaten an eine Nutzerfunktion 201. Der Kontaktkoordinaten-Verarbeitungsabschnitt 213 erfasst Kontaktkoordinaten, wenn eine Berührungsbedienung ausgeführt wird, um die Kontaktkoordinaten als Startkoordinaten einzusetzen, und sendet die erzeugen Koordinaten zu einer Nutzerfunktion 201. Der Kontaktkoordinaten-Verarbeitungsabschnitt 213 erfasst Kontaktkoordinaten, wenn eine Berührungsbedienung ausgeführt wird, um die Kontaktkoordinaten als Startkoordinaten einzusetzen, und sendet der Nutzerfunktion 201 Bedienungsdaten, einschließlich Informationen über Bewegungsrichtung und Bewegungsgeschwindigkeit oder Beschleunigung. Die Berührungsbedienung umfasst eine Kontaktstreifbedienung. In der Ausführungsform wird die Kontaktstreifbedienung als direkte Eingabe in die Nutzerfunktion 201 durchgeführt, während eine fliegende Streifbedienung nur als Eingabe verwendet wird, die mit einem Streiffenster 325 (7) verbunden ist. Da somit die fliegende Streifbedienung nur zum Vorsehen einer Anzeige durch Überlappen eines Teilbildes 313 auf einem ursprünglichen Bild 303 bereitgestellt wird, wirkt sie sich nicht auf das OS oder eine bestehende Applikation aus.
  • Die Nutzerfunktion 201 umfasst Applikationen, ein OS und dergleichen, um ein Durchblättern eines Browsers, Editieren von Photos, eine Dokumentenerzeugung und dergleichen durch den Touchscreen 150 für einen Nutzer bereitzustellen. Die Nutzerfunktion 201 sendet Bildinformationen an einen Erzeugungsabschnitt des ursprünglichen Bildes 203 und an den Steuerabschnitt 207 zum Erzeugen von Daten eines ursprünglichen Bildes. Der Erzeugungsabschnitt des ursprünglichen Bildes 203 umfasst einen Puffer zum Speichern von Bilddaten, nachdem er gezwungen wird, Bilddaten von den Bildinformationen zu erzeugen, die von der Nutzerfunktion 201 empfangen werden, um eine Anzeige auf dem Touchscreen 150 bereitzustellen.
  • Der Teilbild-Steuerabschnitt 207 erzeugt Daten auf dem Teilbild 313 aus den Bildinformationen, die von der Nutzerfunktion 201 empfangen werden. Der Teilbild-Steuerabschnitt 207 überwacht eine zeitliche Änderung in den gerade darunterliegenden Koordinaten, um eine fliegende Streifbedienung zu erkennen. Der Teilbild-Steuerabschnitt 207 extrahiert gerade darunterliegende Koordinaten (Startkoordinaten) aus der fliegenden Streifbedienung als eine Position, in der die fliegende Streifbedienung gestartet ist, und Bewegungsinformationen, wie die Bewegungsrichtung, die Bewegungsgeschwindigkeit oder die Beschleunigung und dergleichen.
  • Der Teilbild-Steuerabschnitt 207 erzeugt Daten auf dem Teilbild 313, die in einem Streiffenster 325 angezeigt werden von den Bildinformationen, die von der Nutzerfunktion 201 empfangen werden, die Startkoordinaten, die von der fliegenden Streifbedienung extrahiert werden und gibt die Daten an einen Bilddatensyntheseabschnitt 205 aus. Der Teilbild-Steuerabschnitt 207 kann an den Bilddatensyntheseabschnitt 205 Daten auf einem Spot-Bild erzeugen und senden, um auf den gerade unterhalb liegenden Koordinaten in dem Näherungszustand und bei der fliegenden Streifbedienung angezeigt zu werden. Das Spot-Bild wird verwendet, um es dem Nutzer zu ermöglichen, ein Bedienobjekt zu erkennen, das in dem Näherungszustand mit den gerade unterhalb befindlichen Koordinaten überlappt wird oder um eine Tippbedienung ohne Anzeigen des Streiffensters 325 auszuführen.
  • Wenn die gerade unterhalb liegenden Koordinaten ein Bedienobjekt, wie eine Taste, ein Zeichen oder eine Grafik, die in einem ursprünglichen Bild enthalten ist, das auf dem Touchscreen 150 angezeigt wird, überlappt, kann der Teilbild-Steuerabschnitt 207 der Nutzerfunktion 201 einen Anlass zum Hervorheben des Bedienobjekts senden. Da der Nutzer das hervorgehobene Bedienobjekt deutlich erkennen kann, ist es vorteilhaft, eine fälschliche Bedienung, wenn eine Berührungsbedienung direkt ohne eine fliegende Streifbedienung ausgeführt wird, zu verhindern.
  • Der Teilbild-Steuerabschnitt 207 kann basierend auf den Startkoordinaten, die in der fliegenden Streifbedienung und den Bewegungsinformationen enthalten sind, die Größe, Form und Koordinaten des Steiffensters 325 und dergleichen bestimmen. Der Teilbild-Steuerabschnitt 207 kann eine Vergrößerung zum Vergrößern oder zum Verkleinern des Teilbildes relativ zu dem ursprünglichen Bild basierend auf den Startkoordinaten, die in der fliegenden Streifbedienung und den Bewegungsinformationen enthalten sind, bestimmen. Der Teilbild-Steuerabschnitt 207 sendet die Koordinaten des Teilbildes 313 zu dem Kontaktkoordinaten-Verarbeitungsabschnitt 213. Der Kontaktkoordinaten-Verarbeitungsabschnitt 213 transformiert die Koordinaten der Berührungsbedienung zu dem Teilbild 313 in die Koordinaten der Berührungsbedienung zu dem ursprünglichen Bild 303 und sendet die Koordinaten zu der Nutzerfunktion 201.
  • [Bedienungsvorgang der Nutzerschnittstelle]
  • 3 ist ein Hauptflussdiagramm zum Beschreiben eines Beispiels eines Vorgangs, wenn die Nutzerschnittstelle 200 ein Streiffenster anzeigt, und 4 ist ein Flussdiagramm zum Beschreiben eines Beispiels eines Vorgangs zum Anzeigen des Streiffensters. 5 bis 10 sind Darstellungen 325 für Beschreibungszustände, wenn das Streiffenster 325 mit einer fliegenden Streifbedienung angezeigt wird.
  • Vor dem Start der Bedienung im Block 501 umfasst ein ursprüngliches Bild 303 die Objekte 303a bis 303d in einem Fenster, das einen Titelbalken 302 auf dem Touchscreen 150 anzeigt, wie es in 5A dargestellt wird. Auf dem Touchscreen 150 wird auch ein Mauscursor 305, der durch das Zeigegerät 157 gesteuert wird, angezeigt. Obwohl die Nutzerschnittstelle 200 sowohl den Maus-Bedienungsmodus als auch den Touchpanel-Bedieungsmodus für das ursprüngliche Bild 303 bedienen kann, kann die vorliegende Erfindung auch auf eine Nutzerschnittstelle angewandt werden, die nur den Touchpanel-Bedienungsmodus unterstützt.
  • Da ein ursprüngliches Bild, das in dem Maus-Bedienungsmodus betrieben wird, dahin tendiert, Bedienobjekte kleiner als solche eines ursprünglichen Bildes, das in dem Touchpanel-Bedienungsmodus arbeitet, aufzuweisen, ist die Anwendung der vorliegenden Erfindung wirkungsvoll. Ferner kann die vorliegende Erfindung auf ein ursprüngliches Bild sowohl in Mehrfachfenster- als auch in Einzelfenstersystemen angewandt werden. Der Titelbalken 302 enthält Bedientasten 301a bis 301c als Beispiele der Bedienobjekte. Ein Nutzer tippt die Bedienungstaste 301a an, um das Fenster zu schließen, tippt die Bedienungstaste 301b an, um die Fenstergröße zu reduzieren oder zu speichern, und tippt die Bedienungstaste 301c an, um das Fenster zu minimieren.
  • Der Mauscursor 305 wird zu jedem von diesen Bedienobjekten bewegt, um das Objekt mit einem Klickvorgang oder durch Tippen mit einer Fingerspitze zu aktivieren, um eine Funktion, die durch das Bedienobjekt definiert ist, auszuführen. Im Block 503 versucht der Nutzer die Taste 301a, wie in 5B dargestellt, zu tippen, um das Fenster des ursprünglichen Bildes 303 zu schließen. Da die Größe der Taste 301a verglichen mit der Größe der Fingerspitze nicht groß genug ist, kann der Nutzer beim Tippen der Taste 301a zufällig die benachbarte Taste 301b antippen.
  • Der Nutzer bzw. die Nutzerin bewegt seine oder ihre Fingerspitze direkt um die Taste 301a herum. Wenn der Näherungszustand erfasst wird, startet der Näherungskoordinat-Enerzeugungsabschnitt 211 ein Ausgeben eines Satzes von Näherungskoordinaten. Der Näherungskoordinaten-Verarbeitungsabschnitt 209 gibt gerade darunterliegende Koordinaten aus. Im Block 505 zeigt der Teilbild-Steuerabschnitt 207 ein Spot-Bild 307 auf den gerade darunterliegenden Koordinaten wie benötigt an, wie in 6A dargestellt. Obwohl das Spot-Bild 307 anscheinend mit dem ursprünglichen Bild 303 überlappt ist, wird das Spot-Bild 307 auf den gerade darunterliegenden Koordinaten angezeigt, ohne sich auf die Bedienung der Nutzerfunktion 201 auszuwirken. Durch das Spot-Bild 303 kann der Nutzer leicht die Startkoordinaten der fliegenden Streifbedienung erkennen, was es ebenfalls leicht macht, eine Berührungsbedienung auf einem großen Bedienobjekt, das mit dem Spot-Bild 307 überlappt ist, auszuführen, selbst mit einer Parallaxe, ohne das Streiffenster 325 anzuzeigen.
  • In einem anderen Beispiel instruiert der Teilbild-Steuerabschnitt 207, wenn ein Bedienobjekt auf den gerade darunterliegenden Koordinaten ist, die Nutzerfunktion 201, um das Bedienobjekt hervorzuheben. Das hervorgehobene Bedienobjekt ist Teil des ursprünglichen Bildes 303 und dies ermöglicht dem Nutzer, eine Berührungsbedienung auf dem exakt hervorgehobenen, relativ großen Bedienobjekt auszuführen, selbst mit einer Parallaxe, ohne das Streiffenster 325 anzuzeigen.
  • Vor der Tippbedienung in einem Zustand, in dem die Fingerspitze in den Näherungszustand eintritt, kann der Nutzer nachdenken, ob das Fenster wirklich geschlossen werden soll. In einigen Fällen kann der Nutzer unsicher darüber sein, ob das Fenster zu reduzieren oder zu minimieren ist. Selbst wenn die Fingerspitze in den Näherungszustand eintritt, fühlt sich der Nutzer jedoch durch das Streiffenster 325 nicht verärgert, da der Teilbild-Steuerabschnitt 207 das Streiffenster 325 nicht anzeigt, wenn keine Notwendigkeit für den Nutzer besteht, außer es wird eine fliegende Streifbedienung erfasst.
  • Im Block 507 führt der Nutzer eine fliegende Streifbedienung unter Verwendung des Bedienobjekts 301a aus, wie es die Startkoordinaten 306 in 6B darstellen. Der Teilbild-Steuerabschnitt 207 zeigt das Streiffenster 325 und das Teilbild an, selbst wenn die Startkoordinaten der fliegenden Streifbedienung nicht irgendeines der Bedienobjekte überlappt. Deshalb muss, um das Streiffenster anzuzeigen, der Nutzer als Startkoordinaten nicht ein Bedienobjekt festlegen, das zu Bedienen beabsichtigt ist. Der Nutzer kann die fliegende Streifbedienung durch Bewegen des vorhergehenden Teils der zweiten Verbindung des Zeigefingers ausführen, um die Fingerspitze schnell zu bewegen. Der Teilbild-Steuerabschnitt 207 erzeugt und sendet das Teilbild 313 an den Bilddatensyntheseabschnitt 205.
  • Im Block 509 stellt der Bilddatensyntheseabschnitt 205 das Streiffenster 325 so ein, um mit dem ursprünglichen Bild 303, wie in 7 dargestellt, zu überlappen, und zeigt das Teilbild 313 an. Das Teilbild 313 enthält Bedienobjekte 315a, 315b und 315c, die den Bedienobjekten 301a, 301b und 301c entsprechen. Der Vorgang im Block 509 wird später mit Bezugnahme auf 4 beschrieben. An diesem Punkt gibt es keine Berührungsbedienung auf dem ursprünglichen Bild 303. Im Block 511 überwacht der Näherungskoordinaten-Erzeugungsabschnitt 211 kontinuierlich den Näherungszustand und stoppt das Ausgeben der Näherungskoordinaten, wenn der Näherungszustand zu dem Trennungszustand verschoben wird. Wenn der Näherungszustand beibehalten wird, fährt der Vorgang mit dem Block 513 fort, während, wenn der Näherungszustand zu dem Trennungszustand verschoben wird, der Vorgang weiter zum Block 551 geht. Im Block 513 führt der Nutzer eine Tippbedienung auf dem Bedienobjekt 315a aus, das in dem Teilbildes 313 enthalten ist.
  • Wenn das Teilbild 313 größer gemacht wurde als das ursprüngliche Bild 303 kann die Tippbedienung auf dem Bedienobjekt 315a genauer mit der Fingerspitze ausgeführt werden. In dem Moment, in dem die fliegende Streifbedienung vervollständigt ist, weil der Zeigefinger, wie in 6B dargestellt, nicht auf dem Bedienobjekt 315a ist, kann der Nutzer deutlich das Bedienobjekt 315a in dem Teilbild 313 sehen, das rund um die Startkoordinaten 306 angezeigt wird, wie in 7A dargestellt, und dies macht die Bedienung leicht. Ferner kann, wenn das Teilbild 313 auf einer Position weg von den Startkoordinaten 306 liegt, wie in 7B dargestellt, der Nutzer die Tippbedienung durchführen, während er sowohl auf das ursprüngliche Bild 303 als auch auf das Teilbild 313 blickt. In beiden Verfahren kann das Teilbild 313 in einer Position angezeigt werden, die bequem für den Nutzer ist.
  • Im Block 513 transformiert, wenn der Nutzer die Tippbedienung auf dem Bedienobjekt 315a ausführt, der Kontaktkoordinaten-Verarbeitungsabschnitt 213 die Koordinaten und sendet die Koordinaten des entsprechenden Bedienobjekts 301a, die in dem ursprünglichen Bild 303 enthalten sind, an die Nutzerfunktion 201. Im Block 515 führt die Nutzerfunktion 201 ein Verarbeiten aus, das für die Berührungsbedienung auf dem Bedienobjekt 301a des ursprünglichen Bildes 303 definiert ist. Die Benutzerfunktion 201 muss nicht die Koordinaten des Teilbildes 313 erkennen, um die Tippbedienung des Teilbildes 313 zu verarbeiten. Deshalb benötigt die Nutzerfunktion 201 keine Änderungsbedienung, welche beim Anzeigen des Teilbildes 313 in dem Streiffenster 325 betroffen ist.
  • Der Nutzer kann eine Kontaktstreifbedienung getrennt von der fliegenden Streifbedienung ausführen. Wenn Koordinatendaten, welche einer Kontaktstreifbedienung entsprechen, von dem Kontaktkoordinaten-Verarbeitungsabschnitt 213 empfangen werden, führt die Nutzerfunktion 201 ein Verarbeiten entsprechend dem Scrollen des Bildschirms unter Umblättern einer Seite, unter Streifeingabe zu einem Softwaretastenfeld oder dergleichen aus. Wenn die Anzeige des Teilbildes 313 mit einer Kontaktstreifbedienung realisiert wird, kann diese Funktion nicht verwendet werden. In der Ausführung werden diese Funktionen jedoch nicht beeinflusst, da die Anzeige des Teilbildes 313 auf einer Schicht realisiert ist, welche sich von der Kontaktstreifbedienung unterscheidet.
  • Im Block 551 bestimmt der Teilbild-Steuerabschnitt 207 aus der Zeit des Stoppens der Eingabe der gerade darunterliegenden Koordinaten, ob eine vorbestimmte Zeit abgelaufen ist, seitdem sich die Fingerspitze in den Trennungszustand bewegt. Wenn die vorbestimmte Zeit abgelaufen ist, erkennt der Teilbild-Steuerabschnitt 207 aus der Zeit des Stoppens der Eingabe das Ende des Näherungszustands im Block 531, um das Einsetzen des Streiffensters 325 zu löschen und die Ausgabedaten über das Teilbild 313 zu stoppen. Als ein Ergebnis löscht der Bilddatensyntheseabschnitt 205 die Anzeige des Teilbildes 313.
  • Wenn somit der Nutzer die Tippbedienung auf das Teilbild 313 aufgibt kann, selbst wenn das Teilbild 313 angezeigt wird, der Nutzer die Fingerspitze in den Trennungszustand bewegen, um das Teilbild 313 zu löschen. Im Block 553 geht der Vorgang, wenn die Fingerspitze sich in den Näherungszustand innerhalb der gegebenen Zeitdauer wieder bewegt, zum Block 513, um eine Tippbedienung zu ermöglichen. Somit wird, da die fliegende Streifbedienung vervollständigt werden kann, selbst wenn die Fingerspitze zeitweise während einer Periode von den Startkoordinatendaten zu dem Ende der fliegenden Streifbedienung in den Trennungszustand bewegt wird, eine genaue Geste von dem Nutzer nicht gefordert.
  • Als Nächstes Bezug nehmend auf 4, wird ein Beispiel des Vorgangs im Block 509 beschrieben, um das Teilbild anzuzeigen. Der Teilbild-Steuerabschnitt 207, der eine fliegende Streifbedienung im Block 601 erkennt, bestimmt im Block 603, ob eine Vergrößerung/Reduzierung festgelegt wurde. Wenn eine Vergrößerung/Reduzierung in dem Teilbild-Steuerabschnitt 207 festgelegt ist, geht der Vorgang weiter zum Block 651, während, wenn es nicht festgelegt ist, der Vorgang weiter zum Block 605 geht. Im Block 605 bestimmt der Teilbild-Steuerabschnitt 207, ob eine wiederholte fliegende Streifbedienung festgelegt wird.
  • Die wiederholte fliegende Streifbedienung bedeutet, dass mehrfache fliegende Streifbedienungen kontinuierlich zu vorbestimmten Zeitintervallen oder kürzer ausgeführt werden. Da die zweite und folgende fliegende Streifbedienungen als eine kohärente Bedienung betrachtet werden können, die mit der ersten fliegenden Streifbedienung in Bezug auf die Zeit integriert sind, müssen die Startkoordinaten der zweiten und der nachfolgenden fliegenden Streifbedienungen nicht zu den Startkoordinaten der ersten fliegenden Streifbedienung angepasst werden. Ferner werden die Startkoordinaten der wiederholten fliegenden Streifbedienungen auf die Startkoordinaten der ersten fliegenden Streifbedienung gesetzt. Wenn die wiederholte fliegende Streifbedienung in dem Teilbild-Steuerabschnitt 207 festgelegt ist, geht der Vorgang weiter zum Block 631, während, wenn sie nicht festgelegt ist, der Vorgang zum Block 607 geht.
  • Im Block 607 erkennt der Teilbild-Steuerabschnitt 207 die Richtung der fliegenden Streifbedienung. Die Richtung der fliegenden Streifbedienung kann in die Richtung der XY-Koordinaten mit den Startkoordinaten wie dem Startpunkt festgelegt sein. Der Teilbild-Steuerabschnitt 207 kann, für die Richtung der fliegenden Streifbedienung, in etwa vier Richtungen oder acht Richtungen vorbestimmt werden mit den Startkoordinaten 306 als dem Startpunkt vorbestimmt werden, um mit entsprechenden Richtungen das Anzeigeverfahren des Streiffensters 325 und des Teilbildes 313 und dergleichen zu assoziieren.
  • Im Block 609 bestimmt der Teilbild-Steuerabschnitt 207 die Größe und die Form des Streiffensters 325 aus Bewegungsinformationen der fliegenden Streifbedienung. Die Größe des Streiffensters 253 kann durch Vorgabewerte oder basierend auf der Geschwindigkeit oder Beschleunigung der fliegenden Streifbedienung bestimmt werden. Zum Beispiel kann der Teilbild-Steuerabschnitt 207 die Größe größer stellen, wenn die Bewegungsgeschwindigkeit der Fingerspitze schneller wird.
  • In diesem Fall kann der Nutzer die Größe des Streiffensters 325 nur durch Steuern der Bewegungsgeschwindigkeit der Fingerspitze in der XY-Richtung anpassen, mit welcher die fliegende Streifbedienung ausgeführt wird. Obwohl eine Z-Achsenkomponente in der Bewegung der Fingerspitze enthalten sein kann, kann der Teilbild-Steuerabschnitt 207 nur die Komponente in der XY-Richtung extrahieren. Der Nutzer kann leichter die Bewegungsgeschwindigkeit der Fingerspitze in der XY-Richtung, verglichen mit der Steuerung in der Z-Achsenrichtung, steuern.
  • Die Form des Streiffensters 325 kann ein Rechteck von vertikaler Länge, ein Rechteck von horizontaler Länge oder von runder Form sein. Zu dieser Zeit kann der Teilbild-Steuerabschnitt 207 die Form des Streiffensters 325 aus der Anordnung der Bedienobjekte rund um die Startkoordinaten 306 bestimmen. Wenn zum Beispiel die Bedienobjekte 301a, 301b und 301c Seite an Seite in der X-Achsenrichtung des ursprünglichen Bildes 303 angeordnet sind, wie in 5A dargestellt, kann der Bilddaten-Erzeugungsabschnitt 207 ein Streiffenster 325 horizontaler Länge in der X-Achsenrichtung, wie in 7A und 7B dargestellt, festlegen.
  • Ferner, wie in 10 dargestellt, kann ein Streiffenster 325, wenn die Bedienobjekte 381 des ursprünglichen Bildes 303 in der Y-Achsenrichtung angeordnet sind, der Teilbild-Steuerabschnitt 207 eine vertikale Länge in der Y-Achsenrichtung festlegen, um die Bedienobjekte 383 entsprechend zu den Bedienobjekten 381 als Teilbild 313f anzuzeigen. Ferner kann, wenn es keine Bedienobjekte rund um die Startkoordinaten 306 gibt, ein richtungsloses Streiffenster wie eine runde Form oder eine quadratische Form festgelegt sein.
  • Im Block 611 bestimmt der Teilbild-Steuerabschnitt 207 die Koordinaten des Streiffensters 325. Die Koordinaten des Streiffensters 325 können bestimmen, dass das Zentrum des Schwerpunkts des Streiffensters 325 mit den Startkoordinaten 306 zusammenfällt. In einem derartigen Fall, falls der Teil des Streiffensters 325 aus dem Bildschirm heraussteht, können die Koordinaten des Streiffensters 325 in einer Position bestimmt werden, in der die Bedienobjekte 315a des Streiffensters 325 und die Bedienobjekte 301a des ursprünglichen Bildes 303 so nahe wie möglich beieinanderliegen, wie in 7A dargestellt, und dass die gesamte Fläche des Streiffensters 325 innerhalb des Bildschirms enthalten ist.
  • In einem anderen Beispiel können die Koordinaten des Streiffensters 325 in einer Position bestimmt werden, in der das Streiffenster 325 durch einen vorbestimmten Abstand von den Startkoordinaten 306 in Richtung der fliegenden Streifbedienung getrennt ist, wie in 7B dargestellt. Zum Beispiel kann der Teilbild-Steuerabschnitt 207 den Abstand enger sowie die Geschwindigkeit oder Beschleunigung schneller festlegen. In diesem Fall kann der Nutzer die Position des Streiffensters 325 nur durch Steuern der Bewegungsgeschwindigkeit der Fingerspitze in der XY-Richtung bestimmen, mit welcher die fliegende Streifbedienung ausgeführt wird.
  • Im Block 613 bestimmt der Teilbild-Steuerabschnitt 207 den Maßstab der Vergrößerung des Teilbildes 313, der in dem Streiffenster 325 angezeigt wird. Der Maßstab der Vergrößerung kann durch eine Vorgabe oder basierend auf einer Bewegungsinformation aus der fliegenden Streifbedienung bestimmt werden. Zum Beispiel kann der Teilbild-Steuerabschnitt 207 den Maßstab der Vergrößerung, wenn die Bewegungsgeschwindigkeit der Fingerspitze schneller wird, vergrößern. Der Nutzer kann den Maßstab der Vergrößerung des Teilbildes 313 nur durch Steuern der Bewegungsgeschwindigkeit der Fingerspitze anpassen, mit welcher die fliegende Streifbedienung ausgeführt wird.
  • Im Block 614 benachrichtigt der Teilbild-Steuerabschnitt 207 den Kontaktkoordinaten-Verarbeitungsabschnitt 213 über die Koordinaten des Teilbildes 313 des Streiffensters 325. Danach transformiert der Kontaktkoordinaten-Verarbeitungsabschnitt 213 die Kontaktkoordinaten, die von einer Berührungsbedienung zu dem Teilbild 313 erfasst werden, in die Koordinaten des ursprünglichen Bildes 303 und transferiert die Koordinaten zu der Nutzerfunktion 201. Im Block 615 erzeugt der Teilbild-Steuerabschnitt 207 Daten auf dem Teilbild 313, die in dem Streiffenster 325, in Bezug auf Größe, Gestalt und Koordinaten angezeigt werden sollen und überträgt die Daten zu dem Bilddatensyntheseabschnitt 205. Im Block 509 der 3 zeigt der Teilbilddaten-Syntheseabschnitt 205 das Teilbild 313 in einer Position des Streiffensters 325.
  • Im Block 651 erkennt der Teilbild-Steuerabschnitt 207 die Richtung der fliegenden Streifbedienung. Ein Verarbeiten für die Richtung der fliegenden Streifbedienung kann dem Block 607 folgen. Beispielsweise, wie in 8A dargestellt, wird angenommen, dass der Teilbild-Steuerabschnitt 207 die Richtung 321 und die Richtung 323 Y-Achsenrichtung mit der Richtung 321 assoziiert, das Erzeugen eines Teilbildes 313a, wie in 8B dargestellt, reduziert und mit der Richtung 323 das Erzeugen eines Teilbildes 313b assoziiert, das vergrößert wird, wie in 9A dargestellt. Obwohl die Startkoordinaten 306 in einer Position entsprechend einem Bedienobjekt oder in einer Position, die nicht damit korrespondiert, angeordnet sein können, sind die Startkoordinaten 320 in 8A in einer Position angeordnet, in der kein Bedienobjekt des ursprünglichen Bildes 303 für den Zweck der Darstellung existiert.
  • Das Teilbild 313a und das Teilbild 313b sind reduzierte/vergrößerte Bilder in einem vorbestimmten Bereich des ursprünglichen Bildes 303 mit den Startkoordinaten 320 als Zentrum. Im Block 653 bestimmt der Teilbild-Steuerabschnitt 207 die Größe und die Form des Streiffensters 325. Der Vorgang kann zu dieser Zeit dem Vorgang im Block 609 folgen. Im Block 655 definiert der Teilbild-Steuerabschnitt 207 die Koordinaten des Streiffensters 325. Der Vorgang kann zu dieser Zeit dem Vorgang im Block 611 folgen.
  • Im Block 657 erzeugt, wenn die Richtung der fliegenden Streifbedienung in Bezug auf die Startkoordinaten 306 in der Richtung 321 liegt, der Teilbild-Steuerabschnitt 207 Daten auf dem reduzierten Teilbild 313a, das in 8B dargestellt wird, während, wenn es die Richtung 323 ist, der Teilbild-Steuerabschnitt 207 Daten auf dem vergrößerten Teilbild 313b, das in 9A dargestellt wird, erzeugt. Der Vorgang zum Bestimmen der Maßstäbe der Reduktion und der Vergrößerung der Teilbilder 313a und 313b kann dem Vorgang im Block 613 folgen.
  • Im Block 631 bestimmt der Teilbild-Steuerabschnitt 207, ob eine wiederholte fliegende Streifbedienung ausgeführt wird. Es ist anzunehmen, dass der Teilbild-Steuerabschnitt 207 mit der Richtung 321 das Erzeugen der reduzierten Teilbilddaten, wie sie in 8A dargestellt sind, assoziiert, und mit der Richtung 323 die Erzeugung der vergrößerten Teilbilddaten, wie sie 9A dargestellt sind, assoziiert.
  • Der Teilbild-Steuerabschnitt 207 erkennt die Richtung der ersten fliegenden Streifbedienung im Block 633 und bestimmt eine Reduktion oder eine Vergrößerung. Eine Verarbeitung für die Richtung der fliegenden Streifbedienung kann dem Block 607 folgen. Der Teilbild-Steuerabschnitt 207 bestimmt die Größe und Form des Streiffensters 325 im Block 635 aus der ersten fliegenden Streifbedienung und bestimmt die Koordinaten des Streiffensters 325 im Block 637. Der Vorgang kann zu dieser Zeit dem Vorgang der Blöcke 609 und 611 folgen.
  • Im Block 639 erkennt der Teilbild-Steuerabschnitt 207 nachfolgende fliegende Streifbedienungen. Wenn die Richtung 323 erkannt wird, erzeugt der Teilbild-Steuerabschnitt 207 im Block 641 Bilddaten für ein Anzeigen, in einem Streiffenster 325b, 325c, eines Teilbildes 313d, 313e, das größer als ein Teilbild 313c, 313d des vorhergehenden Streiffensters 325a, 325b ist, wie in 9B dargestellt, jedes Mal, nachdem die fliegende Streifbedienung, die innerhalb einer vorbestimmten Zeitdauer ausgeführt wird, erkannt wird.
  • Wenn die Richtung 321 erkannt wird, erzeugt der Teilbild-Steuerabschnitt 207 Bilddaten zum Anzeigen, in dem Streiffenster 325, eines Teilbildes, das kleiner als das vorhergehende Teilbild gemacht wird, jedes Mal, nachdem die fliegende Streifbedienung, die innerhalb einer vorbestimmten Zeitdauer ausgeführt wird, erkannt wird. Beachte, dass die Größen der Streiffenster 325a bis 325c feststehen können, um nur den Maßstab des Teilbildes zu ändern. Wenn die wiederholte fliegende Streifbedienung festgelegt ist, transferiert der Teilbild-Steuerabschnitt 207 im Block 615 Daten auf ein reduziertes oder vergrößertes Teilbild mit einer Vergrößerung, die auf einer Schritt-für-Schritt-Basis variiert wird, zu den Bilddatensyntheseabschnitt 205, jedes Mal, wenn der Nutzer eine fliegende Streifbedienung ausführt.
  • Während die vorliegende Erfindung mit Bezug auf die spezifische Ausführungsform, die in den Zeichnungen dargestellt wird, beschrieben wurde, ist die vorliegende Erfindung nicht auf die Ausführungsform, die in den Zeichnungen dargestellt wird, begrenzt. Es ist nutzlos zu sagen, dass irgendeine Konfiguration, die bisher bekannt ist, eingesetzt werden kann, solange sie die Effekte der vorliegenden Erfindung aufweist.
  • Bezugszeichenliste
    • 100
    Anzeige
    100a
    Anzeigeoberfläche
    200
    Nutzerschnittstelle
    301a bis 301c, 381
    Bedienobjekt des ursprünglichen Bildes 303
    303
    ursprüngliches Bild
    305
    Mauscursor
    306, 320
    Startkoordinaten
    307
    Spot-Bild
    313, 313a bis 131f
    Teilbildes
    315a bis 315c
    Bedienobjekt des Teilbildes 313
    325, 325a bis 325c
    Streiffenster
    351a bis 351b, 353a bis 353c, 355a bis 355c
    Bedienobjekt
    381
    Bedienobjekt des ursprünglichen Bildes 303
    383
    Bedienobjekt des Teilbildes 313
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2013-225261 A [0008]
    • WO 2012/132802 [0008]
    • WO 2011/027665 [0008]
    • JP 11-65769 A [0008]
    • US 2013/0293490 A [0008]
  • Zitierte Nicht-Patentliteratur
    • Yoshiki Takeoka, et al. Z-touch: Eine Infrastruktur für 3D Gesteninteraktion in der Nähe von Tabletop-Oberflächen, [online], ITS 2010: Devices & Algorithms, [recherchiert am 1. August 2015], das Internet <URL: http://lab.rekimoto.org/projects/z-touch/> [0008]
    • Hiroyuki Washino, et al. 3D Touchpanel Nutzerschnittstelle, [online], Information Processing Society of Japan Interaction 2009, [recherchiert am 1. August 2015], das Internet <URL: http://www.interactionipsj.org/archives/seite2009/interactive/0037/0037.pdf> [0008]

Claims (20)

  1. Nutzerschnittstelle, die eine Eingabe eines Elektronikgerätes mit einem Zeigemedium ermöglicht, umfassend: eine Anzeige; einen Näherungssensor zum Erzeugen von Näherungskoordinaten des Zeigemediums in einem Näherungszustand zu einer Oberfläche der Anzeige mit einem ursprünglichen Bild, das darauf angezeigt wird; einen Berührungssensor zum Erzeugen von Kontaktkoordinaten des Zeigemediums in einem Kontaktzustand mit der Oberfläche der Anzeige; einen Teilbild-Steuerabschnitt zum Erzeugen von Daten zum Anzeigen eines Teilbildes auf der Anzeige, das durch Vergrößern eines vorbestimmten Bereichs des ursprünglichen Bildes in einer Weise erhalten wird, um auf dem ursprünglichen Bild überlappt zu sein, wenn eine fliegende Streifbedienung, die mit dem Zeigemedium ausgeführt wird, in dem Näherungszustand aus den Näherungskoordinaten erkannt wird; und einen Kontaktkoordinaten-Verarbeitungsabschnitt zum Ausgeben der Kontaktkoordinaten des Teilbildes als Kontaktkoordinaten des ursprünglichen Bildes an eine Nutzerfunktion.
  2. Nutzerschnittstelle gemäß Anspruch 1, wobei der Näherungssensor und der Berührungssensor durch einen Touchpanel konfiguriert sind, und wobei ein Touchscreen durch eine Anzeige und den Touchpanel konfiguriert ist.
  3. Nutzerschnittstelle gemäß Anspruch 1, wobei der Kontaktkoordinaten-Verarbeitungsabschnitt an die Nutzerfunktion Kontaktkoordinaten ausgibt, welche einer Streifbedienung entsprechen, die auf dem ursprünglichen Bild mit dem Zeigemedium in dem Kontaktstadium ausgeführt wird.
  4. Nutzerschnittstelle gemäß Anspruch 1, weiterhin ein Zeigegerät umfassend zum Erzeugen eines Vorgangs, um einen Mauscursor, der auf dem ursprünglichen Bild angezeigt wird, zu steuern.
  5. Nutzerschnittstelle gemäß Anspruch 1, wobei ein vorbestimmter Bereich des ursprünglichen Bildes Startkoordinaten der fliegenden Streifbedienung enthält.
  6. Nutzerschnittstelle gemäß Anspruch 1, wobei der Steuerabschnitt des Teilbildes Daten auf einem Spot-Bild erzeugt, die auf Koordinaten direkt unterhalb des Zeigemediums in dem Näherungszustand angezeigt werden.
  7. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes der Nutzerfunktion einen Vorgang zum Ändern einer Anzeige eines Bedienobjekts des ursprünglichen Bildes sendet, wenn das Zeigemedium in dem Näherungszustand gerade oberhalb des Bedienobjekts angeordnet ist.
  8. Nutzerschnittstelle gemäß Anspruch 1, wobei der Steuerabschnitt des Teilbildes das Erzeugen von Daten auf dem Teilbild stoppt, wenn eine vorbestimmte Zeit abgelaufen ist, seitdem das Zeigemedium in einen Trennungszustand bewegt wird, nachdem das Teilbild angezeigt wurde.
  9. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes Daten zum Anzeigen des Teilbildes erzeugt, so dass ein Bedienobjekt, das in dem Teilbild enthalten ist und einem Bedienobjekt des ursprünglichen Bildes entspricht, rund um das Bedienobjekt, das in dem ursprünglichen Bild enthalten ist, angeordnet wird.
  10. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes eine Position des Teilbildes relativ zu dem ursprünglichen Bild, entsprechend einer Bewegungsrichtung von den Startkoordinaten der fliegenden Streifbedienung, bestimmt.
  11. Nutzerschnittstelle gemäß Anspruch 1, wobei der Steuerabschnitt des Teilbildes eine Vergrößerung des Teilbildes relativ zu dem ursprünglichen Bild, entsprechend einer Bewegungsrichtung von den Startkoordinaten der fliegenden Streifbedienung, bestimmt.
  12. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes eine Vergrößerung des Teilbildes relativ zu dem ursprünglichen Bild, entsprechend einer Bewegungsgeschwindigkeit oder einer Bewegungsbeschleunigung des Zeigemediums, mit dem die fliegende Streifbedienung ausgeführt wird, bestimmt.
  13. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes Daten auf dem Teilbild mit einer Vergrößerung, die mit Bezug auf das ursprüngliche Bild auf einer Schritt-für-Schritt-Basis variiert, jedes Mal, wenn eine fliegende Streifbedienung wiederholt zu einem vorbestimmten Zeitintervall oder kürzer ausgeführt wird, erzeugt
  14. Nutzerschnittstelle gemäß Anspruch 1, wobei der Teilbild-Steuerabschnitt des Teilbildes entweder beide oder nur eine der Form und der Größe des Teilbildes gemäß einer Anordnung einer Mehrzahl von Bedienobjekten, die in dem ursprünglichen Bild enthalten sind, festsetzt.
  15. Elektronikgerät, das in der Lage ist, eine Eingabe durch die Nutzerschnittstelle entsprechend einem der Ansprüche 1 bis 14 auszuführen.
  16. Verfahren, in welchem eine Nutzerschnittstelle eine Anzeigeverarbeitungseingabe einschließt, umfassend: – Erfassen von Koordinaten eines Zeigemediums, das in einem Näherungszustand zu der Anzeige zum Anzeigen eines ursprünglichen Bildes bewegt wird; – Erfassen einer fliegenden Streifbedienung von Koordinaten des Zeigemediums in dem Näherungszustand; – Anzeigen eines Teilbildes, das durch teilweises Vergrößern eines vorbestimmten Bereichs des ursprünglichen Bildes erhalten wird, um auf dem ursprünglichen Bild in Reaktion auf das Erfassen der fliegenden Streifbedienung überlappt zu werden; und – Verarbeiten einer Berührungsbedienung auf dem Teilbild als eine Berührungsbedienung auf dem ursprünglichen Bild.
  17. Verfahren gemäß Anspruch 16, weiterhin umfassend: – Erfassen einer Kontaktstreifbedienung, die auf der Anzeige mit dem Zeigemedium ausgeführt wird, das in einem Kontaktzustand bewegt wird; und – Ausführen eines Verarbeitens auf dem ursprünglichen Bild in Reaktion auf das Erfassen der Kontaktstreifbedienung.
  18. Verfahren gemäß Anspruch 16, weiterhin umfassend: – Ausführen einer Berührungsbedienung auf einem Bedienobjekt, das in dem ursprünglichen Bild enthalten ist, ohne die fliegende Streifbedienung auszuführen; und – Ausführen eines Verarbeitens auf dem Bedienobjekt, ohne das Teilbild anzuzeigen.
  19. Verfahren gemäß Anspruch 16, weiterhin umfassend: – Extrahieren von Bewegungsinformationen von der fliegenden Streifbedienung; und – Bestimmen, basierend auf den Bewegungsinformationen, irgendeine von einer Größe, von einer Form, von den Koordinaten und von einer Vergrößerung des Teilbildes relativ zu dem ursprünglichen Bild.
  20. Computerprogrammprodukt, das einen Computer, der eine Eingabe mittels einer Geste eines Zeigemediums an einer Anzeige mit XY-Koordinaten, die auf einer Ebene definiert werden, ermöglicht, dazu veranlasst zu funktionieren zum: – Anzeigen eines ursprünglichen Bildes auf der Anzeige, das ein Bedienobjekt enthält; – Erfassen von Koordinaten des Zeigemediums, das sich in einer Richtung der XY-Koordinaten bei einer Geschwindigkeit von einem vorbestimmten Wert oder mehr bewegt in einer Position eines Schwebens über einer Oberfläche der Anzeige; – Anzeigen eines Teilbildes, das durch teilweises Vergrößern des ursprünglichen Bildes, in einer Weise erhalten wird, bei der es das ursprüngliche Bild in Reaktion auf das Erfassen der Koordinaten überlappt; und – Verarbeiten einer Berührungsbedienung auf dem Bedienobjekt, das in dem Teilbild enthalten ist, als eine Berührungsbedienung auf dem ursprünglichen Bild.
DE102016115479.2A 2015-08-27 2016-08-19 Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät Pending DE102016115479A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015167570A JP5993072B1 (ja) 2015-08-27 2015-08-27 電子機器のユーザ・インターフェース、入力の処理方法および電子機器
JP2015-167570 2015-08-27

Publications (1)

Publication Number Publication Date
DE102016115479A1 true DE102016115479A1 (de) 2017-03-02

Family

ID=56921050

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016115479.2A Pending DE102016115479A1 (de) 2015-08-27 2016-08-19 Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät

Country Status (4)

Country Link
US (1) US10318047B2 (de)
JP (1) JP5993072B1 (de)
CN (1) CN106484175B (de)
DE (1) DE102016115479A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7130514B2 (ja) * 2018-09-27 2022-09-05 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP2021176049A (ja) 2020-05-01 2021-11-04 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び情報処理方法
JP2022065419A (ja) 2020-10-15 2022-04-27 セイコーエプソン株式会社 表示方法、及び表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165769A (ja) 1997-08-25 1999-03-09 Oki Electric Ind Co Ltd タッチパネル表示制御方法及びそれを記録した記録媒体
WO2011027665A1 (ja) 2009-09-02 2011-03-10 日本電気株式会社 表示装置
WO2012132802A1 (ja) 2011-03-28 2012-10-04 富士フイルム株式会社 タッチパネル装置及びその表示方法並びに表示用プログラム
JP2013225261A (ja) 2012-04-23 2013-10-31 Panasonic Corp 表示装置、表示制御方法及びプログラム
US20130293490A1 (en) 2012-02-03 2013-11-07 Eldon Technology Limited Display zoom controlled by proximity detection

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882319B2 (ja) * 2005-09-08 2012-02-22 パナソニック株式会社 情報表示装置
KR100900295B1 (ko) * 2008-04-17 2009-05-29 엘지전자 주식회사 이동 디바이스와 이동 통신 시스템의 사용자 인터페이스방법
JP5326802B2 (ja) * 2009-05-19 2013-10-30 ソニー株式会社 情報処理装置、画像拡大縮小方法及びそのプログラム
JP4843696B2 (ja) 2009-06-30 2011-12-21 株式会社東芝 情報処理装置およびタッチ操作支援プログラム
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9129045B2 (en) 2010-04-23 2015-09-08 C Speed, Llc Interactive magnification tool
JP5845969B2 (ja) * 2012-02-27 2016-01-20 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP2012043452A (ja) * 2011-10-05 2012-03-01 Toshiba Corp 情報処理装置およびタッチ操作支援プログラム
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
JP5949010B2 (ja) * 2012-03-16 2016-07-06 富士通株式会社 入力制御装置、入力制御プログラム、及び入力制御方法
JP5620440B2 (ja) * 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御装置、表示制御方法及びプログラム
JP2014115876A (ja) * 2012-12-11 2014-06-26 Mitsubishi Electric Corp ３次元タッチパネルを用いた被操作端末の遠隔操作方法
US9075507B2 (en) * 2013-03-14 2015-07-07 Cellco Partnership Silence reminder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165769A (ja) 1997-08-25 1999-03-09 Oki Electric Ind Co Ltd タッチパネル表示制御方法及びそれを記録した記録媒体
WO2011027665A1 (ja) 2009-09-02 2011-03-10 日本電気株式会社 表示装置
WO2012132802A1 (ja) 2011-03-28 2012-10-04 富士フイルム株式会社 タッチパネル装置及びその表示方法並びに表示用プログラム
US20130293490A1 (en) 2012-02-03 2013-11-07 Eldon Technology Limited Display zoom controlled by proximity detection
JP2013225261A (ja) 2012-04-23 2013-10-31 Panasonic Corp 表示装置、表示制御方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hiroyuki Washino, et al. 3D Touchpanel Nutzerschnittstelle, [online], Information Processing Society of Japan Interaction 2009, [recherchiert am 1. August 2015], das Internet <URL: http://www.interactionipsj.org/archives/seite2009/interactive/0037/0037.pdf>
Yoshiki Takeoka, et al. Z-touch: Eine Infrastruktur für 3D Gesteninteraktion in der Nähe von Tabletop-Oberflächen, [online], ITS 2010: Devices & Algorithms, [recherchiert am 1. August 2015], das Internet <URL: http://lab.rekimoto.org/projects/z-touch/>

Also Published As

Publication number Publication date
CN106484175A (zh) 2017-03-08
JP2017045298A (ja) 2017-03-02
CN106484175B (zh) 2019-06-25
US10318047B2 (en) 2019-06-11
JP5993072B1 (ja) 2016-09-14
US20170060324A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
DE112007000278T5 (de) Gestikulieren mit einer Mehrpunkt-Abtastvorrichtung
EP2795451B1 (de) Verfahren zum betrieb einer mehrfachberührungsfähigen anzeige und vorrichtung mit einer mehrfachberührungsfähigen anzeige
DE202016001819U1 (de) Berührungseingabe-Cursor-Manipulation
DE202011110907U1 (de) Markierungsmenüs für Mehrfachberührung und richtungsabhängige musterbildende Gesten
DE202016001845U1 (de) Berührungseingabe-Cursor-Manipulation
DE112012007203T5 (de) Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren
DE202009018653U1 (de) Berührungsereignismodell
DE102012020607B4 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE202008007847U1 (de) Geschwindigkeits-/Positionsmodus-Translation
DE202005021492U1 (de) Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
DE112012007167T5 (de) Informations-Anzeigevorrichtung, Anzeigeinformations-Operationsverfahren
DE112013006924T5 (de) Programmierbare Anzeigevorrichtung und Bildschirmbedienungsverarbeitungsprogramm hierfür
DE112013004801T5 (de) Multimodaler Berührungsbildschirmemulator
WO2019072512A1 (de) Verfahren zur bereitstellung einer haptischen rückmeldung an einen bediener einer berührungssensitiven anzeigeeinrichtung
JP2009151638A (ja) 情報処理装置及びその制御方法
DE202017105614U1 (de) Systeme und Computerprogrammprodukte für eine Touchscreen-Benutzeroberfläche eines kollaborativen Bearbeitungstools
DE102019200287A1 (de) Bildmessgerät und computerlesbares Medium
DE102016115479A1 (de) Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät
DE202017105674U1 (de) Steuerung eines Fensters unter Verwendung eines berührungsempfindlichen Rands
DE102017121342A1 (de) Anzeigesteuerungsvorrichtung, anzeigesteuerungssystem und anzeigesteuerungsverfahren
CN102541358B (zh) 滑动点击响应的3d视角变换系统及方法
EP3538977B1 (de) Verfahren zum betreiben eines bediensystems und bediensystem
DE102015009821A1 (de) Optisches digitales Lineal
DE102016204692A1 (de) Steuerung der Mehrfachauswahl auf berührungsempfindlichen Flächen
EP3246803A1 (de) Touchpad mit gestensteuerung für wallscreen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE