DE112016007545T5 - Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm - Google Patents

Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm Download PDF

Info

Publication number
DE112016007545T5
DE112016007545T5 DE112016007545.6T DE112016007545T DE112016007545T5 DE 112016007545 T5 DE112016007545 T5 DE 112016007545T5 DE 112016007545 T DE112016007545 T DE 112016007545T DE 112016007545 T5 DE112016007545 T5 DE 112016007545T5
Authority
DE
Germany
Prior art keywords
line
sight
screen
judging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112016007545.6T
Other languages
English (en)
Inventor
Yuichi Sasaki
Kentaro Mori
Atsushi Hori
Ayako Nagata
Kiyoyasu Maruyama
Miho Ishikawa
Satoshi Yamazaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE112016007545T5 publication Critical patent/DE112016007545T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Eine Tastfeld-Eingabeeinrichtung (1) enthält eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit (12), die beurteilt, ob eine Tastgestenoperation eine Operation in einem Sichtlinienanwesenheitszustand oder eine Operation in einem Sichtlinienabwesenheitszustand ist, und Sichtlinien-Beurteilungsinformationen (A2) ausgibt, eine Operationsmodus-Umschalteinheit (13), die Befehlsinformationen (A3) auf Basis der Sichtlinien-Beurteilungsinformationen (A2) ausgibt, eine Operationsbeurteilungseinheit (14), die einen Wahlwert auf Basis von Operationsinformationen (A0) durch ein Beurteilungsverfahren gemäß den Befehlsinformationen (A3) generiert, und eine Bildschirmsteuereinheit (16), die bewirkt, dass ein Tastfeld (20) ein Bild gemäß den Befehlsinformationen (A3) ausgibt. Die Operationsbeurteilungseinheit (14) enthält eine Bildschirmkomponenten-Gestenbeurteilungseinheit (141), die einen Wahlwert anhand von Operationsinformationen (A0) gemäß einer Tastgestenoperation bestimmt, die auf einer Bildschirmkomponente durchgeführt wird, die als ein Operationsbild in dem Sichtlinienanwesenheitszustand angezeigt wird, und eine Vollschirm-Gestenbeurteilungseinheit (142), die einen Wahlwert anhand von Operationsinformationen (A0) gemäß einer Tastgestenoperation bestimmt, die an dem ganzen Schirm in dem Sichtlinienabwesenheitszustand durchgeführt wird.

Description

  • ERFINDUNGSGEBIET
  • Die vorliegende Erfindung betrifft eine Tastfeld-Eingabeeinrichtung, die eine Tastgestenoperation empfängt und ein Signal gemäß der Tastgestenoperation ausgibt, und betrifft eine Tastgesten-Beurteilungseinrichtung, ein Tastgesten-Beurteilungsverfahren und ein Tastgesten-Beurteilungsprogramm zum Empfangen von Operationsinformationen entsprechend der Tastgestenoperation als eine Eingabe und Ausgeben eines Signals gemäß den empfangenen Operationsinformationen.
  • ALLGEMEINER STAND DER TECHNIK
  • Im Allgemeinen führt ein Benutzer, der eine Tastfeld-Eingabeeinrichtung verwendet, eine Tastgestenoperation durch, während er einen auf dem Tastfeld angezeigten GUI(Graphical User Interface)-Schirm betrachtet. Während des Ausführens einer Aufgabe wie etwa des Fahrens eines Kraftfahrzeugs oder Justierens der Position einer Kamera kann der Benutzer die Tastgestenoperation nicht durchführen, während er den Schirm des Tastfelds betrachtet, das heißt in einem „Sichtlinienanwesenheitszustand“ als einem Zustand, in dem der Benutzer seine Augen auf den Schirm des Tastfelds lenkt.
  • Als eine Gegenmaßnahme gegen dieses Problem schlägt die Patenreferenz 1 eine Einrichtung vor, die einen Operationsteil (im Folgenden als eine „Bildschirmkomponente“ bezeichnet) bestimmt, der auf einem Tastfeld angezeigt werden soll, auf Basis des Ähnlichkeitsgrads zwischen einer Form, die durch Verbinden von Kontaktpunkten von mehreren Fingern gebildet wird, die das Tastfeld kontaktieren, und einer zuvor eingestellten Form.
  • Weiterhin schlägt Patentreferenz 2 eine Einrichtung vor, die beurteilt, dass der Benutzer eine Person (z. B. eine sehbehinderte Person) ist, die eine Tastgestenoperation durchführt, ohne einen Schirm eines Tastfelds zu betrachten, das heißt in einem „Sichtlinienabwesenheitszustand“ als einem Zustand, in dem der Benutzer seine Augen nicht auf den Schirm des Tastfelds lenkt, wenn die Fläche eines durch die Positionen von mehreren, das Tastfeld kontaktierenden Fingern spezifizierten Gebiets größer oder gleich einem zuvor eingestellten Schwellwert ist.
  • REFERENZ NACH DEM STAND DER TECHNIK
  • PATENTREFERENZ
    • Patentreferenz 1: WO 2016/035207
    • Patentreferenz 2: Japanische Patentanmeldung Veröffentlichungsnummer 2016-020267
  • KURZE DARSTELLUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEM
  • Mit den in den Patentreferenzen 1 und 2 beschriebenen Einrichtungen muss jedoch der Benutzer seine Aufmerksamkeit auf eine Tastgestenoperation zum Ausbilden einer bestimmten Form mit mehreren Fingerspitzen fokussieren, und somit gibt es Fälle, wo der Aufmerksamkeitsgrad auf eine andere, parallel zu der Tastgestenoperation durchgeführte Aufgabe abnimmt.
  • Mit der in der Patentreferenz 1 beschriebenen Einrichtung muss weiterhin der Benutzer eine Tastgestenoperation durchführen, die die auf dem Tastfeld angezeigte Bildschirmkomponente verwendet, ohne seine Augen auf den Schirm des Tastfelds zu lenken, und somit gibt es Fälle, wo es schwierig ist, die korrekte Tastgestenoperation auf der Bildschirmkomponente durchzuführen.
  • Weiterhin muss mit der in der Patenreferenz 2 beschriebenen Einrichtung der Benutzer die Tastgestenoperation in einem operationseffektiven Gebiet des Tastfelds durchführen, und somit gibt es Fälle, wo der Benutzer in dem Zustand des Nichtbetrachtens des Schirms des Tastfelds entsprechende Operationsinformationen nicht eingeben kann.
  • Eine Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung einer Tastfeld-Eingabeeinrichtung, auf der eine Eingabeoperation durch eine Tastgestenoperation mit Hilfe eines entsprechenden Umschaltens zwischen den Inhalten eines Operationsmodus in einem Sichtlinienanwesenheitszustand, in dem die Tastgestenoperation unter Verwendung einer auf dem Tastfeld angezeigten Bildschirmkomponente durchgeführt wird, und den Inhalten eines Operationsmodus in einem Sichtlinienabwesenheitszustand, in dem die Tastgestenoperation durch Verwenden des ganzen Schirms des Tastfelds als ein Tastgestenoperations-Empfangsgebiet durchgeführt wird, leicht und korrekt durchgeführt werden kann, und in der Bereitstellung einer Tastgesten-Beurteilungseinrichtung, eines Tastgesten-Beurteilungsverfahrens und eines Tastgesten-Beurteilungsprogramms, um es zu ermöglichen, eine Eingabeoperation durch eine Tastgestenoperation mit Hilfe eines entsprechenden Umschaltens der Inhalte des Operationsmodus in dem Sichtlinienanwesenheitszustand oder der Inhalte des Operationsmodus in dem Sichtlinienabwesenheitszustand leicht und korrekt durchzuführen.
  • MITTEL ZUM LÖSEN DES PROBLEMS
  • Eine Tastfeld-Eingabeeinrichtung gemäß einem Aspekt der vorliegenden Erfindung ist eine Einrichtung, die ein Tastfeld enthält, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und der Tastgestenoperation entsprechende Operationsinformationen ausgibt, und eine Tastgesten-Beurteilungseinrichtung, die die Operationsinformationen empfängt und einen Wahlwert auf Basis der Operationsinformationen generiert. Die Tastgesten-Beurteilungseinrichtung enthält eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit, die beurteilt, ob die Tastgestenoperation eine Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung anzeigen, ausgibt, eine Operationsmodus-Umschalteinheit, die Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen ausgibt, eine Operationsbeurteilungseinheit, die den Wahlwert auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß den Befehlsinformationen generiert, und eine Bildschirmsteuereinheit, die bewirkt, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt. Die Operationsbeurteilungseinheit enthält eine Bildschirmkomponenten-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer als das Operationsbild auf dem Tastfeld in dem Sichtlinienanwesenheitszustand angezeigten Bildschirmkomponente durchgeführt wird, bestimmt, und eine Vollschirm-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds in dem Sichtlinienabwesenheitszustand durchgeführt wird, bestimmt.
  • Ein Tastgesten-Beurteilungsverfahren nach einem anderen Aspekt der vorliegenden Erfindung ist ein Verfahren des Empfangens von Operationsinformationen von einem Tastfeld, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und die Operationsinformationen entsprechend der Tastgestenoperation ausgibt, und des Generierens einen Wahlwert auf Basis der Operationsinformationen. Das Verfahren beinhaltet: einen Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungsschritt des Beurteilens, ob die Tastgestenoperation eine Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Ausgebens von Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung angeben; einen Operationsbeurteilungsschritt des Generierens des Wahlwerts auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen; und einen Bildschirmsteuerschritt des Bewirkens, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt. In dem Operationsbeurteilungsschritt wird der Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer als das Operationsbild auf dem Tastfeld in dem Sichtlinienanwesenheitszustand angezeigten Bildschirmkomponente durchgeführt wird, bestimmt, und wird der Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds in dem Sichtlinienabwesenheitszustand durchgeführt wird, bestimmt.
  • EFFEKT DER ERFINDUNG
  • Gemäß der vorliegenden Erfindung kann durch entsprechendes Umschalten zwischen den Inhalten des Operationsmodus in dem Sichtlinienanwesenheitszustand, in dem die Tastgestenoperation unter Verwendung einer Bildschirmkomponente, die auf dem Tastfeld angezeigt wird, durchgeführt wird, und den Inhalten des Operationsmodus in dem Sichtlinienabwesenheitszustand, in dem die Tastgestenoperation durch Verwenden des ganzen Schirms des Tastfelds als das Tastgestenoperations-Empfangsgebiet durchgeführt wird, eine Eingabeoperation durch eine Tastgestenoperation leicht und korrekt durchgeführt werden.
  • Figurenliste
    • 1 ist ein Funktionsblockdiagramm, das eine schematische Ausbildung einer Tastfeld-Eingabeeinrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt.
    • 2 ist ein Diagramm, das ein Beispiel einer Hardwareausbildung der Tastfeld-Eingabeeinrichtung gemäß der ersten Ausführungsform zeigt.
    • 3(a) und 3(b) sind Diagramme, die Beispiele eines Schirms eines Tastfelds in der Tastfeld-Eingabeeinrichtung gemäß der ersten Ausführungsform zeigen.
    • 4 ist ein Flussdiagramm, das eine Operation einer Tastgesten-Beurteilungseinrichtung (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung gemäß der ersten Ausführungsform zeigt.
    • 5 ist ein Diagramm, das ein Beispiel eines Schirms eines Tastfelds in einer Tastfeld-Eingabeeinrichtung gemäß einer Modifikation der ersten Ausführungsform zeigt.
    • 6 ist ein Funktionsblockdiagramm, das eine schematische Ausbildung einer Tastfeld-Eingabeeinrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt.
    • 7 ist ein Flussdiagramm, das eine Operation einer Tastgesten-Beurteilungseinrichtung (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung gemäß der zweiten Ausführungsform zeigt.
    • 8 ist ein Diagramm, das ein Verfahren zum Erhalten von Vorgeschichteninformationen über Tastgestenoperationen in der Tastfeld-Eingabeeinrichtung gemäß der zweiten Ausführungsform zeigt.
    • 9 ist ein Diagramm, das ein Beispiel zeigt, bei dem eine beabsichtigte Eingabe nicht vorgenommen werden kann, wenn die Tastgestenoperation in einem Sichtlinienabwesenheitszustand als einem Zustand durchgeführt wird, in dem der Schirm des Tastfelds in der Tastfeld-Eingabeeinrichtung nicht betrachtet wird.
    • 10 ist ein Diagramm, das ein Beispiel einer Tastgestenoperation zeigt, die in dem Sichtlinienabwesenheitszustand als einem Zustand durchgeführt wird, in dem der Schirm des Tastfelds in der Tastfeld-Eingabeeinrichtung gemäß der zweiten Ausführungsform nicht betrachtet wird.
    • 11 ist ein Diagramm, das ein Beispiel zeigt, bei dem die Richtung, der Winkel und das Bildskalierungsausmaß einer Kamera in einer Kamerabildaufnahmeeinrichtung, die mit der Tastfeld-Eingabeeinrichtung gemäß der zweiten Ausführungsform kommuniziert, justiert werden, ohne den Schirm des Tastfelds der Tastfeld-Eingabeeinrichtung zu betrachten.
    • 12 ist ein Funktionsblockdiagramm, das eine schematische Ausbildung einer Tastfeld-Eingabeeinrichtung gemäß einer dritten Ausführungsform der vorliegenden Erfindung zeigt.
    • 13 ist ein Diagramm, das ein Beispiel einer Hardwareausbildung der Tastfeld-Eingabeeinrichtung gemäß der dritten Ausführungsform zeigt.
    • 14 ist ein Flussdiagramm, das eine Operation einer Tastgesten-Beurteilungseinrichtung (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung gemäß der dritten Ausführungsform zeigt.
    • 15(a) und 15(b) sind Diagramme, die ein Verfahren zum Beurteilen eines Sichtlinienanwesenheitszustands und eines Sichtlinienabwesenheitszustands in der Tastfeld-Eingabeeinrichtung gemäß der dritten Ausführungsform zeigen.
  • MODUS ZUM AUSFÜHREN DER ERFINDUNG
  • Ausführungsformen der vorliegenden Erfindung werden unten unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben. In der folgenden Beschreibung enthält eine Tastfeld-Eingabeeinrichtung ein Tastfeld mit einem für tastbasierte Operationen verwendeten Schirm (Operationsschirm) und eine Tastgesten-Beurteilungseinrichtung, die Operationsinformationen auf dem Tastfeld empfängt. Die Tastfeld-Eingabeeinrichtung ist in einem Objektgerät installiert oder kommunikativ mit dem Zielgerät verbunden, wodurch sie auf einen Operationsschirm eines elektrischen Geräts als das Objektgerät, einen Operationsschirm einer Kamera als das Objektgerät, einen Operationsschirm eines Fabrikgeräts als das Objektgerät, einen in einem Kraftfahrzeug, einem Marinefahrzeug, einem Flugzeug oder dergleichen installierten Operationsschirm als das Objektgerät, einen Operationsschirm eines mobilen Informationsterminals wie etwa eines Smartphones oder eines Tablet-Terminals als das Objektgerät und so weiter anwendbar ist. Die Tastfeld-Eingabeeinrichtung ist in der Lage, ein Signal (z. B. einen Wahlwert) auf Basis von durch eine Tastgestenoperation (auch als eine „Tastoperation“ bezeichnet) eingegebenen Operationsinformationen auf dem Operationsschirm des Tastfelds an das mit der Tastfeld-Eingabeeinrichtung ausgestattete Objektgerät oder das Objektgerät, das mit der Tastfeld-Eingabeeinrichtung kommunizieren kann, zu liefern.
  • Das Tastfeld ist ein Tastgesten-Eingabemittel, das die durch den Benutzer durchgeführte Tastgestenoperation empfängt. Die Tastgestenoperation ist eine Informationseingabeoperation, die durch eine bestimmte Bewegung der Finger des Benutzers (oder der Handfläche des Benutzers oder der Finger und der Handfläche des Benutzers) oder dergleichen durchgeführt wird. Die Tastgestenoperation kann ein Antippen als eine Operation des leichten Schlagens des Operationsschirms des Tastfelds mit einem Finger, ein Streifen als eine Operation des Streichens des Operationsschirms des Tastfelds mit einem Finger und ein Wischen als eine Operation des Streichens über den Operationsschirm des Tastfelds mit einem Finger (Rutschen mit einem Finger) beinhalten. Weiterhin kann die Tastgestenoperation ein Ziehen als eine Operation des Ziehens einer Bildschirmkomponente auf dem Tastfeld mit einem Finger, ein Zusammenziehen als eine Operation des Verkleinerns einer Distanz zwischen mehreren Fingern, während der Operationsschirm des Tastfelds mit den Fingern berührt wird, ein Auseinanderziehen als eine Operation des Verbreiterns einer Distanz zwischen mehreren Fingern auf dem Operationsschirm des Tastfelds und so weiter beinhalten. Übrigens kann die Tastgestenoperation eine Operation unter Verwendung eines Taststifts als ein stiftartiges Eingabeunterstützungswerkzeug beinhalten.
  • Erste Ausführungsform
  • Ausbildung
  • 1 ist ein Funktionsblockdiagramm, das eine schematische Ausbildung einer Tastfeld-Eingabeeinrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. Wie in 1 gezeigt, enthält die Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsform eine Tastgesten-Beurteilungseinrichtung 10 und ein Tastfeld 20. Die Tastgesten-Beurteilungseinrichtung 10 ist eine Einrichtung, die in der Lage ist, ein Tastgesten-Beurteilungsverfahren gemäß der ersten Ausführungsform und ein Tastgesten-Beurteilungsprogramm gemäß der ersten Ausführungsform auszuführen.
  • Wie in 1 gezeigt, enthält das Tastfeld 20 eine Operationsfeldeinheit 21, die eine durch den Benutzer durchgeführte Tastgestenoperation empfängt und Operationsinformationen (auch als „Tastinformationen“ bezeichnet) A0 entsprechend der Tastgestoperation ausgibt, und eine Bildschirmfeldeinheit 22, die in Überlagerung mit der Operationsfeldeinheit 21 angeordnet ist und in der Lage ist, ein Operationsbild wie etwa einen GUI-Schirm anzuzeigen. Die Bildschirmfeldeinheit 22 ist beispielsweise ein Flüssigkristallbildschirm.
  • Wie in 1 gezeigt, enthält die Tastgesten-Beurteilungseinrichtung 10 eine Operationsinformationseingabeeinheit 11, eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 als eine Operationsmodus-Beurteilungseinheit, eine Operationsmodusumschalteinheit 13, eine Operationsbeurteilungseinheit 14, eine Benachrichtigungseinheit 15 und eine Bildschirmsteuereinheit 16. Die Operationsbeurteilungseinheit 14 enthält eine Bildschirmkomponenten-Gestenbeurteilungseinheit 141 und eine Vollschirm-Gestenbeurteilungseinheit 142.
  • Die Operationsinformationseingabeeinheit 11 empfängt die Operationsinformationen (Operationssignal) A0, die von der Operationsfeldeinheit 21 ausgegeben werden. Die Operationsinformationseingabeeinheit 11 gibt Eingabeinformationen A1 entsprechend den empfangenen Operationsinformationen A0 an die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 und die Operationsbeurteilungseinheit 14 aus. Die Eingabeinformationen A1 sind Informationen entsprechend den Operationsinformationen A0 und können auch die gleichen Informationen wie die Operationsinformationen A0 sein.
  • Die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt auf Basis der von der Operationsinformationseingabeeinheit 11 empfangenen Eingabeinformationen A1, ob die Tastgestenoperation eine Operation ist, die durch den Benutzer durchgeführt wird, während der Schirm des Tastfelds 20 betrachtet wird, das heißt eine Operation in einem Sichtlinienanwesenheitszustand als ein Zustand, in dem die Sichtlinie des Benutzers auf den Schirm des Tastfelds 20 gerichtet ist, oder die Tastgestenoperation eine Operation ist, die durch den Benutzer durchgeführt wird, während der Schirm des Tastfelds 20 nicht betrachtet wird, das heißt eine Operation in einem Sichtlinienabwesenheitszustand als ein Zustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm des Tastfelds 20 gerichtet ist. Ein Operationsmodus unter der Annahme des Sichtlinienanwesenheitszustands ist beispielsweise ein Operationsmodus des Durchführens einer Tastgestenoperation auf einer auf dem Tastfeld 20 angezeigten Bildschirmkomponente. Ein Operationsmodus unter der Annahme des Sichtlinienabwesenheitszustands ist beispielsweise ein Operationsmodus, bei dem der ganze Schirm des Tastfelds 20 als ein operationseffektives Gebiet zum Empfangen der Tastgestenoperation verwendet wird.
  • Die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 sendet die Sichtlinien-Beurteilungsinformationen A2, die das Ergebnis der Beurteilung darüber angeben, ob die Tastgestenoperation eine Operation in dem Sichtlinienanwesenheitszustand oder eine Operation in dem Sichtlinienabwesenheitszustand ist, auf Basis der Eingabeinformationen A1 gemäß der Tastgestenoperation durch den Benutzer, an die Operationsmodus-Umschalteinheit 13. Diese Beurteilung kann beispielsweise durch die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 einschließlich einer Ablageeinheit (z. B. eines Speichers in 2, der später beschrieben werden wird), die zuvor bestimmte Muster von Tastgestenoperationen speichert, auf Basis des Ähnlichkeitsgrads zwischen der durch die Eingabeinformationen A1 angegebenen Tastgestenoperation und den in der Ablageeinheit gespeicherten Mustern von Tastgestenoperationen.
  • Die Operationsmodus-Umschalteinheit 13 gibt Befehlsinformationen A3 zum Umschalten (Setzen) des Bildschirminhalts auf dem Schirm des Tastfelds 20, das Verfahren der Beurteilung der Eingabeinformationen A1 gemäß der Tastgestenoperation auf dem Tastfeld 20 durch die Operationsbeurteilungseinheit 14 und das Verfahren zur Benachrichtigung durch die Benachrichtigungseinheit 15 auf Basis der von der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 empfangenen Sichtlinienbeurteilungsinformationen A2 aus.
  • Die Operationsbeurteilungseinheit 14 empfängt die Befehlsinformationen A3 von der Operationsmodus-Umschalteinheit 13 und schaltet das Verfahren zur Beurteilung der Eingabeinformationen A1 gemäß den Befehlsinformationen A3 um.
  • Die Vollschirm-Gestenbeurteilungseinheit 142 beurteilt die Tastgestenoperation auf dem ganzen Schirm des Tastfelds 20 und bestimmt einen Wahlwert A7 als ein Ausgangssignal auf Basis der Eingabeinformationen A1. Die Beurteilung der Tastgestenoperation auf dem ganzen Schirm des Tastfelds 20 wird in einem begrenzten kleinen Gebiet auf dem Tastfeld 20 (als Teil des Schirms des Tastfelds 20) in einer Tastgestenoperation in dem Sichtlinienanwesenheitszustand verwendet und wird in einem großen Gebiet auf dem Tastfeld 20 (dem ganzen Schirm des Tastfelds 20) in einer Tastgestenoperation in dem Sichtlinienabwesenheitszustand verwendet.
  • Die Bildschirmkomponenten-Gestenbeurteilungseinheit 141 beurteilt die Tastgestenoperation auf Basis einer Bildschirmkomponente als ein durch die Bildschirmfeldeinheit 22 anzeigtes Operationsbild und der Eingabeinformationen A1 und bestimmt den Wahlwert A7 als ein Ausgangssignal auf Basis der Bildschirmkomponente und der Eingabeinformationen A1. Die Beurteilung der Tastgestenoperation auf der Bildschirmkomponente auf dem Tastfeld 20 wird in einem großen Gebiet auf dem Tastfeld 20 (dem ganzen Schirm des Tastfelds 20) in einer Tastgestenoperation in dem Sichtlinienanwesenheitszustand verwendet und wird in einem begrenzten kleinen Gebiet (einem Teil des Schirms des Tastfelds 20) in einer Tastgestenoperation in dem Sichtlinienabwesenheitszustand verwendet.
  • Die Bildschirmsteuereinheit 16 gibt ein Bildsignal A6 das auf der Bildschirmfeldeinheit 22 des Tastfelds 20 anzuzeigenden Operationsbilds aus. Die Bildschirmsteuereinheit 16 ändert den Bildschirminhalt des Schirms der Bildschirmfeldeinheit 22 gemäß den von der Operationsbeurteilungseinheit 14 empfangenen Operationsbeurteilungsinformationen A4 und den von der Operationsmodus-Umschalteinheit 13 empfangenen Befehlsinformationen A3.
  • Die Benachrichtigungseinheit 15 schaltet das Verfahren des Benachrichtigens des Benutzers über Informationen in Abhängigkeit davon um, ob die Tastgestenoperation eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand oder eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand ist. Die Benachrichtigungseinheit 15 erteilt eine Benachrichtigung oder gibt ein Benachrichtigungssignal aus, das einen Benachrichtigungsinhalt gemäß den Befehlsinformationen A3 aufweist. Beispielsweise benachrichtigt die Benachrichtigungseinheit 15 über den Status der Tastgestenoperation des Benutzers mit Hilfe von Schall, einer Schirmanzeige, Schwingung eines Vibrators, Aufleuchten einer Lampe oder dergleichen, als Beispiel, gemäß den von der Operationsbeurteilungseinheit 14 empfangenen Eingabeinformationen A1. Wie oben ändert die Benachrichtigungseinheit 15 den Benachrichtigungsinhalt gemäß den von der Operationsbeurteilungseinheit 14 empfangenen Operationsbeurteilungsinformationen A4 und den von der Operationsmodus-Umschalteinheit 13 empfangenen Befehlsinformationen A3. Wenn die Benachrichtigung durch die Benachrichtigungseinheit 15 eine Benachrichtigung mit Hilfe von Schall ist, gibt die Benachrichtigungseinheit 15 ein Benachrichtigungssignal an einen Lautsprecher als eine Audioausgabeeinheit aus. Der Lautsprecher ist in 2 gezeigt, was später erläutert werden wird. Wenn die Benachrichtigung durch die Benachrichtigungseinheit 15 eine Bildanzeige ist, sendet die Benachrichtigungseinheit 15 Benachrichtigungsinformationen A5 an die Bildschirmsteuereinheit 16, und die Bildschirmsteuereinheit 16 überträgt ein Bildsignal auf Basis der Benachrichtigungsinformationen an die Bildschirmfeldeinheit 22.
  • Der von der Operationsbeurteilungseinheit 14 ausgegebene Wahlwert A7 ist ein durch die Operationsbeurteilungseinheit 14 auf Basis der Eingabeinformationen A1 bestimmter Wahlwert, und ein Applikationsprogramm oder dergleichen der mit der Tastfeld-Eingabeeinrichtung 1 ausgestatteten Einrichtung führt eine Einrichtungssteuerung oder dergleichen auf Basis des Wahlwerts A7 durch.
  • 2 ist ein Diagramm, das ein Beispiel für eine Hardware (H/W)-Ausbildung der Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsform zeigt. Wie in 2 gezeigt, enthält die Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsform das Tastfeld 20, einen Prozessor 31, einen Speicher 32 und einen Lautsprecher 33. Die in 1 gezeigte Tastgesten-Beurteilungseinrichtung 10 kann unter Verwendung des Speichers 32 als eine Ablageeinrichtung zum Speichern des Tastgesten-Beurteilungsprogramms als Software und des Prozessors 31 als eine Informationsverarbeitungseinheit zum Ausführen des in dem Speicher 32 gespeicherten Tastgesten-Beurteilungsprogramms (z. B. durch einen Computer) implementiert werden. In diesem Fall entsprechen die Komponenten 11 bis 16 in 1 dem Prozessor 31, der das Tastgesten-Beurteilungsprogramm in 2 ausführt. Übrigens ist es auch möglich, einen Teil der in 1 gezeigten Tastgesten-Beurteilungseinrichtung 10 durch den in 2 gezeigten Speicher 32 und den Prozessor 31, der das Tastgesten-Beurteilungsprogramm ausführt, zu implementieren.
  • Der Lautsprecher 33 ist eine Schallausgabeeinheit, die zum Benachrichtigen über den Status der in dem Sichtlinienabwesenheitszustand durchgeführten Tastgestenoperation mit Hilfe von Schall wie etwa von Sprachankündigung, als Beispiel, verwendet wird. Die Tastfeld-Eingabeeinrichtung 1 kann eine zusätzliche Einrichtung wie etwa einen Vibrator, eine Lampe oder eine Übertragungseinrichtung zum drahtlosen Übertragen eines Benachrichtigungssignals anstelle des Lautsprechers 33 oder als eine zusätzliche Komponente enthalten.
  • 3(a) und 3(b) sind Diagramme, die Beispiele der Tastgestenoperation und des Schirms des Tastfelds 20 in der Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsform zeigen.
  • 3(a) zeigt ein Beispiel des Schirms des Tastfelds 20 in einem Operationsmodus in dem Sichtlinienanwesenheitszustand. 3(a) zeigt ein Beispiel des Schirms in einem Fall, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Operationsmodus der Operationsmodus in dem Sichtlinienanwesenheitszustand auf Basis der Eingabeinformationen A1 ist, die die Tastgestenoperation angeben. Der Benutzer kann den Bildschirminhalt auf dem Schirm durch Durchführen einer Operation des Wischens des Schirms mit einem Finger nach links oder nach rechts umschalten. Die Liste 231 ist eine Liste, die angezeigt wird, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Zustand der Sichtlinienanwesenheitszustand ist. Die Liste 231 besteht aus mehreren Knöpfen (nummerierten rechteckigen Gebieten), und die Liste 231 kann durch Streichen der Liste 231 mit (dem Schieben) eines Fingers nach oben oder unten bewegt werden. Beispielsweise kann das Berühren eines Knopfs 232 mit einem Finger bewirken, dass die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Zustand der Sichtlinienanwesenheitszustand ist, und der Wahlwert wird durch Antippen eines Knopfs (Berühren eines Knopfs mit einem Finger und Abheben des stillgehaltenen Fingers von dem Knopf innerhalb einer vorbestimmten Zeit) bestimmt (finalisiert).
  • 3(b) zeigt ein Beispiel des Schirms des Tastfelds 20 in einem Operationsmodus in dem Sichtlinienabwesenheitszustand. 3(b) zeigt ein Beispiel des Schirms in einem Fall, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Operationsmodus der Operationsmodus in dem Sichtlinienabwesenheitszustand auf Basis der Eingabeinformationen A1 ist, die die Tastgestenoperation angeben. Beispielsweise ist ein Löschgebiet 241 in dem Sichtlinienabwesenheitszustand ein rechteckiges Gebiet, das „>>Löschen>>" umgibt, und wenn ein Finger in dem rechteckigen Gebiet in einer vorbestimmten Richtung bewegt (geschoben) wird, nämlich von links nach rechts bewegt (geschoben) wird, dann wird der Operationsmodus in dem Sichtlinienabwesenheitszustand gelöscht und zu dem Operationsmodus in dem Sichtlinienanwesenheitszustand umgeschaltet.
  • Operation
  • 4 ist ein Flussdiagramm, das die Operationen der Tastgesten-Beurteilungseinrichtung 10 (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsformzeigt.
  • In Schritt ST101 setzt die Operationsmodus-Umschalteinheit 13 einen Anfangsoperationsmodus auf den Operationsmodus in dem Sichtlinienanwesenheitszustand. Zu dieser Zeit gibt die Operationsmodus-Umschalteinheit 13 die Befehlsinformationen A3 aus, so dass der Schirm des Tastfelds 20 in einen Schirm für den Operationsmodus in dem Sichtlinienanwesenheitszustand wechselt, und das Eingabeverfahren des Tastfelds 20 wechselt in ein Eingabeverfahren durch Verwendung einer Bildschirmkomponente, die den Operationsmodus in dem Sichtlinienanwesenheitszustand verwendet. Übrigens ist es auch möglich, den Anfangsoperationsmodus auf den Operationsmodus in dem Sichtlinienabwesenheitszustand zu setzen.
  • In dem nächsten Schritt ST102 erhält die Operationsinformations-Eingabeeinheit 11 die Operationsinformationen A0 (Koordinaten, die eine Position eines Fingerkontaktpunkts, eine Kontaktbedingung eines Fingers, Fingeridentifikationsnummern bezüglich mehrerer Kontaktpunkte usw. anzeigen) von dem Tastfeld 20 und speichert die Operationsinformationen A0 in einer Ablageeinheit (z. B. dem in 2 gezeigten Speicher 32).
  • Im nächsten Schritt ST103 nimmt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 eine Beurteilung darüber vor, ob die Tastgestenoperation eine Operation in dem Sichtlinienanwesenheitszustand oder eine Operation in dem Sichtlinienabwesenheitszustand ist, das heißt eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung (Beurteilung des Operationsmodus) auf Basis von Vorgeschichteninformationen über die in der Ablageeinheit gespeicherten Operationsinformationen A0 (Informationen bezüglich des Fingerkontaktpunkts usw.).
  • Im nächstens Schritt ST103 beurteilt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12, dass der Zustand der Sichtlinienabwesenheitszustand ist, wenn eine der folgenden Beurteilungsbedingungen (1) bis (3) erfüllt ist, als Beispiel, und beurteilt ansonsten, dass der Zustand der Sichtlinienanwesenheitszustand ist.
    Beurteilungsbedingung (1): Ein Finger steht in Kontakt mit einem Punkt auf dem Schirm des Tastfelds 20, und die Kontaktposition bewegt sich nicht während einer Zeit größer oder gleich einem vorbestimmten Schwellwert.
    Beurteilungsbedingung (2): Mehrere Finger stehen in Kontakt mit mehreren Kontaktpunkten auf dem Schirm des Tastfelds 20 und bleiben in Kontakt für eine Zeit größer oder gleich einem vorbestimmten Schwellwert.
    Beurteilungsbedingung (3): Eine Handfläche bleibt in Kontakt mit dem Schirm des Tastfelds 20 (nämlich eine große Fläche größer oder gleich einem vorbestimmten Schwellwert bleibt in Kontakt für eine Zeit größer oder gleich einem vorbestimmten Schwellwert).
    Es ist jedoch möglich, ein anderes Kriterium der Beurteilung als das Kriterium der Beurteilung zu verwenden.
  • Wenn die Beurteilungsbedingung (3) für den Sichtlinienabwesenheitszustand in dem Schritt ST103 erfüllt ist, besteht eine Möglichkeit, das Koordinaten von mehreren detektierten Kontaktpunkten und die Anzahl der Kontaktpunkte instabil sind (nämlich mit der Zeit stark variieren) . Somit ist es auch möglich, die Vorgeschichteninformationen auf den Operationsinformationen A0 (Eingabeinformationen A1) bezüglich einer Periode vom gegenwärtigen Zeitpunkt bis zu einem Zeitpunkt eine vorbestimmte Periode zuvor zu verwenden und die Beurteilung vorzunehmen, dass der Kontakt ein Kontakt einer Handfläche auf Basis des Grads in Verschiebung bei den Koordinaten (Bewegungsdistanz der Koordinaten) jedes Kontaktpunkts in dieser Periode ist (wenn z. B. die größte Bewegungsdistanz einen vorbestimmten Schwellwert übersteigt).
  • Wenn weiterhin eine Operation des Platzierens einer Handfläche in Kontakt mit dem Schirm in der Beurteilungsbedingung (3) für den Sichtlinienabwesenheitszustand im Schritt ST103 durchgeführt wird, handelt es sich bei den Operationsinformationen A0 von dem Tastfeld 20 um Informationen, die anzeigen, dass die Kontaktbedingung anormal ist. Deshalb ist es auch möglich, die Vorgeschichteninformationen auf den Operationsinformationen A0 bezüglich einer Periode von dem gegenwärtigen Zeitpunkt bis zu einem Zeitpunkt vor einer vorbestimmten Periode zu verwenden und die Beurteilung vorzunehmen, dass der Kontakt ein Kontakt einer Handfläche ist, wenn dort eine Vorgeschichtenaufzeichnung besteht, die in dieser Periode eine anormale Kontaktbedingung anzeigt.
  • Wenn weiterhin die Operation des Platzierens der Handfläche in Kontakt mit dem Schirm in der Beurteilungsbedingung (3) für den Sichtlinienabwesenheitszustand in dem Schritt ST103 durchgeführt wird, besteht eine Möglichkeit eines Fehlurteils, dass ein Finger von dem Schirm des Tastfelds 20 getrennt ist, und folglich eines Fehlurteils, dass die Tastgestenoperation ein Tippen auf einem Knopf als eine Bildschirmkomponente auf dem Schirm des Tastfelds 20 ist. Somit ist es auch möglich, die Vorgeschichteninformationen auf den Operationsinformationen A0 bezüglich einer Periode von dem gegenwärtigen Zeitpunkt zu einem Zeitpunkt vor einer vorbestimmten Periode zu verwenden, einen Standby-Prozess des Prüfens einzuschieben, ob ein instabiles Tasten (d. h. eine Situation, in der sich die Anzahl und Positionen von Kontaktpunkten mit der Zeit stark ändern) nicht detektiert wird oder keine Benachrichtigung über eine anormale Kontaktbedingung vorliegt, für eine vorbestimmte Zeit seit der Trennung aller Finger von dem Tastfeld 20 in dieser Periode, und zu beurteilen, dass der Kontakt ein Kontakt einer Handfläche ist, wenn eine derartige Bedingung detektiert wird.
  • In Schritt ST103 beurteilt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12, dass der Zustand der Sichtlinienanwesenheitszustand ist, wenn ein Finger einen Kontakt mit dem Schirm herstellt und sich genau wie auf dem Schirm angezeigt bewegt. Beispielsweise beurteilt bezüglich des Schirms in dem in 3(b) gezeigten Sichtlinienabwesenheitszustand die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12, dass die Operation auf dem Schirm eine Umschaltoperation zu dem Sichtlinienanwesenheitszustand ist, wenn die Operation durchgeführt wird, um zu bewirken, dass ein Finger das Tasten innerhalb des Löschgebiets 241 in dem Sichtlinienabwesenheitszustand startet, von der linken Marke „>>" gleitet, um die rechte Marke „>>" über die Zeichen „Löschen“ zu kreuzen und sich dann vom Schirm zu trennen, oder zu bewirken, dass ein Finger von der linken Marke „>>" gleitet, um die rechte Marke „>>" über die Zeichen „Löschen“ zu kreuzen und dann die rechte Grenzlinie des Löschgebiets 241 zu kreuzen. Übrigens ist es bei der Beurteilung über die Umschaltoperation zu dem Sichtlinienanwesenheitszustand in Schritt ST103 auch möglich, nicht zu beurteilen, dass der Zustand der Sichtlinienanwesenheitszustand ist, wenn sich ein Finger ständig von außerhalb des Löschgebiets 241 zu innerhalb des Löschgebiets 241 in dem Sichtlinienabwesenheitszustand bewegt, ein Finger sich nach oben oder nach unten aus dem Löschgebiet 241 herausbewegt, während er sich in dem Löschgebiet 241 in dem Sichtlinienabwesenheitszustand bewegt, oder ein Finger sich nach rechts in dem Löschgebiet 241 bewegt und sich danach zurück nach links in dem Sichtlinienabwesenheitszustand bewegt.
  • Weiterhin ist die Bedingung für die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12, um zu beurteilen, dass die Operation die Umschaltoperation zu dem Sichtlinienanwesenheitszustand in Schritt ST103 ist, nicht auf den Fall beschränkt, wo ein Finger von der linken Marke „>>" in 3(b) gleitet, um die rechte Marke „>>" über die Zeichen „Löschen“ zu kreuzen, sondern kann auch einen Fall beinhalten, wo ein Finger das Löschgebiet 241 berührt und sich für eine vorbestimmte Distanz oder mehr in dem Sichtlinienabwesenheitszustand nach rechts bewegt.
  • Wenn es in Schritt ST104 eine Änderung bei der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung gibt (JA), geht der Prozess zu den Schritten ST105 bis ST108, und die Operationsmodus-Umschalteinheit 13 gibt die Befehlsinformationen A3 zum Umschalten des Eingabeverfahrens aufgrund des Umschaltens des Operationsschirms auf dem Tastfeld 20 und zum Umschalten des Benachrichtigungsverfahrens der Benachrichtigungseinheit 15 aus. Wenn es in Schritt ST104 keine Änderung bei der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung gibt (NEIN), geht der Prozess zu Schritt ST109.
  • In Schritt ST105 empfängt die Operationsbeurteilungseinheit 14 die Befehlsinformationen A3 von der Operationsmodus-Umschalteinheit 13 und erteilt einen Befehl zum Umschalten zu einem gültigen Eingabeverfahren für den ganzen Schirm, und die Vollschirm-Gestenbeurteilungseinheit 142 setzt das gültige Eingabeverfahren für den ganzen Schirm.
  • Im nächsten Schritt ST106 empfängt die Operationsbeurteilungseinheit 14 die Befehlsinformationen A3 von der Operationsmodus-Umschalteinheit 13 und erteilt einen Befehl zum Umschalten zu dem gültigen Eingabeverfahren für die Bildschirmkomponente, und die Bildschirmkomponenten-Gestenbeurteilungseinheit 141 setzt das gültige Eingabeverfahren für die Bildschirmkomponente. Die Verarbeitungsreihenfolge der Schritte ST105 und ST106 kann umgekehrt werden.
  • In dem nächsten Schritt ST107 empfängt die Bildschirmsteuereinheit 16 die Befehlsinformationen A3 zum Umschalten des Schirms von der Operationsmodus-Umschalteinheit 13 und schaltet den Schirm um. Wenn beispielsweise die Bildschirmsteuereinheit 16 die Befehlsinformationen A3 zum Befehlen eines Umschaltens des Schirms empfängt, falls der Zustand der Sichtlinienanwesenheitszustand ist, zeigt die Bildschirmsteuereinheit 16 den Schirm in dem in 3(a) gezeigten Sichtlinienanwesenheitszustand, als Beispiel; falls der Zustand der Sichtlinienabwesenheitszustand ist, zeigt die Bildschirmsteuereinheit 16 den Schirm in dem in 3(b) gezeigten Sichtlinienabwesenheitszustand, als Beispiel.
  • Im nächsten Schritt ST108 empfängt die Benachrichtigungseinheit 15 die Befehlsinformationen A3 zum Umschalten des Benachrichtigungsinhalts von der Operationsmodus-Umschalteinheit 13 und schaltet den Benachrichtigungsinhalt um. Beispielsweise gibt die Benachrichtigungseinheit 15 eine Sprachankündigung aus wie „Wenn sie den Schirm drücken und halten, schaltet der Operationsmodus zu dem Modus zum Betreiben ohne Betrachten des Schirms um.“ von dem Lautsprecher im Fall des Sichtlinienanwesenheitszustands. Wenn der Zustand zu dem Sichtlinienabwesenheitszustand umschaltet, wird eine Sprachankündigung vorgenommen wie „Aufgrund der Drücken- und Halte-Operation schaltet der Schirm zu einem Operationsschirm für eine behinderte Person um“. Wenn der Zustand zu dem Sichtlinienabwesenheitszustand umgeschaltet wird, wird von dem Lautsprecher eine Sprachankündigung ausgegeben wie „Wenn sie die obere Seite des Schirms berühren, nimmt der Wahlwert zu; wenn sie die untere Seite des Schirms berühren, verringert sich der Wahlwert. Ein Zweipunkt-Antippen finalisiert den Wahlwert.“ In diesem Fall kann die Benachrichtigungseinheit 15 über den gegenwärtig vorliegenden Wahlwert mit Hilfe einer Sprachankündigung immer dann benachrichtigen, wenn eine Tippgeste auf der oberen Seite oder der unteren Seite des Schirms gemacht wird.
  • Im Schritt ST108 ist die Ankündigung durch die Benachrichtigungseinheit 15 nicht auf eine Sprachankündigung beschränkt; es ist auch möglich, die Ankündigung unter Verwendung einer anderen Bildschirmeinrichtung als des betriebenen Tastfelds 20 vorzunehmen, indem eine Sprachankündigung von einer Smartwatch gemacht wird, durch Vibrieren lassen des Tastfelds, und so weiter.
  • In dem Schritt ST109 bestimmt (finalisiert) die Operationsbeurteilungseinheit 14 den Wahlwert auf Basis der Eingabeinformationen. Wenn beispielsweise in dem Operationsmodus in dem Sichtlinienanwesenheitszustand ein angezeigter Knopf angetippt wird, bestimmt die Operationsbeurteilungseinheit 14 die auf dem Knopf angezeigte Zahl als den Wahlwert. Im Gegensatz dazu erhöht im Operationsmodus in dem Sichtlinienabwesenheitszustand die Operationsbeurteilungseinheit 14 den Wahlwert beim Auftreten einer Berührung auf der oberen Seite des Schirms und verringert den Wahlwert bei dem Auftreten einer Berührung auf der unteren Seite des Schirms. Die Operationsbeurteilungseinheit 14 finalisiert den Wahlwert, wenn eine Zweipunktberührung erfolgt und die Finger zur gleichen Zeit vom Schirm getrennt werden. Wenn eine Tastgestenoperation durch die Operationsbeurteilungseinheit 14 empfangen wird, ändert die Bildschirmsteuereinheit 16 den Bildschirminhalt gemäß der Tastgestenoperation, und die Benachrichtigungseinheit 15 führt eine Benachrichtigung über den Operationsstatus gemäß der Tastgestenoperation durch.
  • Wenn im Schritt ST109 das Löschgebiet 241 im Sichtlinienabwesenheitszustand angetippt wird, wird die Operation als eine Operation auf der unteren Seite des Schirms angesehen und der Wahlwert wird reduziert, da die Operation nicht die Operation des Streichens des Löschgebiets 241 ist.
  • Die Beurteilung durch die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 in dem Schritt ST103 und die Beurteilungsoperation durch die Operationsbeurteilungseinheit 14 im Schritt ST109 kann durch Speichern einer Operationsbeurteilungstabelle wie der in Tabelle 1 gezeigten beispielsweise in der Ablageeinheit der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 und Durchführen der Verarbeitung gemäß den Inhalten der Tabelle implementiert werden.
    TABELLE 1: OPERATIONSBEURTEILUNGSEINHEIT 14
    SICHTLINIENANWESENHEITSZUSTAND SICHTLINIENABWESENHEITSZUSTAND
    SICHTLINIEN-ANWESENHEITS-/- ABWESEN-HEITS-BEURTEILUNG ZUSTAND ALS „SICHTLINIENABWESENHEITSZUSTAND“ BEURTEILEN BEI AUFTRETEN VON DRÜCKEN-UND-HALTE-OPERATION, FORTSETZUNG EINER ZWEIPUNKT-TASTOPERATION ODER FORTSETZUNG EINER HANDFLÄCHENTAST-OPERATION ZUSTAND ALS „SICHTLINIENANWESENHEITSZUSTAND“ BEURTEILEN BEI AUFTRETEN EINER RECHTS-STREICH-OPERATION
    Figure DE112016007545T5_0001
    VOLLSCHIRM-GESTE - WAHLWERT UM 1 ERHÖHEN, WENN OBERE SEITE DES SCHIRMS ANGETIPPT WIRD
    - WAHLWERT UM 1 VERRINGERN, WENN UNTERE SEITE DES SCHIRMS ANGETIPPT WIRD
    - WAHLWERT FINALISIEREN, WENN ZWEIPUNKT-TASTEN DURCHGEFÜHRT WIRD UND DANACH BEIDE FINGER INNERHALB EINER VORBESTIMMEN ZEIT VOM SCHIRM GETRENNT WERDEN
    BILDSCHIRM-KOMPONENTEN-GESTE LISTE SCROLLEN, WENN LISTE NACH OBEN ODER UNTEN GESTRICHEN WIRD -
    SCHIRM WISCHEN, WENN SCHIRM NACH LINKS ODER RECHTS GESTRICHEN WIRD -
    WAHLWERT BESTIMMEN, WENN KNOPF ANGETIPPT WIRD -
  • Effekt
  • Wie oben in der ersten Ausführungsform beschrieben, können das Verfahren der Operationsbeurteilungseinheit 14 zum Beurteilen der Eingabeinformationen A1, das Bildschirmsteuerverfahren der Bildschirmsteuereinheit 16 und das Benachrichtigungsverfahren der Benachrichtigungseinheit 15 dementsprechend geändert werden, ob die Operationsinformationen A0 gemäß der Tastgestenoperation des Benutzers eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand oder eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand angeben. Somit kann im Zustand des Betrachtens des Schirms des Tastfelds 20 der Benutzer eine Tastgestenoperation im Sichtlinienanwesenheitszustand durchführen durch Antippen eines Knopfs als einer auf dem Schirm angezeigten Bildschirmkomponente mit einem Finger, Streichen einer auf dem Schirm angezeigten Liste mit einem Finger oder dergleichen. Im Zustand des Nichtbetrachtens des Schirms kann der Benutzer eine Operation durch den Empfang der Tastgestenoperation durch Verwendung des ganzen Schirms und die Benachrichtigung über den Arbeitszustand durchführen. Wie oben in der ersten Ausführungsform wird ungeachtet dessen, ob der Benutzer eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand oder eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand auf dem Tastfeld 20 durchführt, die Tastgestenoperation entsprechend als eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand oder eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand beurteilt, und somit kann die Eingabeoperation mit Hilfe der Tastgestenoperation korrekt ausgeführt werden.
  • Wenn weiterhin in der ersten Ausführungsform eine Operation, die nicht als eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand auftreten sollte, in dem Sichtlinienanwesenheitszustand durchgeführt wird, wird die Operation entsprechend als eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand beurteilt, und wenn eine Operation, die nicht als eine Tastgestenoperation in dem Sichtlinienabwesenheitszustand auftreten sollte, in dem Sichtlinienabwesenheitszustand durchgeführt wird, wird die Operation entsprechend als eine Tastgestenoperation in dem Sichtlinienanwesenheitszustand beurteilt. In diesem Fall steigt die Genauigkeit der Beurteilung über den Operationsmodus, da eine Fehlbeurteilung kaum in der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung auftritt.
  • Modifikationen
  • Als ein weiteres Beispiel der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung in dem Schritt ST103 in 4 kann die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilen, dass der Operationsmodus der Operationsmodus in dem Sichtlinienabwesenheitszustand ist, wenn drei oder mehr Tastpunkte (Kontaktpunkte von Fingern) auftreten. In diesem Fall kann eine Zweipunkt-Tastoperation auf dem Tastfeld 20 (z. B. die Operation wie etwa Kneifen, Drehen usw.) als die Tastgestenoperation verwendet werden.
  • Weiterhin ist es als ein weiteres Beispiel der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung in dem Schritt ST103 in 4 möglich zu beurteilen, dass der Zustand der Sichtlinienabwesenheitszustand ist, wenn eine Bedingung ohne Ändern der Inhalte des Schirms des Tastfelds 20 für eine vorbestimmte Zeit oder länger seit dem Start des Kontakts eines Fingers mit dem Schirm des Tastfelds 20 angedauert hat. Beispielsweise kann die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilen, dass der Zustand der Sichtlinienabwesenheitszustand ist, wenn weder ein Schirmscrollen mit Hilfe eines Wischens mit einem Finger nach links oder rechts noch ein Listenscrollen mit Hilfe einer Operation des Streichens des Schirms nach oben oder unten auftritt, selbst wenn eine Operation des Berührens des Schirms des Tastfelds 20 mit einem Finger und des Streichens des Schirms aufgetreten ist.
  • Als ein weiteres Beispiel für die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung in dem Schritt ST103 in 4 kann die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilen, dass der Zustand der Sichtlinienanwesenheitszustand ist, wenn eine Bewegung des Kontaktpunkts eines Fingers in einer vertikalen Richtung, einer horizontalen Richtung oder einer schrägen Richtung detektiert wird.
  • Als ein weiteres Beispiel für die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung in dem Schritt ST103 in 4 kann die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilen, dass der Zustand der Sichtlinienanwesenheitszustand ist, wenn ein spezifischer Ort wie etwa ein Kreis, ein Viereck oder ein Zeichen durch Bewegen des Kontaktpunkts eines Fingers gezeichnet wird.
  • Weiterhin ist es als eine Bedingung für die Beurteilung durch die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 in dem Schritt ST103 in 4 zum Ändern von dem Sichtlinienabwesenheitszustand zu dem Sichtlinienanwesenheitszustand möglich, das Verstreichen einer vorbestimmten Zeit in einem Zustand ohne Eingabeoperation auf dem Tastfeld 20 zu verwenden. Beispielsweise kann die Einrichtung ausgebildet sein, automatisch zu dem Sichtlinienanwesenheitszustand zurückzukehren, wenn der Zustand ohne Tastgestenoperation für eine vorbestimmte Schwellwertzeit oder länger seit dem Umschalten zu dem Sichtlinienabwesenheitszustand fortdauert. In diesem Fall kann der Benutzer wieder eine Tastgestenoperation durchführen, die als eine Operation in dem Sichtlinienabwesenheitszustand beurteilt wird, wie etwa die Drücken-und-Halte-Operation, mit Hilfe einer Sprachankündigung von der Benachrichtigungseinheit 15, und dann eine Tastgestenoperation ohne Betrachten des Schirms durchführen.
  • Weiterhin ist es als ein weiteres Operationsverfahren in dem Sichtlinienabwesenheitszustand in dem Schritt ST109 in 4 zusätzlich zu dem Verfahren zum Erhöhen/Verringern des Wahlwerts durch Antippen eines oberen Halbbereichs oder eines unteren Halbbereichs auf dem Schirm ebenfalls möglich, ein Bild wie das in 5 gezeigte auf dem Schirm anzuzeigen, in dem mehrere Knöpfe zum Eingeben eines Zahlenwerts angeordnet sind, und zu bewirken, dass die Benachrichtigungseinheit 15 die Elemente von Knöpfen entsprechend mit einem Finger gestrichenen Positionen laut gelesen werden.
  • Als ein weiteres Operationsverfahren in dem Sichtlinienabwesenheitszustand in dem Schritt ST109 in 4 ist es möglich, zwei Punkte auf dem Schirm mit Fingern zu berühren und die Finger wie das Drehen einer Wählscheibe zu drehen, um den Wahlwert zu erhöhen, falls die Finger im Uhrzeigersinn gedreht werden, und den Wahlwert zu verringern, falls die Finger entgegen dem Uhrzeigersinn gedreht werden. Falls in diesem Fall ein Zweipunkt-Antippen als eine bestimmende Operation eingestellt ist, besteht eine Möglichkeit, dass die bestimmende Operation und eine Drehoperation verwechselt werden, und somit kann das Durchführen von zwei aufeinanderfolgenden Tippvorgängen (Durchführen eines Doppeltippens) innerhalb einer vorbestimmten Zeitperiode als eine Operation für das Bestimmen des Wahlwerts eingestellt werden, als Beispiel.
  • Zweite Ausführungsform
  • Ausbildung
  • In der oben beschriebenen ersten Ausführungsform sind die Tastgestenoperationen im Operationsmodus in dem Sichtlinienabwesenheitszustand auf einfache Tastgestenoperationen beschränkt, die den ganzen Schirm des Tastfelds 20 als das operationseffektive Gebiet nutzen. In einer zweiten Ausführungsform wird eine Beschreibung von einer Einrichtung und einem Verfahren geliefert, die unbeabsichtigte Operationen verhindern, die durch Nichtbetrachten des Schirms verursacht werden, und kompliziertere Tastgestenoperationen in dem Operationsmodus in dem Sichtlinienabwesenheitszustand ermöglichen.
  • 6 ist ein Funktionsblockdiagramm, das eine schematische Konfiguration einer Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt. In 6 ist jeder Komponente, die zu einer in 1 gezeigten Komponente identisch ist oder ihr entspricht, das gleiche Bezugszeichen wie in 1 zugewiesen. Die Tastfeld-Eingabeeinrichtung 2 enthält das Tastfeld 20 und eine Tastgesten-Beurteilungseinrichtung 10a. Die Tastgesten-Beurteilungseinrichtung 10a ist eine Einrichtung, die in der Lage ist, ein Tastgesten-Beurteilungsverfahren gemäß der zweiten Ausführungsform und ein Tastgesten-Beurteilungsprogramm gemäß der zweiten Ausführungsform auszuführen. Die Tastgesten-Beurteilungseinrichtung 10a in der zweiten Ausführungsform unterscheidet sich von der Tastgesten-Beurteilungseinrichtung 10 in der ersten Ausführungsform dadurch, dass sie eine Gestenoperations-Ablageeinheit 17 und eine Gestenkorrektureinheit 18 enthält. Mit Ausnahme dieser Merkmale ist die zweite Ausführungsform die gleiche wie die erste Ausführungsform. Somit erfolgt die folgende Beschreibung hauptsächlich über den Unterschied.
  • Die Gestenoperations-Ablageeinheit 17 speichert Vorgeschichteninformationen über durch die Operationsbeurteilungseinheit 14 erkannte Tastgestenoperationen. Die Gestenkorrektureinheit 18 bestimmt einen Wahlwert A8 durch Korrigieren eines Tastgestenoperations-Erkenntnisergebnisses als das Ergebnis der Beurteilung durch die Operationsbeurteilungseinheit 14 auf Basis der Daten der in der Gestenoperations-Ablageeinheit 17 gespeicherten Tastgestenoperationen.
  • Eine H/W-Ausbildung der Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform enthält das Tastfeld 20, den Prozessor 31, den Speicher 32 und den Lautsprecher 33, wie in 2 gezeigt. Die in 6 gezeigte Tastgesten-Beurteilungseinrichtung 10a kann durch Verwenden des Speichers 32 als eine Ablageeinrichtung zum Speichern des Tastgesten-Beurteilungsprogramms als Software und des Prozessors 31 als eine Informationsverarbeitungseinheit zum Ausführen des in dem Speicher 32 gespeicherten Tastgesten-Beurteilungsprogramms implementiert werden (z. B. durch einen Computer). In diesem Fall entsprechen die Komponenten 11 bis 18 in 6 dem Prozessor 31, der das Tastgesten-Beurteilungsprogramm in 2 ausführt. Übrigens ist es auch möglich, einen Teil der in 6 gezeigten Tastgesten-Beurteilungseinrichtung 10a durch den in 2 gezeigten Speicher 32 und den Prozessor 31, der das Tastgesten-Beurteilungsprogramm ausführt, zu implementieren.
  • Operation
  • 7 ist ein Flussdiagramm, das die Operation der Tastgesten-Beurteilungseinrichtung 10a (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform zeigt. In 7 ist jedem Prozessschritt, der mit einem in 4 gezeigten Prozessschritt identisch ist oder ihm entspricht, die gleiche Schrittnummer wie in 4 zugewiesen. Die Operation der Tastgesten-Beurteilungseinrichtung 10a in der zweiten Ausführungsform unterscheidet sich von der Operation der Tastgesten-Beurteilungseinrichtung 10 in der ersten Ausführungsform dadurch, dass ein Prozessschritt des Speicherns einer Tastgestenoperation (Schritt ST201) und ein Gestenkorrekturprozessschritt (Schritt ST202) nach dem Tastgestenoperations-Beurteilungsschritt ST109 ausgeführt werden. Mit Ausnahme dieser Merkmale ist die Operation der Tastgesten-Beurteilungseinrichtung 10a in der zweiten Ausführungsform die gleiche wie die Operation der Tastgesten-Beurteilungseinrichtung 10 in der ersten Ausführungsform.
  • In Schritt ST201 in 7 speichert die Gestenoperations-Ablageeinheit 17 Informationen über eine durch die Operationsbeurteilungseinheit 14 erkannte Tastgestenoperation als Vorgeschichteninformationen. Tabelle 2 zeigt ein Beispiel für die Vorgeschichteninformationen über Tastgestenoperationen.
    TABELLE 2: BEISPIEL FÜR ALS VORGESCHICHTENINFORMATIONEN GESPEICHERTE DATEN IN DER GESTENOPERATIONS-ABLAGEEINHEIT 17
    ZEIT ZENTRALE TAST-KOORDINATEN [Pixel] DREH-RICHTUNGS-ABWEICHUNG [Pixel] DISTANZABWEICHUNG [Pixel] BEWEGUNGSDISTANZ [Pixel]
    T1 (X1, Y1) ΔH1 ΔD1 ΔM1
    T2 (X2, Y2) ΔH2 ΔD2 ΔM2
    T3 (X3, Y3) ΔH3 ΔD3 ΔM3
    : : : : :
    Tk-1 (VORAUSGEGANGENE ZEIT) (Xk-1, Yk-1) ΔHk-1 ΔDk-1 ΔMk-1
    Tk (GEGENWÄRTIGE ZEIT) (Xk, Yk) ΔHk ΔDk ΔMk
  • 8 ist ein Diagramm, das ein Verfahren zum Erhalten der Vorgeschichteninformationen über Tastgestenoperationen in der Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform zeigt. In dem Schritt ST201 werden die Vorgeschichteninformationen über Tastgestenoperationen, in Tabelle 2 gezeigt, durch das in 8 gezeigte Verfahren berechnet, als Beispiel. In dem Beispiel von 8 ist eine Verschiebung bei der Drehrichtung, das heißt eine Winkelabweichung H [Pixel], als die Länge einer senkrechten Linie Q2 definiert, die sich von einem in der gegenwärtigen Tastgestenoperation berührten Punkt P3 zu einer geraden Linie Q1 erstreckt, die zwei in der vorausgegangenen Tastgestenoperation berührte Punkte P1 und P2 verbindet. Eine Distanzabweichung D [Pixel] ist als eine Abweichung zwischen der gegenwärtigen Zweipunktdistanz (Distanz zwischen P1 und P3) L2 und der vorausgegangenen Zweipunktdistanz (Distanz zwischen P1 und P3) L1 definiert. Eine Bewegungsdistanz M [Pixel] ist als eine Bewegungsdistanz zwischen einer Mittelposition I2 zwischen den gegenwärtigen zwei Punkten (zwischen P1 und P3) und einer Mittelposition I1 zwischen den vorausgegangenen zwei Punkten (zwischen P1 und P2) definiert.
  • Wenn der Benutzer eine Tastgestenoperation ohne Betrachtung des Schirms durchführt und Operationsinformationen nicht in die Tastgesten-Beurteilungseinrichtung 10a als die Absicht des Benutzers eingegeben werden, korrigiert die Gestenkorrektureinheit 18 das Ergebnis der Erkennung in dem Schritt ST202 auf Basis der durch die Gestenoperations-Ablageeinheit 17 gespeicherten Vorgeschichteninformationen.
  • 9 ist ein Diagramm, das ein Beispiel für eine Tastgestenoperation zeigt, wenn der Benutzer die Tastgestenoperation ohne Betrachten des Schirms des Tastfelds 20 in der Tastfeld-Eingabeeinrichtung 2 durchführt und Operationsinformationen nicht als die Absicht des Benutzers in die Tastgesten-Beurteilungseinrichtung 10a eingegeben werden. Im Fall der in 9 gezeigten Tastgestenoperation wird der Wahlwert erhöht, wenn der Benutzer Kreise mit einem Finger im Uhrzeigersinn als erste Drehrichtung auf dem Schirm des Tastfelds 20 zeichnet, und der Wahlwert wird verringert, wenn der Benutzer Kreise mit dem Finger entgegen dem Uhrzeigersinn als einer der ersten Drehrichtung entgegengesetzten zweiten Drehrichtung zeichnet.
  • Wenn der Benutzer mit einem Finger Kreise zeichnet, ohne seine Augen zu dem Tastfeld 20 zu lenken, verschieben sich die Positionen der Kreise Bit für Bit und die Winkelabweichung H [Pixel] pro Bewegungsdistanz M [Pixel] ändert sich sogar, falls der Benutzer beabsichtigt, Kreise zu zeichnen, und somit wird es schwierig, eine Justierung vorzunehmen, um ein vorbestimmtes Operationsausmaß zu erzielen. Deshalb schätzt die Gestenkorrektureinheit 18 die Formen der Kreise durch ein Anpassungsverfahren wie das Verfahren der kleinsten Quadrate und aktualisiert die Positionen der Kreise durch Verwenden von Tastortinformationen für eine Periode ab dem gegenwärtigen Zeitpunkt bis zu einem Zeitpunkt vor einer vorbestimmten Zeit, in der Gestenoperation-Ablageeinheit 17 akkumuliert. Nach dem Aktualisieren der Positionen der Kreise erhält die Gestenkorrektureinheit 18 die Abweichung beim Winkel durch Berechnen eines Winkels, der durch den vorausgegangenen Fingerkontaktpunkt, die Mittelposition des Kreises und den gegenwärtigen Fingerkontaktpunkt gebildet wird. Durch den obigen Prozess kann die Tastgestenoperation des wiederholten Zeichnens von Kreisen ohne das Lenken der Augen zu dem Schirm des Tastfelds 20, wie in 9 gezeigt, implementiert werden.
  • Zusätzlich zu dem Aktualisieren der Position jedes Kreises kann, wenn der Kreis eine elliptische Form besitzt, die Gestenkorrektureinheit 18 den Koordinatenort neu berechnen durch Vornehmen einer Korrektur des Transformierens jeder Ellipse in einem Kreis durch Ändern der horizontalen und vertikalen Reduktionsskalen der Ellipse und Berechnen des Winkels, der durch den vorausgegangenen Fingerkontaktpunkt, die Mittelposition des Kreises und den gegenwärtigen Fingerkontaktpunkt gebildet wird.
  • Bezüglich einer Periode, bevor die Gestenkorrektureinheit 18 die Position jedes Kreises korrigiert, beurteilt die Operationsbeurteilungseinheit 14 die Tastgestenoperation des Zeichnens von Kreisen. Die Anfangsposition der Kreise kann in diesem Fall entweder als die Mittelposition des Schirms des Tastfelds 20 gesetzt oder durch ein Verfahren wie etwa das Verfahren der kleinsten Quadrate auf Basis eines Orts entsprechend einer vorbestimmten Zeit bestimmt werden.
  • 10 ist ein Diagramm, das ein Beispiel einer Tastgestenoperation zeigt, die ohne Betrachten des Schirms des Tastfelds 20 in der Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform durchgeführt wird. Eine als ein Auslöser verwendete Operation, um zu bewirken, dass die Operationsbeurteilungseinheit 14 mit dem Beurteilen der Tastgestenoperation des Zeichnens von Kreisen beginnt, kann als eine Operation des Berührens von mehreren Kontaktpunkten mit mehreren Fingerspitzen und das Reduzieren der Anzahl von kontaktierenden Fingern auf unter eine vorbestimmte Zahl definiert werden, wie auf der linken Seite von 10 gezeigt ist. Wenn beispielsweise der Benutzer drei Punkte berührt und dann die Anzahl von Kontaktpunkten auf 1 verringert wird, wie in 10 gezeigt, kann die Operationsbeurteilungseinheit 14 die Schwerpunktposition (den Schwerpunkt) von drei Punkten als die Mitte ansehen und das Beurteilen der Tastgestenoperation des Zeichnens von Kreisen beurteilen, und danach kann die Korrektur des Drehausmaßes durch Aktualisieren der Position von Kreisen durch die Gestenkorrektureinheit 18 durchgeführt werden, wenn akkumulierte Vorgeschichtenaufzeichnungen ein vorbestimmtes Datenvolumen erreichen oder übersteigen.
  • Als ein weiteres Beispiel der durch den Benutzer durchgeführten Tastgestenoperation ohne Betrachten des Schirms und nicht als die Absicht des Benutzers durchgeführt, kann eine Tastgestenoperation eines Mehrpunkt-Kneifens, einer Drehung und einer Paralleltranslation gegeben werden. 11 ist ein Diagramm, das eine Situation zeigt, bei der die Richtung, der Winkel und das Skalierungsausmaß der Kamera in der Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform ohne Betrachten der Tastfeld-Eingabeeinrichtung 2, die zur Hand ist, justiert werden. 11 erläutert die Situation, bei der die Richtung, der Winkel und das Skalierungsausmaß der Kamera ohne Betrachten des Tastfelds, das zur Hand ist, justiert werden.
  • In 11 zeigt eine Kamerabild-Bildschirmeinrichtung 401 ein durch die Kamera aufgenommenes Bild. Außerdem zeigt auf der Kamerabild-Bildschirmeinrichtung 401 die Benachrichtigungseinheit 15 den gegenwärtigen Kameraoperationsstatus (Richtung, Skalierungsfaktor, Drehwinkel) in Überlagerung.
  • Ein zur Verfügung stehender Operationsschirm 402 liefert Tastinformationen an die Operationsinformations-Eingabeeinheit 11, schaltet die Schirmanzeige zwischen der in dem Sichtlinienanwesenheitszustand und der in dem Sichtlinienabwesenheitszustand um und ändert den Bildschirminhalt auf dem Schirm gemäß der Tastgestenoperation als Ergebnis der Beurteilung durch die Operationsbeurteilungseinheit 14.
  • In dem Operationsmodus in dem Sichtlinienanwesenheitszustand zeigt der Schirm 403, als ein Schirm, der in dem Fall angezeigt wird, wo die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Zustand der Sichtlinienanwesenheitszustand ist, ein Handbuch, auf dem eine Tastgestenoperation des Antippens eines Hyperlink zum Umschalten des Schirms durchgeführt werden kann.
  • In dem Operationsmodus in dem Sichtlinienabwesenheitszustand ist der Schirm 404 ein Schirm, der in dem Fall angezeigt wird, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Zustand der Sichtlinienabwesenheitszustand ist.
  • Die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 beurteilt, dass der Zustand der Sichtlinienanwesenheitszustand ist, wenn eine Operation des Berührens von drei oder mehr Punkten detektiert wird, eine Operation des Abhebens aller Finger von dem Schirm durchgeführt wird und eine vorbestimmte Zeit verstrichen ist. Die Operationsbeurteilungseinheit 14 beurteilt, ob eine Tastgestenoperation des Skalierens, der Bewegung oder Drehung nach der Operation des Berührens von drei oder mehr Punkten auftritt, und zeigt ein Bild mit einer Änderung in der Richtung oder das Skalierungsausmaß der Kamera an, wie etwa ein skaliertes Kamerabild 407, ein bewegtes Kamerabild 408 oder ein gedrehtes Kamerabild 409, gemäß jedem Operationsausmaß.
  • Als noch ein weiteres Beispiel der durch den Benutzer durchgeführten Tastgestenoperation ohne Betrachten des Schirms und nicht als die Absicht des Benutzers durchgeführt, gibt es eine Operation des starken Drückens des Tastfelds. Wenn beispielsweise der Benutzer eine Operation durchführt, die durch die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit aufgrund der Drücken-und-Halte-Operation als in dem Sichtlinienabwesenheitszustand zu sein beurteilt werden soll, tendiert der Benutzer, der die Drücken-und-Halte-Operation ohne Betrachten des Schirms durchführt, dazu, den Finger stark herunterzudrücken.
  • Wenn der Benutzer den Finger stark herunterdrückt, tendiert die Berührungsposition dazu, sich geringfügig von der Fingerspitze zu dem Fingerabdruckteil des Fingers zu bewegen. Deshalb stellt die Gestenkorrektureinheit 18 die Beurteilung über die Drücken-und-Halte-Operation auf Basis der Vorgeschichteninformationen über Tastgestenoperationen in Tabelle 2 unter Verwendung einer Bedingung an, dass sich die Bewegungsdistanz der Fingerposition nicht über eine gewisse Distanz hinaus ändert, oder einer Bedingung, dass die Bewegungsdistanz aufgrund der Abschwächung des drückenden Drucks unter eine gewisse Distanz abnimmt.
  • Der Korrekturprozess der Gestenkorrektureinheit 18 lässt sich nicht nur auf die Drücken-und-Halte-Operation anwenden, sondern auch auf das Antippen und auf die Zweipunkteoperationen.
  • Wenn eine Tastgestenoperation des Skalierens, der Bewegung oder der Drehung ohne Betrachten des Schirms durchgeführt wird, gibt es Fälle, wo die Tastgestenoperation als die Drehoperation falsch erkannt wird, obwohl der Benutzer beabsichtigt, hochzuskalieren. Deshalb erhält die Gestenkorrektureinheit 18 die Gesamtsumme aus Bewegungsdistanzen von drei oder mehr Kontaktpunkten, die Gesamtsumme von Änderungen oder Distanz zwischen zwei Kontaktpunkten und die Gesamtsumme von Änderungen in der Drehrichtung bezüglich einer Periode ab dem gegenwärtigen Zeitpunkt bis zu einem Zeitpunkt vor einer vorbestimmten Zeit, in der Gestenoperations-Ablageeinheit 17 akkumuliert, und gibt eine Operation mit der größten Gesamtsumme unter diesen Gesamtsummen von Änderungen als die beabsichtigte Operation aus. Durch die obige Operation kann der Benutzer die beabsichtigte Operation sogar dann durchführen, wenn er die Tastgestenoperation ohne Betrachten des Schirms durchführt.
  • Effekt
  • Wie oben beschrieben, werden in der zweiten Ausführungsform Vorgeschichtenaufzeichnungen von durch die Operationsbeurteilungseinheit 14 erkannten Gesten gesammelt und eine Korrektur wird vorgenommen, wodurch unbeabsichtigte Operationen, die durch Operationen verursacht werden, die ohne Betrachten des Schirms durchgeführt werden, verhindert werden können, und es wird möglich, sogar kompliziertere Tastgestenoperationen ohne Betrachten des Schirms durchzuführen.
  • Dritte Ausführungsform
  • Ausbildung
  • In der ersten und zweiten Ausführungsform stellt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12 die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung (Operationsmodusbeurteilung) anhand der Operationsinformationen A0 gemäß der Tastgestenoperation an. Bei den Tastfeld-Eingabeeinrichtungen 1 und 2 gemäß der ersten und zweiten Ausführungsform jedoch kann die für die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung verwendete Operation nicht als die Tastgestenoperation für die Informationseingabe verwendet werden, was ein ursprünglicher Zweck ist. Somit ist in der dritten Ausführungsform, anstatt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung (Operationsmodusbeurteilung) anhand der Operationsinformationen A0 gemäß der Tastgestenoperation vorzunehmen, eine Kamera als eine Bildaufnahmeeinrichtung zum Aufnehmen eines Bilds des Gesichts des Benutzers vorgesehen, und die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung wird anhand eines Kamerabilds des Gesichts des Benutzers vorgenommen.
  • 12 ist ein Funktionsblockdiagramm, das eine schematische Ausbildung einer Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform zeigt. In 12 ist jeder Komponente, die zu einer in 1 gezeigten Komponente identisch ist oder ihr entspricht, das gleiche Bezugszeichen wie in 1 zugewiesen. Die Tastfeld-Eingabeeinrichtung 3 enthält das Tastfeld 20 und eine Tastgesten-Beurteilungseinrichtung 10b. Die Tastgesten-Beurteilungseinrichtung 10b ist eine Einrichtung, die ein Tastgesten-Beurteilungsverfahren gemäß einer dritten Ausführungsform und ein Tastgesten-Beurteilungsprogramm gemäß der dritten Ausführungsform ausführen kann. Die Tastgesten-Beurteilungseinrichtung 10b in der dritten Ausführungsform unterscheidet sich von der Tastgesten-Beurteilungseinrichtung 10 in der ersten Ausführungsform dadurch, dass eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung (Operationsmodusbeurteilung) anhand eines Kamerabilds des Gesichts des Benutzers vornimmt, das von einer Kamera 34 über eine Kamerabildeingabeeinheit 19 erhalten wird. Mit Ausnahme dieses Merkmals ist die dritte Ausführungsform die gleiche wie die erste Ausführungsform. Weiterhin lassen sich die Kamerabildeingabeeinheit 19 und die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b in der dritten Ausführungsform ebenfalls auf die Tastfeld-Eingabeeinrichtung 2 gemäß der zweiten Ausführungsform anwenden.
  • Die Kamerabildeingabeeinheit 19 empfängt ein Kamerabild (Bilddaten), das durch die Kamera 34 durch Aufnehmen eines Bilds des Gesichts des Benutzers erhalten wird. Die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b als die Operationsmodus-Beurteilungseinheit empfängt das Kamerabild des Gesichts des Benutzers von der Kamerabildeingabeeinheit 19, führt eine Bildverarbeitung zum Extrahieren von Bilddaten des gesamten Gesichts und der Augen durch und detektiert dadurch die Richtung des Gesichts und die Richtung der Sichtlinie der Augen. Der Operationsmodus wird als der Operationsmodus in dem Sichtlinienanwesenheitszustand beurteilt, falls die Augen auf den Schirm des Tastfelds 20 gerichtet sind, oder wird als der Operationsmodus in dem Sichtlinienabwesenheitszustand beurteilt, falls die Augen nicht auf den Schirm des Tastfelds 20 gerichtet sind.
  • 13 ist ein Diagramm, das ein Beispiel einer H/W-Ausbildung der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform zeigt. In 13 ist jeder Komponente, die zu einer in 2 gezeigten Komponente identisch ist oder ihr entspricht, das gleiche Bezugszeichen wie in 2 zugewiesen. Die H/W-Ausbildung der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform unterscheidet sich von der H/W-Ausbildung der Tastfeld-Eingabeeinrichtung 1 gemäß der ersten Ausführungsform dadurch, dass sie die Kamera 34 enthält, und durch das in einem Speicher 32b gespeicherte Tastgesten-Beurteilungsprogramm. Mit Ausnahme dieser Merkmale ist die H/W-Ausbildung in der dritten Ausführungsform die gleiche wie die in der ersten Ausführungsform.
  • Die Kamera 34 speichert das Kamerabild (Bilddaten) des Gesichts des Benutzers, das durch die Bildaufnahme durch die Kamera in dem Speicher 32b als die Ablageeinheit erhalten wird, und der Prozessor 31 erhält das Kamerabild von dem Speicher 32b in dem Prozess der Kamerabildeingabeeinheit 19 und führt eine Bildverarbeitung in der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b durch.
  • Operation
  • 14 ist ein Flussdiagramm, das die Operation der Tastgesten-Beurteilungseinrichtung 10b (Tastgesten-Beurteilungsverfahren) in der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform zeigt. In 14 ist jedem Prozessschritt, der mit einem in 4 gezeigten Prozessschritt identisch ist oder ihm entspricht, die gleiche Schrittnummer wie in 4 zugewiesen. Die Operation der Tastgesten-Beurteilungseinrichtung 10b in der dritten Ausführungsform unterscheidet sich von der Operation der Tastgesten-Beurteilungseinrichtung 10 in der ersten Ausführungsform dadurch, dass die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung auf Basis des Kamerabilds des Gesichts des Benutzers vornimmt, das über die Kamerabildeingabeeinheit 19 erhalten wird (Schritte ST301 und ST302), und die Operationsinformationen A0 gemäß der Tastgestenoperation werden nach der Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung auf Basis des Kamerabilds erhalten (Schritt ST303). Mit Ausnahme dieser Merkmale ist die Operation der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform die gleiche wie die Operation in der ersten Ausführungsform. Somit erfolgt die folgende Beschreibung von Operationen, die von jenen in der ersten Ausführungsform verschieden sind.
  • In dem Schritt ST301 in 14 empfängt die Kamerabildeingabeeinheit 19 die Bilddaten des Gesichts des Benutzers von der Kamera 34 und speichert die Bilddaten im Speicher 32b.
  • Die 15 (a) und 15(b) sind Diagramme, die ein Verfahren zum Beurteilen des Sichtlinienanwesenheitszustands und des Sichtlinienabwesenheitszustands in der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform zeigen. In dem Schritt ST302 empfängt die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b die Bilddaten des Gesichts des Benutzers, wie das in 15 (a) gezeigte, in dem Speicher 32b gespeichert, durch die Kamerabildeingabeeinheit 19, führt eine Bildverarbeitung zum Extrahieren der Gesichtsrichtung und der Sichtlinie durch und beurteilt, dass der Zustand der Sichtlinienanwesenheitszustand ist, falls die zu dem Schirm des Tastfelds 20 gerichtete Sichtlinie vorliegt, wie auf der linken Seite von 15(b) gezeigt. Die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit 12b beurteilt, dass der Zustand der Sichtlinienabwesenheitszustand ist, wenn die zu dem Schirm des Tastfelds 20 gerichtete Sichtlinie fehlt, wie auf der rechten Seite von 15(b) gezeigt.
  • Die Richtung des Gesichts kann mit einem Kaskadenidentifizierer beispielsweise auf Basis von Haar-Merkmalswerten detektiert werden, und die Sichtlinie kann beispielsweise durch Extrahieren eines Augenteils als ein Teil des Gesichts, Anwenden eines Kantenfilters auf das Bild des Auges, Extrahieren des Außendurchmessers der Iris und Schätzen der Position der Pupille durch Vornehmen des Anpassens mit einer Ellipse detektiert werden. Die Verfahren des Detektierens der Richtung des Gesichts und der Sichtlinie sind nicht auf diese Beispiele beschränkt, und andere Verfahren können verwendet werden.
  • Effekt
  • Wie oben beschrieben, wird in der Tastfeld-Eingabeeinrichtung 3, der Tastgesten-Beurteilungseinrichtung 10b, dem Tastgestenbeurteilungsverfahren und dem Tastgestenbeurteilungsprogramm gemäß der dritten Ausführungsform die Beurteilung darüber, ob der Zustand der Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm des Tastfelds 20 gerichtet ist, oder der Sichtlinienabwesenheitszustand ist, als der andere Zustand als der Sichtlinienanwesenheitszustand, durch Verwenden des Kamerabilds von der Kamera 34 vorgenommen, wodurch die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung (Operationsmodusbeurteilung) leicht und korrekt ausgeführt werden kann, ohne dass erforderlich ist, dass der Benutzer die Tastgestenoperation zum Umschalten des Operationsmodus ausführt.
  • Weiterhin wird mit der Tastfeld-Eingabeeinrichtung 3, der Tastgesten-Beurteilungseinrichtung 10b, dem Tastgesten-Beurteilungsverfahren und dem Tastgesten-Beurteilungsprogramm gemäß der dritten Ausführungsform die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilung auf Basis des Kamerabilds vorgenommen, und somit kann die Begrenzung bei der Benutzung von Operationen unter den Tastgestenoperationen für den Originalzweck der Informationseingabe eliminiert werden.
  • Weiterhin kann mit einer mobilen Terminaleinrichtung, die mit der Tastfeld-Eingabeeinrichtung 3 gemäß der dritten Ausführungsform ausgestattet ist, in Fällen des Prüfens von Geräten oder des Betrachtens einer großflächigen Bildschirmeinrichtung, die an entfernter Position platziert ist, der Benutzer Tastgestenoperationen durch das Betätigen von Knöpfen durch das Verwenden von gewöhnlichen Bildschirmkomponenten durchführen, wenn der Benutzer das Tastfeld 20 betrachtet (Sichtlinienanwesenheitszustand) und den ganzen Schirm des Tastfelds 20 als ein operationseffektives Gebiet zum Empfangen einer Tastgestenoperation verwenden, wenn der Benutzer nicht das Tastfeld 20 betrachtet (Sichtlinienabwesenheitszustand). Wenn der Benutzer nicht das Tastfeld 20 betrachtet, kann die mobile Terminaleinrichtung somit zum Prüfen von Geräten verwendet werden oder als eine Einrichtung zum Betätigen einer in einer entfernten Position platzierten großflächigen Bildschirmeinrichtung verwendet werden.
  • Die oben beschriebene erste bis dritte Ausführungsform sind ein Exemplifikation der vorliegenden Erfindung, und eine Vielzahl an Modifikationen ist innerhalb des Schutzbereichs der vorliegenden Erfindung möglich.
  • Bezugszeichenliste
  • 1, 2, 3: Tastfeld-Eingabeeinrichtung, 10, 10a, 10b: Tastgesten-Beurteilungseinrichtung, 11: Operationsinformationseingabeeinheit, 12, 12b: Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit (Operationsmodus-Beurteilungseinheit), 13: Operationsmodus-Umschalteinheit, 14: Operationsbeurteilungseinheit, 15: Benachrichtigungseinheit, 16: Bildschirmsteuereinheit, 17: Gestenoperations-Ablageeinheit, 18: Gestenkorrektureinheit, 19: Kamerabildeingabeeinheit, 20: Tastfeld, 21: Bildschirmfeldeinheit, 22: Operationsfeldeinheit, 31: Prozessor, 32, 32b: Speicher, 33: Lautsprecher, 34: Kamera, 141: Bildschirmkomponenten-Gestenbeurteilungseinheit, 142: Vollschirm-Gestenbeurteilungseinheit, A0: Operationsinformationen, A1: Eingabeinformationen, A2: Sichtlinienbeurteilungsinformationen, A3: Befehlsinformationen, A4: Operationsbeurteilungsinformationen, A5: Benachrichtigungsinformationen, A6: Bildsignal, A7, A8: Wahlwert (Ausgangssignal), A9: Kamerabild.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2016/035207 [0004]

Claims (21)

  1. Tastfeld-Eingabeeinrichtung, umfassend: ein Tastfeld, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und der Tastgestenoperation entsprechende Operationsinformationen ausgibt; und eine Tastgesten-Beurteilungseinrichtung, die die Operationsinformationen empfängt und einen Wahlwert auf Basis der Operationsinformationen generiert, wobei die Tastgesten-Beurteilungseinrichtung enthält: eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit, die beurteilt, ob die Tastgestenoperation eine Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung anzeigen, ausgibt; eine Operationsmodus-Umschalteinheit, die Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen ausgibt; eine Operationsbeurteilungseinheit, die den Wahlwert auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß den Befehlsinformationen generiert; und eine Bildschirmsteuereinheit, die bewirkt, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt, und die Operationsbeurteilungseinheit enthält: eine Bildschirmkomponenten-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer als das Operationsbild auf dem Tastfeld in dem Sichtlinienanwesenheitszustand angezeigten Bildschirmkomponente durchgeführt wird, bestimmt; und eine Vollschirm-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds in dem Sichtlinienabwesenheitszustand durchgeführt wird, bestimmt.
  2. Tastfeld-Eingabeeinrichtung nach Anspruch 1, wobei die Tastgesten-Beurteilungseinrichtung weiterhin eine Benachrichtigungseinheit enthält, die eine Benachrichtigung liefert oder ein Benachrichtigungssignal ausgibt, das einen Benachrichtigungsinhalt gemäß den Befehlsinformationen hat.
  3. Tastfeld-Eingabeeinrichtung nach Anspruch 1 oder 2, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Sichtlinie des Benutzers sich in dem Sichtlinienabwesenheitszustand befindet, wenn eine Drücken- und Halte-Operation des ständigen Drückens des Tastfelds für eine Zeit größer oder gleich einem vorbestimmten ersten Schwellwert oder eine Mehrpunktoperation, dass mehrere Finger das Tastfeld kontaktieren, oder eine Handflächenoperation, dass eine Handfläche das Tastfeld kontaktiert, als die Tastgestenoperation erfolgt ist.
  4. Tastfeld-Eingabeeinrichtung nach Anspruch 1 oder 2, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Sichtlinie des Benutzers sich im Sichtlinienabwesenheitszustand befindet, wenn eine Operation, die den Bildschirminhalt auf dem Tastfeld nicht ändert, für eine Zeit größer oder gleich einem vorbestimmten zweiten Schwellwert als die Tastgestenoperation fortgesetzt wird.
  5. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 4, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Sichtlinie des Benutzers sich in dem Sichtlinienabwesenheitszustand befindet, wenn eine Operation des Streichens über ein bestimmtes Gebiet auf dem Tastfeld in einer vorbestimmten Richtung ohne Herausbewegen aus dem bestimmten Gebiet durchgeführt wird.
  6. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 5, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass sich die Sichtlinie des Benutzers in dem Sichtlinienabwesenheitszustand befindet, wenn ein bestimmter Ort auf dem Schirm des Tastfelds gezeichnet wird.
  7. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 6, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass sich die Sichtlinie des Benutzers in dem Sichtlinienabwesenheitszustand befindet, wenn keine Operation auf dem Schirm des Tastfelds für eine Zeit größer oder gleich einem vorbestimmten dritten Schwellwert durchgeführt wird.
  8. Tastfeld-Eingabeeinrichtung nach Anspruch 1 oder 2, weiterhin umfassend eine Kamera, die ein Kamerabild ausgibt durch Aufnehmen eines Bilds des Gesichts des Benutzers, wobei die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit die Beurteilung auf Basis des Kamerabilds vornimmt.
  9. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 8, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert erhöht, wenn ein vorbestimmtes Gebiet auf einer ersten Endseite des Schirms des Tastfelds berührt wird, und den Wahlwert verringert, wenn eine zweite Endseite des Schirms des Tastfelds gegenüber der ersten Endseite berührt wird.
  10. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 8, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit einen Wert entsprechend einer Position, wo eine Operation des Streichens über den Schirm auf dem Schirm des Tastfelds durchgeführt wird, als den Wahlwert wählt.
  11. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 8, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert erhöht, wenn eine Operation des Drehens von mehreren Kontaktpunkten auf dem Schirm des Tastfelds in einer ersten Drehrichtung durchgeführt wird, und den Wahlwert verringert, wenn eine Operation des Drehens von mehreren Kontaktpunkten in einer der ersten Drehrichtung entgegengesetzten zweiten Drehrichtung durchgeführt wird.
  12. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 1 bis 8, wobei die Tastgesten-Beurteilungseinrichtung weiterhin enthält: eine Gestenoperation-Ablageeinheit, die Vorgeschichteninformationen über die Tastgestenoperationen speichert; und eine Gestenkorrektureinheit, die eine Erkennung der Tastgestenoperation durch die Operationsbeurteilungseinheit auf Basis der durch die Gestenoperation-Ablageeinheit gespeicherten Vorgeschichteinformationen korrigiert.
  13. Tastfeld-Eingabeeinrichtung nach Anspruch 12, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert erhöht, wenn eine Operation des Drehens von mehreren Kontaktpunkten auf dem Schirm des Tastfelds in einer ersten Drehrichtung durchgeführt wird, und den Wahlwert verringert, wenn eine Operation des Drehens von mehreren Kontaktpunkten in einer der ersten Drehrichtung entgegengesetzten zweiten Drehrichtung durchgeführt wird, und die Gestenkorrektureinheit eine Position und einen Ort eines durch die Drehoperation gezeichneten Kreises korrigiert.
  14. Tastfeld-Eingabeeinrichtung nach Anspruch 12, wobei eine Anfangsposition eines Kontaktpunkts in einer Operation des wiederholten Zeichnens von Kreisen durch Bewegen des Kontaktpunkts auf dem Schirm des Tastfelds ein Schwerpunkt oder ein Mittelpunkt von mehreren Kontaktpunkten ist.
  15. Tastfeld-Eingabeeinrichtung nach Anspruch 12, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Gestenkorrektureinheit Bewegungsdistanzen von drei oder mehr, auf dem Schirm des Tastfelds eingegebenen Kontaktpunkten, ein durch Änderungen bei einer Distanz zwischen zwei Kontaktpunkten angegebenes Skalierungsausmaß und einen Drehwinkel bezüglich einer Periode ab einem gegenwärtigen Zeitpunkt bis zu einem Zeitpunkt vor einer vorbestimmten Zeit erhält, eine Gesamtsumme der Bewegungsdistanzen der Kontaktpunkte, eine Gesamtsumme der Änderungen bei der Distanz zwischen den Kontaktpunkten und eine Gesamtsumme von Änderungen in einer Drehrichtung der Drehung erhält, und eine Operation mit einer größten Gesamtsumme unter Gesamtsummen von Änderungen als eine beabsichtigte Operation ausgibt.
  16. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 9, 10 und 13, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation im Sichtlinienanwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert finalisiert, wenn eine Mehrpunkttastoperation auf dem Schirm des Tastfelds erfolgt.
  17. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 11, 14 und 15, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert finalisiert, wenn ein Doppeltippen auf den Schirm des Tastfelds erfolgt.
  18. Tastfeld-Eingabeeinrichtung nach einem der Ansprüche 9 bis 11, 13 und 15, wobei, wenn die Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit beurteilt, dass die Tastgestenoperation die Operation in dem Sichtlinienabwesenheitszustand ist, die Operationsbeurteilungseinheit den Wahlwert finalisiert, wenn keine Operation auf dem Schirm des Tastfelds für eine vorbestimmte Zeit durchgeführt wird.
  19. Tastgesten-Beurteilungseinrichtung, die Operationsinformationen von einem Tastfeld empfängt, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und die Operationsinformationen entsprechend der Tastgestenoperation ausgibt, und einen Wahlwert auf Basis der Operationsinformationen generiert, wobei die Einrichtung umfasst: eine Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungseinheit, die beurteilt, ob die Tastgestenoperation die Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung anzeigen, ausgibt; eine Operationsmodus-Umschalteinheit, die Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen ausgibt; eine Operationsbeurteilungseinheit, die den Wahlwert auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß den Befehlsinformationen generiert; und eine Bildschirmsteuereinheit, die bewirkt, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt, wobei die Operationsbeurteilungseinheit enthält: eine Bildschirmkomponenten-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer als das Operationsbild auf dem Tastfeld in dem Sichtlinienanwesenheitszustand angezeigten Bildschirmkomponente durchgeführt wird, bestimmt; und eine Vollschirm-Gestenbestimmungseinheit, die den Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds in dem Sichtlinienabwesenheitszustand durchgeführt wird, bestimmt.
  20. Tastgesten-Beurteilungsverfahren des Empfangens von Operationsinformationen von einem Tastfeld, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und die Operationsinformationen entsprechend der Tastgestenoperation ausgibt, und des Generierens eines Wahlwerts auf Basis der Operationsinformationen, wobei das Verfahren umfasst: einen Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungsschritt des Beurteilens, ob die Tastgestenoperation die Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Ausgebens von Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung angeben; einen Operationsbeurteilungsschritt des Generierens des Wahlwerts auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen; und einen Bildschirmsteuerschritt des Bewirkens, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt, wobei in dem Operationsbeurteilungsschritt der Wahlwert in dem Sichtlinienanwesenheitszustand anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer als das Operationsbild auf dem Tastfeld angezeigten Bildschirmkomponente durchgeführt wird, bestimmt wird, und der Wahlwert in dem Sichtlinienabwesenheitszustand anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds durchgeführt wird, bestimmt wird.
  21. Tastgesten-Beurteilungsprogramm zum Empfangen von Operationsinformationen von einem Tastfeld, das ein Operationsbild auf einem Schirm anzeigt, eine durch einen Benutzer durchgeführte Tastgestenoperation empfängt und die Operationsinformationen entsprechend der Tastgestenoperation ausgibt, und zum Generieren eines Wahlwerts auf Basis der Operationsinformationen, wobei das Programm bewirkt, dass ein Computer ausführt: einen Sichtlinien-Anwesenheits-/Abwesenheitsbeurteilungsprozess des Beurteilens, ob die Tastgestenoperation die Operation in einem Sichtlinienanwesenheitszustand ist, in dem die Sichtlinie des Benutzers auf den Schirm gerichtet ist, oder eine Operation in einem Sichtlinienabwesenheitszustand, in dem die Sichtlinie des Benutzers nicht auf den Schirm gerichtet ist, und Ausgebens von Sichtlinien-Beurteilungsinformationen, die ein Ergebnis der Beurteilung angeben; einen Operationsbeurteilungsprozess des Generierens des Wahlwerts auf Basis der Operationsinformationen durch ein Beurteilungsverfahren gemäß Befehlsinformationen auf Basis der Sichtlinien-Beurteilungsinformationen; und einen Bildschirmsteuerprozess des Bewirkens, dass das Tastfeld ein Bild gemäß den Befehlsinformationen als das Operationsbild anzeigt, wobei in dem Operationsbeurteilungsprozess der Wahlwert in dem Sichtlinienanwesenheitszustand anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf einer Bildschirmkomponente durchgeführt wird, die als das Operationsbild auf dem Tastfeld angezeigt wird, bestimmt wird, und in dem Sichtlinienabwesenheitszustand der Wahlwert anhand der Operationsinformationen gemäß der Tastgestenoperation, die auf dem ganzen Schirm des Tastfelds durchgeführt wird, bestimmt wird.
DE112016007545.6T 2016-12-26 2016-12-26 Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm Pending DE112016007545T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088610 WO2018122891A1 (ja) 2016-12-26 2016-12-26 タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム

Publications (1)

Publication Number Publication Date
DE112016007545T5 true DE112016007545T5 (de) 2019-09-19

Family

ID=59559217

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112016007545.6T Pending DE112016007545T5 (de) 2016-12-26 2016-12-26 Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm

Country Status (5)

Country Link
JP (1) JP6177482B1 (de)
KR (1) KR102254794B1 (de)
CN (1) CN110114749B (de)
DE (1) DE112016007545T5 (de)
WO (1) WO2018122891A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019007585B4 (de) * 2019-09-04 2023-10-12 Mitsubishi Electric Corporation Touchpanel-gerät, vorgangsidentifizierungsverfahren und vorgangsidentifizierungsprogramm
CN111352529B (zh) * 2020-02-20 2022-11-08 Oppo（重庆）智能科技有限公司 触摸事件的上报方法、装置、终端及存储介质
CN113495620A (zh) * 2020-04-03 2021-10-12 百度在线网络技术（北京）有限公司 一种交互模式的切换方法、装置、电子设备及存储介质
WO2021240668A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
WO2021240671A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
JP7014874B1 (ja) 2020-09-24 2022-02-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035207A1 (ja) 2014-09-05 2016-03-10 三菱電機株式会社 車載機器制御システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231446A (ja) * 1999-02-10 2000-08-22 Sharp Corp 表示一体型タブレット装置及びタブレット自動補正プログラムを記憶した記憶媒体
JP3909251B2 (ja) * 2002-02-13 2007-04-25 アルパイン株式会社 視線を用いた画面制御装置
JP2006017478A (ja) * 2004-06-30 2006-01-19 Xanavi Informatics Corp ナビゲーション装置
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
JP5028043B2 (ja) * 2006-07-19 2012-09-19 クラリオン株式会社 車載情報端末
JP2008195142A (ja) * 2007-02-09 2008-08-28 Aisin Aw Co Ltd 車載機器の操作支援装置、操作支援方法
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
KR102268045B1 (ko) * 2014-06-27 2021-06-22 엘지전자 주식회사 쇼 윈도우에 전시된 제품의 제품 정보 제공 장치 및 방법
JP6385173B2 (ja) 2014-07-15 2018-09-05 三菱電機株式会社 エレベータのタッチパネル式行き先階登録操作盤およびエレベータのタッチパネル式行き先階登録操作盤における利用者判定方法
KR102216944B1 (ko) 2014-09-23 2021-02-18 대원정밀공업(주) 펌핑 디바이스
KR102073222B1 (ko) * 2014-12-18 2020-02-04 한국과학기술원 사용자 단말 및 이의 햅틱 서비스 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035207A1 (ja) 2014-09-05 2016-03-10 三菱電機株式会社 車載機器制御システム

Also Published As

Publication number Publication date
KR20190087510A (ko) 2019-07-24
CN110114749A (zh) 2019-08-09
JPWO2018122891A1 (ja) 2018-12-27
JP6177482B1 (ja) 2017-08-09
WO2018122891A1 (ja) 2018-07-05
KR102254794B1 (ko) 2021-05-21
CN110114749B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
DE112016007545T5 (de) Tastfeld-eingabeeinrichtung, tastgesten-beurteilungseinrichtung, tastgesten-beurteilungsverfahren und tastgesten-beurteilungs-programm
DE102012013368B4 (de) Mobilgerät und Verfahren zum Steuern von dessen Bildschirm
DE10310794B4 (de) Bedieneinrichtung und Kommunikationsgerät
DE102014117345B4 (de) Kontaktsignatursteuerung eines Geräts
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
DE102008000001A1 (de) Integrierte Hardware- und Softwarebenutzerschnittstelle
DE102006044395A1 (de) Eingabegerät und Eingabeverfahren
DE202012005481U1 (de) Bewegen eines graphischen Selektors
EP3213178B1 (de) Benutzerschnittstelle und verfahren zur geschützten eingabe von zeichen
DE112014000496T5 (de) Benutzerschnittstellenvorrichtung und Eingabeerfassungsverfahren
DE102014224674A1 (de) Benutzerschnittstelle und Verfahren zur Bedienung eines Systems
DE102012020607B4 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE102017218120A1 (de) Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung
DE102015218963A1 (de) Steuerverfahren, Steuervorrichtung und elektronische Vorrichtung
DE112016005248T5 (de) Steuervorrichtung, Steuerverfahren und Programm
DE102012013115A1 (de) Verfahren und System für Multi-Touch-Steuerung
DE102013007914A1 (de) Handgehaltene Vorrichtung und Entriegelungsverfahren von dieser
DE112014003526T5 (de) Bildanzeigevorrichtung, Bildanzeigeverfahren und Bildanzeigeprogrammprodukt
DE202015100273U1 (de) Eingabevorrichtung
EP2555097A1 (de) Methode und Vorrichtung zur Bestimmung eines Bildausschnitts und Auslösen einer Bilderfassung mittels einer einzigen berührungsbasierten Geste
EP3347804B1 (de) Bedienvorrichtung mit zeicheneingabe und löschfunktion
EP1881398B1 (de) Verfahren zur Positionierung eines Cursors auf einem berührungsempfindlichen Bildschirm
DE112017007109T5 (de) Berührungseingabebeurteilungseinrichtung, Touchpanel-Eingabeeinrichtung,Berührungseingabebeurteilungsverfahren und Berührungseingabebeurteilungsprogramm
DE102016122732A1 (de) Zentrierungsgeste zum Verbessern einer Pinch-to-Zoom-Geste auf Berührungsbildschirmen
DE112017006949T5 (de) Berührungsgestenbeurteilungseinrichtung, Berührungsgestenbeurteilungsverfahren,Berührungsgestenbeurteilungsprogramm und Berührungsfeldeingabeeinrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R084 Declaration of willingness to licence