DE112017005980T5 - Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm - Google Patents

Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm Download PDF

Info

Publication number
DE112017005980T5
DE112017005980T5 DE112017005980.1T DE112017005980T DE112017005980T5 DE 112017005980 T5 DE112017005980 T5 DE 112017005980T5 DE 112017005980 T DE112017005980 T DE 112017005980T DE 112017005980 T5 DE112017005980 T5 DE 112017005980T5
Authority
DE
Germany
Prior art keywords
gesture
display
user
effect
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112017005980.1T
Other languages
English (en)
Inventor
Tetsuo Ikeda
Tomohiro Ishii
Kosuke Yoshitomi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112017005980T5 publication Critical patent/DE112017005980T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

[Problem] Es wird eine Anzeigesteuervorrichtung bereitgestellt, die eine Operation entsprechend einer Geste unter Berücksichtigung der Benutzungssituation und Absicht eines Benutzers ausführen kann.[Lösung] Es wird eine Anzeigesteuervorrichtung bereitgestellt, umfassend: einen Bestimmungsteil, der den Inhalt einer Geste aus einer auf einer Anzeigeoberfläche ausgeführten Operation bestimmt; und eine Effektbestimmungseinheit, die den Effekt bestimmt, für den die Richtung in Bezug auf Anzeige eines Objekts, das der durch den Bestimmungsteil bestimmten Geste entspricht und das auf der Anzeigeoberfläche anzuzeigen ist, spezifiziert wird, und außerdem das Objekt bestimmt, das das Ziel des Effekts ist.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Anzeigesteuervorrichtung, ein Anzeigesteuerverfahren und ein Computerprogramm.
  • Stand der Technik
  • Es gibt eine Technologie zum Ausführen einer Operation gemäß einem vordefinierten Muster (einer Geste), wenn die Operation eines Benutzers dem Muster entspricht. Zum Beispiel offenbart die Patentschrift 1 eine Technologie zum Definieren der Größe eines Fensters gemäß einer Größe einer Geste des Zeichnens eines Rechtecks oder eines Kreises mit seinem/ihrem Finger, einem Stift oder dergleichen, wenn ein Benutzer eine Geste ausführt.
  • Zitatliste
  • Patentliteratur
  • Patentliteratur 1: JP2004-272835A
  • Kurzfassung der Erfindung
  • Technisches Problem
  • Gemäß einer existierenden Technologie zum Erkennen einer Geste und Ausführen einer der Geste entsprechenden Operation wird eine vom Benutzer verwendete Richtung auf Vorwärts von einer Anzeige und eine Richtung nach unten in der vertikalen Richtung begrenzt. Benutzung von anderen Richtungen wird deshalb nicht berücksichtigt.
  • Die Offenbarung schlägt somit eine neuartige und verbesserte Anzeigesteuervorrichtung, ein neuartiges und verbessertes Anzeigesteuerverfahren und ein neuartiges und verbessertes Computerprogramm vor, mit der Fähigkeit zum Ausführen einer Operation, die einer Geste entspricht, unter Berücksichtigung des Benutzungszustands und der Absicht eines Benutzers.
  • Problemlösung
  • Gemäß einem Aspekt der Offenbarung wird eine Anzeigesteuervorrichtung bereitgestellt, umfassend: eine Bestimmungseinheit, die den Inhalt einer Geste aus einer Operation bestimmt, die auf einer Anzeigeoberfläche ausgeführt wurde; und eine Effektfestlegungseinheit, die einen Effekt mit einer definierten Richtung in Bezug auf Anzeige eines auf der Anzeigeoberfläche angezeigten Objekts und das Objekt, das ein Ziel des Effekts ist, festlegt, entsprechend der durch die Bestimmungseinheit bestimmten Geste.
  • Gemäß einem anderen Aspekt der Offenbarung wird ein Anzeigesteuerverfahren mit dem folgenden Schritten durch einen Prozessor bereitgestellt: Bestimmen von Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde; und Festlegen eines Effekts mit einer definierten Richtung in Bezug auf Anzeige eines auf der Anzeigeoberfläche angezeigten Objekts und das Objekt, das ein Ziel des Effekts ist, entsprechend der bestimmten Geste.
  • Gemäß einem weiteren Aspekt der Offenbarung wird ein Computerprogramm bereitgestellt, umfassend: Bewirken, dass ein Computer Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde, bestimmt; und Bewirken, dass ein Computer einen Effekt mit einer definierten Richtung in Bezug auf Anzeige eines auf der Anzeigeoberfläche angezeigten Objekts und das Objekt, das das Ziel des Effekts ist, festlegt, entsprechend der bestimmten Geste.
  • Vorteilhafte Effekte der Erfindung
  • Gemäß der Offenbarung ist es möglich, eine neuartige und verbesserte Anzeigesteuervorrichtung, ein neuartiges und verbessertes Anzeigesteuerverfahren und ein neuartiges und verbessertes Computerprogramm bereitzustellen, mit der Fähigkeit zum Ausführen einer Operation entsprechend einer Geste unter Berücksichtigung des Benutzungszustands und der Absicht eines Benutzers wie oben beschrieben.
  • Man beachte, dass die oben beschriebenen Effekte nicht unbedingt einschränkend sind. Mit den obigen Effekten oder anstelle dieser können beliebige der in der vorliegenden Patentschrift beschriebenen Effekte oder andere Effekte, die aus der vorliegenden Patentschrift erfasst werden können, erreicht werden.
  • Figurenliste
    • 1 ist eine Erläuterungsdarstellung eines Konfigurationsbeispiels für ein Informationsverarbeitungssystem gemäß einer Ausführungsform der Offenbarung.
    • 2 ist eine Darstellung eines anderen Konfigurationsbeispiels für das Informationsverarbeitungssystem gemäß der Ausführungsform.
    • 3 ist eine Darstellung eines anderen Konfigurationsbeispiels für das Informationsverarbeitungssystem gemäß der Ausführungsform.
    • 4 ist eine Darstellung eines anderen Konfigurationsbeispiels für das Informationsverarbeitungssystem gemäß der Ausführungsform.
    • 5 ist eine Erläuterungsdarstellung eines Funktionskonfigurationsbeispiels für ein Informationsverarbeitungssystem 100 gemäß der Ausführungsform.
    • 6 ist eine Erläuterungsdarstellung eines Beispiels für Informationen, die eine Gestendefinitions-Akkumulationseinheit 210 akkumuliert.
    • 7A ist eine Erläuterungsdarstellung eines Beispiels für ein Gestendetektionsverfahren, das eine Gestendetektionseinheit 220 verwendet.
    • 7B ist eine Erläuterungsdarstellung eines Beispiels für ein Gestendetektionsverfahren, das eine Gestendetektionseinheit 220 verwendet.
    • 7C ist eine Erläuterungsdarstellung eines Beispiels für ein Gestendetektionsverfahren, das eine Gestendetektionseinheit 220 verwendet.
    • 7D ist eine Erläuterungsdarstellung eines Beispiels für ein Gestendetektionsverfahren, das eine Gestendetektionseinheit 220 verwendet.
    • 8A ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8C ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8D ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8E ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8F ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8G ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 8H ist eine Erläuterungsdarstellung eines Zustands, in dem ein Benutzer eine Geste des Zeichnens einer einzigen Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 9A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer einzigen Linie auf der Anzeigeoberfläche mit zwei seiner Finger ausgeführt hat.
    • 9B ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer einzigen Linie auf der Anzeigeoberfläche mit zwei seiner Finger ausgeführt hat.
    • 10A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 10B ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 11A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 11B ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat.
    • 12A ist eine Erläuterungsdarstellung eines Beispiels, in dem eine Geste unter Verwendung von Mustervergleich detektiert wird.
    • 12B ist eine Erläuterungsdarstellung eines Beispiels, in dem eine Geste unter Verwendung von Mustervergleich detektiert wird.
    • 13 ist eine Erläuterungsdarstellung von durch eine Zielzuteilungseinheit 240 durchgeführter Gestenzuteilungsverarbeitung.
    • 14 ist eine Erläuterungsdarstellung eines Beispiels für eine Benutzeroberfläche, die eine Ausgabeeinheit 130 ausgibt.
    • 15A ist eine Erläuterungsdarstellung eines beispielhaften Falls, in dem zwei Benutzer A und B beide mit ähnlichem Timing eine L-förmige Linie auf der Anzeigeoberfläche zeichnen.
    • 15B ist eine Erläuterungsdarstellung eines beispielhaften Falls, in dem zwei Benutzer A und B beide mit ähnlichem Timing eine L-förmige Linie auf der Anzeigeoberfläche zeichnen.
    • 15C ist eine Erläuterungsdarstellung eines beispielhaften Falls, in dem zwei Benutzer A und B beide mit ähnlichem Timing eine L-förmige Linie auf der Anzeigeoberfläche zeichnen.
    • 16A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer B das Fenster berührt.
    • 16B ist eine Erläuterungsdarstellung eines beispielhaften Falls, in dem zwei Benutzer A und B beide mit ähnlichem Timing eine L-förmige Linie auf der Anzeigeoberfläche zeichnen.
    • 16C ist eine Erläuterungsdarstellung eines Beispiels, in dem einer Geste des Benutzers B, der das Fenster vor der Geste berührt, Priorität gegeben wird.
    • 17A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer L-förmigen Linie auf der Anzeigeoberfläche ausgeführt hat.
    • 17B ist eine Erläuterungsdarstellung eines Zustands, in dem eine Nachricht auf der Anzeigeoberfläche angezeigt wird oder eine Trajektorie auf der Anzeigeoberfläche vibriert.
    • 18A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer L-förmigen Linie auf der Anzeigeoberfläche ausgeführt hat.
    • 18B ist eine Erläuterungsdarstellung eines Beispiels, in dem eine Nachricht auf der Anzeigeoberfläche angezeigt wird.
    • 19A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer A eine Geste des Zeichnens einer L-förmigen Linie ausgeführt hat, wenn der Benutzer B das Fenster bedient.
    • 19B ist eine Erläuterungsdarstellung eines Zustands, in dem sich das Fenster bewegt.
    • 19C ist eine Erläuterungsdarstellung eines Zustands, in dem eine Nachricht auf der Anzeigeoberfläche angezeigt wird oder eine Trajektorie auf der Anzeigeoberfläche vibriert.
    • 20A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 20B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 21A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 21B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 22A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 22B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 23A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 23B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 24A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 24B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 25A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat.
    • 25B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster bereitgestellt wurde.
    • 26A ist ein Flussdiagramm eines Betriebsbeispiels für das Informationsverarbeitungssystem gemäß der Ausführungsform.
    • 26B ist ein Flussdiagramm eines Betriebsbeispiels für das Informationsverarbeitungssystem gemäß der Ausführungsform.
    • 27 ist eine Erläuterungsdarstellung eines Hardware-Konfigurationsbeispiels.
  • Beschreibung von Ausführungsformen
  • Im Folgenden wird eine bevorzugte Ausführungsform bzw. werden bevorzugte Ausführungsformen der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Man beachte, dass in der vorliegenden Patentschrift und in den angefügten Zeichnungen Strukturelemente, die im Wesentlichen dieselbe Funktion und Struktur aufweisen, mit denselben Bezugszahlen bezeichnet werden und wiederholte Erläuterung dieser Strukturelemente ausgelassen wird.
  • Man beachte, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
    • 1. Ausführungsform der Offenbarung
      • 1.1. Systemkonfigurationsbeispiel
      • 1.2. Funktionskonfigurationsbeispiel
      • 1.3. Betriebsbeispiel
    • 2. Hardware-Konfigurationsbeispiel
    • 3. Schlussbemerkungen
  • <Ausführungsform der Offenbarung>
  • [Systemkonfigurationsbeispiel]
  • Als Erstes wird ein Konfigurationsbeispiel für ein Informationsverarbeitungssystem gemäß einer Ausführungsform der Offenbarung beschrieben.
  • 1 ist eine Erläuterungsdarstellung eines Konfigurationsbeispiels für ein Informationsverarbeitungssystem gemäß einer Ausführungsform der Offenbarung. Man beachte, dass in der Patentschrift das System eine Konfiguration bedeuten kann, die vorbestimmte Verarbeitung ausführt, und das gesamte System als eine Vorrichtung betrachtet werden kann, es aber auch möglich ist, in Betracht zu ziehen, dass das System mehrere Vorrichtungen umfasst. Es ist nur notwendig, dass das Informationsverarbeitungssystem gemäß der in 1 dargestellten Ausführungsform dafür ausgelegt ist, in der Lage zu sein, vorbestimmte Verarbeitung als Ganzes auszuführen, und welcher Bestandteil in dem Informationsverarbeitungssystem als eine Vorrichtung zu betrachten ist, kann willkürlich festgelegt werden.
  • Mit Bezug auf 1 umfasst ein Informationsverarbeitungssystem 100a gemäß einer Ausführungsform der Offenbarung eine Eingabeeinheit 110a und eine Ausgabeeinheit 130a.
  • Die Ausgabeeinheit 130a stellt eine visuelle Benachrichtigung über verschiedene Arten von Informationen für einen Benutzer durch Anzeigen der Informationen in einem Tisch 140a bereit. Als die Ausgabeeinheit 130a wird zum Beispiel ein Projektor verwendet. Wie in der Zeichnung dargestellt, ist die Ausgabeeinheit 130a über dem Tisch 140a in einem vorbestimmten Abstand von dem Tisch 140a in einem Zustand angeordnet, in dem die Ausgabeeinheit 130a zum Beispiel von einer Decke hängt und Informationen auf eine obere Oberfläche des Tisches 140a projiziert. Ein solches Schema des Anzeigens von Informationen auf der oberen Oberfläche des Tisches 140a von oben wird auch als „Projektionstyp“ bezeichnet.
  • Man beachte, dass in der folgenden Beschreibung eine gesamte Region, in der die Informationen durch die Ausgabeeinheit 130a angezeigt werden, auch als Anzeigeschirm bezeichnet wird. Zum Beispiel zeigt die Ausgabeeinheit 130a auf dem Anzeigeschirm Informationen an, die dem Benutzer als Reaktion auf Ausführung einer Anwendung durch das Informationsverarbeitungssystem 100a zu präsentieren sind. Die anzuzeigenden Informationen sind zum Beispiel ein Bedienungsschirm für jede Anwendung. Im Folgenden wird jede Anzeigeregion auf dem Anzeigeschirm, in der ein solcher Bedienungsschirm für eine Anwendung angezeigt wird, auch als Fenster bezeichnet. Die Ausgabeeinheit 130a zeigt außerdem sogenannte Komponenten (Widgets) einer grafischen Benutzeroberfläche (GUI) an, die verschiedene Operationen des Benutzers empfangen, wie etwa Auswahl und Eingabe zum Beispiel mittels einer Schaltfläche, eines Schiebers, eines Ankreuzkastens, eines Textkastens und einer Tastatur auf dem Anzeigeschirm. Obwohl es möglich ist, das Fenster als eine der GUI-Komponenten zu betrachten, wird das Fenster nicht in die GUI-Komponenten eingeschlossen und andere Anzeigeelemente als das Fenster werden in der vorliegenden Patentschrift der Zweckmäßigkeit halber als GUI-Komponenten bezeichnet, um das Fenster von den anderen GUI-Komponenten zu unterscheiden.
  • Falls das Informationsverarbeitungssystem 100a von einem Projektionstyp ist, kann die Ausgabeeinheit 130a hier eine Beleuchtungsvorrichtung umfassen. Falls eine Beleuchtungsvorrichtung in der Ausgabeeinheit 130a enthalten ist, kann das Informationsverarbeitungssystem 100a einen Zustand der Beleuchtungsvorrichtung, wie etwa EIN und AUS, auf der Basis von Inhalt von durch die Eingabeeinheit 110a eingegebenen Informationen und/oder Inhalt von durch die Ausgabeeinheit 130a angezeigten Informationen steuern.
  • Außerdem kann die Ausgabeeinheit 130a einen Lautsprecher umfassen und verschiedene Arten von Informationen als Schall ausgeben. Falls die Ausgabeeinheit 130a als ein Lautsprecher gebildet ist, kann die Anzahl der Lautsprecher eins sein, oder es können mehrere Lautsprecher bereitgestellt werden. Falls die Ausgabeeinheit 130a mehrere Lautsprecher umfasst, kann das Informationsverarbeitungssystem 100a die Lautsprecher, die Schall ausgeben, begrenzen oder kann eine Richtung, in der der Schall ausgegeben wird, einstellen.
  • Die Eingabeeinheit 110a ist eine Vorrichtung, die Inhalt einer Operation eingibt, die durch den Benutzer ausgeführt wird, der das Informationsverarbeitungssystem 100a verwendet. In dem in 1 dargestellten Beispiel umfasst die Eingabeeinheit 110a einen Sensor und dergleichen und wird in einem Zustand, in dem die Eingabeeinheit 110a zum Beispiel von der Decke hängt, über dem Tisch 140a bereitgestellt. Auf diese Weise wird die Eingabeeinheit 110a von dem Tisch 140a, der das Ziel ist, auf dem Informationen angezeigt werden, entfernt bereitgestellt. Die Eingabeeinheit 110a kann eine Bildgebungsvorrichtung umfassen, die die obere Oberfläche des Tisches 140a, das heißt des Anzeigeschirms, abbilden kann. Als die Eingabeeinheit 110a kann zum Beispiel eine Kamera, die den Tisch 140a mit einer Linse abbildet, eine Stereokamera, die den Tisch 140a mit zwei Linsen abbilden und Informationen in der Perspektivenrichtung aufzeichnen kann, oder dergleichen verwendet werden. Falls die Eingabeeinheit 110a eine Stereokamera ist, kann eine Kamera für sichtbares Licht, eine Infrarotkamera oder dergleichen verwendet werden.
  • Falls eine Kamera, die den Tisch 140a mit einer Linse abbildet, als die Eingabeeinheit 110a verwendet wird, kann das Informationsverarbeitungssystem 100a die Position eines Objekts, zum Beispiel der Hand eines Benutzers, die sich auf dem Tisch 140a befindet, durch Analysieren eines durch die Kamera aufgenommenen Bildes (aufgenommenen Bildes) detektieren. Falls eine Stereokamera als die Eingabeeinheit 110a verwendet wird, kann das Informationsverarbeitungssystem 100a auch Tiefeninformationen eines auf dem Tisch 140a befindlichen Körpers zusätzlich zu Positionsinformationen des Körpers beschaffen, indem ein durch die Stereokamera aufgenommenes Bild analysiert wird. Das Informationsverarbeitungssystem 100a kann Kontakt oder Annäherung der Hand des Benutzers relativ zum Tisch 140a in einer Höhenrichtung und Trennung der Hand von dem Tisch 140a auf der Basis der Tiefeninformationen detektieren. Man beachte, dass in der folgenden Beschreibung die Handlung des Benutzers des Bringens eines Operationsgliedes wie seiner Hand in Kontakt mit den Informationen auf dem Anzeigeschirm oder des Bewirkens, dass das Operationsglied sich den Informationen auf dem Schirm nähert, einfach und kollektiv auch als „Kontakt“ bezeichnet wird.
  • Bei der Ausführungsform wird die Position des Operationsgliedes, zum Beispiel der Hand des Benutzers, auf dem Anzeigeschirm (das heißt, auf der oberen Oberfläche des Tisches 140a) auf der Basis des durch die Eingabeeinheit 110a aufgenommenen Bildes detektiert, und auf der Basis der detektierten Position des Operationsgliedes werden verschiedene Arten von Informationen eingegeben. Das heißt, der Benutzer kann durch Bewegen des Operationsgliedes auf dem Anzeigeschirm verschiedene Operationen eingeben. Eine Operation kann zum Beispiel in das Fenster oder eine andere GUI-Komponente eingegeben werden, indem Kontakt der Hand des Benutzers mit dem Fenster oder der anderen GUI-Komponente detektiert wird. Man beachte, dass in der folgenden Beschreibung, obwohl nachfolgend als Beispiel ein Fall beschrieben wird, in dem die Hand des Benutzers als das Operationsglied verwendet wird, die Ausführungsform nicht auf ein solches Beispiel beschränkt ist und verschiedene Operationsglieder, wie etwa ein Stift, als das Operationsglied verwendet werden können.
  • Falls die Eingabeeinheit 110a eine Bildgebungsvorrichtung umfasst, kann die Eingabeeinheit 110a außerdem auch nicht nur die obere Oberfläche des Tisches 140a abbilden, sondern auch einen Benutzer, der in der Umgebung des Tisches 140a anwesend ist. Zum Beispiel kann das Informationsverarbeitungssystem 100a die Position eines Benutzers in der Umgebung des Tisches 140a auf der Basis des aufgenommenen Bildes detektieren. Außerdem kann das Informationsverarbeitungssystem 100a Individuenerkennung für den Benutzer durchführen, indem Körpermerkmale extrahiert werden, mit denen individuelle Benutzer identifiziert werden können, wie etwa eine Größe des Gesichts oder Körpers eines Benutzers in dem aufgenommenen Bild.
  • Die Ausführungsform ist hier nicht auf ein solches Beispiel beschränkt, und die Operationseingabe des Benutzers kann durch ein anderes Verfahren ausgeführt werden. Zum Beispiel kann die Eingabeeinheit 110a als ein Touchpanel auf der oberen Oberfläche des Tisches 140a bereitgestellt werden, und die Operationseingabe des Benutzers kann durch Kontakt des Fingers oder dergleichen eines Benutzers mit dem Touchpanel detektiert werden. Außerdem kann die Operationseingabe des Benutzers unter Verwendung einer Geste detektiert werden, die mit Bezug auf die Bildgebungsvorrichtung ausgeführt wird, die die Eingabeeinheit 110a bildet. Als Alternative kann die Eingabeeinheit 110a eine Schalleingabevorrichtung wie ein Mikrofon umfassen, die Sprache, die der Benutzer erzeugt, oder Umgebungsgeräusche von der Umgebung sammelt. Als die Schalleingabevorrichtung kann geeigneterweise ein Mikrofonarray zum Sammeln von Schall in einer spezifischen Richtung verwendet werden. Außerdem kann das Mikrofonarray so ausgelegt werden, dass die Schallsammelrichtung auf eine beliebige Richtung eingestellt werden kann. Falls eine Schalleingabevorrichtung als die Eingabeeinheit 110a verwendet wird, kann eine Operation mittels des gesammelten Schalls eingegeben werden. Außerdem kann das Informationsverarbeitungssystem 100a ein Individuum auf der Basis des Schalls durch Analysieren des gesammelten Schalls erkennen. Als Alternative kann die Eingabeeinheit 110a eine Fernbedienungsvorrichtung (eine sogenannte Fernbedienung) umfassen. Die Fernbedienung kann so ausgelegt sein, dass ein vorbestimmter Befehl durch Betätigen einer vorbestimmten auf der Fernbedienung angeordneten Taste eingegeben wird, oder kann so ausgelegt sein, dass ein vorbestimmter Befehl mittels Operation eines Benutzers des Bewegens der Fernbedienung eingegeben wird, indem Bewegung und eine Lage der Fernbedienung mit einem Sensor detektiert werden, wie etwa einem Beschleunigungssensor oder einem Kreiselsensor, der an der Fernbedienung angebracht ist. Ferner kann das Informationsverarbeitungssystem 100a als die Eingabeeinheit 110a andere Eingabevorrichtungen umfassen, wie etwa eine Maus, eine Tastatur, eine Taste, einen Schalter und einen Hebel, die in der Zeichnung nicht dargestellt sind, und Operationen des Benutzers können mittels solcher Eingabevorrichtungen eingegeben werden.
  • Die Konfiguration des Informationsverarbeitungssystems 100a gemäß der Ausführungsform wurde oben mit Bezug auf 1 beschrieben. Man beachte, dass, obwohl es in 1 nicht dargestellt ist, andere Vorrichtungen mit dem Informationsverarbeitungssystem 100a verbunden werden können. Zum Beispiel kann eine Beleuchtungsvorrichtung zum Beleuchten des Tisches 140a mit dem Informationsverarbeitungssystem 100a verbunden werden. Das Informationsverarbeitungssystem 100a kann einen EIN-Zustand der Beleuchtungsvorrichtung gemäß einem Zustand des Anzeigeschirms steuern.
  • Die Konfiguration des Informationsverarbeitungssystems ist hier nicht auf die in 1 in der Ausführungsform dargestellten beschränkt. Es nur notwendig, dass das Informationsverarbeitungssystem gemäß der Ausführungsform die Ausgabeeinheit umfasst, die verschiedene Arten von Informationen auf dem Anzeigeschirm anzeigt, und die Eingabeeinheit, die mindestens eine an den angezeigten Informationen ausgeführte Operationseingabe empfangen kann, und eine spezifische Konfiguration dieser ist nicht beschränkt. Mit Bezug auf 2 bis 4 werden andere Konfigurationsbeispiele für das Informationsverarbeitungssystem gemäß der Ausführungsform beschrieben. 2 bis 4 sind Darstellungen anderer Konfigurationsbeispiele des Informationsverarbeitungssystems gemäß der Ausführungsform.
  • In einem in 2 dargestellten Informationsverarbeitungssystem 100b ist unter einem Tisch 140b eine Ausgabeeinheit 130 vorgesehen. Die Ausgabeeinheit 130a ist zum Beispiel ein Projektor und projiziert Informationen von der unteren Seite in Richtung der oberen Platte des Tisches 140b. Die obere Platte des Tisches 140b umfasst ein transparentes Material, wie zum Beispiel eine Glasplatte oder eine transparente Kunststoffplatte, und durch die Ausgabeeinheit 130a projizierte Informationen werden auf der oberen Oberfläche des Tisches 140b angezeigt. Ein solches Schema des Projizierens von Informationen von der Seite unterhalb des Tisches 140b aus zu der Ausgabeeinheit 130a und des Anzeigens von Informationen auf der oberen Oberfläche des Tisches 140b wird auch als „Rückprojektionstyp“ bezeichnet werden.
  • In dem in 2 dargestellten Beispiel ist eine Eingabeeinheit 110b auf der oberen Oberfläche (vorderen Oberfläche) des Tisches 140b vorgesehen. Die Eingabeeinheit 110b umfasst zum Beispiel ein Touchpanel, und ein Benutzer gibt eine Operation durch Kontakt eines Operationsgliedes mit dem Anzeigeschirm auf der oberen Oberfläche des Tisches 140b ein, die durch das Touchpanel detektiert wird. Man beachte, dass die Konfiguration der Eingabeeinheit 110b nicht auf ein solches Beispiel beschränkt ist und die Eingabeeinheit 110b vom Tisch 140b entfernt unter dem Tisch 140b vorgesehen werden kann, ähnlich wie bei dem in 1 dargestellten Informationsverarbeitungssystem 100a. In diesem Fall umfasst die Eingabeeinheit 110b zum Beispiel eine Bildgebungsvorrichtung und kann die Position des Operationsgliedes auf der oberen Oberfläche des Tisches 140b durch die obere Platte hindurch, die das transparente Material umfasst, detektieren.
  • In dem in 3 dargestellten Informationsverarbeitungssystem 100c ist eine Anzeige des Touchpaneltyps auf dem Tisch in einem Zustand angebracht, in dem dessen Anzeigeoberfläche nach oben gerichtet ist. In dem Informationsverarbeitungssystem 100c können die Eingabeeinheit 110c und die Ausgabeeinheit 130c integral als eine Anzeige des Touchpaneltyps gebildet sein. Das heißt, der Benutzer gibt eine Operation ein, indem verschiedene Arten von Informationen auf dem Anzeigeschirm der Anzeige angezeigt werden und Kontakt des Operationsgliedes mit dem Anzeigeschirm der Anzeige mittels des Touchpanels detektiert wird. Man beachte, dass die Bildgebungsvorrichtung auch als die Eingabeeinheit 110c über der Anzeige des Touchpaneltyps in dem Informationsverarbeitungssystem 100c vorgesehen sein kann, ähnlich wie in dem in 1 dargestellten Informationsverarbeitungssystem 100a. Die Position oder dergleichen des Benutzers in der Umgebung des Tisches kann durch die Bildgebungsvorrichtung detektiert werden.
  • Ein in 4 dargestelltes Informationsverarbeitungssystem 100d umfasst eine Anzeige des Flachbildschirmtyps. In dem Informationsverarbeitungssystem 100d ist die Ausgabeeinheit 130d als eine Anzeige des Flachbildschirmtyps gebildet, und verschiedene Arten von Informationen werden auf einem Anzeigeschirm der Anzeige angezeigt. Eine Eingabeeinheit umfasst Eingabevorrichtungen wie eine Maus, eine Tastatur und ein Touchpad, die in der Zeichnung nicht dargestellt sind, und der Benutzer gibt eine Operation durch Betätigen eines Zeigers in dem Anzeigeschirm unter Verwendung dieser Eingabevorrichtungen ein. Man beachte, dass die Eingabeeinheit in dem Informationsverarbeitungssystem 100d ein auf der Anzeige des Flachbildschirmtyps vorgesehenes Touchpanel umfassen kann und der Benutzer eine Operation mittels des Touchpanels ähnlich wie bei dem in 3 dargestellten Informationsverarbeitungssystem 100c eingeben kann. Außerdem kann die Eingabeeinheit eine Bildgebungsvorrichtung umfassen, die eine Region abbilden kann, die der Anzeigeoberfläche der Anzeige des Flachbildschirmtyps zugewandt ist. Die Position und dergleichen des Benutzers, der die Anzeige des Flachbildschirmtyps beobachtet, kann unter Verwendung der Bildgebungsvorrichtung detektiert werden.
  • Oben wurden mit Bezug auf 2 bis 4 andere Konfigurationen des Informationsverarbeitungssystems gemäß der Ausführungsform beschrieben. Wie oben beschrieben kann das Informationsverarbeitungssystem gemäß der Ausführungsform in vielfältigen Konfigurationen realisiert werden. Hier wird die Ausführungsform nachfolgend beschrieben, indem eine Konfiguration des Informationsverarbeitungssystems 100a exemplifiziert wird, bei der die Eingabeeinheit 110a und die Ausgabeeinheit 130a wie in 1 dargestellt über dem Tisch 140a vorgesehen sind. Es kann jedoch auch eine andere Konfiguration, die das Informationsverarbeitungssystem gemäß der Ausführungsform realisieren kann, wie etwa die in 2 bis 4 dargestellten oben erwähnten Konfigurationen, Funktionen realisieren, die den nachfolgend beschriebenen ähnlich sind. In der folgenden Beschreibung werden zur Vereinfachung das Informationsverarbeitungssystem 100a, die Eingabeeinheit 110a und die Ausgabeeinheit 130a einfach als Informationsverarbeitungssystem 100, Eingabeeinheit 110 und Ausgabeeinheit 130 bezeichnet.
  • Es wurden oben die Konfigurationsbeispiele des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung beschrieben. Als Nächstes werden Funktionskonfigurationsbeispiele für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung beschrieben.
  • [Funktionskonfigurationsbeispiel]
  • 5 ist eine Erläuterungsdarstellung eines Funktionskonfigurationsbeispiels für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung. Im Folgenden wird eine Funktionskonfiguration des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung mit Bezug auf 5 beschrieben.
  • Wie in 5 dargestellt, umfasst das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung die Eingabeeinheit 1110, eine Grafikanzeigeverarbeitungseinheit 120, die Ausgabeeinheit 130 und eine Anzeigesteuereinheit 200.
  • Die Eingabeeinheit 110 ist eine Benutzeroberfläche zum Eingeben verschiedener Arten von Informationen in das Informationsverarbeitungssystem 100. Der Benutzer kann über die Eingabeeinheit 110 verschiedene Arten von Informationen in das Informationsverarbeitungssystem 100 eingeben. Bei der Ausführungsform ist die Eingabeeinheit 110 dafür ausgelegt, in der Lage zu sein, mindestens eine Operationseingabe eines Benutzers in den durch die Ausgabeeinheit 130 erzeugten Anzeigeschirm zu empfangen. Zum Beispiel umfasst die Eingabeeinheit 110 eine Bildgebungsvorrichtung mit einem Bildsensor und nimmt ein aufgenommenes Bild auf, das ein Operationsglied, wie etwa die Hand eines Benutzers, auf dem Anzeigeschirm umfasst. Informationseingabe über die Eingabeeinheit 110 (zum Beispiel Informationen oder dergleichen hinsichtlich des aufgenommenen Bildes) werden der Anzeigesteuereinheit 200 zugeführt, die später beschrieben wird, und die Operationseingabe des Benutzers wird durch die Anzeigesteuereinheit 200 detektiert. Man beachte, dass die Ausführungsform nicht auf ein solches Beispiel beschränkt ist und die Eingabeeinheit 110 andere Eingabevorrichtungen umfassen kann, wie zum Beispiel ein Touchpanel, eine Maus, eine Tastatur, ein Mikrofon, eine Taste, einen Schalter und einen Hebel.
  • Die Grafikanzeigeverarbeitungseinheit 120 führt Verarbeitung von Grafik zur Anzeige auf der Ausgabeeinheit 130 auf der Basis der Operationseingabe des Benutzers, die die Eingabeeinheit 110 empfängt, aus. Die Grafikanzeigeverarbeitungseinheit 120 führt zum Beispiel Zeichnungssteuerung von vielfältigem Inhalt in einem Fenster oder dergleichen, das eine Anwendung anzeigt, Bereitstellung eines Ereignisses, wie etwa der Operationseingabe eines Benutzers, für jeden Inhalt und dergleichen aus. Bei der Ausführungsform führt die Grafikanzeigesteuereinheit 120 Inhalt der von der Eingabeeinheit 110 empfangenen Operationseingabe des Benutzers der Anzeigesteuereinheit 200 zu. Dann empfängt die Grafikanzeigeverarbeitungseinheit 120 den Inhalt der durch die Anzeigesteuereinheit 200 ausgeführten Verarbeitung und führt auf der Basis des Inhalts Grafikverarbeitung aus. Die Grafikanzeigeverarbeitungseinheit 120 umfasst zum Beispiel eine Bildverarbeitungsschaltung.
  • Die Ausgabeeinheit 130 ist eine Ausgabeschnittstelle zum Bereitstellen einer Meldung verschiedener Arten von durch das Informationsverarbeitungssystem 100 verarbeiteten Informationen an den Benutzer. Die Ausgabeeinheit 130 umfasst eine Anzeigevorrichtung, wie etwa eine Anzeige oder einen Projektor, und zeigt unter der Kontrolle der Anzeigesteuereinheit 200, die später beschrieben wird, verschiedene Arten von Informationen auf dem Anzeigeschirm an. Die Ausgabeeinheit 130 zeigt das Fenster und die GUI-Komponenten wie oben beschrieben auf dem Anzeigeschirm an. Das Fenster, die GUI-Komponenten und dergleichen, die auf der Anzeigeeinheit 130 angezeigt werden, werden auch als „Objekte“ bezeichnet. Man beachte, dass die Ausführungsform nicht auf ein solches Beispiel beschränkt ist und die Ausgabeeinheit 130 ferner eine Schallausgabevorrichtung wie einen Lautsprecher umfassen kann und verschiedene Arten von Informationen mittels Schall ausgeben kann.
  • Die Anzeigesteuereinheit 200 führt Verarbeitung auf der Basis der Operationseingabe des Benutzers, die die Eingabeeinheit 110 empfängt, aus. Bei der Ausführungsform detektiert die Anzeigesteuereinheit 200 eine Geste auf der Basis der Operationseingabe des Benutzers, die die Eingabeeinheit 110 empfängt, und führt auf der Basis der Geste an dem Objekt Verarbeitung des Bereitstellens eines Effekts aus. Die Anzeigesteuereinheit 200 umfasst einen Speicher, in dem ein Programm zum Beispiel zum Bewirken, dass eine Steuerschaltung, wie etwa eine CPU und eine Steuerschaltung arbeiten, gespeichert ist.
  • Die Anzeigesteuereinheit 200 umfasst eine Gestendefinitions-Akkumulationseinheit 210, eine Gestendetektionseinheit 220, eine Operationsziel-Detektionseinheit 230, eine Zielzuteilungseinheit 240 und eine Effektaufrufeinheit 250.
  • Die Gestendefinitions-Akkumulationseinheit 210 speichert eine Definition zum Erkennen der Operationseingabe des Benutzers, die die Eingabeeinheit 110 empfängt, als eine Geste in einem vorbestimmten Format. 6 ist eine Erläuterungsdarstellung eines Beispiels für Informationen, die die Gestendefinitions-Akkumulationseinheit 210 akkumuliert. In 6 sind die Anzahl der Finger, eine Erkennungsmustermaske, die später beschrieben wird, ein Effekt, eine Definition eines Ziels, für drei Arten von Gesten definiert. Hinsichtlich des Effekts sind drei Arten definiert, nämlich Position, Größe und Drehung, und der Kreis bedeutet, dass der mit dem Kreis markierte Effekt als Reaktion auf die Geste gezeigt wird.
  • Die in dem oberen Teil dargestellte Geste zeichnet eine Linie, die einer geraden Linie nahekommt, mit einem der Finger des Benutzers. Die Geste wird durch die Ausgabeeinheit 130 angezeigt, wie später beschrieben wird, und dient zum Ausrichten von Objekten, die in einem Bereich der Linie entlang der Linie anwesend sind. Deshalb kann das Objekt als Reaktion auf die im oberen Teil dargestellte Geste gedreht und bewegt werden, während die Größe nicht geändert wird. Deshalb sind für die im oberen Teil dargestellte Geste wie in 6 dargestellt, nur „Position“ und „Drehung“ mit Kreisen in der Linie von „Effekt“ markiert.
  • Die im mittleren Teil dargestellte Geste zeichnet eine Linie, die einer geraden Linie nahekommt, mit zwei Fingern des Benutzers. Die Geste wird durch die Ausgabeeinheit 130 angezeigt, wie später beschrieben wird, und dient zum Ausrichten aller Objekte entlang der Linie. Deshalb kann das Objekt als Reaktion auf die im mittleren Teil dargestellte Geste gedreht und bewegt werden, während die Größe nicht geändert wird. Deshalb sind für die im mittleren Teil dargestellte Geste wie in 6 dargestellt, nur „Position“ und „Drehung“ mit Kreisen in der Linie von „Effekt“ markiert.
  • Die im unteren Teil dargestellte Geste zeichnet eine Linie in einer bestimmten Richtung mit einem der Finger des Benutzers und zeichnet dann ferner eine Linie in einer vertikalen Linie relativ zu der Richtung. Anders ausgedrückt ist die im unteren Teil dargestellte Geste die Zeichnung des Benutzers eines Buchstaben „L“. Diese Geste dient zum Disponieren eines Objekts, das der Operationsposition des Benutzers am Nächsten ist, zum Beispiel unter Objekten, die durch die Ausgabeeinheit 130 angezeigt werden, entlang der Linie, wie später beschrieben wird. Durch die im unteren Teil dargestellte Geste können Drehung, eine Größenänderung und Bewegung des Objekts durchgeführt werden. Deshalb sind „Position“, „Größe“ und „Drehung“ in der Linie von „Effekt“ alle mit Kreisen für die Geste im unteren Teil wie in 6 dargestellt markiert.
  • Man beachte, dass, obwohl die Definitionen der drei Arten von Gesten in 6 dargestellt sind, Gesten, die das Informationsverarbeitungssystem 100 interpretieren kann, nicht auf solche Beispiele beschränkt sind.
  • Die Gestendetektionseinheit 220 detektiert, ob eine Geste unter Verwendung der Operationseingabe des Benutzers, die die Eingabeeinheit 110 empfängt, hergestellt wurde oder nicht. Bei der Ausführungsform detektiert die Gestendetektionseinheit 220, ob eine Geste hergestellt wurde oder nicht, mittels Vergleich mit Erkennungsmustermasken, die in der Gestendefinitions-Akkumulationseinheit 210 akkumuliert sind.
  • 7A bis 7D sind Erläuterungsdarstellungen eines Beispiels für ein Gestendetektionsverfahren, das eine Gestendetektionseinheit 220 verwendet. 7A ist eine Erläuterungsdarstellung eines Beispiels, in dem der Benutzer eine einer bestimmten Geste entsprechende Operation auf dem Anzeigeschirm ausgeführt hat. 7A zeigt einen Zustand, in dem der Benutzer einen seiner Finger auf dem Anzeigeschirm bewegt hat, um einen umgedrehten Buchstaben „L“ zu zeichnen.
  • 7B bis 7D zeigen Gestendetektionsverarbeitung unter Verwendung einer Erkennungsmustermaske, die durch die Gestendetektionseinheit 220 ausgeführt wird. Die Gestendetektionseinheit 220 bewirkt das Scannen einer Erkennungsmustermaske von der oberen linken Seite zur rechten Seite auf dem Anzeigeschirm zuerst wie in 7B dargestellt, und wenn das Heraufwärts-Scannen nach rechts abgeschlossen ist, wird bewirkt, dass eine Erkennungsmustermaske in der nächsten Zeile von der linken Seite zur rechten Seite gescannt wird. Wenn die Gestendetektionseinheit 220 letztendlich bewirkt, dass die Erkennungsmustermaske herauf zur unteren rechten Seite des Anzeigeschirms wie in 7D dargestellt gescannt wird, wird dann bestimmt, ob es einen Ort gibt, an dem die Operation, die der Benutzer ausgeführt hat, zu einem vorbestimmten Anteil oder mehr auf die Erkennungsmustermaske passt oder nicht. Wenn zum Beispiel die Operation, die der Benutzer ausgeführt hat, zu einem vorbestimmten Anteil oder mehr auf die Erkennungsmustermaske passt, wie in 7C dargestellt, kann die Gestendetektionseinheit 220 bestimmen, dass der Benutzer eine Geste entsprechend der Erkennungsmustermaske ausgeführt hat. Man beachte, dass, wenn der Benutzer eine „L“-förmige Linie zeichnet, der Winkel zwischen den zwei den Buchstaben „L“ bildenden Linien nicht genau 90 Grad sein kann. Zum Beispiel kann die Gestendetektionseinheit 220 unter Verwendung der Erkennungsmustermaske bestimmen, dass der Benutzer die „L“-förmige Linie gezeichnet hat, selbst wenn der Winkel zwischen den zwei den Buchstaben „L“ bildenden Linien in einem vorbestimmten Winkelbereich liegt, wie etwa von 85 Grad bis 95 Grad.
  • Man beachte, dass, obwohl die Gestendetektionseinheit 220 bei der Ausführungsform mittels des Vergleichs mit der Erkennungsmustermaske detektiert, ob die Geste hergestellt wurde oder nicht, die Offenbarung nicht auf ein solches Beispiel beschränkt ist. Zum Beispiel kann die Gestendetektionseinheit 220 durch sukzessives Verfolgen der Bewegung des Fingers des Benutzers detektieren, ob die Geste hergestellt wurde oder nicht. Außerdem kann die Gestendetektionseinheit 220 auf der Basis einer Gewohnheit oder dergleichen in Gesten jedes Benutzers, die zum Beispiel durch Maschinenlernen erlernt werden, detektieren, ob die Geste hergestellt wurde oder nicht.
  • Die Operationsziel-Detektionseinheit 230 detektiert, welches der Objekte auf dem Anzeigeschirm einen Effekt der Geste, die der Benutzer ausgeführt hat, erhält. Im Folgenden werden Operationen der Operationsziel-Detektionseinheit 230 mit Bezug auf ein spezifisches Beispiel beschrieben. Man beachte, dass die Linie, die der Benutzer gezeichnet hat, auf der tatsächlichen Anzeigeoberfläche gezeichnet sein kann oder nicht. Falls die Linie, die der Benutzer gezeichnet hat, gezeichnet ist, können die Linien nach dem Vergehen einer vorbestimmten Zeit gelöscht werden. Wenn die Linie gelöscht wird, können die Linien unmittelbar gelöscht oder allmählich gelöscht werden. Wenn die Linie allmählich gelöscht wird, kann die Linie sukzessiv in der Reihenfolge von dem früher gezeichneten Teil aus gelöscht werden. Der Zweckmäßigkeit halber wird angenommen, dass die die Trajektorie der Linie, die der Benutzer unter Verwendung seines Fingers gezeichnet hat, in den Zeichnungen gezeichnet ist, die in der folgenden Beschreibung verwendet werden.
  • Benutzer zeichnet eine Linie mit einem seiner Finger
  • Bei der Ausführungsform wird die Geste eines Benutzers des Zeichnens einer Linie mit einem seiner Finger durch die Ausgabeeinheit 130 auf dem Anzeigeschirm angezeigt und dient zum Ausrichten von Objekten, die in einem Bereich der Linie anwesend sind, entlang der Linie. 8A und 8B sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat. Wenn der Benutzer diese Geste ausführt, werden die Fenster 302 und 303 unter zufällig ausgerichteten Fenstern 301 bis 303, wie in 8A dargestellt, entlang der Linie, die der Benutzer gezeichnet hat, ausgerichtet, wie in 8B dargestellt. Man beachte, dass die Zeichnung der Fenster durch die Grafikanzeigeverarbeitungseinheit 120 durchgeführt werden kann. Wenn die Fenster ausgerichtet sind, sind die jeweiligen Fenster so ausgerichtet, dass die Seiten, die der Linie nahe sind, sich auf der unteren Seite befinden. Die Fenster 302 und 303 werden je nach Bedarf gedreht. Wenn der Benutzer diese Geste ausführt, betrachtet die Operationsziel-Detektionseinheit 230 die Linie, die der Benutzer gezeichnet hat, als eine gerade Linie und detektiert ein Fenster mit einem Schwerpunkt auf der vertikalen Linie der geraden Linie als ein Ziel des Effekts.
  • Man beachte, dass, falls Zielfenster auf sich überlappende Weise angezeigt werden, die Fenster, wenn Fenster gemäß der Geste des Benutzers des Zeichnens einer Linie mit einem der Finger des Benutzers ausgerichtet werden, nicht auf sich überlappende Weise ausgerichtet sein können. 8C und 8D sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat. In dem Beispiel ist ein Zustand dargestellt, in dem die Fenster 302 und 303, die auf sich überlappende Weise angezeigt werden, wie in 8C dargestellt, so ausgerichtet sind, dass sich die Fenster 302 und 303 mittels der Geste wie in 8D dargestellt nicht überlappen.
  • Außerdem können die mehreren Fenster auf sich überlappende Weise ausgerichtet sein, solange die Fenster auf einer vertikalen Linie anwesend sind, wenn die Fenster gemäß der Geste des Benutzers des Zeichnens einer Linie mit einem seiner Finger ausgerichtet werden. 8E und 8F sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer Linie auf einer Anzeigeoberfläche mit einem seiner Finger ausgeführt hat. In diesem Beispiel ist ein Zustand dargestellt, in dem als Reaktion auf die Geste die mehreren Fenster 301, 302 und 303 auf einer vertikalen Linie, wie in 8E dargestellt, auf sich überlappende Weise, wie in 8F dargestellt, ausgerichtet sind. Zu diesem Zeitpunkt können die Fenster auf eine sich überlappende Weise ausgerichtet sein, so dass sich Fenster mit größeren Flächen auf der unteren Seite befinden, wie in 8F dargestellt.
  • Der Ort, an dem der Benutzer seine Geste zeichnet, ist nicht auf einen Ort in der Nähe eines Endes der Anzeigeoberfläche beschränkt. 8G ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer Linie mit einem seiner Finger in der Nähe der Mitte der Anzeigeoberfläche ausgeführt hat. Falls der Benutzer eine Geste an einem solchen Ort ausgeführt hat, sind die Fenster 302 und 303 die Fenster als Ziele der Bewegung, und die Fenster 302 und 303 können zur unteren Seite bzw. oberen Seite einer Linie bewegt werden. 8H ist eine Erläuterungsdarstellung eines Zustands, in dem die Fenster 302 und 303 entlang der einen Linie, die der Benutzer gezeichnet hat, ausgerichtet sind.
  • Benutzer zeichnet eine Linie mit zwei seiner Finger
  • Bei der Ausführungsform dient die Geste eines Benutzers des Zeichnens einer Linie mit zwei seiner Finger zum Ausrichten aller Objekte, die durch die Ausgabeeinheit 130 auf dem Anzeigeschirm angezeigt werden, entlang der Linie (und auf einer Verlängerung der Linie). 9A und 9B sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer eine Geste des Zeichnens einer Linie auf einer Anzeigeoberfläche mit zwei seiner Finger ausgeführt hat. Wenn der Benutzer diese Geste ausführt, werden die Fenster 301 bis 303, die wie in 9A dargestellt zufällig ausgerichtet sind, entlang der Linie ausgerichtet, die der Benutzer gezeichnet hat, wie in 9B dargestellt. Wenn die Fenster ausgerichtet sind, sind die jeweiligen Fenster so ausgerichtet, dass Seiten, die der Linie nahe sind, sich auf der unteren Seite befinden. Die Fenster 301 bis 303 werden je nach Bedarf gedreht. Wenn der Benutzer diese Geste ausführt, detektiert die Operationsziel-Detektionseinheit 230 alle auf der Anzeigeoberfläche angezeigten Fenster als Ziele des Effekts.
  • Man beachte, dass falls Zielfenster auf sich überlappende Weise angezeigt werden, die Fenster so ausgerichtet werden können, dass sich die Fenster nicht überlappen, wenn die Ausrichtung gemäß der Geste des Benutzers des Zeichnens einer Linie mit zwei seiner Finger ausgeführt wird, ähnlich wie bei der mit einem seiner Finger ausgeführten Geste.
  • Benutzer zeichnet eine „L“-förmige Linie mit einem seiner Finger
  • Bei der Ausführungsform dient die Geste eines Benutzers des Zeichnens einer „L“-förmigen Linie mit einem seiner Finger dazu, zu bewirken, dass sich ein Objekt an dem Ort, der der Linie am nächsten ist, unter den durch die Ausgabeeinheit 130 auf der Anzeigeoberfläche angezeigten Objekten zu einer Position entlang der Linie bewegt. Das heißt, die Operation eines Benutzers des Zeichnens einer Linie entsprechend einem ersten Teil in einer bestimmten Richtung auf dem Anzeigeschirm mit einem seiner Finger und dann des Zeichnens einer Linie entsprechend einem zweiten Teil in im Wesentlichen einer Richtung senkrecht zu der Linie, während der Finger mit der Anzeigeoberfläche in Kontakt gehalten wird, wird als eine Geste des Zeichnens der „L“-förmigen Linie betrachtet. 10A und 10B sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer die Geste des Zeichnens einer „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat. Wenn der Benutzer diese Geste ausführt, bewegt sich das Fenster 312, das sich an der der Linie nächsten Position befindet, in den Fenstern 311 und 312, die angezeigt werden, wie in 10A dargestellt, wie in 10B dargestellt. Zu diesem Zeitpunkt bewegt sich das Fenster 312 so, dass die Seite, die der Linie entsprechend dem zweiten Teil, den der Benutzer gezeichnet hat, nahe ist, auf der unteren Seite befindet. Wenn die Geste des Zeichnens der „L“-förmigen Linie ausgeführt wird, bewegt sich das Fenster so, dass die Richtung, in der der zweite Teil gezeichnet wird, sich auf der oberen Seite in der Inhaltsanzeige befindet, falls der Anzeigeinhalt in dem Fenster Inhalt mit einer vertikalen Orientierung ist, wie etwa ein Foto oder ein Video. Das heißt, die vertikale Orientierung mit Bezug auf den Benutzer selbst wird gesetzt, wenn der Benutzer die L-Form in einer normalen Orientierung für den Benutzer selbst zeichnet, und die vertikale Orientierung mit Bezug auf ein Gegenstück auf der entgegengesetzten Seite eines Schreibtischs wird gesetzt, wenn der Benutzer die L-Form in einer normalen Orientierung für das Gegenstück zeichnet. Als ein Effekt der Geste des Zeichnens der „L“-förmigen Linie ist es möglich, ein Objekt leicht mit Bezug auf das Gegenstück auf der entgegengesetzten Seite des Anzeigeschirms abhängig davon anzuordnen, wie die „L“-Form zu zeichnen ist, wie oben beschrieben. Das Fenster 312 wird je nach Bedarf gedreht, vergrößert oder geschrumpft. Wenn der Benutzer diese Geste ausführt, detektiert die Operationsziel-Detektionseinheit 230 das sich an der der Linie nächsten Position befindende Fenster als ein Ziel des Effekts.
  • Wenn der Benutzer die Geste des Zeichnens der „L“-förmigen Linie mit einem seiner Finger ausführt und die Anzeigeposition des Objekts, das sich an der der Linie nächsten Position befindet, fest ist, wird ein Objekt, das der Linie am zweitnächsten ist, anstelle des Objekts zu einer Position entlang der Linie bewegt. 11A und 11B sind Erläuterungsdarstellungen eines Zustands, in dem der Benutzer die Geste des Zeichnens der „L“-förmigen Linie auf der Anzeigeoberfläche mit einem seiner Finger ausgeführt hat. In diesem Fall ist, obwohl das Fenster, das sich an der der Linie nächsten Position befindet, das Fenster 321 ist, die Anzeigeposition des Fensters 321 fest. Deshalb detektiert die Operationsziel-Detektionseinheit 230 das Fenster 322, das das Fenster ist, das sich an der der Linie zweitnächsten Position befindet, als ein Ziel des Effekts, statt des Fensters 321.
  • Auf diese Weise kann das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung Anzeigeverarbeitung gemäß der Geste des Benutzers realisieren, indem eine Bedingung für ein Operationsziel gesetzt wird oder eine Bedingung für das Ignorieren der Bedingung für jede Geste gesetzt wird.
  • Die Zielzuteilungseinheit 240 führt Zuteilungsverarbeitung einer Geste, die die Gestendetektionseinheit 220 detektiert, und eines Zielobjekts, das die Operationsziel-Detektionseinheit 230 detektiert, aus. Das heißt, die Zielzuteilungseinheit 240 bestimmt, welche Geste sich auf welches Objekt als Operationsziel auswirkt.
  • Als Erstes bestimmt die Zielzuteilungseinheit 240, ob es möglich ist, eindeutig eine Geste aus der Linie, die der Benutzer auf dem Anzeigeschirm gezeichnet hat, festzulegen, oder nicht. Falls es unklar ist, ob die Linie, die der Benutzer auf dem Anzeigeschirm gezeichnet hat, eine Linie oder eine L-förmige Linie ist, das heißt, falls zum Beispiel mehrere Kandidaten für die der Linie, die der Benutzer gezeichnet hat, entsprechende Geste anwesend sind, führt die Zielzuteilungseinheit 240 Lösungsverarbeitung unklarer Gesten zum Lösen der Unklarheit aus.
  • 12A und 12B sind Erläuterungsdarstellungen eines Beispiels, in dem eine Geste unter Verwendung von Mustervergleich detektiert wird. Falls eine Erkennungsmustermaske insgesamt fünfzig Zellen umfasst, nämlich fünf Zellen in der Longitudinalrichtung und zehn Zellen in der Querrichtung (man beachte, dass angenommen wird, dass eine Zelle eine Gruppe einer vorbestimmten Anzahl von Pixeln ist), passt die Geste sowohl auf einen Erkennungsmustervergleich für eine Linie als auch auf eine Erkennungsmustermaske für eine L-förmige Linie zu einem Anteil von 98% (neunundvierzig Zellen von fünfzig Zellen). Deshalb kann die Zielzuteilungseinheit 240 in diesem Fall nicht bestimmen, ob der Benutzer eine Linie oder eine L-förmige Linie gezeichnet hat. Obwohl ein solcher Fall, in dem die Anteile der Koinzidenz zweier Erkennungsmustermasken völlig gleich sind, ein seltener Fall ist, kann natürlich typischerweise einer Gestendefinition etwas zugegeben werden, und es gibt auch einen Fall, in dem eine Differenz zwischen den Anteilen der Koinzidenz nur ein bestimmter Prozentsatz ist, und selbst in einem solchen Fall kann die Zielzuteilungseinheit 240 eine Geste nicht eindeutig festlegen.
  • Falls es nicht möglich ist, auf der Basis der Grade von Koinzidenz mit den Erkennungsmustermasken eindeutig eine Geste festzulegen, kann die Zielzuteilungseinheit 240 auch Verarbeitung ausführen, nicht die Herstellung aller Gesten zu erlauben. Falls es nicht möglich ist, eindeutig eine Geste festzulegen, kann die Zielzuteilungseinheit 240 zwischenzeitlich nur gemeinsame Effekte unter den in der Gestendefinitions-Akkumulationseinheit 210 akkumulierten Definitionen auswählen und dem Zielobjekt die Effekte geben. Mit Bezug auf 6 sind zum Beispiel die gemeinsamen Effekte der Geste des Zeichnens einer Linie und der Geste des Zeichnens einer L-förmigen Linie „Position“ und „Drehung“. Deshalb kann die Zielzuteilungseinheit 240 dem Zielobjekt nur den Effekt „Position“ und „Drehung“ geben. 13 ist eine Erläuterungsdarstellung der Gestenzuteilungsverarbeitung, die durch die Zielzuteilungseinheit 240 ausgeführt wird. Falls es nicht möglich ist, eindeutig eine Geste festzulegen, kann die Zielzuteilungseinheit 240 dem Zielfenster 331 unter den Effekten der Geste des Zeichnens der L-förmigen Linie nur die Effekte „Position“ und „Drehung“ geben.
  • Falls es nicht möglich ist, eindeutig eine Geste festzulegen, kann die Zielzuteilungseinheit 240 dem Benutzer erlauben, einen Effekt auszuwählen, den der Benutzer verwenden möchte. 14 ist eine Erläuterungsdarstellung eines Beispiels für eine Benutzeroberfläche, die eine Ausgabeeinheit 130 ausgibt, falls es nicht möglich ist, eindeutig eine Geste festzulegen. Wenn der Benutzer eine Geste auswählt, die der Benutzer verwenden möchte, führt die Grafikanzeigeverarbeitungseinheit 120 Verarbeitung gemäß der Geste aus.
  • Das Informationsverarbeitungssystem 100 gemäß der Ausführungsform kann gleichzeitig von mehreren Benutzern bedient werden. Die Zielzuteilungseinheit 240 bestimmt, welchen von durch die mehreren Benutzer ausgeführten Gesten Priorität zu geben ist.
  • 15A ist eine Erläuterungsdarstellung eines beispielhaften Falls, in dem zwei Benutzer A und B beide mit ähnlichem Timing L-förmige Linien auf der Anzeigeoberfläche zeichnen. Falls zwei Benutzer auf diese Weise mit ähnlichem Timing die L-förmige Linie auf dem Anzeigeschirm zeichnen, kann die Zielzuteilungseinheit 240 zum Beispiel dem Benutzer Priorität geben, der zuerst mit dem Zeichnen der Linie fertig geworden ist. 15B ist eine Erläuterungsdarstellung, in der einer Geste Priorität gegeben wird, die durch den Benutzer A ausgeführt wird, der früher mit dem Zeichnen der Linie fertig geworden ist. Die Zielzuteilungseinheit 240 gibt der Geste Priorität, die durch den Benutzer A ausgeführt wurde, der früher mit dem Zeichnen der Linie fertig geworden ist. Deshalb wird der Effekt der Geste, die durch Benutzer A ausgeführt wurde, auf das Fenster 341 angewandt.
  • Falls die zwei Benutzer mit ähnlichem Timing die L-förmigen Linien auf dem Anzeigeschirm zeichnen, besteht keine signifikante Zeitdifferenz zwischen dem Fertigwerden der Benutzer mit dem Zeichnen der Linien, und es ist schwierig zu bestimmen, wer früher mit dem Zeichnen der Linie fertiggeworden ist, und die Zielzuteilungseinheit 240 kann dem Benutzer Priorität geben, der die Linie gezeichnet hat, die sich an einer einem Schwerpunkt näheren Position befindet. 15C ist eine Erläuterungsdarstellung eines Beispiels, in dem einer Geste Priorität gegeben wird, die durch den Benutzer A ausgeführt wird, der die Linie gezeichnet hat, die sich an einer dem Schwerpunkt des Fensters 341 näheren Position befindet. Die Zielzuteilungseinheit 240 gibt der Geste Priorität, die durch den Benutzer A ausgeführt wird, der die Linie gezeichnet hat, die sich an der dem Schwerpunkt des Fensters 341 näheren Position befindet. Deshalb wird der Effekt der durch Benutzer A ausgeführten Geste auf das Fenster 341 angewandt.
  • Falls die zwei Benutzer die Gesten mit ähnlichem Timing ausgeführt haben, kann die Zielzuteilungseinheit 240 als Referenz für die Bestimmung benutzen, wer das Zielobjekt vor dem Ausführen der Gesten benutzt (bedient) hat. Wenn detektiert wird, dass Benutzer B das Fenster 351 berührt hat, wie in 16A dargestellt, kann die Zielzuteilungseinheit 240 zum Beispiel der Geste des Benutzers B Priorität geben, der das Fenster 351 vor dem Ausführen der Geste berührt hat, statt der Geste des Benutzers A, der die Linie gezeichnet hat, die sich an der dem Schwerpunkt des Fensters 351 näheren Position befindet, selbst wenn die Benutzer A und B die Gesten des Zeichnens der L-förmigen Linien mit ähnlichem Timing ausgeführt haben, wie in 16B dargestellt, und gleichzeitig mit dem Zeichnen der L-förmigen Linien fertiggeworden sind. 16C ist eine Erläuterungsdarstellung eines Beispiels, in dem der Geste des Benutzers B Priorität gegeben wird, der das Fenster 351 vor der Geste berührt hat.
  • Man beachte, dass Informationen darüber, welcher Benutzer zuletzt das Fenster berührt hat, nicht andauernd in dem Informationsverarbeitungssystem 100 gehalten werden können. Zum Beispiel kann die Zielzuteilungseinheit 240 ein Objekt, das, nachdem jemand es als Letztes berührt hat, zehn Sekunden oder länger niemand berührt hat, als ein Objekt betrachten, das niemand berührt hat, und einer Geste Priorität geben, die sich an einer dem Objekt näheren Position befindet.
  • In einem anderen Fall, indem sich Objekte überlappen, kann die Zielzuteilungseinheit 240 zum Beispiel einem Objekt in der oberen Schicht Priorität geben oder kann einem Objekt Priorität geben, das auf den Benutzer gerichtet ist, der die Geste ausgeführt hat.
  • Bei der Ausführungsform ist das Objekt, auf das die Geste des Zeichnens der L-förmigen Linie angewandt wird, das Objekt, das sich an der der Linie nächsten Position befindet. Es gibt jedoch einen Fall, in dem es nicht möglich ist, abhängig von dem Ort, an dem der Benutzer die L-förmige Linie gezeichnet hat, zu bestimmen, auf welches Objekt der Effekt anzuwenden ist. 17A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die Geste des Zeichnens der L-förmigen Linie auf dem Anzeigeschirm ausgeführt hat, in dem zwei Fenster 361 und 362 auf dem Anzeigeschirm angezeigt werden. In diesem Fall wird angenommen, dass die Menge an Bewegung des Schwerpunkts des Fensters 361 600 Pixel beträgt und die Menge an Bewegung des Schwerpunkts des Fensters 362 610 Pixel beträgt, falls die Geste des Zeichnens der L-förmigen Linie angewandt wird. Obwohl strenggenommen das Fenster 361 mit der kleineren Menge an Bewegung das Ziel der Anwendung des Effekts ist, kann es eine Wahrscheinlichkeit geben, dass der Benutzer die Geste ausgeführt hat, während er das Fenster 362 als Ziel der Anwendung des Effekts betrachtet.
  • In einem solchen Fall, in dem kein signifikanter Unterschied zwischen den Mengen an Bewegungen des Objekts besteht und es nicht möglich ist, zu erkennen, welches der Objekte der Benutzer als Ziel der Operation des Ausführens der Geste betrachtet hat, das heißt, mehrere Kandidaten für das Operationszielobjekt anwesend sind, führt die Zielzuteilungseinheit 240 Lösungsverarbeitung für unklare Operationsziele des Lösens der Unklarheit des Objekts aus. Zum Beispiel kann die Zielzuteilungseinheit 240 ein Objekt, das sich an der nächsten Position befindet, als ein Operationsziel festlegen, oder in einem anderen Fall kann die Zielzuteilungseinheit 240 dem Benutzer eine Meldung bereitstellen, dass es nicht möglich ist, das Operationszielobjekt eindeutig festzulegen, indem bewirkt wird, dass eine Nachricht angezeigt wird, die angibt, dass mehrere Operationsziele anwesend sind, oder die Trajektorie, die der Benutzer auf der Anzeigeoberfläche gezeichnet hat, vibrieren gelassen wird. 17B ist eine Erläuterungsdarstellung eines Zustands, in dem eine Nachricht auf der Anzeigeoberfläche angezeigt wird oder eine Trajektorie auf der Anzeigeoberfläche vibriert. Zum Beispiel kann die Zielzuteilungseinheit 240 den Benutzer dazu ermutigen, die Geste nochmals auszuführen, indem bewirkt wird, dass eine Nachricht 363 angezeigt wird, die angibt, dass mehrere Operationsziele anwesend sind. Als Alternative kann die Zielzuteilungseinheit 240 den Benutzer dazu ermutigen, die Geste nochmals auszuführen, indem dem Benutzer durch Vibration der Trajektorie eine Meldung bereitgestellt wird, dass mehrere Operationsziele anwesend sind.
  • Falls es keinen signifikanten Unterschied zwischen den Mengen an Bewegung des Objekts gibt und es nicht möglich ist, zu erkennen, welches der Objekte der Benutzer als Ziel der Operation des Ausführens der Geste betrachtet hat, kann die Zielzuteilungseinheit 240 dem Benutzer erlauben, das Zielfenster auszuwählen. 18A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die Geste des Zeichnens der L-förmigen Linie auf dem Anzeigeschirm ausgeführt hat, in dem zwei Fenster 361 und 362 auf dem Anzeigeschirm angezeigt werden, ähnlich wie in 17A. In diesem Fall wird auch angenommen, dass es keinen signifikanten Unterschied zwischen den Mengen an Bewegungen des Objekts gibt und dass es nicht möglich ist, zu erkennen, welches der Objekte der Benutzer als Ziel der Operation des Ausführens der Geste betrachtet hat, ähnlich wie bei 17A. In diesem Fall kann die Zielzuteilungseinheit 240 bewirken, dass auf dem Anzeigeschirm eine Nachricht angezeigt wird, um es dem Benutzer zu erlauben, das Zielfenster auszuwählen, auf das der Effekt der Geste anzuwenden ist. 18B ist eine Erläuterungsdarstellung eines Beispiels, in dem eine Nachricht, um es dem Benutzer zu erlauben, das Zielfenster auszuwählen, auf das der Effekt der Geste anzuwenden ist, auf der Anzeigeoberfläche angezeigt wird. Die Zielzuteilungseinheit 240 kann es dem Benutzer erlauben, das Zielfenster auszuwählen, indem bewirkt wird, dass eine solche Nachricht angezeigt wird.
  • Die Zielzuteilungseinheit 240 kann das Operationsziel flexibel festlegen, selbst falls ein ursprüngliches Operationsziel von einem anderen Benutzer bedient wird, wenn der Benutzer die Geste ausführt. Zum Beispiel ist das Ziel der Anwendung des Effekts der Geste des Zeichnens der L-förmigen Linie ein Objekt, das sich an der der Trajektorie nächsten Position befindet. Wenn jedoch bewirkt wird, dass sich das Objekt bewegt, wenn das Objekt durch einen anderen Benutzer bedient wird, verschlechtert sich die Benutzbarkeit des Benutzers, der das Objekt bedient. Somit kann die Zielzuteilungseinheit 240 das Objekt, das ein Benutzer bedient, der von dem Benutzer verschieden ist, der die Geste ausgeführt hat, von dem Ziel der Anwendung des Effekts ausschließen.
  • 19A ist eine Erläuterungsdarstellung eines Zustands, in dem Benutzer A eine Geste des Zeichnens einer „L“-förmigen Linie ausgeführt hat, wenn Benutzer B das Fenster 371 bedient. Gemäß der Regel für die Geste in der Ausführungsform bewegt sich das Fenster 371, indem Benutzer A die L-förmige Linie zeichnet. Benutzer B bedient jedoch das Fenster 371, und Benutzer B wird verärgert sein, wenn das Fenster 371 bewegt wird. Somit schließt die Zielzuteilungseinheit 240 das Fenster 371, das Benutzer B bedient, aus dem Ziel der Anwendung des Effekts aus. 19B ist eine Erläuterungsdarstellung eines Zustands, in dem das Fenster 371 aus dem Ziel der Anwendung des Effekts ausgeschlossen wird und sich das Fenster 372 bewegt, das sich an der der Trajektorie der Geste zweitnächsten Position befindet.
  • Falls ein ähnliches Phänomen auftritt, kann die Zielzuteilungseinheit 240 dem Benutzer eine Meldung bereitstellen, dass es nicht möglich ist, das Operationszielobjekt zu bewegen, indem bewirkt wird, dass eine Nachricht angezeigt wird, die angibt, dass das Operationszielfenster gerade durch einen anderen Benutzer angezeigt wird, oder die Trajektorie, die der Benutzer auf dem Anzeigeschirm gezeichnet hat, vibrieren gelassen wird, statt das Fenster 372 zu bewegen. 19C ist eine Erläuterungsdarstellung eines Zustands, in dem eine Nachricht auf der Anzeigeoberfläche angezeigt wird oder eine Trajektorie auf der Anzeigeoberfläche vibriert. Zum Beispiel kann die Zielzuteilungseinheit 240 den Benutzer dazu ermutigen, die Geste nochmals auszuführen, indem bewirkt wird, dass eine Nachricht 373 angezeigt wird, die angibt, dass das Operationszielfenster gerade von einem anderen Benutzer bedient wird. Als Alternative kann die Zielzuteilungseinheit 240 den Benutzer dazu ermutigen, die Geste nochmals auszuführen, indem dem Benutzer mittels Vibration der Trajektorie eine Meldung bereitgestellt wird, dass das Operationszielfenster gerade von einem anderen Benutzer bedient wird.
  • Die Effektaufrufeinheit 250 führt Verarbeitung des Anwendens des Effekts auf das Objekt auf der Anzeigeoberfläche auf der Basis der Geste, die die Gestendetektionseinheit 220 detektiert, und des Operationsziels, das die Operationsziel-Detektierungseinheit 230 detektiert, aus. Zum Beispiel stellt die Effektaufrufeinheit 250 der Grafikanzeigeverarbeitungseinheit 120 Meldung von Informationen in Bezug auf Inhalt der Geste und das Operationsziel bereit und bewirkt, dass die Grafikanzeigeverarbeitungseinheit 120 tatsächliche Bildverarbeitung ausführt. Die Grafikanzeigeverarbeitungseinheit 120 führt Verarbeitung wie Bewegung, Vergrößerung oder Schrumpfung oder Drehung des Fensters auf der Basis der Informationen von der Effektaufrufeinheit 250 aus.
  • 20A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 381 ein Operationsziel der Geste ist. Die Effektaufrufeinheit 250 stellt der Grafikanzeigeverarbeitungseinheit 120 eine Meldung dergestalt bereit, dass der Effekt der Geste des Zeichnens der L-förmigen Linie auf das Fenster 381 angewandt wird. Die Grafikanzeigeverarbeitungseinheit 120, die die Meldung empfangen hat, führt Grafikverarbeitung (hier Bewegung, Drehung und Schrumpfung) an dem Fenster 381 aus. 20B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster 381 bereitgestellt wurde.
  • Die Effektaufrufeinheit 250 korrigiert Parameter in Bezug auf die Grafikverarbeitung, die verwendet wird, wenn der Effekt angewandt wird, so wie es notwendig ist, um zu verstehen, was eine Absicht der Eingabe des Benutzers ist, bevor der Grafikanzeigeverarbeitungseinheit 120 Meldung von Informationen in Bezug auf den Inhalt der Geste und das Operationsziel bereitgestellt wird.
  • Zum Beispiel wird ein Fall betrachtet, in dem ein physischer Körper auf der Anzeigeoberfläche platziert wird und der Benutzer die Geste des Zeichnens der L-förmigen Linie entlang des Körpers ausgeführt hat. 21A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 381 ein Operationsziel der Geste ist. Es wird jedoch ein rechteckiger Spatkörper 382 auf der Anzeigeoberfläche platziert, und die Sichtbarkeit des Fensters 381 wird verschlechtert, wenn bewirkt wird, dass sich das Fenster 381 bewegt, so wie es ist. Man beachte, dass Informationen darüber, ob sich ein Körper auf der Anzeigeoberfläche befindet oder nicht, und über die Position und die Höhe des Körpers durch die Eingabeeinheit 110 beschafft werden.
  • Somit legt die Effektaufrufeinheit 250 fest, zu bewirken, dass sich das Fenster 381 so bewegt, dass sich das Fenster 381 mit der Oberfläche des Körpers 382 überlappt, wenn sich das Fenster 381 nach Bewegung, Drehung und Deformation mit der Oberfläche des Körpers 382 zu einem Anteil eines vorbestimmten Werts oder mehr überlappt. 21B ist eine Erläuterungsdarstellung eines Zustands, in dem der Effekt der Geste des Zeichnens der L-förmigen Linie dem Fenster 381 bereitgestellt wurde, so dass sich der Effekt mit der Oberfläche des Objekts 382 überlappt. Die Effektaufrufeinheit 250 kann Sichtbarkeit des Fensters 381 aufrechterhalten, indem bewirkt wird, dass sich das Fenster 381 auf diese Weise bewegt. Eine solche Anwendung des Effekts unter Berücksichtigung der Position des Körpers kann auch verwendet werden, wenn ein Objekt nur auf eine weiße Serviette projiziert wird, falls das Informationsverarbeitungssystem 100 ein Bild auf einen schwarzen Tisch projiziert.
  • Außerdem wird zum Beispiel ein Fall betrachtet, in dem Körper auf der Anzeigeoberfläche platziert werden und der Benutzer die Geste des Zeichnens der L-förmigen Linie zwischen den Körpern ausgeführt hat. 22A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer eine L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 381 ein Operationsziel der Geste ist. Es werden jedoch rechteckige Spatkörper 383 und 384 auf der Anzeigeoberfläche platziert und die Sichtbarkeit des Fensters 381 wird verschlechtert, wenn bewirkt wird, dass sich das Fenster 381 bewegt, so wie es ist. Man beachte, dass Informationen darüber, ob sich ein Körper auf der Anzeigeoberfläche befindet oder nicht, und über die Position und Höhe des Körpers durch die Eingabeeinheit 110 beschafft werden.
  • Somit legt die Effektaufrufeinheit 250 fest, zu bewirken, dass sich das Fenster 381 zu einer Lücke zwischen den Körpern 383 und 384 bewegt, wenn sich das Fenster 381 nach Bewegung, Drehung und Deformation mit der Oberfläche der Körper 383 und 384 zu einem Anteil eines vorbestimmten Werts oder mehr überlappt. 22B ist eine Erläuterungsdarstellung eines Zustands, in dem der Effekt der Geste des Zeichnens der L-förmigen Linie dem Fenster 381 bereitgestellt wurde, so dass bewirkt wird, dass sich das Fenster 381 zu der Lücke zwischen den Körpern 383 und 384 bewegt. Die Effektaufrufeinheit 250 kann Sichtbarkeit des Fensters 381 aufrechterhalten, indem das Fenster 381 auf diese Weise bewegt und geschrumpft wird.
  • Falls ein Körper auf der Anzeigeoberfläche platziert wird, kann die Effektaufrufeinheit 250 den Parameter in Bezug auf die Grafikverarbeitung, der verwendet wird, wenn der Effekt angewandt wird, abhängig davon korrigieren, wie groß der Flächeninhalt des Körpers ist, abhängig von der Anzahl der Körper, der Position, an der der Körper platziert ist und dergleichen. Falls die Form eine planare Form ist und sich die Oberfläche und das Zielobjekt nach Bewegung zu einem vorbestimmten Anteil oder mehr überlappen, wie zum Beispiel bei dem in 21A und 21B dargestellten Körper 382, kann die Effektaufrufeinheit 250 den Parameter so korrigieren, dass sich das Objekt mit der Oberfläche des Körpers überlappt. Falls mehrere Körper auf der Anzeigeoberfläche platziert werden und eine Geste zwischen den Körpern ausgeführt wurde, wie zum Beispiel bei dem in 21A und 21B dargestellten Körper 382, kann die Effektaufrufeinheit 250 auch den Parameter so korrigieren, dass sich das Objekt zwischen den Körpern bewegt.
  • Die Effektaufrufeinheit 250 kann eine Orientierung des Fingers des Benutzers, mit dem die Geste ausgeführt wurde, oder die Position einer Armwurzel als Orientierung, in der der Benutzer anwesend ist, betrachten und den Parameter gemäß der Orientierung des Benutzers korrigieren. 23A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 381 ein Operationsziel der Geste ist.
  • Dann kann die Effektaufrufeinheit 250 einen Parameter eines Drehwinkels des Fensters 381 unter Verwendung von Informationen bezüglich der Orientierung des Fingers des Benutzers, mit dem die Geste ausgeführt wurde, oder der Position der Armwurzel, die durch die Eingabeeinheit 110 erkannt wurde, korrigieren. Obwohl das Zielfenster typischerweise entlang der L-förmigen Linie bewegt wird, wenn der Benutzer die L-förmige Linie auf der Anzeigeoberfläche zeichnet, korrigiert die Effektaufrufeinheit 250 den Drehwinkel des Fensters 381 so, dass der Benutzer leicht eine Operation ausführen kann, wenn aus den Informationen bezüglich der Orientierung des Fingers des Benutzers, der die Geste ausgeführt hat, oder der Position der Armwurzel vorhergesagt wird, dass sich der Benutzer in der Nähe einer Ecke des Anzeigeschirms befindet. 23B ist eine Erläuterungsdarstellung eines Zustands, in dem ein Effekt einer Geste des Zeichnens einer L-förmigen Linie dem Fenster 381 bereitgestellt wurde. Die Effektaufrufeinheit 250 kann bewirken, dass sich das Fenster 381 so bewegt, dass der Benutzer leicht eine Operation ausführen kann, wie in 23B dargestellt, indem der Drehwinkel des Fensters 381 so korrigiert wird, dass der Benutzer, der die Geste ausgeführt hat, zum Beispiel leicht eine Operation ausführen kann.
  • Die Effektaufrufeinheit 250 kann gemäß der Position des Benutzers unter Verwendung einer Winkeldifferenz zwischen der Trajektorie der Geste und der Orientierung des Benutzers bestimmen, ob zu bewirken ist, dass sich das Objekt entlang der Trajektorie der Geste bewegt oder nicht oder ob der Drehwinkel zu korrigieren ist oder nicht. Die Effektaufrufeinheit 250 kann den Drehwinkel gemäß der Position des Benutzers korrigieren, falls ein in 23B dargestellter Winkel θ größer oder gleich einem vorbestimmten Wert ist, und die Effektaufrufeinheit 250 kann bewirken, dass sich das Objekt entlang der Trajektorie der Geste bewegt, falls der Winkel θ kleiner als der vorbestimmte Wert ist.
  • Wenn bekannt ist, dass die Position des Benutzers in der Nähe eines Endes der Anzeigeoberfläche ist, kann die Effektaufrufeinheit 250 den Parameter des Drehwinkels des Objekts so korrigieren, dass bewirkt wird, dass sich das Objekt zu einer Position entlang dem Ende der Anzeigeoberfläche bewegt. 24A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 381 ein Operationsziel der Geste ist.
  • Dann kann die Effektaufrufeinheit 250 einen Parameter eines Drehwinkels des Fensters 381 unter Verwendung von Informationen bezüglich der Orientierung des Fingers des Benutzers, mit dem die Geste ausgeführt wurde, oder der Position der Armwurzel, die durch die Eingabeeinheit 110 erkannt wurde, korrigieren. Obwohl das Zielfenster typischerweise entlang der L-förmigen Linie bewegt wird, wenn der Benutzer die L-förmige Linie auf der Anzeigeoberfläche zeichnet, wird der Parameter des Drehwinkels des Fensters 381 so korrigiert, dass bewirkt wird, dass sich das Fenster 381 zu einer Position entlang dem Ende der Anzeigeoberfläche bewegt, wenn aus den Informationen in Bezug auf die Orientierung des Fingers des Benutzers, der die Geste ausgeführt hat, oder der Position der Armwurzel vorhergesagt wird, dass sich der Benutzer in der Nähe einer Ecke der Anzeigeoberfläche befindet. 24B ist eine Erläuterungsdarstellung eines Zustands, in dem der Effekt der Geste des Zeichnens der L-förmigen Linie dem Fenster 381 bereitgestellt wurde. Die Effektaufrufeinheit 250 kann bewirken, dass sich das Fenster 381 entlang dem Ende der Anzeigeoberfläche bewegt, wie in 24B dargestellt, indem der Parameter des Drehwinkels des Fensters 381 so korrigiert wird, dass bewirkt wird, dass sich das Fenster 381 zu der Position entlang dem Ende der Anzeigeoberfläche bewegt.
  • In einem anderen Fall kann wie zu bewirken ist, dass sich das Objekt bewegt, oder anders ausgedrückt, wie die Effektaufrufeinheit 250 den Parameter korrigieren soll, wenn der Benutzer eine Geste ausführt, unter Verwendung eines Trends des Benutzers oder dergleichen, was zum Beispiel mittels Maschinenlernen erlernt wird, festgelegt werden. Wenn entdeckt wird, dass ein bestimmter Benutzer häufig ein spezifisches Fenster verwendet, während er es an einer spezifischen Position platziert, kann die Effektaufrufeinheit 250 den Parameter so korrigieren, dass sich das spezifische Fenster zu der spezifischen Position bewegt, wenn der Benutzer eine Geste ausführt und das Fenster das Ziel dieser ist.
  • Falls die Eingabeeinheit 110 den Winkel in einer Höhenrichtung des Fingers des Benutzers, der die Geste ausführt, detektieren kann, kann die Effektaufrufeinheit 250 einen Parameter, wenn der Effekt angewandt wird, gemäß dem Winkel in der Höhenrichtung des Fingers korrigieren. Im Folgenden wird ein Fall als Beispiel beschrieben, in dem ein Körper mit einem Winkel auf der Anzeigeoberfläche platziert wird und ein Objekt zu dem Körper bewegt wird.
  • 25A ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat. In diesem Fall detektiert die Gestendetektionseinheit 220, dass die Geste des Zeichnens der L-förmigen Linie ausgeführt wurde, und die Operationsziel-Detektionseinheit 230 detektiert, dass das Fenster 391 ein Operationsziel der Geste ist. Wenn jedoch bewirkt wird, dass sich das Fenster 391 zu der Umgebung der L-förmigen Linie bewegt, so wie sie ist, überlappt sich das Fenster 391 mit einem auf der Anzeigeoberfläche platzierten Körper 392. Es wird angenommen, dass der Körper 392 ein Körper mit einem vorbestimmten Winkel von der Anzeigeoberfläche ist, statt eine planare Form.
  • Wenn in diesem Fall eine Operation des Änderns eines Winkels des Fingers relativ zu der Anzeigeoberfläche, während der Benutzer den Finger mit der Anzeigeoberfläche in Kontakt hält (zum Beispiel eine Operation des Benutzers des Hebens seiner Handfläche, während er seinen Finger mit der Anzeigeoberfläche in Kontakt hält) detektiert wird, kann die Effektaufrufeinheit 250 den Parameter so korrigieren, dass das Fenster 391 gemäß der Operation deformiert wird. Die Deformation ist Deformation der Form des Fensters 391 in eine rechteckige (oder quadratische) Form oder trapezförmige Form durch Ändern der Länge der Oberseite in einem Zustand, in dem die Unterseite des Fensters 391 fest ist.
  • 25B ist eine Erläuterungsdarstellung eines Zustands, in dem der Benutzer die L-förmige Linie auf der Anzeigeoberfläche gezeichnet hat und dann seinen Finger auf der Vorderseite heruntergebracht hat, während er seinen Finger mit der Anzeigeoberfläche in Kontakt hält. Wenn detektiert wird, dass der Benutzer seinen Finger auf der Vorderseite heruntergebracht hat, während er seinen Finger mit der Anzeigeoberfläche in Kontakt hält, korrigiert die Effektaufrufeinheit 250 den Parameter so, dass das Fenster 391, das auf der Oberfläche des Körpers 392 angezeigt wird, gemäß der Operation deformiert wird. Die Effektaufrufeinheit 250 kann die Form des Fensters 391 gemäß der Oberfläche des abgewinkelten Körpers 392 einstellen, indem der Parameter so korrigiert wird, dass das Fenster 391 auf diese Weise deformiert wird.
  • Die Bestimmungseinheit gemäß der Offenbarung entspricht zum Beispiel der Gestendetektionseinheit 220 und der Zielzuteilungseinheit 240, und die Effektfestlegungseinheit gemäß der Offenbarung entspricht zum Beispiel der Operationsziel-Detektionseinheit 230, der Zielzuteilungseinheit 240 und der Effektaufrufeinheit 250.
  • Es wurden oben die Funktionskonfigurationsbeispiele für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung beschrieben. Als Nächstes wird ein Betriebsbeispiel für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung beschrieben.
  • [Betriebsbeispiel]
  • 26A und 26B sind Flussdiagramme eines Betriebsbeispiels für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung. Im Folgenden wird ein Betriebsbeispiel für das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung mit Bezug auf 26A und 26B beschrieben.
  • Wenn Eingabe eines Benutzers in die Anzeigeoberfläche detektiert wird (Schritt S101), bestimmt das Informationsverarbeitungssystem 100, ob die Eingabe des Benutzers fixiert wurde oder nicht (Schritt S102) . Wenn die Eingabe des Benutzers nicht fixiert wurde (Schritt S102; Nein), kehrt das Informationsverarbeitungssystem 100 zu der Verarbeitung des Detektierens der Eingabe eines Benutzers in Schritt S101 zurück. Wenn die Eingabe eines Benutzers fixiert wurde (Schritt S102; Ja), werden Gestendefinitionsinformationen von der Gestendefinitions-Akkumulationseinheit 210 beschafft (Schritt S103). Das Informationsverarbeitungssystem 100 kann auf der Basis der Trennung des Fingers nach der Operation des Benutzers des Berührens der Anzeigeoberfläche bestimmen, dass die Benutzereingabe fixiert wurde, und kann bestimmen, dass die Benutzereingabe fixiert wurde, wenn zum Beispiel in einer vorbestimmten Zeit an der Position des Fingers des Benutzers keine Änderung aufgetreten ist. Die Bestimmung bezüglich dessen, ob Eingabe eines Benutzers fixiert wurde oder nicht, ist nicht auf solche Beispiele beschränkt. Außerdem kann das Informationsverarbeitungssystem 100 die Geste fixieren, ohne auf die Fixierung der Eingabe abhängig von dem Inhalt der Eingabe des Benutzers zu warten. Wenn es mittels einer Eingabe unter Verwendung von zwei der Finger des Benutzers in den in der Gestendefinitions-Akkumulationseinheit 210 akkumulierten Gestendefinitionen nur eine Geste gibt und der Benutzer zum Beispiel eine Operation mit zwei seiner Finger auf der Anzeigeoberfläche ausgeführt hat, kann das Informationsverarbeitungssystem 100 bestimmen, dass nur die eine Geste mittels der Eingabe unter Verwendung der zwei seiner Finger ausgeführt wurde und kann vor der Fixierung der Eingabe zur Gestendetektionsverarbeitung übergehen, die später beschrieben werden wird.
  • Wenn das Informationsverarbeitungssystem 100 die Gestendetektionsinformationen von der Gestendefinitions-Akkumulationseinheit 210 beschafft, beginnt das Informationsverarbeitungssystem 100 die Gestendetektionsverarbeitung für die Definition der Geste unter Verwendung der beschafften Gestendetektionsinformationen (Schritt S104). Wenn die Gestendetektionsverarbeitung nicht für alle Gestendefinitionen abgeschlossen wurde (Schritt S104; Nein), führt das Informationsverarbeitungssystem 100 die Gestendetektionsverarbeitung unter Verwendung der Gestendetektionseinheit 220 aus (Schritt S105), und wenn die Gestendetektionsverarbeitung für eine bestimmte Gestendefinition abgeschlossen ist, geht das Informationsverarbeitungssystem 100 zur Verarbeitung an der nächsten Gestendefinition über (Schritt S106). Die Gestendetektionsverarbeitung unter Verwendung der Gestendetektionseinheit 220 ist wie oben beschrieben, und eine ausführliche Beschreibung dieser wird hier ausgelassen.
  • Wenn die Verarbeitung an allen Gestendefinitionen abgeschlossen wurde (Schritt S104; Ja), beginnt das Informationsverarbeitungssystem 100 Operationsziel-Detektionsverarbeitung an allen angezeigten Objekten (Schritt S107). Wenn die Operationsziel-Detektionsverarbeitung nicht an allen Objekten abgeschlossen wurde (Schritt S107; Nein), führt das Informationsverarbeitungssystem 100 Operationsziel-Detektionsverarbeitung unter Verwendung der Operationsziel-Detektionseinheit 230 aus (Schritt S108), und wenn Verarbeitung an einem bestimmten Objekt abgeschlossen wurde, geht das Informationsverarbeitungssystem 100 zu der Verarbeitung an dem nächsten Objekt über (Schritt S109). Die Operationsziel-Detektionsverarbeitung unter Verwendung der Operationsziel-Detektionseinheit 230 ist wie oben beschrieben, und die ausführliche Beschreibung wird hier ausgelassen. Eine Reihenfolge der Operationsziel-Detektionsverarbeitung kann eine aufsteigende Reihenfolge von auf die Objekte angewandten IDs sein, oder die Operationsziel-Detektionsverarbeitung kann sukzessive zum Beispiel von dem Objekt mit einer auf der oberen linken Seite des Anzeigeschirms befindlichen Schwerpunktposition aus ausgeführt werden.
  • Wenn die Verarbeitung an allen Objekten abgeschlossen wurde (Schritt S107; Ja), führt das Informationsverarbeitungssystem 100 Verarbeitung des Bestimmens aus, ob eine Geste eindeutig durch die Zielzuteilungseinheit 240 fixiert wurde oder nicht (Schritt S110). Wenn die Geste nicht eindeutig fixiert wurde, führt das Informationsverarbeitungssystem 100 die Lösungsverarbeitung unklarer Gesten unter Verwendung der Zielzuteilungseinheit 240 aus (Schritt S111). Die Lösungsverarbeitung unklarer Gesten unter Verwendung der Zielzuteilungseinheit 240 ist wie oben beschrieben, und eine ausführliche Beschreibung dieser wird hier ausgelassen.
  • Als Nächstes führt das Informationsverarbeitungssystem 100 Verarbeitung des Bestimmens aus, ob ein Operationsziel eindeutig durch die Zielzuteilungseinheit 240 fixiert wurde oder nicht (Schritt S112). Wenn das Operationsziel nicht eindeutig fixiert wurde, führt das Informationsverarbeitungssystem 100 Lösungsverarbeitung unklarer Operationsziele unter Verwendung der Zielzuteilungseinheit 240 aus (Schritt S113). Die Lösungsverarbeitung unklarer Operationsziele unter Verwendung der Zielzuteilungseinheit 240 ist wie oben beschrieben, und eine ausführliche Beschreibung dieser wird hier ausgelassen.
  • Wenn die Geste und das Operationsziel fixiert sind, führt das Informationsverarbeitungssystem 100 Gesten-/Operationsziel-Zuteilungsverarbeitung unter Verwendung der Zielzuteilungseinheit 240 aus (Schritt S114). Die Gesten-/Operationsziel-Zuteilungsverarbeitung unter Verwendung der Zielzuteilungseinheit 240 ist wie oben beschrieben, und eine ausführliche Beschreibung dieser wird hier ausgelassen.
  • Wenn die Gesten-/Operationsziel-Zuteilungsverarbeitung abgeschlossen ist, führt das Informationsverarbeitungssystem 100 Korrekturverarbeitung zum Zeitpunkt des Aufrufens der Geste unter Verwendung der Effektaufrufeinheit 250 aus (Schritt S115). Die Korrekturverarbeitung zum Zeitpunkt des Aufrufens der Geste unter Verwendung der Effektaufrufeinheit 250 ist wie oben beschrieben, und eine ausführliche Beschreibung dieser wird hier ausgelassen.
  • Wenn die Korrekturverarbeitung zum Zeitpunkt des Aufrufens der Geste durch die Effektaufrufeinheit 250 abgeschlossen ist, ruft das Informationsverarbeitungssystem 100 die Geste gemäß der Eingabe des Benutzers auf (Schritt S116).
  • Das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung kann einer Geste entsprechende Operationen unter Berücksichtigung einer Benutzungssituation und einer Absicht des Benutzers durch Ausführen der oben erwähnten Reihe von Operationen ausführen.
  • <Hardware-Konfigurationsbeispiel>
  • Als Nächstes wird eine Hardwarekonfiguration des Informationsverarbeitungssystems 100 gemäß einer Ausführungsform der vorliegenden Offenbarung mit Bezug auf 27 beschrieben. 27 ist eine Blockdarstellung eines Hardware-Konfigurationsbeispiels für das Informationsverarbeitungssystem 100 gemäß einer Ausführungsform der vorliegenden Offenbarung.
  • Wie in 27 dargestellt, umfasst das Informationsverarbeitungssystem 100 eine Zentralverarbeitungseinheit (CPU) 901, einen Festwertspeicher (ROM) 903 und einen Direktzugriffsspeicher (RAM) 905. Außerdem kann das Informationsverarbeitungssystem 100 einen Hostbus 907, eine Brücke 909, einen externen Bus 911, eine Schnittstelle 913, eine Eingabevorrichtung 914, eine Ausgabevorrichtung 917, eine Speicherungsvorrichtung 919, ein Laufwerk 921, einen Verbindungsport 923 und eine Kommunikationsvorrichtung 925 umfassen. Ferner kann das Informationsverarbeitungssystem 100 eine Bildgebungsvorrichtung 933 und einen Sensor 935 je nach Bedarf umfassen. Das Informationsverarbeitungssystem 100 kann anstelle der CPU 901 oder zusätzlich zu dieser eine Verarbeitungsschaltung umfassen, wie etwa einen Digitalsignalprozessor (DSP) oder eine anwendungsspezifische integrierte Schaltung (ASIC).
  • Die CPU 901 dient als Operationsverarbeitungsvorrichtung und Steuervorrichtung und steuert ganz oder teilweise die Operationen in dem Informationsverarbeitungssystem 100 gemäß verschiedenen Programmen, die in dem ROM 903, dem RAM 905, der Speicherungsvorrichtung 919 oder in einem wechselbaren Aufzeichnungsmedium 927 aufgezeichnet sind. Der ROM 903 speichert Programme und Operationsparameter, die von der CPU 901 verwendet werden. Der RAM 905 speichert vorübergehend bei der Ausführung der CPU 901 verwendete Programme und Parameter, die sich je nach Fall in der Ausführung ändern. Die CPU 901, der ROM 903 und der RAM 905 sind durch den Hostbus 907, der einen internen Bus, wie etwa einen CPU-Bus umfasst, miteinander verbunden. Außerdem ist der Hostbus 907 über die Brücke 909 mit dem externen Bus 911, wie etwa einem PCI-Bus (Peripheral Component Interconnect/Interface) verbunden.
  • Die Eingabevorrichtung 915 ist zum Beispiel eine Vorrichtung, die durch einen Benutzer mit einer Maus, einer Tastatur, einem Touchpanel, Tasten, Schaltern, einem Hebel und dergleichen manipuliert wird. Die Eingabevorrichtung 915 kann ein Mikro umfassen, dass einen Schall eines Benutzers detektiert. Die Eingabevorrichtung 915 kann zum Beispiel eine Infrarotlicht oder andere Funkwellen verwendende Fernbedienungseinheit sein oder kann eine Externverbindungsvorrichtung 929 sein, wie etwa ein tragbares Telefon, das als Reaktion auf die Manipulation des Informationsverarbeitungssystems 100 betreibbar ist. Die Eingabevorrichtung 915 umfasst eine Eingangssteuerschaltung, die auf der Basis der Informationseingabe durch einen Benutzer ein Eingangssignal erzeugt und das Eingangssignal an die CPU 901 ausgibt. Durch Manipulieren der Eingabevorrichtung 915 kann ein Benutzer verschiedene Arten von Daten in das Informationsverarbeitungssystem 100 eingeben oder Anweisungen ausgeben, um zu bewirken, dass das Informationsverarbeitungssystem 100 eine Verarbeitungsoperation ausführt. Außerdem kann die nachfolgend zu beschreibende Bildgebungsvorrichtung 933 durch Abbilden einer Bewegung oder dergleichen einer Hand des Benutzers als eine Eingabevorrichtung fungieren.
  • Die Ausgabevorrichtung 917 umfasst eine Vorrichtung, die einem Benutzer die beschafften Informationen visuell oder hörbar melden kann. Die Ausgabevorrichtung 917 kann zum Beispiel eine Anzeigevorrichtung sein, wie etwa eine Flüssigkristallanzeige (LCD), ein Plasmaanzeigepanel (PDP), eine organische Elektrolumineszenz- bzw. EL-Anzeige und ein Projektor, eine Hologramm-Anzeigevorrichtung, eine Audioausgabevorrichtung, wie etwa ein Lautsprecher oder ein Kopfhörer, und ein Drucker. Die Ausgabevorrichtung 917 gibt die von dem Prozess des Informationsverarbeitungssystems 100 erhaltenen Ergebnisse in Form von Video, wie etwa eines Texts oder eines Bilds und in Form von Sprache, wie etwa Sprache oder Schall, aus. Außerdem kann die Ausgabevorrichtung 917 eine Lampe oder dergleichen zur Aufhellung der Umgebung umfassen.
  • Die Speicherungsvorrichtung 919 ist eine Vorrichtung zur Datenspeicherung, die als ein Beispiel für eine Speicherungseinheit des Informationsverarbeitungssystems 100 ausgelegt ist. Die Speicherungsvorrichtung 919 umfasst zum Beispiel eine Magnetspeicherungsvorrichtung, wie etwa eine Festplatte (HDD), eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung oder eine magnetooptische Speicherungsvorrichtung. Die Speicherungsvorrichtung 919 speichert durch die CPU 901 auszuführende Programme, verschiedene Daten und von außen erhaltene Daten.
  • Das Laufwerk 921 ist ein Leser/Schreiber für das wechselbare Aufzeichnungsmedium 927, wie etwa einen magnetischen Datenträger, einen optischen Datenträger, einen magnetooptischen Datenträger oder einen Halbleiterspeicher, und ist in das Informationsverarbeitungssystem 100 eingebettet oder extern daran angeschlossen. Das Laufwerk 921 liest in dem angeschlossenen wechselbaren Aufzeichnungsmedium 927 aufgezeichnete Informationen und gibt die Informationen an den RAM 905 aus. Ferner schreibt das Laufwerk 921 Aufzeichnungen in das angeschlossene wechselbare Aufzeichnungsmedium 927.
  • Der Verbindungsport 923 ist ein Port, mit dem direkt Vorrichtungen mit dem Informationsverarbeitungssystem 100 verbunden werden. Der Verbindungsport 923 kann zum Beispiel ein USB-Port (Universal Serial Bus), ein IEEE1394-Port, ein SCSI-Port (Small Computer System Interface) oder dergleichen sein. Außerdem kann der Verbindungsport 923 ein RS-232C-Port, ein optischer Audioanschluss, ein HDMI-Port (High-Definition Multimedia Interface) (eingetragenes Warenzeichen) oder dergleichen sein. Durch Verbinden der Externverbindungsvorrichtung 929 mit dem Verbindungsport 923 können verschiedene Daten zwischen dem Informationsverarbeitungssystem 100 und der Externverbindungsvorrichtung 929 ausgetauscht werden.
  • Die Kommunikationsvorrichtung 925 ist zum Beispiel eine Kommunikationsschnittstelle mit einer Kommunikationsvorrichtung oder dergleichen zur Verbindung mit einem Kommunikationsnetzwerk 931. Die Kommunikationsvorrichtung 925 kann zum Beispiel eine Kommunikationskarte für ein verdrahtetes oder drahtloses lokales Netzwerk (LAN), Bluetooth (eingetragenes Warenzeichen), drahtloses USB (WUSB) oder dergleichen sein. Außerdem kann die Kommunikationsvorrichtung 925 ein Router für optische Kommunikation, ein Router für asymmetrischen digitalen Teilnehmeranschluss (ADSL), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Die Kommunikationsvorrichtung 925 sendet und empfängt Signale zum Beispiel zu und von dem Internet oder anderen Kommunikationsvorrichtungen unter Verwendung eines vorbestimmten Protokolls wie etwa TCP/IP. Außerdem ist das mit der Kommunikationsvorrichtung 925 zu verbindende Kommunikationsnetzwerk 931 ein Netzwerk, das auf verdrahtete oder drahtlose Weise verbunden wird, und ist zum Beispiel das Internet, ein Haus-LAN, eine Infrarotkommunikation, eine Funkwellenkommunikation, Satellitenkommunikation oder dergleichen.
  • Die Bildgebungsvorrichtung 933 ist eine Vorrichtung, die zum Beispiel durch Abbilden eines realen Raums unter Verwendung eines Bildsensors, wie etwa eines CCD (Charge-Coupled Device) oder eines CMOS (Complementary Metal Oxide Semiconductor) sowie verschiedener Glieder wie einer oder mehrerer Linsen zur Steuerung der Bildung eines Subjektbildes auf dem Bildsensor ein Bild erzeugt. Die Bildgebungsvorrichtung 933 kann eine Vorrichtung sein, die Standbilder aufnimmt, und kann auch eine Vorrichtung sein, die bewegte Bilder aufnimmt.
  • Der Sensor 935 ist zum Beispiel ein beliebiger von verschiedenen Sensoren, wie etwa ein Beschleunigungssensor, ein Kreiselsensor, ein geomagnetischer Sensor, ein optischer Sensor oder ein Schallsensor. Der Sensor 935 beschafft zum Beispiel Informationen bezüglich des Zustands des Informationsverarbeitungssystems 100, wie etwa der Lage im Fall des Informationsverarbeitungssystems 100, sowie Informationen bezüglich der das Informationsverarbeitungssystem 100 umgebenden Umgebung, wie etwa Helligkeit oder Geräusche in der Umgebung des Informationsverarbeitungssystems 100. Der Sensor 935 kann auch einen GPS-Sensor (Global Positioning System) umfassen, der GPS-Signale empfängt und Breitengrad, Längengrad und Höhe der Vorrichtung misst.
  • Das Obige veranschaulicht somit eine beispielhafte Hardwarekonfiguration des Informationsverarbeitungssystems 100. Jede der obigen Komponenten kann mit Vielzweckgliedern oder Hardware realisiert werden, die bezüglich der Funktion jeder Komponente spezialisiert ist. Eine solche Konfiguration kann gegebenenfalls gemäß dem technologischen Stand zum Zeitpunkt der Implementierung modifiziert werden.
  • <Schlussbemerkungen>
  • Gemäß der Ausführungsform der Offenbarung wird das Informationsverarbeitungssystem 100 wie oben beschrieben bereitgestellt, das die Geste eines Benutzers mindestens mit einer definierten Richtung, die auf der Anzeigeoberfläche ausgeführt wurde, detektieren und Verarbeitung gemäß der Geste des Benutzers ausführen kann. Das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung kann Verarbeitung unter Berücksichtigung der Absicht eines Benutzers ausführen, wenn Verarbeitung gemäß der Geste eines Benutzers ausgeführt wird.
  • Die jeweiligen Schritte in der durch jede hier beschriebene Vorrichtung ausgeführten Verarbeitung müssen nicht unbedingt chronologisch in der Reihenfolge ausgeführt werden, die in einem Sequenzdiagramm oder Flussdiagramm beschrieben wird. Zum Beispiel können die jeweiligen Schritte in der durch jede Vorrichtung ausgeführten Verarbeitung in einer Reihenfolge ausgeführt werden, die von der in den Flussdiagrammen beschriebenen Reihenfolge verschieden ist, oder können parallel ausgeführt werden.
  • Es ist auch möglich, ein Computerprogramm herzustellen, um zu bewirken, dass Hardware, wie etwa die CPU, der ROM und der RAM, die in jede Vorrichtung eingebaut ist, dieselben Funktionen wie die Strukturelemente jeder Vorrichtung implementiert. Es ist auch möglich, ein Speicherungsmedium bereitzustellen, in dem das Computerprogramm gespeichert ist. Die jeweiligen in der Funktionsblockdarstellung beschriebenen Funktionsblöcke werden mit Hardware konfiguriert, um dadurch Implementierung der Reihe von Verarbeitung durch die Hardware zu erlauben.
  • Die bevorzugte(n) Ausführungsform(en) der vorliegenden Offenbarung wurde/wurden oben mit Bezug auf die beigefügten Zeichnungen beschrieben, obwohl die vorliegende Offenbarung nicht auf die obigen Beispiele beschränkt ist. Für Fachleute sind verschiedene Abänderungen und Modifikationen innerhalb des Schutzumfangs der angefügten Ansprüche erkennbar, und es versteht sich, dass sie naturgemäß in den technischen Schutzumfang der vorliegenden Offenbarung kommen.
  • Obwohl in der oben erwähnten Beschreibung verschiedene Arten von Verarbeitung ausgeführt werden, indem der Benutzer Operationen mit seinem Finger auf dem Anzeigeschirm ausführt, ist die Offenbarung nicht auf ein solches Beispiel beschränkt. Der Finger ist ein Beispiel für das Operationsglied gemäß der Offenbarung, und anstelle des Fingers kann eine kugelschreiberartige Vorrichtung, wie etwa ein Stift, als Operationsglied verwendet werden. Man beachte, dass das Operationsglied ein Glied zum Ausführen von Operationen auf der Anzeigeoberfläche bedeutet.
  • Ferner sind die in der vorliegenden Patentschrift beschriebenen Effekte lediglich veranschaulichende oder exemplifizierte Effekte und sind nicht einschränkend. Das heißt, mit den obigen Effekten oder anstelle dieser kann die Technologie gemäß der vorliegenden Offenbarung andere Effekte erzielen, die Fachleuten aus der Beschreibung der vorliegenden Patentschrift ersichtlich sind.
  • Außerdem kann die vorliegende Technologie auch wie nachfolgend konfiguriert werden.
  • (1)
  • Anzeigesteuervorrichtung, umfassend:
    • eine Bestimmungseinheit, die den Inhalt einer Geste aus einer Operation bestimmt, die auf einer Anzeigeoberfläche ausgeführt wurde; und
    • eine Effektfestlegungseinheit, die einen Effekt festlegt, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, zu setzen, entsprechend der durch die Bestimmungseinheit bestimmten Geste.
  • (2)
  • Anzeigesteuervorrichtung nach (1), wobei die Effektfestlegungseinheit eine Disposition des Anzeigeobjekts, das das Ziel des Effekts ist, auf der Anzeigeoberfläche auf der Basis des festgelegten Effekts festlegt.
  • (3)
  • Anzeigesteuervorrichtung nach (2), wobei die Operation durch eine Bildgebungsvorrichtung abgebildet wird und das Anzeigeobjekt durch eine Projektionsvorrichtung angezeigt wird, die Projektion auf eine Oberfläche eines vorbestimmten Körpers durchführt.
  • (4)
  • Anzeigesteuervorrichtung nach einem von (1) bis (3), wobei, falls die Bestimmungseinheit bestimmt, dass zwei oder mehr Kandidaten als Kandidaten für die Geste aus der Operation vorliegen, die Effektfestlegungseinheit Verarbeitung des Festlegens des Effekts auf der Basis mehrerer Kandidaten ausführt.
  • (5)
  • Anzeigesteuervorrichtung nach (4), wobei, falls zwei oder mehr Kandidaten als die Kandidaten für die Geste vorliegen, die Effektfestlegungseinheit einen gemeinsamen Effekt mehrerer Gesten auswählt, der aus der ausgeführten Operation geschätzt wird.
  • (6)
  • Anzeigesteuervorrichtung nach einem von (1) bis (5), wobei, falls zwei oder mehr Kandidaten als Kandidaten für das Anzeigeobjekt vorliegen, das das Ziel des Effekts entsprechend der Geste ist, die die Bestimmungseinheit bestimmt hat, die Effektfestlegungseinheit Verarbeitung des Festlegens des Anzeigeobjekts, das das Ziel ist, auf der Basis mehrerer Kandidaten ausführt.
  • (7)
  • Anzeigesteuervorrichtung nach (6), wobei, falls zwei oder mehr Kandidaten als Kandidaten für das Anzeigeobjekt vorliegen, das das Ziel des Effekts ist, die Effektfestlegungseinheit ein Anzeigeobjekt, das an einem dem Ort, an dem die Operation ausgeführt wurde, nächsten Ort positioniert ist, als das Anzeigeobjekt, das das Ziel ist, betrachtet.
  • (8)
  • Anzeigesteuervorrichtung nach einem von (1) bis (7), wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation, die früher abgeschlossen wurde, Priorität gegeben wird.
  • (9)
  • Anzeigesteuervorrichtung nach einem von (1) bis (7), wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation, die an einem Ort ausgeführt wurde, der dem Anzeigeobjekt nahe ist, der einem Ziel der Operation nahe ist, Priorität gegeben wird.
  • (10)
  • Anzeigesteuervorrichtung nach einem von (1) bis (9), wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation Priorität gegeben wird, die durch einen letzten Benutzer von Benutzern, die das Anzeigeobjekt des Ziels berührt haben, worin der Effekt aufgewiesen wird, ausgeführt wurde.
  • (11)
  • Anzeigesteuervorrichtung nach einem von (1) bis (10), wobei, falls die Operation eine Operation des Zeichnens einer Linie auf der Anzeigeoberfläche mit einem Operationsglied ist, die Bestimmungseinheit bestimmt, dass die Geste zum Ausrichten des Anzeigeobjekts entlang der Linie mit einem Schwerpunkt in einem Bereich einer senkrechten Linie der Linie dient.
  • (12)
  • Anzeigesteuervorrichtung nach einem von (1) bis (11), wobei, falls die Operation eine Operation des Zeichnens einer Linie auf der Anzeigeoberfläche mit einem Operationsglied ist, die Bestimmungseinheit bestimmt, dass die Geste zum Ausrichten aller auf der Anzeigeoberfläche angezeigten Anzeigeobjekte entlang der Linie dient.
  • (13)
  • Anzeigesteuervorrichtung nach einem von (1) bis (12), wobei, falls die Operation eine Operation des Zeichnens einer ersten Linie in einer ersten Richtung auf der Anzeigeoberfläche mit einem Operationsglied und des nachfolgenden Zeichnens einer zweiten Linie in einer zweiten Richtung, die im Wesentlichen eine zu der ersten Richtung senkrechte Richtung ist, ist, die Bestimmungseinheit bestimmt, dass die Geste dazu dient, zu bewirken, dass sich mindestens das eine Anzeigeobjekt zu einer Position entlang der ersten Linie bewegt, und zu bewirken, dass das Anzeigeobjekt in einer Dispositionsrichtung mit Bezug auf die zweite Richtung angezeigt wird.
  • (14)
  • Anzeigesteuervorrichtung nach (13), wobei die Effektfestlegungseinheit eine Anzeigegröße des zu bewegenden Anzeigeobjekts gemäß Längen der ersten Linie und der zweiten Linie einstellt.
  • (15)
  • Anzeigesteuervorrichtung nach einem von (1) bis (14), wobei, falls die Operation eine Operation in einer vorbestimmten Positionsbeziehung mit einem auf der Anzeigeoberfläche anwesenden physischen Objekt ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt auf der Basis einer Dispositionsposition des physischen Objekts angezeigt wird.
  • (16)
  • Anzeigesteuervorrichtung nach (15), wobei, falls die Operation eine Operation des Zeichnens einer Linie entlang des physischen Objekts ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt auf dem physischen Objekt angezeigt wird.
  • (17)
  • Anzeigesteuervorrichtung nach (15), wobei, falls die Operation eine Operation des Zeichnens einer Linie zwischen mehreren der physischen Objekte ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt zwischen den mehreren physischen Objekten angezeigt wird.
  • (18)
  • Anzeigesteuervorrichtung nach einem von (1) bis (17), wobei die Effektfestlegungseinheit Anzeige des Anzeigeobjekts gemäß einer Position des Benutzers, der die Operation ausführt, oder einem Winkel einer Hand korrigiert.
  • (19)
  • Anzeigesteuerverfahren mit den folgenden Schritten durch einen Prozessor:
    • Bestimmen von Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde; und
    • Festlegen eines Effekts, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, entsprechend der bestimmten Geste zu setzen.
  • (20)
  • Computerprogramm zum Bewirken der folgenden Schritte durch ein Programm:
    • Bestimmen von Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde; und
    • Festlegen eines Effekts, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, entsprechend der bestimmten Geste zu setzen.
  • Bezugszeichenliste
    • 100
    Informationsverarbeitungssystem
    200
    Anzeigesteuereinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2004272835 A [0003]

Claims (20)

  1. Anzeigesteuervorrichtung, umfassend: eine Bestimmungseinheit, die den Inhalt einer Geste aus einer Operation bestimmt, die auf einer Anzeigeoberfläche ausgeführt wurde; und eine Effektfestlegungseinheit, die einen Effekt festlegt, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, zu setzen, entsprechend der durch die Bestimmungseinheit bestimmten Geste.
  2. Anzeigesteuervorrichtung nach Anspruch 1, wobei die Effektfestlegungseinheit eine Disposition des Anzeigeobjekts, das das Ziel des Effekts ist, auf der Anzeigeoberfläche auf einer Basis des festgelegten Effekts festlegt.
  3. Anzeigesteuervorrichtung nach Anspruch 2, wobei die Operation durch eine Bildgebungsvorrichtung abgebildet wird und das Anzeigeobjekt durch eine Projektionsvorrichtung angezeigt wird, die Projektion auf eine Oberfläche eines vorbestimmten Körpers durchführt.
  4. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls die Bestimmungseinheit bestimmt, dass zwei oder mehr Kandidaten als Kandidaten für die Geste aus der Operation vorliegen, die Effektfestlegungseinheit Verarbeitung des Festlegens des Effekts auf der Basis mehrerer Kandidaten ausführt.
  5. Anzeigesteuervorrichtung nach Anspruch 4, wobei, falls zwei oder mehr Kandidaten als die Kandidaten für die Geste vorliegen, die Effektfestlegungseinheit einen gemeinsamen Effekt mehrerer Gesten auswählt, der aus der ausgeführten Operation geschätzt wird.
  6. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls zwei oder mehr Kandidaten als Kandidaten für das Anzeigeobjekt vorliegen, das das Ziel des Effekts entsprechend der Geste ist, die die Bestimmungseinheit bestimmt hat, die Effektfestlegungseinheit Verarbeitung des Festlegens des Anzeigeobjekts, das das Ziel ist, auf der Basis mehrerer Kandidaten ausführt.
  7. Anzeigesteuervorrichtung nach Anspruch 6, wobei, falls zwei oder mehr Kandidaten als Kandidaten für das Anzeigeobjekt vorliegen, das das Ziel des Effekts ist, die Effektfestlegungseinheit ein Anzeigeobjekt, das an einem dem Ort, an dem die Operation ausgeführt wurde, nächsten Ort positioniert ist, als das Anzeigeobjekt, das das Ziel ist, betrachtet.
  8. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation, die früher abgeschlossen wurde, Priorität gegeben wird.
  9. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation, die an einem Ort ausgeführt wurde, der dem Anzeigeobjekt nahe ist, der einem Ziel der Operation nahe ist, Priorität gegeben wird.
  10. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls mehrere Operationen gleichzeitig ausgeführt werden, die Bestimmungseinheit die Geste bestimmt, indem Inhalt einer Operation Priorität gegeben wird, die durch einen letzten Benutzer von Benutzern, die das Anzeigeobjekt des Ziels berührt haben, worin der Effekt aufgewiesen wird, ausgeführt wurde.
  11. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls die Operation eine Operation des Zeichnens einer Linie auf der Anzeigeoberfläche mit einem Operationsglied ist, die Bestimmungseinheit bestimmt, dass die Geste zum Ausrichten des Anzeigeobjekts entlang der Linie mit einem Schwerpunkt in einem Bereich einer senkrechten Linie der Linie dient.
  12. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls die Operation eine Operation des Zeichnens einer Linie auf der Anzeigeoberfläche mit einem Operationsglied ist, die Bestimmungseinheit bestimmt, dass die Geste zum Ausrichten aller auf der Anzeigeoberfläche angezeigten Anzeigeobjekte entlang der Linie dient.
  13. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls die Operation eine Operation des Zeichnens einer ersten Linie in einer ersten Richtung auf der Anzeigeoberfläche mit einem Operationsglied und des nachfolgenden Zeichnens einer zweiten Linie in einer zweiten Richtung, die im Wesentlichen eine zu der ersten Richtung senkrechte Richtung ist, ist, die Bestimmungseinheit bestimmt, dass die Geste dazu dient, zu bewirken, dass sich mindestens das eine Anzeigeobjekt zu einer Position entlang der ersten Linie bewegt, und zu bewirken, dass das Anzeigeobjekt in einer Dispositionsrichtung mit Bezug auf die zweite Richtung angezeigt wird.
  14. Anzeigesteuervorrichtung nach Anspruch 13, wobei die Effektfestlegungseinheit eine Anzeigegröße des zu bewegenden Anzeigeobjekts gemäß Längen der ersten Linie und der zweiten Linie einstellt.
  15. Anzeigesteuervorrichtung nach Anspruch 1, wobei, falls die Operation eine Operation in einer vorbestimmten Positionsbeziehung mit einem auf der Anzeigeoberfläche anwesenden physischen Objekt ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt auf einer Basis einer Dispositionsposition des physischen Objekts angezeigt wird.
  16. Anzeigesteuervorrichtung nach Anspruch 15, wobei, falls die Operation eine Operation des Zeichnens einer Linie entlang des physischen Objekts ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt auf dem physischen Objekt angezeigt wird.
  17. Anzeigesteuervorrichtung nach Anspruch 15, wobei, falls die Operation eine Operation des Zeichnens einer Linie zwischen mehreren der physischen Objekte ist, die Effektfestlegungseinheit bewirkt, dass das Anzeigeobjekt zwischen den mehreren physischen Objekten angezeigt wird.
  18. Anzeigesteuervorrichtung nach Anspruch 1, wobei die Effektfestlegungseinheit Anzeige des Anzeigeobjekts gemäß einer Position des Benutzers, der die Operation ausführt, oder einem Winkel einer Hand korrigiert.
  19. Anzeigesteuerverfahren mit den folgenden Schritten durch einen Prozessor: Bestimmen von Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde; und Festlegen eines Effekts, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, entsprechend der bestimmten Geste zu setzen.
  20. Computerprogramm zum Bewirken der folgenden Schritte durch ein Programm: Bestimmen von Inhalt einer Geste aus einer Operation, die auf einer Anzeigeoberfläche ausgeführt wurde; und Festlegen eines Effekts, eine Dispositionsrichtung eines auf der Anzeigeoberfläche angezeigten Anzeigeobjekts und das Anzeigeobjekt, das ein Ziel des Effekts ist, entsprechend der bestimmten Geste zu setzen.
DE112017005980.1T 2016-11-25 2017-10-12 Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm Pending DE112017005980T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-228510 2016-11-25
JP2016228510 2016-11-25
PCT/JP2017/036968 WO2018096827A1 (ja) 2016-11-25 2017-10-12 表示制御装置、表示制御方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
DE112017005980T5 true DE112017005980T5 (de) 2019-08-08

Family

ID=62195489

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017005980.1T Pending DE112017005980T5 (de) 2016-11-25 2017-10-12 Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm

Country Status (6)

Country Link
US (1) US11023050B2 (de)
JP (1) JP6911870B2 (de)
KR (1) KR102391752B1 (de)
CN (1) CN109964202B (de)
DE (1) DE112017005980T5 (de)
WO (1) WO2018096827A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391752B1 (ko) * 2016-11-25 2022-04-28 소니그룹주식회사 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
JP7354702B2 (ja) * 2019-09-05 2023-10-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US11733830B2 (en) * 2019-11-20 2023-08-22 Ricoh Company, Ltd. Display apparatus for displaying handwritten data with displayed operation menu
JP2022042362A (ja) * 2020-09-02 2022-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272835A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法，画面表示装置，画面表示プログラム，および画面表示プログラムを記録した記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164069A (ja) 2002-11-11 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> 情報制御システム、情報制御方法、この方法のプログラムおよびこのプログラムを記録した記録媒体
JP4045550B2 (ja) * 2004-06-28 2008-02-13 富士フイルム株式会社 画像表示制御装置及び画像表示制御プログラム
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
KR20120091975A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 적어도 두 개의 터치 스크린을 포함하는 정보 표시 장치 및 그의 정보 표시 방법
EP2605172A3 (de) * 2011-12-15 2015-07-08 Orange Mehrpersonen-Gestenauthentifizierungs- und -Autorisierungssystem und Betriebsverfahren davon
JP5661726B2 (ja) * 2011-12-15 2015-01-28 株式会社東芝 情報処理装置、表示プログラム
JP5978660B2 (ja) 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
US9046958B2 (en) * 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140149901A1 (en) * 2012-11-28 2014-05-29 Motorola Mobility Llc Gesture Input to Group and Control Items
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US9507495B2 (en) * 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9910579B2 (en) * 2013-04-15 2018-03-06 Microsoft Technology Licensing, Llc Detection of pan and scaling during multi-finger touch interactions
US20140359538A1 (en) * 2013-05-28 2014-12-04 General Electric Company Systems and methods for moving display objects based on user gestures
KR20150009199A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 객체 편집을 위한 전자 장치 및 방법
JP5862627B2 (ja) * 2013-09-17 2016-02-16 コニカミノルタ株式会社 表示制御装置、表示制御方法、表示制御プログラム及び画像処理装置
JP6255838B2 (ja) * 2013-09-20 2018-01-10 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
JP5971817B2 (ja) * 2014-06-20 2016-08-17 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、プログラム及び方法
EP3163403A4 (de) * 2014-06-25 2018-02-28 Sony Corporation Anzeigesteuerungsvorrichtung, anzeigesteuerungsverfahren und programm
DE102014012550A1 (de) * 2014-08-20 2016-02-25 e.solutions GmbH Kraftfahrzeug-Bedienungsvorrichtung
US10038770B2 (en) * 2014-08-25 2018-07-31 Rf Digital Corporation Push user interface
JP6390277B2 (ja) * 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
EP3201724A4 (de) * 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Gestenbasierte manipulation von dreidimensionalen bildern
US20160173840A1 (en) * 2014-12-10 2016-06-16 Casio Computer Co., Ltd. Information output control device
JP6735282B2 (ja) * 2015-02-02 2020-08-05 サーク・コーポレーション マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御
US10318613B2 (en) * 2015-08-25 2019-06-11 Myscript System and method of digital note taking
KR102466990B1 (ko) * 2015-11-06 2022-11-14 삼성전자주식회사 복수의 화면을 표시하는 전자장치 및 그 제어 방법
KR102391752B1 (ko) * 2016-11-25 2022-04-28 소니그룹주식회사 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272835A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法，画面表示装置，画面表示プログラム，および画面表示プログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2018096827A1 (ja) 2018-05-31
US20190286245A1 (en) 2019-09-19
KR102391752B1 (ko) 2022-04-28
CN109964202A (zh) 2019-07-02
US11023050B2 (en) 2021-06-01
KR20190087423A (ko) 2019-07-24
JPWO2018096827A1 (ja) 2019-10-17
CN109964202B (zh) 2022-10-21
JP6911870B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
DE112010002760B4 (de) Benutzerschnittstelle
DE112017005980T5 (de) Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm
EP2989524B1 (de) Verfahren zum interagieren mit einem auf einer datenbrille angezeigten objekt
DE112011105171B4 (de) Blockieren von Benutzerinhalten basierend auf der Position
DE102009032637B4 (de) Bildvergrößerungssystem für eine Computerschnittstelle
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
DE102018103468A1 (de) Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
DE112013003647T5 (de) Gesten- und Berührungseingabeerfassung durch Kraftabtastung
DE102009023875A1 (de) Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche
DE202008007940U1 (de) Benutzerschnittstelle für eine modusabhängige Verarbeitung von Berührungsdaten
JP7107354B2 (ja) 情報処理装置、情報処理方法およびプログラム
DE112009004948T5 (de) Anzeige mit einem optischen Sensor
DE112011105917T5 (de) Benutzerschnittstellenvorrichtung
DE202014103258U1 (de) Mobiles Endgerät
DE112013002409T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
DE202011110907U1 (de) Markierungsmenüs für Mehrfachberührung und richtungsabhängige musterbildende Gesten
DE102014204320A1 (de) Informationsabfrage durch Zeigen
DE102015110495A1 (de) Informationsverarbeitungsvorrichtung, die ein bestimmtes objekt in einem aufgenommenen bild erkennt, und verfahren zu deren steuerung
DE102018210633A1 (de) Verfahren und Vorrichtungen zum Erkennen von dem Benutzer zugewandten Bildschirmen bei Vorrichtungen mit mehreren Bildschirmen
DE102014019637A1 (de) Anzeigeschaltverfahren, Datenverarbeitungsverfahren und elektronische Vorrichtung
DE112018005075T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102019200287A1 (de) Bildmessgerät und computerlesbares Medium
DE102017112039A1 (de) Unterbrechungsfreie einblendung auf einer anzeige
DE102015103836A1 (de) Endgerät und Informationsverarbeitungsverfahren
WO2016145827A1 (zh) 终端的控制方法及装置