JP2014506364A - タッチディスプレイ用仮想コントローラ - Google Patents

タッチディスプレイ用仮想コントローラ Download PDF

Info

Publication number
JP2014506364A
JP2014506364A JP2013547623A JP2013547623A JP2014506364A JP 2014506364 A JP2014506364 A JP 2014506364A JP 2013547623 A JP2013547623 A JP 2013547623A JP 2013547623 A JP2013547623 A JP 2013547623A JP 2014506364 A JP2014506364 A JP 2014506364A
Authority
JP
Japan
Prior art keywords
finger
lowered
controller input
controller
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013547623A
Other languages
English (en)
Other versions
JP2014506364A5 (ja
JP5951638B2 (ja
Inventor
バークス オットー
エイチ．マシューズ ザ サード ジョセフ
ガイガー アヴィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014506364A publication Critical patent/JP2014506364A/ja
Publication of JP2014506364A5 publication Critical patent/JP2014506364A5/ja
Application granted granted Critical
Publication of JP5951638B2 publication Critical patent/JP5951638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/609—Methods for processing data by generating or executing the game program for unlocking hidden game elements, e.g. features, items, levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

ユーザの指の接触を検出するように構成されるタッチセンサを含むタッチセンサ式ディスプレイを有するコンピュータ装置での使用のためのシステムおよび方法が提供される。当該方法は、ディスプレイ上に最初に指を下ろす位置をタッチセンサを介して検出するステップと、指を下ろす位置において仮想コントローラのニュートラルポジションを確立するステップとを含む。当該方法は、最初に指を下ろす位置に対する後続の指の動きを検出するステップと、最初に指を下ろす位置に対する後続の指の動きに基づくコントローラ入力パラメータを判定するステップとをさらに含むことができる。当該方法は、判定されたコントローラ入力パラメータを示すコントローラ入力メッセージを生成するステップをさらに含むことができる。

Description

本発明は、タッチディスプレイ用仮想コントローラに関する。
携帯用ゲーム装置は、世界中の多くのユーザによって楽しまれている。そのようなゲーム装置の１つのタイプには、ユーザに触覚フィードバックを与えてコントロールに関する正しい指の位置決めを補強する双方のハードボタンコントロールと、例えば、スタイラスペンを使用してユーザがゲームで対話することを可能にするタッチスクリーンとが含まれる。そのような装置の１つの欠点は、ハードボタンが装置内の貴重なスペースを占有し、ディスプレイの大きさが制限され、筺体の大きさが増大してしまうことである。ハードボタンの大きさを縮小することは難しい。なぜなら、小さなボタンでは、特にペースの速いゲームプレー中は、ユーザが作動させるのが困難であるからである。さらに、多機能タブレットコンピュータ装置または携帯電話としても機能するゲーム装置の文脈では、装置の前面にあるゲームプレー用に特に充てられる専用ボタンは、ゲームをしない消費者にとっては装置の有用性または外観を損ねるものとなり得る。
ユーザの指の接触を検出するように構成されるタッチセンサを含むタッチセンサ式ディスプレイを有するコンピュータ装置での使用のためのシステムおよび方法が提供される。当該方法は、ディスプレイ上に最初に指を下ろす位置を、タッチセンサを介して検出するステップと、指を下ろす位置において仮想コントローラのニュートラルポジションを確立するステップとを含む。当該方法は、最初に指を下ろす位置に対する後続の指の動きを検出するステップと、最初に指を下ろす位置に対する後続の指の動きに基づくコントローラ入力パラメータを判定するステップとをさらに含むことができる。当該方法は、判定されたコントローラ入力パラメータを示すコントローラ入力メッセージを生成するステップをさらに含むことができる。
この「発明の概要」は、以下の「発明を実施するための形態」でさらに述べる概念を簡略化した形式で紹介するために提供される。この「発明の概要」は、請求の主題の重要な特徴または主要な特徴を確認することを意図しておらず、請求される主題の範囲を制限するために使用されることも意図していない。さらに、請求される主題は、本開示の任意の部分に示される、任意または全ての不利を解決する実装に制限されない。
タッチディスプレイ用仮想コントローラを示す一実施形態のコンピュータ装置の斜視図である。 図１のコンピュータ装置の概略図である。 図１の仮想コントローラについて相対的な動きを例示する、ニュートラルポジションの図式的図である。 図１の仮想コントローラについてのニュートラルポジションの再配置の図式的図である。 図１のコントロールアイコンを作動させるサムアップイベントの図式的図である。 タッチセンサ式ディスプレイ用の仮想コントローラを出力するように構成されるコンピュータ装置のための方法を例示するフロー図である。
図１は、タッチセンサ式ディスプレイ用の仮想コントローラ１４を示すコンピュータ装置１０の一実施形態の斜視図である。コンピュータ装置１０は、例えば、携帯電話、タブレットコンピュータ、または他のハンドヘルドコンピュータ装置として構成されうる。コンピュータ装置１０は、図２に関して詳述される、ユーザの指の複数の接触を検出するように構成されるタッチセンサを含むマルチタッチディスプレイ１２などのタッチセンサ式ディスプレイを備えることができる。さらに、コンピュータ装置１０は、複数の接触を介してユーザからの入力を受信するように構成され、および仮想コントローラ１４を制御するための入力方法を実行することができる。そのような方法については、図６に関して詳細に説明する。
まず、図１を見ると、コンピュータ装置１０は、ビデオゲームなどのプログラムの制御をユーザが行うことを可能にする構成において、マルチタッチディスプレイ１２上に仮想コントローラ１４を表示することができる。図示される実施形態において、仮想コントローラ１４は、ビデオゲームの態様を制御するために使用されうる仮想ジョイスティックコントローラを含むゲームコントローラであり、それにより、ゲーム表示領域１６においてゲームプレーが可能となる。典型的には、仮想コントローラは、ゲーム表示領域のディスプレイを過度に視覚的に妨げることのないように提示される。別の実施形態において、仮想コントローラ入力モジュールは、仮想コントローラの入力に対応する聴覚フィードバックをスピーカ／マイクユニット２６を通して提供することができる。
仮想コントローラ１４は、ユーザの指の複数の接触に反応することができる。例えば、指は親指１８であってよく、指は任意のさまざまな方向に移動してよく、この動きを仮想コントローラ１４により１つまたは複数のコントローラ入力パラメータに変換することができる。コントローラ入力パラメータは、親指１８の動きに対応する方向、速度、および／または相対的な大きさを含むことができる。その結果、ある実施形態において、１つまたは複数のコントロールアイコン２０が、ユーザに制御の位置決めの視覚的インジケーションを提供することができ、これはユーザが指を動かすと更新される。
１つまたは複数のコントロールアイコン２０は、１つまたは複数の仮想コントローラ１４および／またはユーザに異なる態様のゲームの制御を行わせることができる１つまたは複数の補助コントローラを表すことができる。コントロールアイコン２０はそれぞれ、仮想ジョイスティック、ボタン、Ｄパッドボタン、スライダ、および、作動させてゲームの一態様を制御することができる任意の他の特徴の内の１つまたは複数であってよい。図１に例示される実施形態において、仮想コントローラがマイクロソフト（登録商標）社のＸＢＯＸ（登録商標）コントローラを実装することは理解されるであろう。他のコントローラ実装が同様に利用されてよい。
典型的には、仮想コントローラは、ゲーム表示領域のディスプレイを過度に視覚的に妨げることのないように提示される。従って、ある実施形態において、ディスプレイ上にコントローラアイコンが提供されず、ディスプレイ上のゲームプレー領域の可視エリアが最大化される。他の実施形態において、アイコンを部分的に透明にしてその下のゲームプレーを見えるようにすることができ、または、アイコンを短時間提示した後、徐々に消えるようにすることができる。
図２は、図１のコンピュータ装置１０のソフトウェアコンポーネントおよびハードウェアコンポーネントを例示する概略図である。コンピュータ装置１０は、マルチタッチディスプレイ１２、プロセッサ２２、メモリユニット２４、スピーカ／マイクユニット２６、および大容量記憶装置ユニット２８を含むが、それら全てが、１つまたは複数のデータバスを介してお互いに通信するように構成される。
マルチタッチディスプレイ１２は、可視画像を作成するための様々なディスプレイ技術を採用し、例えば、グラフィカルユーザインターフェース（ＧＵＩ）３２を含むことができる。マルチタッチディスプレイ１２は、液晶ディスプレイ（ＬＣＤ）、または、例えば、複数の発光画素から成る有機発光ダイオード（ＯＬＥＤ）ディスプレイとして構成されうる。マルチタッチディスプレイ１２は、タッチセンサ３０および圧力センサ３４をさらに含むことができる。
タッチセンサ３０はマルチタッチディスプレイ１２に連結されており、接触３６などのユーザの指の複数の接触を検出することができる。圧力センサ３４はマルチタッチディスプレイ１２に結合されており、指に関連する接触３６のエリア内における経時的な変化から、または圧力の増加に関連する電気特性における変化から、圧力を検出することができ、それによって歪みゲージとして機能する。マルチタッチディスプレイ１２は、本開示の範囲から逸脱することなく、追加または代替のセンサを含むことができる。
大容量記憶装置ユニット２８は、仮想コントローラ入力モジュール４２およびプログラム３８を含む種々のプログラムおよびモジュールを含むことができ、これらは、メモリユニット２４およびディスプレイ１２を使用してプロセッサ２２によって実行されて、本明細書に記載される種々の機能を達成することができる。さらに大容量記憶装置ユニット２８は、例えば、マルチタッチディスプレイ１２上でのＧＵＩ３２の表示を制御することが可能な表示出力４０を送信するように構成されうる、１つまたは複数のプログラム３８を記憶することができる。
種々のプログラムがオペレーティングシステムリソースと通信し、および当該リソースを利用するアプリケーションプログラミングインターフェース（ＡＰＩ）を含むオペレーティングシステムをコンピュータ装置１０が含みうることは理解されるであろう。ある実施形態において、仮想コントローラ入力モジュール４２は、コンピュータ装置上にＡＰＩ４８として実装されることができる。あるいは、仮想コントローラ入力モジュール４２は、プログラム、ライブラリ、サービス、または、コンピュータ装置１０上で実行される他のソフトウェアコンポーネントとして実装されることができる。
仮想コントローラ入力モジュール４２は、コンピュータ装置１０のプロセッサ２２により実行されうる。仮想コントローラ入力モジュール４２は、マルチタッチディスプレイ１２上において、タッチセンサ３０、圧力センサ３４、および／または追加のセンサを介して、ユーザの複数の指を接触として検出するように、および、それらの接触に対応する動きを検出するように構成されうる。このように、仮想コントローラ入力モジュール４２は、１つまたは複数のセンサにより受信したデータを変換し、このデータに基づいてコントローラ入力メッセージ４６を生成し、当該メッセージをプログラム３８に送信することができる。
例えば、仮想コントローラ入力モジュール４２は、マルチタッチディスプレイ１２上に最初に指を下ろす位置をタッチセンサ３０を介して検出することができる。また、仮想コントローラ入力モジュール４２は、仮想コントローラ１４のニュートラルポジションを最初に指を下ろす位置において確立することができる。換言すると、仮想コントローラ入力モジュール４２は、指がマルチタッチディスプレイ１２に触れた時に最初の接触を検出することができる。さらに、仮想コントローラ入力モジュール４２は、ニュートラルポジションに固定される、または制御可能にニュートラルポジションの中心に置かれる、コントロールアイコンを表示するように構成されうる。ニュートラルポジションを確立した後、仮想コントローラ入力モジュール４２は、例えば、最初に指を下ろす位置に対する後続の指の動きを検出するように構成されうる。とりわけ、そのような接触および動きについて、図３から図６に関してさらに詳細に検討する。
仮想コントローラ入力モジュール４２は、例えば、最初に指を下ろす位置に対する後続の指の動きに基づくコントローラ入力パラメータ４４を判定するように構成されうる。コントローラ入力パラメータ４４の判定には、例えば、最初に指を下ろす位置に対する後続の指の動きの方向、速度、および／または、相対的な大きさの判定が含まれてよい。さらに、判定されたコントローラ入力パラメータ４４を示すコントローラ入力メッセージ４６は、仮想コントローラ入力モジュール４２により生成され、および、プログラム３８に送信されることができる。コントローラ入力メッセージ４６は、上述したようにビデオゲームまたは他のプログラムとすることができる、仮想コントローラ入力モジュールとプログラム３８との間の通信経路として機能する。このメッセージには、検出された後続の動きに基づくコントローラ入力パラメータ４４、および／または、以下で検討する種々の他のコントローラ入力パラメータ、が含まれてよい。
別のコントローラ入力パラメータ４４の一例として、コントローラ入力メッセージ４６は、後続の動きの最中にマルチタッチディスプレイ１２に掛かる指の圧力のインジケーションを含んでもよく、圧力は圧力センサ３４から受信される信号に基づいて検出される。検出される圧力は、例えば、指に関連する接触のエリア内における経時的な変化、または、歪みゲージにより検出される電気特性における変化に基づくものとすることができる。
また、仮想コントローラ入力モジュール４２は、他のコントローラ、例えば、仮想コントローラ１４とは異なるゲームの態様を制御することができる補助コントローラに対するユーザの指の複数の接触を検出することができる。そのような補助コントローラは、補助コントロールゾーンと関連付けられてよく、これについては図５に関してさらに詳細に検討する。これらの補助コントローラからの出力に基づくコントローラ入力パラメータも、コントローラ入力メッセージ４６に含まれうる。
上述のように、仮想コントローラ入力モジュール４２は、アプリケーションプログラミングインターフェース（ＡＰＩ）４８として実装されうる。従って、例えば、最初に指を下ろす位置の検出、ニュートラルポジションの確立、後続の動きの検出、コントローラ入力パラメータ４４の判定、およびコントローラ入力メッセージ４６の生成は、コンピュータ装置１０上で実行されるアプリケーションプログラミングインターフェース４８によって行われうる。さらに、アプリケーションプログラミングインターフェース４８は、コンピュータ装置１０上で実行されるプログラム３８にコントローラ入力メッセージ４６を出力することができる。他の実施形態において、仮想コントローラ入力モジュール４２は、ドライバスタンドアロン実行可能プログラム、ライブラリ、サービス、または他のタイプのソフトウェアコンポーネントとして実装されうる。
図３は、図１の仮想コントローラ１４について相対的な動きを例示する、ニュートラルポジション５０の図式的図である。図示されるように、ユーザの指は、上述のように、最初に指を下ろす位置に対応する接触を行い、最初に指を下ろす位置にニュートラルポジション５０を確立することができる。ユーザは、ニュートラルポジション５０に対して動くことにより仮想コントローラ１４を制御することができる。例えば、ユーザは、後続の動きを行って、指を位置５２に移動させることができ、または、ユーザは、後続の動きを行って、指を位置５４に移動させることができる。各動きは、指がマルチタッチディスプレイ１２に触れた状態を継続したまま発生し、プログラム３６により別の方法で解釈される異なる制御入力として変換することができる。例えば、位置５２への後続の動きでは、仮想の車両を前方および左に進ませることになり、一方、位置５４への後続の動きでは、仮想の車両をバックさせることになってよい。後続の動きが、記載した以外の位置で検出されてよいことは理解されるであろう。
図４は、図１の仮想コントローラ１４についてのニュートラルポジション５０の再配置の図式的図である。時折、ユーザはマルチタッチディスプレイ１２の表面から指を上げ、続いて、次に指を下ろす位置で仮想コントローラ１４の制御を継続することができる。仮想コントローラの再配置を行わないと、コンピュータ装置に対するユーザのグリップが次に指を下ろす位置におけるクリープを引き起こすことが、ユーザには分かる。その結果、ユーザは不注意に仮想コントローラを誤打し、満足のいかないユーザ経験、ビデオゲームでの悲劇的な結末などにつながることになる。
この問題に対処するために、仮想コントローラ入力モジュール４２は、そのようなクリープが検出されると、ニュートラルポジションを再配置するように構成される。この再配置は次のように実装されうる。図４に示すように、ユーザの指は、上述のように、最初に指を下ろす位置に対応する接触を行い、最初に指を下ろす位置に仮想コントローラ１４のニュートラルポジション５０を確立することができる。仮想コントローラ入力モジュール４２は、指を上げるイベント５８を検出するように構成されることができ、指を上げるイベント５８は、例えば、所定の閾値期間、指とマルチタッチディスプレイ１２の接触がないこととすることができる。
仮想コントローラ入力モジュール４２は、第１および第２の次に指を下ろす位置を検出し、ニュートラルポジションを、５０Ｂ、５０Ｃにおける対応する重心の位置に再配置、または、次に指を下ろす位置に対する他の位置に再配置するように構成されることができ、それにより、仮想コントローラが１４Ｂ、１４Ｃにて図示されるように再配置される。
あるシナリオにおいて、ユーザは、ニュートラルポジションが、マルチタッチディスプレイ１２の境界に実質的に近くなるように、かつ、それにより、結果として不完全な仮想コントローラとなってしまうように、指を位置決めするかもしれない。この問題を解決するために、ニュートラルポジションについて最も近い許容位置を判定することができ、また、コントロールアイコンを最も近い許容位置に表示することができる。従って、仮想コントローラ入力モジュール４２は、指を下ろす位置および／または次に指を下ろす位置が、タッチセンサ式ディスプレイの境界近傍の領域で発生して、仮想コントローラの作動可能なエリアが境界で妨害されるような場合に、最も近い許容仮想コントローラ位置を判定するように構成されることができる。ある実施形態において、最も近い許容位置は、仮想コントローラの作動可能なエリア全体をディスプレイ上に配置させることが可能な、ユーザの指を下ろす位置に最も近い位置と見なすことができる。この特性は選択的に、例えば、初心者モードに含まれてよく、ユーザが仮想コントローラを容易に使いこなせるようにする。
別の例において、検出されたニュートラルポジションは、最も近い許容位置の判定を行わずに却下されてよく、従って、コントロールアイコンは最も近い許容位置に表示されなくともよい。別の例において、不完全な仮想コントローラを有効とすることができる。例えば、ユーザが上級モードを選択する場合、不完全な仮想コントローラを有効とし、ゲームは制御できるが、境界が仮想コントローラの作動可能なエリアの一部を妨害するために、機能が縮小されてしまう場合がある。この場合、仮想コントローラには、仮想コントローラの作動可能なエリアにおいてコントロールアイコンの部分表示が含まれてよい。従って、不完全な仮想コントローラでは、ユーザにとって可視である仮想コントローラの一部分のみからの制御を有効とすることができる。同様に、ディスプレイの境界により遮られる仮想コントローラの一部分は、視界が遮られかつ作動不可能であるため、機能が縮小されてしまう。
図５は、ユーザが、上述の仮想ジョイスティックなどの主コントロールアイコンの使用の後に補助コントロールアイコンを作動させようとすると検出されうるサムアップイベントの図式的図である。図５に示すように、ニュートラルポジション５０は、仮想コントローラ１４を制御するように確立されうる。一度確立されると、仮想コントローラ入力モジュール４２が、指を上げるイベント５８を検出することができ、かつ、さらに、例えば、補助コントロールゾーン５６内の指接触６０にて、次に指を下ろす位置を検出することができる。
補助コントロールゾーン５６は、仮想ボタンもしくは方向パッド（Ｄパッド）コントローラ６２、または他のユーザ入力機構として構成されうる。従って、補助コントロールアイコンは、仮想ボタン、Ｄパッド等の形状に対応する補助コントロールゾーン５６内に表示されうる。そのような補助コントロールアイコンを表示することにより、仮想コントローラ入力モジュール４２は、ユーザに、補助コントロールゾーン５６の位置のインジケーションを提供することができる。さらに、仮想コントローラ入力モジュール４２は、補助コントロールゾーン内におけるユーザの指の後続の位置または相対的な動きに基づく、補助コントロール入力パラメータを判定するように構成されうる。従って、仮想コントローラ入力モジュール４２は、補助コントロール入力パラメータのインジケーションをさらに含むようにコントローラ入力メッセージ４６を生成することができる。あるいは、補助コントロールゾーン５６が他のプログラムに関するユーザ入力を有効にするように種々の他の構成で構成されうることは理解されるであろう。
ある実施形態において、補助コントロールゾーン内における次に指を下ろす位置を検出した時に、仮想コントローラ入力モジュール４２はニュートラルポジションの再配置を阻止するように構成されうる。この状況では、仮想コントローラ入力モジュール４２は、ユーザの手が不慮のクリープによって動いたのではなく、主コントロールとして機能する仮想コントロールからの所定の距離および方向にある補助コントロールを制御するというユーザの意図によって動いたものと判定する。そのような場合、仮想コントローラ入力モジュール４２は、仮想コントローラの再配置を抑制して、代わりに、補助コントロールゾーン内に位置決めされる補助コントロールとユーザが対話することを可能にする。このように、ユーザは、例えば、主ジョイスティックコントローラと補助Ｄパッドコントローラとの間を、自分の親指を前後に切り替えることができる。
図６は、マルチタッチディスプレイ用の仮想コントローラ１４を介して入力を受信するように構成されるコンピュータ装置のための方法６００を例示するフロー図である。方法６００は、ユーザの指の複数の接触を検出するように構成されるタッチセンサを含むマルチタッチディスプレイなどの、タッチセンサ式ディスプレイを有するコンピュータ装置での使用のための入力方法とすることができる。上述のコンピュータ装置１０のソフトウェアコンポーネントおよびハードウェアコンポーネントを使用して、または、他の適切なコンポーネントを使用して、方法６００が実行されうることは理解されるであろう。
方法６００は、ステップ６０２にて開始され、タッチセンサ式ディスプレイ上で最初に指を下ろす位置をタッチセンサを介して検出することを含む。方法６００は、ステップ６０４に進み、上述のように、指を下ろす位置において仮想コントローラのニュートラルポジションを確立することを含む。
方法６００はステップ６０６に進み、最初に指を下ろす位置に対する後続の指の動きを検出することを含む。方法６００はステップ６０８に進み、最初に指を下ろす位置に対する後続の指の動きに基づくコントローラ入力パラメータを判定することを含む。例えば、コントローラ入力パラメータは、マルチタッチディスプレイ上に表示される仮想ジョイスティックなどのコントロールアイコンへの後続の動きに関連する、方向、速度および／または大きさを含みうる。上述のように、他のコントローラ入力パラメータも検出されうる。
方法６００はステップ６１０に進み、後続の動きの最中にマルチタッチディスプレイに掛かる指の圧力を検出することを含む。そして、方法６００はステップ６１２に進み、判定されたコントローラ入力パラメータを示すコントローラ入力メッセージを生成することを含み、かつ、検出された圧力のインジケーションをさらに含むことができる。
ステップ６１２から、方法６００はステップ６１４およびステップ６２２に非同期的に進む。ステップ６２２にて、方法６００は、コントローラパラメータを含むコントローラ入力メッセージをコンピュータ装置上で実行されるプログラムに送信することを含む。ある実施形態において、ステップ６０２から６２２はＡＰＩにより実行されることができ、一方、ステップ６２４は、コンピュータ装置上で実行されるプログラムにより実行されうる。従って、ステップ６２２から６２４への処理フローは、オペレーティングシステム／ＡＰＩ空間を出て、プログラム空間に入るものとしてよい。ステップ６２４にて、方法は、プログラムにおいて、受信したコントローラ入力メッセージに基づき、ＧＵＩ要素を調整することを含むことができる。ステップ６２４から、方法６００は終了、あるいは、ステップ６０６へループして入力を検出することを継続することができる。
ステップ６１２での決定に戻り、方法はステップ６１４に分岐してもよく、そこでは、方法は、例えば、所定の期間、ディスプレイに接触が無いことを検出したことに基づき、指を上げるイベントが発生したかどうかを判断することを含む。ステップ６１４に対する応答が「いいえ」である場合、方法６００はステップ６０６に進み、入力を検出することを再開する。ステップ６１４に対する応答が「はい」である場合、方法６００はステップ６１６に進み、次に指を下ろす位置を検出することを含む。
方法６００はステップ６１８へ続き、補助コントロールゾーン内で次に指を下ろす位置が検出されているかどうかを判定することを含む。ステップ６１８に対する応答が「いいえ」である場合、方法６００はステップ６０４に進んで、ニュートラルなコントローラの位置を再確立する。換言すれば、ステップ６０４には、上述のように、次に指を下ろす位置において仮想コントローラのニュートラルポジションを再配置することが含まれうる。
ステップ６１８に対する応答が「はい」である場合、ニュートラルポジションは再配置されない。正確には、方法６００はステップ６２０に進み、補助コントロールゾーン内における次に指を下ろす位置に基づく補助コントロール入力パラメータを判定することを含む。例えば、補助コントロールアイコンは、補助コントロールゾーン内に表示されてよく、Ｄパッドコントローラとして構成されてよいものであり、一例の補助コントロール入力パラメータは、Ｄパッドコントローラを下ろすイベントであってよい。他の例についても上述された。ステップ６２０から、方法６００はステップ６１２に戻り、そこでは、コントローラ入力メッセージを生成することは、補助コントロール入力パラメータのインジケーションを含むことができる。
ある実施形態において、上述されたように、方法６００の一部は、コンピュータ装置上で実行されるＡＰＩによって実行されうる。例えば、ＡＰＩは、最初に指を下ろす位置の検出、ニュートラルポジションの確立、後続の動きの検出、コントローラ入力パラメータの判定、および／または、コントローラ入力メッセージの生成を行うことができる。
ある実施形態において、上述されたように、方法６００の一部は、指を下ろす位置および／または次に指を下ろす位置などの指接触が、タッチセンサ式ディスプレイの境界近傍の領域において発生して、結果的に仮想コントローラの作動可能なエリアが境界により妨害されることになる場合に、最も近い許容仮想コントローラ位置を判定することをさらに含みうる。最も近い許容仮想コントローラ位置は、上述のように判定されうる。仮想コントローラが位置決めされることができ、およびコントロールアイコンは、指接触により検出されるニュートラルポジションではなく、最も近い許容仮想コントローラ位置において表示されることができる。他の例において、検出されたニュートラルポジションは、最も近い許容仮想コントローラ位置の表示を行わずに却下されてよく、または、仮想コントローラは、上述されたように、部分的に可視かつ作動可能とすることができる。
上述のシステムおよび方法を実装することにより、相対的な入力を受信するように構成され、かつ、関連する補助コントロールを有することもできるタッチセンサ式ディスプレイ上に表示される仮想コントローラを使用して、ユーザがプログラムと対話することを可能にすることは理解されるであろう。さらに、仮想コントローラでは、そのニュートラルポジションを都合よく再配置して、ユーザの手の位置の任意の変更を追跡することができ、一方で、ユーザは、装置をグリップすることとコントロールの作動とを同時に行うことができる。その結果、コントローラの誤打が回避され、ユーザエクスペリエンスを向上させることができる。
用語「モジュール」、「プログラム」および「エンジン」は、本明細書で使用されて、コンピュータ装置のプロセッサにより実行される時に１つまたは複数の特定の機能を実行するソフトウェアを指す。これらの用語は、例えば、個々またはグループの実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードが包含されることを意味する。本明細書に記載される実施形態は、これらのモジュール、プログラム、およびエンジンを組織化した一例を示すが、本明細書に記載される機能を、異なって組織化されるソフトウェアコンポーネントにより達成することができることは理解すべきである。さらに、マルチタッチディスプレイが、ディスプレイ上の複数の接触を同時に感知するディスプレイであることは理解されるであろう。
理解すべきは、本明細書に記載される構成および／またはアプローチは例であり、かつ、これらの特定の実施形態または実施例は制限する意味を持つものとみなれるべきではない。なぜなら、多数の変形が可能であるからである。本明細書に記載される特定のルーチンまたは方法は、任意の数の処理戦略の内の１つまたは複数を表すことができる。故に、例示される種々の動作は、例示される順序で、他の順序で、並行して、または、何らかの事例を省略して、行われうる。同様に、上述の処理の順番は変更されうる。
本開示の主題には、種々のプロセス、システム、および構成の、全ての新規で非自明的なコンビネーションおよびサブコンビネーション、ならびに、本明細書において開示される他の特徴、機能、動作および／またはプロパティ、のみならず、任意のおよび全てのその等価物が含まれる。

Claims (10)

  1. ユーザの指の接触を検出するように構成されるタッチセンサを含むタッチセンサ式ディスプレイを有するコンピュータ装置での使用のための入力方法であって、前記方法は、
    前記タッチセンサ式ディスプレイ上で最初に指を下ろす位置をタッチセンサを介して検出するステップと、
    前記指を下ろす位置において仮想コントローラのニュートラルポジションを確立するステップと、
    前記最初に指を下ろす位置に対する後続の指の動きを検出するステップと、
    前記最初に指を下ろす位置に対する後続の指の動きに基づくコントローラ入力パラメータを判定するステップと、
    前記判定されたコントローラ入力パラメータを示すコントローラ入力メッセージを生成するステップと
    を備えることを特徴とする方法。
  2. 指を上げるイベントを検出するステップと、
    次に指を下ろす位置を検出するステップと、
    前記次に指を下ろす位置において前記仮想コントローラの前記ニュートラルポジションを再配置するステップと、
    前記指を下ろす位置および／または前記次に指を下ろす位置が、前記タッチセンサ式ディスプレイの境界近傍の領域で発生して、前記仮想コントローラの作動可能なエリアが境界で妨害されるような場合に、最も近い許容仮想コントローラ位置を判定するステップであって、前記指を上げるイベントは、所定の閾値期間、指と前記ディスプレイの接触がないことである、ステップと
    をさらに備えることを特徴とする請求項１に記載の方法。
  3. 前記コントローラ入力パラメータを判定するステップが、前記最初に指を下ろす位置に対する前記後続の指の動きの方向、速度、および／または相対的な大きさを判定するステップを含み、前記最初に指を下ろす位置を検出するステップ、前記ニュートラルポジションを確立するステップ、前記後続の動きを検出するステップ、前記コントローラ入力パラメータを判定するステップ、および前記コントローラ入力メッセージを生成するステップが、前記コンピュータ装置上で実行されるアプリケーションプログラミングインターフェースによって行われ、前記方法は、
    前記コントローラ入力メッセージを、前記アプリケーションプログラミングインターフェースから、前記コンピュータ装置上で実行されるプログラムに出力するステップをさらに備えることを特徴とする請求項１に記載の方法。
  4. 前記後続の動きの最中に前記タッチセンサ式ディスプレイに掛かる前記指の圧力を検出するステップをさらに備え、前記コントローラ入力メッセージを生成するステップが、前記検出された圧力のインジケーションを含み、前記圧力を検出するステップが、前記指に関連する接触のエリア内における経時的な変化から圧力を判定するステップ、および／または、前記タッチセンサ式ディスプレイに結合される圧力センサから圧力を検出するステップを含むことを特徴とする請求項１に記載の方法。
  5. 指を上げるイベントを検出するステップと、
    補助コントロールゾーン内における次に指を下ろす位置を検出するステップと、
    前記補助コントロールゾーン内における次に指を下ろす位置を検出するステップの際に、前記ニュートラルポジションの再配置を抑制するステップと、
    前記補助コントロールゾーン内における前記次に指を下ろす位置に基づく補助コントロール入力パラメータを判定するステップと
    をさらに備え、
    前記生成されたコントローラ入力メッセージが、前記補助コントロール入力パラメータのインジケーションを含み、かつ、前記補助コントロールゾーンが仮想ボタンまたは方向パッドとして構成されることを特徴とする請求項１に記載の方法。
  6. ユーザの指の接触を検出するように構成されるタッチセンサを含むタッチセンサ式ディスプレイと、
    コンピュータ装置のプロセッサにより実行される仮想コントローラ入力モジュールと
    を備えるコンピュータ装置であって、
    前記仮想コントローラ入力モジュールが、
    前記タッチセンサ式ディスプレイ上で最初に指を下ろす位置を前記タッチセンサを介して検出し、
    前記最初に指を下ろす位置において仮想コントローラのニュートラルポジションを確立し、
    前記最初に指を下ろす位置に対する後続の指の動きを検出し、
    前記最初に指を下ろす位置に対する前記後続の指の動きに基づくコントローラ入力パラメータを判定し、
    前記判定されたコントローラ入力パラメータを示すコントローラ入力メッセージを生成するように構成されることを特徴とするコンピュータ装置。
  7. 前記仮想コントローラ入力モジュールが、
    指を上げるイベントを検出し、
    次に指を下ろす位置を検出し、
    前記次に指を下ろす位置において前記仮想コントローラの前記ニュートラルポジションを再配置するように構成され、
    前記指は親指であり、前記仮想コントローラは仮想ジョイスティックコントローラであり、前記仮想コントローラ入力モジュールが前記ニュートラルポジションに固定されるコントロールアイコンを表示するように構成され、前記コントロールアイコンがユーザに前記コントロールの位置決めする視覚的インジケーションを提供することを特徴とする請求項６に記載のコンピュータ装置。
  8. 前記コントローラ入力メッセージが、前記後続の動きの最中に前記指の前記ディスプレイに掛かる圧力のインジケーションを含み、前記圧力が、前記タッチセンサ式ディスプレイに結合される圧力センサから受信される信号に基づき、または、前記指に関連する接触のエリア内における経時的な変化に基づき検出されることを特徴とする請求項６に記載のコンピュータ装置。
  9. 前記仮想コントローラ入力モジュールが、
    指を上げるイベントを検出し、
    補助コントロールゾーン内における次に指を下ろす位置を検出し、
    前記補助コントロールゾーン内における次に指を下ろす位置を検出する際に、前記ニュートラルポジションの再配置を抑制し、
    前記補助コントロールゾーン内における後続のユーザの接触に基づく補助コントロール入力パラメータを判定し、
    前記補助コントロール入力パラメータのインジケーションをさらに含むようにコントローラ入力メッセージを生成するようにさらに構成されることを特徴とする請求項６に記載のコンピュータ装置。
  10. 前記補助コントロールゾーンが仮想ボタンまたは方向パッドとして構成され、前記仮想コントローラ入力モジュールが、前記タッチセンサ式ディスプレイ上で補助コントロールゾーン内に補助コントロールアイコンを表示するように構成されて、前記補助コントロールゾーンの位置のインジケーションを提供することを特徴とする請求項９に記載のコンピュータ装置。
JP2013547623A 2010-12-29 2011-12-27 タッチディスプレイ用仮想コントローラ Active JP5951638B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/981,139 US9411509B2 (en) 2010-12-29 2010-12-29 Virtual controller for touch display
US12/981,139 2010-12-29
PCT/US2011/067426 WO2012092296A2 (en) 2010-12-29 2011-12-27 Virtual controller for touch display

Publications (3)

Publication Number Publication Date
JP2014506364A true JP2014506364A (ja) 2014-03-13
JP2014506364A5 JP2014506364A5 (ja) 2015-01-29
JP5951638B2 JP5951638B2 (ja) 2016-07-13

Family

ID=46380321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547623A Active JP5951638B2 (ja) 2010-12-29 2011-12-27 タッチディスプレイ用仮想コントローラ

Country Status (8)

Country Link
US (2) US9411509B2 (ja)
EP (1) EP2659340B1 (ja)
JP (1) JP5951638B2 (ja)
KR (1) KR101885685B1 (ja)
CN (1) CN102609185B (ja)
HK (1) HK1172419A1 (ja)
TW (2) TWI568480B (ja)
WO (1) WO2012092296A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010541A (ja) * 2016-07-14 2018-01-18 望月 貴里子 ユーザーインターフェース
JP2018068781A (ja) * 2016-10-31 2018-05-10 株式会社バンク・オブ・イノベーション ビデオゲーム処理装置、及びビデオゲーム処理プログラム
WO2018180552A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
JP2019188118A (ja) * 2018-04-25 2019-10-31 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
JP2021000487A (ja) * 2020-09-16 2021-01-07 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031411A1 (en) 1997-12-12 1999-06-24 Caterpillar Inc. Face seal assembly with interfitting load ring
US20120192078A1 (en) * 2011-01-26 2012-07-26 International Business Machines Method and system of mobile virtual desktop and virtual trackball therefor
JP5379250B2 (ja) * 2011-02-10 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 入力装置、情報処理装置および入力値取得方法
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
US9132735B2 (en) * 2011-02-17 2015-09-15 George Black Electric car systems
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
US9952755B2 (en) * 2011-09-13 2018-04-24 Sony Interactive Entertainment Inc. Information processing device, information processing method, data structure of content file, GUI placement simulator, and GUI placement setting assisting method
CA2855153C (en) * 2011-11-09 2019-04-30 Blackberry Limited Touch-sensitive display method and apparatus
US9218107B1 (en) 2011-12-30 2015-12-22 hopTo Inc. Cloud-based text management for cross-platform display
US9367931B1 (en) 2011-12-30 2016-06-14 hopTo Inc. Motion vectors for cross-platform display
US9454617B1 (en) 2011-12-30 2016-09-27 hopTo Inc. Client rendering
US9223534B1 (en) 2011-12-30 2015-12-29 hopTo Inc. Client side detection of motion vectors for cross-platform display
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
US9868062B2 (en) * 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
US9106612B1 (en) 2012-05-18 2015-08-11 hopTo Inc. Decomposition and recomposition for cross-platform display
US9124562B1 (en) 2012-05-18 2015-09-01 hopTo Inc. Cloud-based decomposition and recomposition for cross-platform display
KR101431581B1 (ko) * 2012-06-22 2014-09-23 성균관대학교산학협력단 모바일 단말기를 기반으로 한 가상 게임 컨트롤러 장치 및 이를 이용한 원격 컨트롤 시스템
JP5563633B2 (ja) 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9588515B2 (en) * 2012-12-31 2017-03-07 General Electric Company Systems and methods for remote control of a non-destructive testing system
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2014147511A (ja) * 2013-01-31 2014-08-21 Gree Inc プログラム、表示システム及びサーバ装置
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
US9430134B1 (en) 2013-03-15 2016-08-30 hopTo Inc. Using split windows for cross-platform document views
US9292157B1 (en) 2013-03-15 2016-03-22 hopTo Inc. Cloud-based usage of split windows for cross-platform document views
KR101371660B1 (ko) * 2013-04-17 2014-03-10 인제대학교 산학협력단 가상 트랙볼을 이용한 터치스크린 제어방법
US20140327643A1 (en) * 2013-05-02 2014-11-06 Nvidia Corporation Display panel protection with overpressure sensor on mobile device
TWI514196B (zh) * 2013-08-05 2015-12-21 Ind Tech Res Inst 觸覺回饋裝置
TW201530421A (zh) * 2014-01-23 2015-08-01 Zeroplus Technology Co Ltd 用於智慧型手持裝置之透明輔助指向元件
KR102516422B1 (ko) * 2014-02-25 2023-03-31 주식회사 넥슨코리아 터치 입력에 의해 제어되는 단말 및 단말 제어 방법
KR20150107528A (ko) 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6990962B2 (ja) * 2014-06-09 2022-01-12 雅人 桑原 情報処理装置
JP2014208258A (ja) * 2014-06-12 2014-11-06 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US9940774B2 (en) * 2014-09-08 2018-04-10 Bally Gaming, Inc. Multi-touch gesture gaming system and method
CN104267904A (zh) * 2014-09-26 2015-01-07 深圳市睿德网络科技有限公司 一种具有触摸屏虚拟单位控制的方法及移动终端
US10088993B2 (en) 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
US20160378251A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Selective pointer offset for touch-sensitive display device
US10328340B2 (en) * 2015-07-20 2019-06-25 Neowiz Games Corporation Method, apparatus, and recording medium for controlling a game
US10484459B2 (en) 2015-09-03 2019-11-19 Nvidia Corporation Dynamically providing host input control for streaming applications
US9977569B2 (en) 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
US9910563B2 (en) * 2016-01-29 2018-03-06 Visual Supply Company Contextually changing omni-directional navigation mechanism
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
CN107678662B (zh) * 2016-08-01 2020-12-29 腾讯科技（深圳）有限公司 一种基于按键的控制方法、装置及智能终端
WO2018091861A1 (en) * 2016-11-15 2018-05-24 Space Ape Games (Uk) Ltd Graphical user interface for single-input controls in a racing game on a touchscreen device
US10459519B2 (en) * 2017-01-19 2019-10-29 Google Llc Function allocation for virtual controller
CA2975036A1 (en) * 2017-03-13 2018-09-13 Wikipad, Inc. Game controller with flexible bridge supporting touch screen
JP6450794B2 (ja) * 2017-03-27 2019-01-09 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
US10369470B2 (en) * 2017-04-28 2019-08-06 PlayFusion Limited User interface control cluster for enhancing a gaming experience
KR102335141B1 (ko) * 2017-05-29 2021-12-03 주식회사 엔씨소프트 게임 입력 오류 보정 장치 및 방법
CN107426412B (zh) * 2017-06-09 2020-08-04 网易（杭州）网络有限公司 信息处理方法及装置、存储介质、电子设备
KR20190021774A (ko) * 2017-08-23 2019-03-06 삼성전자주식회사 터치 이벤트를 처리하는 전자 장치 및 그 제어 방법
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
CN108579077B (zh) * 2018-03-12 2019-09-06 网易（杭州）网络有限公司 信息处理方法、装置、存储介质及电子设备
JP7037177B2 (ja) 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
WO2019187619A1 (ja) * 2018-03-29 2019-10-03 株式会社コナミデジタルエンタテインメント 情報処理装置およびそのプログラムを記録した記録媒体
CN112261973A (zh) * 2018-06-06 2021-01-22 科乐美数码娱乐株式会社 记录介质及信息处理装置
CN109107151A (zh) * 2018-06-22 2019-01-01 网易（杭州）网络有限公司 虚拟对象控制方法及装置、电子设备、存储介质
US11045719B2 (en) * 2018-09-12 2021-06-29 King.Com Ltd. Method and computer device for controlling a touch screen
CN109395373B (zh) * 2018-09-14 2021-12-07 深圳市腾讯信息技术有限公司 对象控制方法和装置、存储介质及电子装置
WO2020094214A1 (en) * 2018-11-06 2020-05-14 Volvo Truck Corporation A finger-position sensitive human machine interface for handling a user input of a user and a method for handling a user input of a user of a finger-position sensitive human machine interface
JP7409770B2 (ja) * 2018-12-28 2024-01-09 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及び端末装置
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技（深圳）有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
KR102658803B1 (ko) * 2019-08-22 2024-04-19 엘지전자 주식회사 이동 단말기 및 이동 단말기를 구비한 전자장치
US10872499B1 (en) * 2019-09-12 2020-12-22 Igt Electronic gaming machines with pressure sensitive inputs for evaluating player emotional states
KR20220155423A (ko) * 2021-05-14 2022-11-22 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 컨트롤 디스플레이 방법 및 장치, 디바이스, 매체 및 프로그램 제품
JP2023001762A (ja) * 2021-06-21 2023-01-06 株式会社アニプレックス ゲームをプレイヤに提供するプログラムおよび情報処理装置
US11745101B2 (en) * 2021-09-11 2023-09-05 Sony Interactive Entertainment Inc. Touch magnitude identification as input to game
CN114489457B (zh) * 2022-01-27 2024-01-19 北京字跳网络技术有限公司 虚拟对象的控制方法、装置、可读介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164175A (ja) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画面表示部を有する機器の操作装置
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
JP2008217548A (ja) * 2007-03-06 2008-09-18 Tokai Rika Co Ltd 操作入力装置
JP2009025848A (ja) * 2005-11-08 2009-02-05 Panasonic Corp 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
JP2010073071A (ja) * 2008-09-19 2010-04-02 Sony Computer Entertainment Inc 入力装置及び入力操作補助パネル
US20100156813A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Touch-Sensitive Display Screen With Absolute And Relative Input Modes
JP2010530578A (ja) * 2007-06-12 2010-09-09 マイクロソフト コーポレーション 視覚的フィードバック・ディスプレイ

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541866B2 (ja) 1997-08-21 2004-07-14 日立プリンティングソリューションズ株式会社 インクジェットヘッドの接着不良診断方法
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP4032404B2 (ja) 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US6572108B1 (en) 2002-01-30 2003-06-03 Radica China Ltd Game pad controller
US7780527B2 (en) 2002-05-14 2010-08-24 Atronic International Gmbh Gaming machine having three-dimensional touch screen for player input
JP4269155B2 (ja) 2003-06-25 2009-05-27 日本電気株式会社 ポインティングデバイス制御システムおよび電子機器
JP4127536B2 (ja) 2004-01-20 2008-07-30 任天堂株式会社 ゲーム装置及びゲームプログラム
JP3734820B1 (ja) 2004-09-03 2006-01-11 任天堂株式会社 ゲームプログラム、ゲーム装置、および入力装置
US20060111180A1 (en) 2004-11-25 2006-05-25 Zeroplus Technology Co., Ltd. Touch-control game controller
JP4748657B2 (ja) 2005-06-24 2011-08-17 任天堂株式会社 入力データ処理プログラムおよび入力データ処理装置
US8882590B2 (en) 2006-04-28 2014-11-11 Nintendo Co., Ltd. Touch-controlled game character motion providing dynamically-positioned virtual control pad
KR20080076200A (ko) 2007-02-15 2008-08-20 오의진 터치스크린을 이용한 데이터 입력장치
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US9740386B2 (en) * 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
US20090207144A1 (en) * 2008-01-07 2009-08-20 Next Holdings Limited Position Sensing System With Edge Positioning Enhancement
US20090205878A1 (en) 2008-01-08 2009-08-20 David Taylor Touchpad for providing touch stick functionality in a game controller for providing relative and absolute position input
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
KR20100027311A (ko) 2008-09-02 2010-03-11 황재엽 당구게임의 사용자인터페이스 제공 방법
US20100064261A1 (en) 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
KR20100134339A (ko) 2009-06-15 2010-12-23 주식회사 인프라웨어 터치스크린을 구비한 정보통신단말기에서 화면의 확대축소 인터페이스를 제공하는 방법 및 이를 구현한 프로그램을 담고 있는 정보기록매체
JP4932010B2 (ja) 2010-01-06 2012-05-16 株式会社スクウェア・エニックス ユーザインタフェース処理装置、ユーザインタフェース処理方法、およびユーザインタフェース処理プログラム
JP5237325B2 (ja) 2010-04-28 2013-07-17 株式会社スクウェア・エニックス ビデオゲーム処理装置、ビデオゲーム処理方法、およびビデオゲーム処理プログラム
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
JP5418532B2 (ja) 2011-03-29 2014-02-19 アイシン・エィ・ダブリュ株式会社 表示装置および表示装置の制御方法並びにプログラム
US8678927B2 (en) 2011-10-04 2014-03-25 Microsoft Corporation Game controller on mobile touch-enabled devices
US20130093690A1 (en) 2011-10-17 2013-04-18 Matthew Nicholas Papakipos Multi-Action Game Controller with Touch Screen Input Device
US9868062B2 (en) 2012-03-13 2018-01-16 Sony Interactive Entertainment America Llc System, method, and graphical user interface for controlling an application on a tablet
JP5563633B2 (ja) 2012-08-31 2014-07-30 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164175A (ja) * 1997-11-27 1999-06-18 Fuji Photo Film Co Ltd 画面表示部を有する機器の操作装置
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
JP2009025848A (ja) * 2005-11-08 2009-02-05 Panasonic Corp 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
JP2008217548A (ja) * 2007-03-06 2008-09-18 Tokai Rika Co Ltd 操作入力装置
JP2010530578A (ja) * 2007-06-12 2010-09-09 マイクロソフト コーポレーション 視覚的フィードバック・ディスプレイ
JP2010073071A (ja) * 2008-09-19 2010-04-02 Sony Computer Entertainment Inc 入力装置及び入力操作補助パネル
US20100156813A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Touch-Sensitive Display Screen With Absolute And Relative Input Modes

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010541A (ja) * 2016-07-14 2018-01-18 望月 貴里子 ユーザーインターフェース
JP2018018509A (ja) * 2016-07-14 2018-02-01 望月 貴里子 ユーザーインターフェース
JP2018068781A (ja) * 2016-10-31 2018-05-10 株式会社バンク・オブ・イノベーション ビデオゲーム処理装置、及びビデオゲーム処理プログラム
WO2018180552A1 (ja) * 2017-03-27 2018-10-04 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
JP2018161446A (ja) * 2017-03-27 2018-10-18 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム制御装置、及びプログラム
JP2019188118A (ja) * 2018-04-25 2019-10-31 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
JP2021000487A (ja) * 2020-09-16 2021-01-07 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
JP7064789B2 (ja) 2020-09-16 2022-05-11 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置

Also Published As

Publication number Publication date
EP2659340A2 (en) 2013-11-06
US9817569B2 (en) 2017-11-14
EP2659340A4 (en) 2017-11-15
WO2012092296A3 (en) 2012-11-29
HK1172419A1 (en) 2013-04-19
EP2659340B1 (en) 2023-02-22
TW201228694A (en) 2012-07-16
TWI568480B (zh) 2017-02-01
US20160328069A1 (en) 2016-11-10
US20120169610A1 (en) 2012-07-05
JP5951638B2 (ja) 2016-07-13
CN102609185B (zh) 2015-11-18
CN102609185A (zh) 2012-07-25
WO2012092296A2 (en) 2012-07-05
TW201714646A (zh) 2017-05-01
US9411509B2 (en) 2016-08-09
KR101885685B1 (ko) 2018-08-07
KR20130133224A (ko) 2013-12-06

Similar Documents

Publication Publication Date Title
JP5951638B2 (ja) タッチディスプレイ用仮想コントローラ
JP6676071B2 (ja) 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力
EP2508972B1 (en) Portable electronic device and method of controlling same
JP4734435B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP6145099B2 (ja) タッチ対応移動体デバイスにおけるゲーム・コントローラー
US10821360B2 (en) Data processing method and mobile terminal
US11752432B2 (en) Information processing device and method of causing computer to perform game program
JP6185123B1 (ja) プログラム、制御方法、及び情報処理装置
KR101981158B1 (ko) 사용자 인터페이스를 위한 인터랙션 방법
JP6470111B2 (ja) メッセージ送信機能を備えたゲームプログラム、メッセージ送信方法及びメッセージ送信機能付きコンピュータ端末
US20200293155A1 (en) Device and method for providing reactive user interface
JP4856136B2 (ja) 移動制御プログラム
JP5769841B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP6126639B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。
JP5523381B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
KR20120094728A (ko) 유저인터페이스 제공 방법 및 이를 이용한 휴대 단말기
KR101169760B1 (ko) 화면 상에 가상 입력 도구를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP5773818B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
JP6204414B2 (ja) ゲーム装置及びプログラム
JP2016157293A (ja) アイコン選択のためのコンピュータ・プログラム
JP5769765B2 (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置
JP2019134881A (ja) プログラム及びゲーム装置
KR20180103366A (ko) 반응형 유저 인터페이스 제공 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141205

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5951638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250