JP2014219992A - 入力装置、情報処理装置および入力値取得方法 - Google Patents

入力装置、情報処理装置および入力値取得方法 Download PDF

Info

Publication number
JP2014219992A
JP2014219992A JP2014134027A JP2014134027A JP2014219992A JP 2014219992 A JP2014219992 A JP 2014219992A JP 2014134027 A JP2014134027 A JP 2014134027A JP 2014134027 A JP2014134027 A JP 2014134027A JP 2014219992 A JP2014219992 A JP 2014219992A
Authority
JP
Japan
Prior art keywords
gui
display
information processing
screen
casing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014134027A
Other languages
English (en)
Inventor
慶充 舩橋
Yoshimitsu Funabashi
慶充 舩橋
俊介 國枝
Shunsuke Kunieda
俊介 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JP2014219992A publication Critical patent/JP2014219992A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

【課題】小型の機器で操作性のよい入力手段を実現させるのは困難である。
【解決手段】情報処理装置10の前面は、上面をタッチパネル12で覆われたディスプレイ14を備える。ディスプレイ14は情報処理の結果として横長の出力画像を表示する。ディスプレイ14が横長となるように情報処理装置10が把持されたとき、画面を分割せずに当該出力画像を表示したうえ、十字キー入力領域42、ボタン入力領域44などのGUIをオンスクリーン表示する。ディスプレイ14が縦長となるように情報処理装置10が把持されたときは、画面を上下に分割して出力画像とGUIを個別の領域に表示する。
【選択図】図2

Description

本発明は、ユーザの手操作入力を受け付ける入力装置、情報処理装置、およびこれらの装置で用いられる入力値取得方法に関する。
近年、携帯ゲーム機、携帯電話、PDA(Personal Data Asistance)など、携帯を想定した小型の情報機器が普及している。このような小型の機器はそのサイズ上の制約から入力手段も限定されてしまう。結果として、小型機器に特化した入力手段や機能が独自の発達を遂げてきた。例えばディスプレイ表面をタッチパネルで覆い、指やタッチペンでの入力を可能とすることにより、ディスプレイに表示されたオブジェクトなどを直接操作しているような感覚を与えることができる。
一方、そのような小型機器を利用して、設置型のゲーム機やパーソナルコンピュータと同等の情報処理を行う環境も整いつつある。例えば小型機器をユーザが操作し、ネットワークを介して接続した設置型の機器が実際の情報処理を行うことにより、高度なゲームを、場所を問わず楽しめるようになってきた。また、設置型の機器のためのゲームをエミュレートすることにより小型の機器で実行することも可能となってきている。
このように近年では、ゲームなどの情報処理を、機器の大きさや使用環境に関わらず行えるようにする技術的方向性がみられる。しかしながら、小型の機器を利用してそのような高度化した情報処理を実施しようとすると、上述のとおり入力手段の制約に起因して操作性が劣ってしまう、という問題があった。
本発明はこのような課題に鑑みてなされたものであり、その目的は、サイズ上の制約があっても操作性の良好な入力手段を実現できる技術を提供することにある。
本発明の別の態様は入力装置に関する。この入力装置は、情報処理の結果として横長の出力画像を生成する情報処理装置と一体的に筐体に収納されたディスプレイと、それを覆うタッチパネルとを備え、タッチパネルが検知した手指の接触点の情報をユーザの操作内容に変換して情報処理装置に処理を行わせる入力装置であって、当該ディスプレイは、表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、横長の出力画像と前記GUIとをそれぞれ表示することを特徴とする。
本発明の別の態様は情報処理装置に関する。この情報処理装置は、ユーザの操作に応じて情報処理を行いその結果として横長の出力画像を生成する情報処理部と、出力画像を表示する、上面をタッチパネルに覆われたディスプレイと、情報処理部とディスプレイとを一体的に収納した筐体と、を備えた情報処理装置であって、当該ディスプレイは、表示画面が横長になる方向に筐体が把持されたとき、当該表示画面を分割することなく横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、表示画面が縦長になる方向に筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、横長の出力画像と前記GUIとをそれぞれ表示し、情報処理部は、前記タッチパネルが検知した手指の接触点の情報を、筐体の把持方向によって異なるGUIの配置に応じてユーザの操作内容に変換し、それに基づき、筐体の把持方向によらず共通の情報処理を行うことを特徴とする。
本発明のさらに別の態様は入力値取得方法に関する。この入力値取得方法は、情報処理装置と一体的に筐体に収納されたディスプレイにおいて、情報処理の結果得られた横長の出力画像とGUI(Graphical User Interface)を表示するステップと、ディスプレイを覆うタッチパネルが検知した、ユーザの手指の接触点の情報を、GUIに対するユーザの操作内容に変換するステップと、操作内容に応じて情報処理装置に情報処理を行わせるステップと、を含み、表示するステップは、表示画面が横長になる方向に筐体が把持されたとき、当該表示画面を分割することなく横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、表示画面が縦長になる方向に筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、横長の出力画像と前記GUIとをそれぞれ表示することを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、小型の機器であっても良好な操作性を維持しつつ多様な操作が可能となる。
一般的なコントローラの構成例を示す図である。 本実施の形態における入力装置を適用した情報処理装置の外観例を示す図である。 本実施の形態における情報処理装置の構成を詳細に示す図である。 本実施の形態におけるGUI画面内のGUI配置例を示す図である。 本実施の形態において第1複合GUI領域に表示する画像とタッチパネルにおける検知領域を説明するための図である。 本実施の形態においてジョイスティック入力領域に表示する画像とその操作手法を説明するための図である。 本実施の形態におけるGUI画面の変形例を示す図である。 本実施の形態におけるL1/L2ボタン入力領域の変形例を示す図である。 本実施の形態におけるGUI画面、コンテンツ画面の配置の別の例を示す図である。 本実施の形態におけるGUIの表示態様の設定画面例を示す図である。
本実施の形態では、携帯電話や携帯端末などの小型の機器において、据え置き型のゲーム機のコントローラなどと同等の操作性を有する入力装置を実現する。まず、一般的なコントローラについて例示する。図1は一般的なコントローラの構成例を示している。コントローラ120は、ユーザが操作可能な操作手段として、十字キー121、ジョイスティック127a、127b、4種の操作ボタン群126、L1/L2ボタン130a、R1/R2ボタン130bを備える。4種の操作ボタン群126は、○ボタン122、×ボタン123、□ボタン124および△ボタン125から構成される。
十字キー121は、上下左右の4方向、或いは上下左右にこれら4方向の間の4方向を加えた8方向、或いは任意方向にキーイン可能に構成されており、例えば表示装置の画面上でカーソルを上下左右に移動させたり、各種情報を画面においてスクロールさせたりするのに用いられる。4種の操作ボタン群126には、アプリケーションプログラムによりそれぞれ異なる機能が割り付けられる。
ジョイスティック127a、127bは、任意方向に傾倒可能に支持されたスティック、及び傾倒量を検知するセンサを備えている。スティックはバネなどの付勢手段により中立位置に付勢されており、非操作時にはスティックは中立位置に戻る。センサはスティックの傾倒に応じて抵抗値を変える可変抵抗及び抵抗値をデジタル値に変換するAD変換回路を含んでいる。スティックが倒されると、複数の基準方向への傾き量がデジタル値に変換され、その値は操作信号としてゲーム機などに送られる。
L1/L2ボタン130a、R1/R2ボタン130bはそれぞれ、コントローラ120の側面に上下に配置された、L1ボタンとL2ボタン、R1ボタンとR2ボタンの2つのボタンで構成される。例えばゲームにおける視線の方向を変えたり、他のボタンと同時に操作することによって、異なる動きを加えたりするのに用いられる。ただしこれらのボタンもアプリケーションプログラムにより様々な機能が割り付けられる。
ユーザは左手で左側把持部128aを把持し、右手で右側把持部128bを把持して、コントローラ120を操作する。十字キー121、ジョイスティック127a、127b、操作ボタン群126はユーザが左側把持部128a、右側把持部128bを左右の手で把持した状態で操作可能なよう、コントローラ120上面に設けられる。L1/L2ボタン130a、R1/R2ボタン130bは、左右の人差し指などで操作可能なよう、左側把持部128a、右側把持部128bと逆の側面に設けられる。
本実施の形態では、図1で示したコントローラに含まれる各操作手段を平面上でGUIとして再現する。以下、本実施の形態における入力装置について説明する。図2は、本実施の形態における入力装置を適用した情報処理装置の外観例を示している。情報処理装置10はユーザが持ち運びできる小型の装置であり、携帯電話、PDA、携帯ゲーム機などのいずれでもよい。またそれらを組み合わせた機能を有していてもよい。そのため情報処理装置10は、機能に応じた様々な処理機構を備えてよいが、それらは一般的な技術を利用できるため適宜説明を省略する。
情報処理装置10は、ディスプレイ14が本体前面に配置され、起動スイッチ40が側面に配置された構成を有する。ディスプレイ14の背面にはCPU、グラフィックプロセッサユニット、サウンドプロセッサ、メモリなど各種情報処理に必要な機構が内蔵されている(図示せず)。ディスプレイ14は液晶ディスプレイ、EL(Electronic Luminescence)ディスプレイ、プラズマディスプレイなど一般的なディスプレイのいずれかでよい。ディスプレイ14の上面はタッチパネル12で覆われている。タッチパネル12は抵抗膜方式、光学式、静電容量結合式など実用化されている方式のいずれかで実現する。
情報処理装置10はそのほか、音声を出力するスピーカ、イヤホン接続端子、他の装置との通信を行う赤外線ポートや無線LANの機構、電池ボックスなどを備えてよいが、ここでは図示を省略している。
ディスプレイ14には、メニュー画面、アイコンなどユーザの操作入力に必要な画面、情報処理の結果であるゲーム画面、動画再生画面、テキスト表示画面、写真表示画面などを機能に応じて表示する。さらに、それを見ながらユーザが操作入力を行うためのGUI(Graphical User Interface)をオンスクリーン表示する。
ユーザは当該GUIを操作するように、タッチパネル12上を手指で触れたり手指を滑らせたりすることにより、情報処理装置10への操作入力を行う。図2においては、十字キーのグラフィックスを表示した十字キー入力領域42、および、○ボタン、×ボタン、□ボタン、△ボタンの4種の操作ボタン群のグラフィックスを表示したボタン入力領域44がGUIとして装備されている。なお図2において十字キー入力領域42、ボタン入力領域44を囲む破線は領域の境界を図示するためのものであり、実際の表示や機能には関係しない。以後の図でも同様である。
例えばメニュー画面において所望の項目を選択するときは、一覧表示された項目名やアイコンのうち強調表示の対象を十字キー入力領域42のいずれかの方向のキーに触れることにより移動させ、ボタン入力領域44の○ボタンに触れることにより確定させる。またゲーム画面において十字キー入力領域42のいずれかの方向キーに触れることにより、ゲームに登場しているキャラクターの移動方向を変化させる。あるいは会話型のゲームにおいて、ボタン入力領域44の○ボタンに触れることにより「はい」、×ボタンに触れることにより「いいえ」、といった意思表示を行う。
このように十字キー入力領域42やボタン入力領域44を設けることによって実現できる操作入力は、情報処理装置が実現する機能に応じたボタン割り付けによって様々変化させることができる。本実施の形態ではこのように、据え置き型のゲーム機やパーソナルコンピュータにおける入力手段をタッチパネルの形式で再現することにより、小型の情報機器における操作入力のバリエーションを据え置き型のゲーム機などと同等にする。
また据え置き型のゲーム機で慣れたゲームを、小型の機器でも違和感なく同様の操作性で行えるようにする。なお十字キー入力領域42やボタン入力領域44の形状やマークはあくまで例示であり、それに限定する趣旨ではない。また再現したいコントローラに応じて、十字キー入力領域42やボタン入力領域44を別の入力手段に適宜置き換えることができる。
図3は情報処理装置10の構成を詳細に示している。情報処理装置10は上述したタッチパネル12、ディスプレイ14のほか、コンテンツのプログラムや各種データを記憶したコンテンツ記憶部16、GUIとして用意された素材画像のデータを記憶したGUI画像記憶部、タッチパネルからの入力信号受信、画像データの入出力を制御する入出力制御部20、タッチパネルからの入力信号を操作内容の情報に変換する操作情報変換部22、操作内容に応じてコンテンツを処理するコンテンツ処理部24、GUIの画像を生成するGUI画像生成部26、生成したGUIの画像を一時記憶するGUI画像バッファ28、コンテンツの画像を生成するコンテンツ画像生成部30、生成したコンテンツの画像を一時記憶するコンテンツ画像バッファ32、コンテンツの画像上にGUIの画像をオンスクリーン表示した画像を生成する画像合成部34を含む。
図3において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、コンテンツを処理したり画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
入出力制御部20は既存の方法で、タッチパネル12、ディスプレイ14、コンテンツ記憶部16、GUI画像記憶部18と接続し、データの入出力を制御する。タッチパネル12から受信する入力信号は、タッチパネル12上でユーザが触れた接触点の座標、接触点が連続的に移動したときの座標の移動経路などである。タッチパネル12における接触点の検知手法はその方式によって異なるためここでは言及しない。入出力制御部20はまた、ディスプレイ14に表示画像のビデオ信号を出力する。
さらに入出力制御部20は、コンテンツ記憶部16にアクセスし、コンテンツの処理に必要なプログラムや各種データを読み出す。またGUI画像記憶部18にアクセスし、上述の十字キーやボタンなどの素材画像データを読み出す。ここで「コンテンツ」は、コンピュータゲーム、映画、音楽、小説、写真などコンピュータで処理し表現が可能な対象であればその種類は限定されない。なお本実施の形態は、一般的な「コンテンツ」以外に、通信、スケジュール管理、住所録、表計算など一般的な情報処理に対しても適用できるが、以下の説明ではそれらも含め全て「コンテンツ」とする。
コンテンツ記憶部16は、コンテンツがゲームであれば、そのプログラム、プレイヤーの情報、前回のプレイ時の到達レベルなどの情報を記憶する。コンテンツが映画や音楽であれば、圧縮符号化されたビデオデータ、オーディオデータと、それを復号再生するためのプログラムなどを記憶する。コンテンツ記憶部16は、ハードディスクドライブでもよいし、メモリカード、ROMディスク、光ディスク、光磁気ディスクなどのリムーバブル記録媒体とそれに対応した読み取り装置との組み合わせでもよい。
GUI画像記憶部18は、十字キーや各種ボタンなど、GUI画像の素材となる画像データを記憶するハードディスクドライブなどの記憶装置である。後述するように本実施の形態では、GUIが操作されることにより当該GUIの画像自体が変化することもある。そのためGUI画像記憶部18は、そのような様々なGUIのバリエーションに対応した画像データを記憶する。
操作情報変換部22は、タッチパネル12からの入力信号を入出力制御部20から取得し、当該信号に含まれる接触点の座標などを操作内容の情報へ変換する。本実施の形態では上述のように、GUIの操作によってGUI自体が変化することがある。そのため、GUIの種類とその表示位置との対応をあらかじめ内部で記憶しておく。そして取得した接触点の座標と、現在表示されているGUIの種類とから、押されたボタンの種類や操作の度合い、方向など、ユーザが意図した操作内容を特定する。
操作内容の情報はコンテンツ処理部24、GUI画像生成部26にそれぞれ通知される。コンテンツ処理部24は、コンテンツ記憶部16が記憶するプログラムに従い、操作内容に応じてゲームを進捗させたり動画や音楽を再生するためなどに必要な処理を行う。実際の処理手順はコンテンツの内容に応じて一般的に行われている通りである。
GUI画像生成部26は操作内容に基づき、必要に応じてGUIの新たな画像を生成し、GUI画像バッファ28に格納する。GUI画像の変化の具体例は後述するが、例えばユーザが接触していることを示すように色を変化させたりボタンが押されているように見せるほか、GUIのキーやボタン自体を別のGUIに置き換えたりする。
そのためGUI画像生成部26は、操作内容となすべき画像の変化、新たに用いる画像の識別情報などを対応づけた情報を内部で記憶しておく。そして現在表示されているGUIに対してなされた操作内容に対応づけられた変化が表現されるように、必要なGUIの画像データをGUI画像記憶部18から適宜読み出したうえ、新たなオンスクリーン画像のデータを生成する。
操作内容によってGUIを変化させなくてよい場合は、GUI画像生成部26は新たな画像生成の処理は行わなくてよい。コンテンツ画像生成部30は、コンテンツ処理部24による処理の結果として出力すべき画像のデータを生成し、コンテンツ画像バッファ32に格納する。
画像合成部34は、GUI画像バッファ28に格納された画像データとコンテンツ画像バッファ32に格納された画像データを用いて描画処理を行うことにより、コンテンツ画像上にGUI画像がオンスクリーン表示された画像を生成し内部のフレームバッファに格納する。当該フレームバッファに格納された画像に対応するビデオ信号が、入出力制御部20の制御のもとディスプレイ14に送信されることにより、ユーザのGUI操作に応じた画像がディスプレイ14に表示される。
次に本実施の形態におけるGUI画面の具体例を示す。本実施の形態では上述のように、ゲームなどのコンテンツ画面上にGUI画面をオンスクリーン表示する。そのためコンテンツ画面の邪魔になることなく、かつ、据え置き型のゲーム機のコントローラなどと同等の操作性が得られるようにすることが肝要となる。
本実施の形態では、十字キー、4種の操作ボタンに加え、ジョイスティックをGUIとして再現する。このとき本来のジョイスティックと同様、任意の方向および量を入力できるようにすることで、十字キーによる方向指示との使い分けを、本来のコントローラと同様に行える。このGUIにより任意方向、任意量の入力が可能となり、ゲームに登場するキャラクタの移動方向や移動速度、視野の転回などのコントロールに用いることができる。以後の説明ではGUIとして表現した擬似的なジョイスティックによる入力も「ジョイスティック入力」と呼ぶ。
上記3種、あるいはそれ以上のGUIを単にGUI画面に並べてしまうと、GUIによってコンテンツ画面が見づらくなってしまう可能性がある。そこで本実施の形態では、複数のGUIを複合させた複合GUI領域を設けることにより、当該複数のGUIで同じ検知領域を共有する。複合GUI領域のうちユーザが新たに触れたときの接触点の位置によって、複合GUI領域全体について、どのGUIとして利用するかを決定する。
図4はGUI画面内のGUI配置例を示している。GUI画面50a、50b、50c、50d、50eはいずれも、ディスプレイ14においてコンテンツ画面上にオンスクリーン表示される画面であり、ユーザの操作によってGUI画面50aとGUI画面50b、50c、50d、50eが切り替わる。GUI画面50aは標準的な画面であり、第1複合GUI領域52、第2複合GUI領域56をそれぞれ画面の左下、右下に表示する。
第1複合GUI領域52は十字キーのGUIとジョイスティックのGUIを複合したGUIの領域であり、図2に示した十字キー入力領域42と同じデザインを有し、十字キーのGUIのグラフィックスの少なくとも一部である十字キーグラフィックス51と、その中心部に円形などの図形で表される、ジョイスティックのGUIのグラフィックスの少なくとも一部であるジョイスティックグラフィックス53と、で構成される。
第2複合GUI領域56は、4種の操作ボタンのGUIとジョイスティックのGUIを複合したGUIの領域であり、第1複合GUI領域52と同様に、図2に示したボタン入力領域44と同じデザインを有し、4種の操作ボタンのGUIのグラフィックスの少なくとも一部である4種の操作ボタングラフィックス55と、その中心部に円形などの図形で表され、ジョイスティックのGUIのグラフィックスの少なくとも一部であるジョイスティックグラフィックス57と、で構成される。
標準画面であるGUI画面50aにおいて、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53に新たに触れると、ジョイスティック入力を受け付ける処理が開始され、第1複合GUI領域52が、十字キーグラフィックス51のないジョイスティック入力領域58に切り替わる(GUI画面50b)。詳細には、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53に指を置くと当該領域がジョイスティック入力領域58に切り替わり、そのまま指を離さずにタッチパネル上で滑らすことにより、指の移動方向および移動距離を入力値として取得する、という連続動作となる。
指が連続的に触れている期間は、当該領域はジョイスティック入力領域58として、指の動きから入力値を逐次取得する。そしてユーザが指を離したとき、当該領域は第1複合GUI領域52に戻る(GUI画面50a)。
一方、GUI画面50aにおいて、ユーザが第1複合GUI領域52の十字キーグラフィックス51に新たに触れると、十字キー入力を受け付ける処理が開始され、当該第1複合GUI領域52は十字キー入力領域42に切り替わる(GUI画面50c)。この場合も、指が連続的に触れている期間は、当該領域は十字キー入力領域42として十字キー入力を受け付け、ユーザが指を離したとき、当該領域は第1複合GUI領域52に戻る(GUI画面50a)。
ただし同図に示すように、十字キー入力領域42においてもジョイスティックグラフィックス53を表示させたままにし、第1複合GUI52と十字キー入力領域42の見た目を同じにしてもよい。このようにすることで、十字キー入力のために方向キーへの接触が不連続に行われても、ジョイスティックグラフィックス53が消えたり表れたりする煩わしさを防止することができる。
第2複合GUI領域56も同様に、ユーザがジョイスティックグラフィックス57に新たに触れると、ジョイスティック入力を受け付ける処理を開始し、当該領域が、4種の操作ボタングラフィックス55がないジョイスティック入力領域58に切り替わり(GUI画面50d)、指を離すと元に戻るようにする(GUI画面50a)。指が触れている間は、ジョイスティック入力領域58として指の動きを追う。
一方、ユーザが第2複合GUI領域56の4種の操作ボタングラフィックス55に新たに触れると、ボタン入力を受け付ける処理を開始し、当該第2複合GUI領域を、ボタン入力領域44に切り替える(GUI画面50e)。そして指を離すと元に戻るようにする(GUI画面50a)。このときも十字キー入力領域42と同じ理由により、ボタン入力領域44にはジョイスティックグラフィックス57を表示させたままでよい。
このように十字キー入力領域42とジョイスティック入力領域58、ボタン入力領域44とジョイスティック入力領域58とをそれぞれ切り替え可能とすることにより、GUIの画像の占める領域面積を小さくできる。結果として、オンスクリーン表示させたとしてもコンテンツ画面への支障が少なく、限られたスペースでコンテンツ画面とGUIとを共存させることが可能となる。また実際のジョイスティックが、中心を起点としてスティックを所望の方向に傾倒することに鑑みれば、領域の中心から指を滑らす、という行為をジョイスティック入力の起動に関連づけることにより、切り替えのためのアクションが自然である。
また、左下の第1複合GUI領域52および右下の第2複合GUI領域56のいずれもジョイスティック入力領域58への切り替え可能とすることで、コンテンツの種類やゲームの内容、場面などによって、同時に表示する入力手段の組み合わせを変えたり、操作する手の右左を臨機応変に使い分けたりできる。
なお上記の例で十字キー入力領域42およびボタン入力領域44のGUIは、一般的なボタンを表す区画への接触/非接触によって、各ボタンに設けられた機能のオン/オフを切り換えるオン/オフ入力用GUIであればよく、方向指示キーや○ボタン、×ボタン、□ボタン、△ボタンに限る趣旨ではない。またジョイスティック入力領域58のGUIも、ある領域内での接触点に応じたアナログ値を受け付けるアナログ入力用GUIであればよく、ジョイスティックの機能に限る趣旨ではない。
いずれにしろ、オン/オフ入力用GUIとアナログ入力用GUIとを組み合わせて複合GUIとする。そして当該複合GUIにおいて、オン/オフ入力用GUIのグラフィックスをそのまま表示してオン/オフ入力用GUIへの切り換えを受け付けるとともに、アナログ入力用GUIへ切り換える検知領域を小さく設定しておき、切り換え後にその検知領域を広げる。このようにすることで複合GUIから個々のGUIへの切り換え操作と個々のGUIに対する操作が一連の流れで自然に行える。このときオン/オフ入力用GUIへの切り換え時には複合GUIにおいて一部に表示されていたアナログ入力用GUIへ切り換えるためのグラフィックスを表示させたままにすることで、オン/オフ入力用GUIへの断続的な操作期間において当該グラフィックスが消えたり表れたりする煩わしさを防止することができる。
GUI画面50aには、その他に、切り替えボタン54を表示してもよい。この切り替えボタン54に触れると、表示されていなかったボタン、例えばメニュー項目を選択するためのセレクトボタン、動画、音楽再生などを開始させるスタートボタンなど、機能に応じた必要なボタンが画面の下側から出現するようにしてもよい。このような態様とすることで、使用機会の少ないボタンを隠し、コンテンツ画面をより見やすくできる。
図5は第1複合GUI領域52に表示する画像とタッチパネルにおける検知領域を説明するための図である。同図の左が第1複合GUI領域の画像、右が検知領域を画像に重ねて示したものである。第1複合GUI領域52は、円60と、その円周上に配置された上下左右の4方向を示す4つのキーからなる十字キーグラフィックス62と、当該円の中心に配置されたジョイスティックグラフィックス53から構成される。
第1複合GUI領域52に表示する円60は、十字キー入力領域42でも表示し、本来のコントローラではその立体形状によって表すことのできる、4つのキーのセットの一体感を、2次元で表現するためのものである。このような円を表示することにより、背後に表示されているコンテンツの画像が雑多であっても、キーのセットをGUIとして捉えやすくなる。
円60は半透明に表示可能とすることで、コンテンツ画面の邪魔にならないようにする。このときの透過率はコンテンツの種類などに鑑みユーザが設定可能とする。第2複合GUI領域56、ボタン入力領域44にも同様の円を表示することにより、セットとしての一体感を表現する。また十字キーや4種の操作ボタンの配色は、コンテンツ画面における画像の色彩を優先するようにモノトーンを基準とすることが望ましい。
十字キーグラフィックス62の4つのキーはそれぞれ、タッチパネルにおける、各キーの図形を囲む所定サイズの矩形の検知領域64a、64b、64c、64dに対応づけられる。またジョイスティックグラフィックス53は円60の中心の検知領域68に対応づけられる。検知領域64a、64b、64c、64dは矩形のほか、三角形、円など、その境界を数式で定義できる形状とすることにより、ディスプレイやタッチパネルの解像度によらずキー表示との対応がとりやすくなる。
また検知領域64a、64b、64c、64dを、キーの図形の周囲を含むような大きめのサイズとすることで、指の接触点がキーから少しずれても操作がなされたことを検知できるとともに、隣り合う検知領域に重複領域66a、66b、66c、66dを設けることができる。この重複領域66a、66b、66c、66dは、上下左右の方向の中間である斜めの4方向に対応づける。これにより、キー部分のみを検知領域とする場合と比較し、入力できる方向が倍になり多段階での方向指示が可能となる。
十字キー入力領域42の場合も、十字キーに対応する検知領域の設定は図5と同様とする。ただし十字キー入力領域42から第1複合GUI領域52に戻るときの判定基準である、ユーザが連続的に触れているか否かを検知する領域は、例えば円60の半径以上の半径を有する所定の同心円などを別途設定する。これにより、十字キー入力中のユーザの指が十字キー入力領域42の中心部を経由して移動する場合に、意図に反して第1複合GUI領域52に戻ったり、さらにジョイスティック入力領域58へ切り替わったりすることを防ぐ。なお接触点が当該検知領域を外れた場合は第1複合GUI領域52へ切り替える。
図6はジョイスティック入力領域58に表示する画像と、その操作手法を説明するための図である。上述したようにジョイスティック入力領域58は、ユーザが第1複合GUI領域52のジョイスティックグラフィックス53の検知領域68などに触れた後、そのまま離すことなくタッチパネル上で指を滑らせている期間に表示される。このとき同図の左に示すように、ユーザの指76が触れている箇所に、円などの標識70を表示する。標識70は、好適には指によって隠れない大きさ、形状であるが、輝いているような画像上の加工をその周囲に施したり、接触点の移動に追尾するように僅かに位置をずらしたり、移動跡をかすかに表示したりすることでさらに視認されやすくなる。
標識70は、指76による接触点の移動に合わせて移動する。ジョイスティック入力領域58にも、第1複合GUI領域52、第2複合GUI領域56、十字キー入力領域42、ボタン入力領域44で表示していたのと同じ位置に、同じ半径の円72を表示する。第1複合GUI領域52、第2複合GUI領域56において中心部にジョイスティックグラフィックスを設けているため、円の中心はジョイスティック入力のためにユーザが最初に触れた位置となる。また同図右側に示すように、円72の半径以上の半径を有する同心円状に検知領域79を設定する。接触点が検知領域79を外れたら、当該領域を元の第1複合GUI領域52、または第2複合GUI領域56へ戻す。
図5、6から明らかなように、ジョイスティック入力領域58においてジョイスティック入力を受け付ける検知領域79は、第1複合GUI領域52においてジョイスティック入力領域58への切り換えがなされる検知領域68を同心円状に広げた領域である。第2複合GUI領域56においてジョイスティック入力への切り換えがなされる検知領域と切り換え後の検知領域との関係についても同様である。
円72は半透明に表示してもよいし、表示しなくてもよい。ジョイスティック入力領域58においては、接触点78の座標を所定の時間間隔で連続して取得し、検知領域79の円の中心74から接触点78までの方向ベクトルを、各時刻の入力値とする。座標取得の時間間隔は、例えばディスプレイ14におけるフレーム表示間隔より小さくする。
操作情報変換部22は、方向ベクトルのうち、円の中心74から接触点78への方向を本来のジョイスティックの傾倒方向、中心74から接触点78までの距離を本来のジョイスティックの傾倒量に対応づけた情報を内部で記憶しておく。その情報を参照することにより、各時刻の方向ベクトルを本来のジョイスティックにおける傾倒方向および傾倒量に変換し、コンテンツ処理部24に通知する。これによりコンテンツ処理部24は本来のジョイスティックに対して入力がなされたのと同様に処理を実行できる。あるいは、方向や距離を直接、コンテンツ処理に用いてもよい。
接触点が円72の円周に到達したら、ジョイスティックを最大限傾倒させたときの入力値が得られるようにする。接触点が円72から外れたら、検知領域79の範囲内であれば、円の中心74からの方向のみを接触点に対応させて取得し、距離は接触点によらず円72の半径で飽和するようにする。このとき標識70は円72の円周上を接触点の方向に対応して移動するように表示する。このようにジョイスティック入力領域58を設けることで、本来のジョイスティックと操作手法、操作性の差が少ない入力手段を平面上で実現することができる。また円72を表示させなかったり半透明に表示させたりすることで、コンテンツ画面への影響を最小限に、任意方向、任意量の入力が可能になる。
図7はGUI画面の変形例を示している。同図における情報処理装置10のGUI画面50fは、図4に示したGUI画面50aと同様、画面左下に第1複合GUI領域52、画面右下に第2複合GUI領域56を含む。GUI画面50fはさらに、画面左上にL1/L2ボタン入力領域80、画面右上にR1/R2ボタン入力領域82を含む。L1/L2ボタン入力領域80は図1のL1ボタン、L2ボタンと対応するボタンによって構成される。R1/R2ボタン入力領域82は図1のR1ボタン、R2ボタンと対応するボタンによって構成される。
本実施の形態では、情報処理装置10の本体を、同図に示すような左右の手84で把持しながら、同手指でGUIを操作する態様を想定している。そのため第1複合GUI領域52と第2複合GUI領域56をそれぞれ画面の左下、右下に配置することにより、親指での操作を可能とする。
そしてL1/L2ボタン入力領域80、R1/R2ボタン入力領域82を同図のとおり画面左上、右上にそれぞれ配置することにより、人差し指での操作が可能になる。なお同図ではGUI画面50fがわかりやすいように、情報処理装置10と手84とが離れて示されているが、実際に把持した際は親指、人差し指がGUI画面50f上に位置することになる。
このようなGUIの配置とすることで、情報処理装置10を把持しながら無理なく操作ができるうえ、4つの領域のいずれか2つ以上の領域を同時に操作することも可能となる。ここでL1/L2ボタン入力領域80およびR1/R2ボタン入力領域82は、同図に示すように、画面の上側の2つの角の直角を中心角とする扇形の形状とし、さらに当該中心角を内分してそれぞれ2つの扇形に分割することにより、L1ボタンとL2ボタン、R1ボタンとR2ボタンを区別する。
情報処理装置10を図7のような形で把持する場合、手84の人差し指の根元は、主に中指と相対することで情報処理装置10の筐体を挟み込むかたちとなるのが一般的である。そのため人差し指で無理なく操作できる範囲は、関節から先を曲げることによる扇形の領域となる。L1/L2ボタン入力領域80、R1/R2ボタン入力領域82を扇形とすることにより、ユーザは指の角度を変化させるのみでL1ボタン/L2ボタン、R1ボタン/R2ボタンを押し分けることができる。なお扇形の領域の分割数を変えることにより3つ以上のボタンを設けてもよい。
また内分角は均等でなくてもよい。例えば、曲げる角度が小さいほど指をコントロールしやすいという特性を考慮し、画面上側のボタンの角度を小さくとり、左右の辺に向かうほど角度を大きくするようにしてもよい。またボタンの形状でなく配置によって指の可動範囲に対応させてもよい。
図8はL1/L2ボタン入力領域の変形例を示している。同図に示すL1/L2/L3ボタン入力領域86は、一例としてL1ボタン88a、L2ボタン88b、L3ボタン88cの3個のボタンを設けているが、ボタンの数は限定されない。そして各ボタンをそれぞを独立した形状とする一方、その配置を円弧状とする。同図では各ボタンを円形としているが矩形などでもよい。このようにボタンの形状は通常の場合と同様でも、配置を円弧状とすることにより、人差し指の指先の曲げ角によって無理のない押し分けが可能となる。なおこの例においてもボタンの間隔を、画面上側から左の辺に向かうにしがたい大きくするようにしてもよい。図7のR1/R2ボタンなど、対向するボタンについても同様である。
図9はGUI画面、コンテンツ画面の配置の別の例を示している。これまで述べた態様では、GUI画面をコンテンツ画面上にオンスクリーン表示した。図9の例では、情報処理装置10を縦長方向に用い、コンテンツ画面100とGUI画面102を個別の領域に表示している。この場合も情報処理装置10の構成は図3で示したのと同様でよく、画像合成部34は、コンテンツ画像、GUI画像を、あらかじめ定められた個別の領域にそれぞれ描画することで合成を行う。各種GUIの操作手法も上述と同様である。
この場合、コンテンツ画面100の表示面積は小さくなるが、GUIの画像がコンテンツ画面100を隠すことがないため、十字キー入力領域、ボタン入力領域、ジョイスティック入力領域などを同時に表示させても差し支えない。またこの場合、把持する手の形や操作する指が、上述の場合と異なる可能性が高いことから、L1ボタン、L2ボタン、R1ボタン、R2ボタンは、扇形または円弧状などでなくてもよい。
情報処理装置10を縦長で用いるか横長で用いるかは、コンテンツの種類やゲームの内容などに鑑みユーザが設定可能とする。図10はGUIの表示態様の設定画面例を示している。GUI設定画面90は、コンテンツ処理の開始前、処理の途中を問わず、GUIの所定のボタンに触ることによっていつでも呼び出せるようにし、GUI画面にさらにオンスクリーン表示する。あるいはメニュー画面を呼び出したうえでそこから選択することにより呼び出すなどでもよい。
GUI設定画面90は、情報処理装置10の向き、ジョイスティック入力領域58を十字キー入力領域42やボタン入力領域44と切り替える態様とするか常時表示させるか、十字キー入力領域42やボタン入力領域44に表示する円を半透明で表示するか否かやその色、などの設定内容を表示する設定内容表示欄92、円を半透明で表示させる場合にその透過率を設定する透過率設定バー94、設定内容を確定させたり設定変更をキャンセルするOK/キャンセルボタン96を含む。
同図の設定内容表示欄92の例では、情報処理装置10を「横長」で用い、ジョイスティック入力領域58を十字キー入力領域42やボタン入力領域44と「切り替え」る態様とし、GUIに含まれる円を半透明とする設定がなされている。
ユーザは、設定を変更したいときにGUI設定画面90を呼び出し、設定内容表示欄92に項目ごとに表示された方向指示ボタン98に触れることにより、表示された現在の設定内容から別の候補へ表示を切り替え、所望の設定内容が表示されたらOK/キャンセルボタン96のうちOKボタンに触れて設定を確定させる。円を半透明で表示させる場合は、適宜、透過率設定バー94の調整も行う。
このように、GUIの表示態様の設定をユーザが容易に変化させることができるようにすることで、コンテンツの種類やゲームの内容、場面などに応じた、また個々のユーザの好みに応じた最適な環境で、情報処理装置を操作させることができる。したがって、横長の方向においても、十字キー入力領域42、ボタン入力領域44、ジョイスティック入力領域58を同時に表示させたり、L1/L2ボタン入力領域80、R1/R2ボタン入力領域82の各ボタンを矩形としたりすることも容易にできる。
以上述べた本実施の形態によれば、情報処理装置の表示画面上にGUI画面をオンスクリーン表示する。ここで表示するGUIは、従来ゲーム機のコントローラとして立体的に形成されている十字キー、各種ボタン、ジョイスティックなどを2次元平面で表現したものとする。このようにすることで、立体的なコントローラを使い慣れているユーザでも、同等の操作手段、操作性で容易に操作できるようになる。
各GUIの画像は、コンテンツの出力画像における隠蔽面積が小さくなるように、画面の隅近傍に配置する。また複合GUI領域を設け、ユーザの接触が開始した点がどのGUIのグラフィックスに含まれるかによって個々のGUIへ切り替え可能とすることで、同じ検知領域を複数のGUIで共有させる。また基本的に非表示としたGUIを容易に呼び出せるGUIを設ける。これらの特徴により、コンテンツ画面とGUI画面とが無理なく共存できる。
複合GUI領域を設ける態様として、十字キーや4つのボタンで構成されるグラフィックスの中心部にジョイスティックのグラフィックスを設け、中心部の接触開始点から指を滑らせることにより任意方向、任意量の入力を実現する。このような連続動作は、本来のジョイスティック入力装置のスティックに指をのせ傾倒させる操作と相似していることから、GUIの切り替えや操作における違和感が少ない。
また情報処理装置を把持する指の位置に対応させて、画面の左下、右下、左上、右上にGUIを配置することにより、両手の親指、人差し指を用いた自然な操作が可能となる。さらに、人差し指で操作される可能性の高い、左上、右上にそれぞれ配置した複数のボタンを、人差し指の可動範囲を考慮して扇形の連続した領域とする、または円弧状に配置することで、無理なくボタンの押し分けができる。
また情報処理装置の向き、GUIを切り替えるか否か、GUIを構成する画像の一部を半透明とするか否かをユーザが設定可能とすることにより、コンテンツの種類やユーザの嗜好などに合致した操作環境を容易に実現できる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
10 情報処理装置、 12 タッチパネル、 14 ディスプレイ、 16 コンテンツ記憶部、 18 GUI画像記憶部、 20 入出力制御部、 22 操作情報変換部、 24 コンテンツ処理部、 26 GUI画像生成部、 28 GUI画像バッファ、 30 コンテンツ画像生成部、 32 コンテンツ画像バッファ、 34 画像合成部、 50a GUI画面、 52 第1複合GUI領域、 53 ジョイスティックのGUI、 54 切り替えボタン、 56 第2複合GUI領域、 58 ジョイスティック入力領域、 64a 検知領域、 66a 重複領域、 70 標識、 79 検知領域、 80 L1/L2ボタン入力領域、 82 R1/R2ボタン入力領域、 86 L1/L2/L3ボタン入力領域、 90 GUI設定画面、 92 設定内容表示欄、 94 透過率設定バー。

Claims (17)

  1. 情報処理の結果として横長の出力画像を生成する情報処理装置と一体的に筐体に収納されたディスプレイと、それを覆うタッチパネルとを備え、前記タッチパネルが検知した手指の接触点の情報をユーザの操作内容に変換して前記情報処理装置に処理を行わせる入力装置であって、
    前記ディスプレイは、
    表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく前記横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、
    表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、前記横長の出力画像と前記GUIとをそれぞれ表示することを特徴とする入力装置。
  2. 前記ディスプレイは、前記筐体の把持方向によらず共通の前記出力画像を表示するとともに、前記筐体の把持方向に依存した形状および数の前記GUIを表示することを特徴とする請求項1に記載の入力装置。
  3. 前記ディスプレイは、
    表示画面が横長になる方向に前記筐体が把持されたとき、複数の方向指示キーを円周上に配置した、方向を指定するためのGUIと、任意方向および任意量の入力を接触点の連続的な変位によって受け付ける疑似ジョイスティックのGUIとを複合してなる複合GUI、および、複数のボタンを円周上に配置したボタン操作のためのGUIと、前記疑似ジョイスティックのGUIとを複合してなる複合GUIを表示し、
    表示画面が縦長になる方向に前記筐体が把持されたとき、前記方向を指示するためのGUI、前記疑似ジョイスティックのGUI、および前記ボタン操作のためのGUIを、それぞれ個別に表示することを特徴とする請求項1または2に記載の入力装置。
  4. 前記ディスプレイは、前記筐体の把持方向を指定するための設定画面を、ユーザからの指示入力に従い表示し、当該設定画面に対するユーザの指定に従い、前記出力画像と前記GUIの配置を切り替えることを特徴とする請求項1から3のいずれかに記載の入力装置。
  5. 前記ディスプレイは、表示画面が横長になる方向に前記筐体が把持されたとき、前記筐体を下から支えるユーザの中指と相対して前記筐体をはさむ人差し指と親指が、前記ディスプレイの上面に位置するように両側から把持したときの、人差し指および親指の位置に対応させて前記GUIをオンスクリーン表示するとともに、前記GUIのうち人差し指の位置に配置するGUIは、人差し指の関節から先の可動範囲に対応する扇形を有することを特徴とする請求項1から4のいずれかに記載の入力装置。
  6. 前記人差し指の位置に配置されるGUIは、前記扇形の中心角を内分して分割した複数の扇形の領域ごとに個別の入力を受け付けることを特徴とする請求項5に記載の入力装置。
  7. 前記複数の扇形の領域は、操作する人差し指の曲げ角が小さい領域ほど中心角が小さいことを特徴とする請求項6に記載の入力装置。
  8. 前記ディスプレイは、表示画面が横長になる方向に前記筐体が把持されたとき、前記筐体を下から支えるユーザの中指と相対して前記筐体をはさむ人差し指と親指が、前記ディスプレイの上面に位置するように両側から把持したときの、人差し指および親指の位置に対応させて前記GUIをオンスクリーン表示するとともに、前記GUIのうち人差し指の位置に表示するGUIは、複数のボタンを、人差し指の関節から先の可動範囲に対応する円弧状に配置することを特徴とする請求項1から4のいずれかに記載の入力装置。
  9. 前記複数のボタンは、操作する人差し指の曲げ角が小さいボタンほど、隣り合うボタンとの間隔が狭いことを特徴とする請求項8に記載の入力装置。
  10. ユーザの操作に応じて情報処理を行いその結果として横長の出力画像を生成する情報処理部と、
    前記出力画像を表示する、上面をタッチパネルに覆われたディスプレイと、
    前記情報処理部と前記ディスプレイとを一体的に収納した筐体と、
    を備えた情報処理装置であって、
    前記ディスプレイは、
    表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく前記横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、
    表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、前記横長の出力画像と前記GUIとをそれぞれ表示し、
    前記情報処理部は、前記タッチパネルが検知した手指の接触点の情報を、前記筐体の把持方向によって異なる前記GUIの配置に応じてユーザの操作内容に変換し、それに基づき、前記筐体の把持方向によらず共通の情報処理を行うことを特徴とする情報処理装置。
  11. 前記ディスプレイは、前記筐体の把持方向に依存した形状および数の前記GUIを表示することを特徴とする請求項10に記載の情報処理装置。
  12. 情報処理装置と一体的に筐体に収納されたディスプレイにおいて、情報処理の結果得られた横長の出力画像とGUI(Graphical User Interface)を表示するステップと、
    前記ディスプレイを覆うタッチパネルが検知した、ユーザの手指の接触点の情報を、前記GUIに対するユーザの操作内容に変換するステップと、
    前記操作内容に応じて前記情報処理装置に情報処理を行わせるステップと、
    を含み、
    前記表示するステップは、
    表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく前記横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示し、
    表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、前記横長の出力画像と前記GUIとをそれぞれ表示することを特徴とする入力値取得方法。
  13. 前記表示するステップは、前記筐体の把持方向によらず共通の前記出力画像を表示するとともに、前記筐体の把持方向に依存した形状および数の前記GUIを表示することを特徴とする請求項12に記載の入力値取得方法。
  14. ディスプレイに、情報処理の結果得られた横長の出力画像とGUI(Graphical User Interface)を表示させる機能と、
    前記ディスプレイを覆うタッチパネルが検知した、ユーザの手指の接触点の情報を、前記GUIに対するユーザの操作内容に変換する機能と、
    前記操作内容に応じた情報処理を行う機能と、
    を、前記ディスプレイと一体的に筐体に収納されたコンピュータに実現させるコンピュータプログラムであって、
    前記表示させる機能は、
    表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく前記横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示させ、
    表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、前記横長の出力画像と前記GUIとをそれぞれ表示させることを特徴とするコンピュータプログラム。
  15. 前記表示させる機能は、前記筐体の把持方向によらず共通の前記出力画像を表示させるとともに、前記筐体の把持方向に依存した形状および数の前記GUIを表示させることを特徴とする請求項14に記載のコンピュータプログラム。
  16. ディスプレイに、情報処理の結果得られた横長の出力画像とGUI(Graphical User Interface)を表示させる機能と、
    前記ディスプレイを覆うタッチパネルが検知した、ユーザの手指の接触点の情報を、前記GUIに対するユーザの操作内容に変換する機能と、
    前記操作内容に応じた情報処理を行う機能と、
    を、前記ディスプレイと一体的に筐体に収納されたコンピュータに実現させるコンピュータプログラムであって、
    前記表示させる機能は、
    表示画面が横長になる方向に前記筐体が把持されたとき、当該表示画面を分割することなく前記横長の出力画像上に、ユーザ操作のためのGUI(Graphical User Interface)をオンスクリーン表示させ、
    表示画面が縦長になる方向に前記筐体が把持されたとき、当該表示画面を上下に分割してなる2つの領域に、前記横長の出力画像と前記GUIとをそれぞれ表示させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
  17. 前記表示させる機能は、前記筐体の把持方向によらず共通の前記出力画像を表示させるとともに、前記筐体の把持方向に依存した形状および数の前記GUIを表示させることを特徴とする請求項16に記載の記録媒体。
JP2014134027A 2011-02-10 2014-06-30 入力装置、情報処理装置および入力値取得方法 Pending JP2014219992A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161441337P 2011-02-10 2011-02-10
US61/441,337 2011-02-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012007421A Division JP2012168932A (ja) 2011-02-10 2012-01-17 入力装置、情報処理装置および入力値取得方法

Publications (1)

Publication Number Publication Date
JP2014219992A true JP2014219992A (ja) 2014-11-20

Family

ID=45607596

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012007421A Pending JP2012168932A (ja) 2011-02-10 2012-01-17 入力装置、情報処理装置および入力値取得方法
JP2014134027A Pending JP2014219992A (ja) 2011-02-10 2014-06-30 入力装置、情報処理装置および入力値取得方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012007421A Pending JP2012168932A (ja) 2011-02-10 2012-01-17 入力装置、情報処理装置および入力値取得方法

Country Status (7)

Country Link
US (1) US9207864B2 (ja)
EP (1) EP2487576A3 (ja)
JP (2) JP2012168932A (ja)
KR (1) KR101354614B1 (ja)
CN (1) CN102693074B (ja)
AU (1) AU2012200532B2 (ja)
CA (1) CA2765913C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019177001A (ja) * 2018-03-30 2019-10-17 株式会社コロプラ ゲームプログラム、方法、および情報処理装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281855B2 (ja) * 2008-09-09 2013-09-04 オリンパスメディカルシステムズ株式会社 指標画像制御装置
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法
US8678927B2 (en) * 2011-10-04 2014-03-25 Microsoft Corporation Game controller on mobile touch-enabled devices
JP5875510B2 (ja) 2012-12-10 2016-03-02 株式会社ソニー・コンピュータエンタテインメント 電子機器、メニュー表示方法
CN103902136B (zh) * 2012-12-24 2017-11-28 联想(北京)有限公司 一种控制电子设备的方法及电子设备
JP6095393B2 (ja) * 2013-02-12 2017-03-15 株式会社スクウェア・エニックス ビデオゲーム装置、及びビデオゲーム処理プログラム
JP2015007949A (ja) * 2013-06-26 2015-01-15 ソニー株式会社 表示装置、表示制御方法及びコンピュータプログラム
CN103455248B (zh) * 2013-08-22 2017-02-01 广东欧珀移动通信有限公司 浏览文件的内容滑动方法和系统
US9645651B2 (en) 2013-09-24 2017-05-09 Microsoft Technology Licensing, Llc Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
WO2015066892A1 (zh) * 2013-11-08 2015-05-14 华为技术有限公司 智能终端及用于显示其输入操作界面的方法
KR102161565B1 (ko) 2013-12-18 2020-10-05 삼성전자주식회사 보조 입력 장치를 이용한 전자 장치 및 그 운용 방법
KR102086863B1 (ko) * 2014-02-25 2020-03-09 주식회사 넥슨코리아 터치 입력에 의해 제어되는 단말 및 단말 제어 방법
KR102516422B1 (ko) * 2014-02-25 2023-03-31 주식회사 넥슨코리아 터치 입력에 의해 제어되는 단말 및 단말 제어 방법
USD785018S1 (en) * 2014-06-02 2017-04-25 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP5711409B1 (ja) * 2014-06-26 2015-04-30 ガンホー・オンライン・エンターテイメント株式会社 端末装置
US9594489B2 (en) 2014-08-12 2017-03-14 Microsoft Technology Licensing, Llc Hover-based interaction with rendered content
US10088993B2 (en) 2015-04-01 2018-10-02 Ebay Inc. User interface for controlling data navigation
JP5830806B1 (ja) * 2015-04-13 2015-12-09 株式会社Cygames ユーザ入力の操作性を向上させるプログラム、電子装置、及び方法
CN106155516B (zh) * 2015-04-28 2019-07-26 阿里巴巴集团控股有限公司 操作按钮展现方法及设备
USD827655S1 (en) * 2015-05-26 2018-09-04 Tencent Technology (Shenzhen) Company Limited Display screen with graphical user interface
JP6510648B2 (ja) * 2015-07-29 2019-05-08 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
JP6595597B2 (ja) 2015-07-29 2019-10-23 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
JP2017054194A (ja) * 2015-09-07 2017-03-16 富士通株式会社 表示装置、表示方法および表示プログラム
US10147000B2 (en) * 2015-09-15 2018-12-04 Sikorsky Aircraft Corporation Manned unmanned teaming (MUM-T) system to transform image data based on geographic orientation
CN105260100B (zh) * 2015-09-29 2017-05-17 腾讯科技(深圳)有限公司 一种信息处理方法和终端
CN105148517B (zh) 2015-09-29 2017-08-15 腾讯科技(深圳)有限公司 一种信息处理方法、终端及计算机存储介质
WO2017081517A1 (en) * 2015-11-12 2017-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Duplexer
CN105573514A (zh) * 2015-12-22 2016-05-11 武雄英 一种双导航键输入设备
CN105739856B (zh) * 2016-01-22 2019-04-02 腾讯科技(深圳)有限公司 一种执行对象操作处理的方法和装置
US9977569B2 (en) 2016-01-29 2018-05-22 Visual Supply Company Contextually changing omni-directional navigation mechanism
US9910563B2 (en) * 2016-01-29 2018-03-06 Visual Supply Company Contextually changing omni-directional navigation mechanism
KR102481632B1 (ko) * 2016-04-26 2022-12-28 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
JP2018176320A (ja) * 2017-04-07 2018-11-15 株式会社ディスコ 加工装置
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
JP6679659B2 (ja) 2018-06-06 2020-04-15 株式会社スクウェア・エニックス プログラム、記録媒体及び制御方法
USD954739S1 (en) 2018-07-24 2022-06-14 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
CN109542328B (zh) * 2018-11-30 2021-04-06 北京小米移动软件有限公司 用户界面显示方法、装置、终端及存储介质
JP6970131B2 (ja) * 2019-01-16 2021-11-24 株式会社スクウェア・エニックス ゲーム処理用プログラム、情報処理装置、方法及びシステム
CN109840043B (zh) * 2019-01-30 2021-08-10 腾讯科技(深圳)有限公司 在虚拟环境中建造建筑物的方法、装置、设备及存储介质
JP7306007B2 (ja) * 2019-03-25 2023-07-11 セイコーエプソン株式会社 表示制御装置およびプログラム
JP7313983B2 (ja) * 2019-09-03 2023-07-25 株式会社コーエーテクモゲームス ゲームプログラム、ゲーム処理方法及び情報処理装置
CN111327832A (zh) * 2020-03-31 2020-06-23 厦门美图之家科技有限公司 拍照参数调节方法、装置、电子设备和可读存储介质
US11590413B2 (en) * 2020-07-08 2023-02-28 Nintendo Co., Ltd. Storage medium storing information processing program with changeable operation modes, information processing apparatus, information processing system, and information processing method
CN112121415A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 一种控制界面显示的方法、装置、设备及存储介质
USD995542S1 (en) * 2021-06-06 2023-08-15 Apple Inc. Display screen or portion thereof with graphical user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244308A (ja) * 2004-02-24 2005-09-08 Sanyo Electric Co Ltd 携帯端末
JP2008022514A (ja) * 2006-06-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像表示装置
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
JP3909230B2 (ja) 2001-09-04 2007-04-25 アルプス電気株式会社 座標入力装置
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
CN101133385B (zh) 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
KR101492761B1 (ko) * 2005-03-04 2015-02-12 애플 인크. 다기능 휴대용 장치
JP4880304B2 (ja) 2005-12-28 2012-02-22 シャープ株式会社 情報処理装置および表示方法
KR101144423B1 (ko) 2006-11-16 2012-05-10 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 화면 표시 방법
US8988359B2 (en) 2007-06-19 2015-03-24 Nokia Corporation Moving buttons
US8180295B2 (en) * 2007-07-19 2012-05-15 Sony Computer Entertainment Inc. Bluetooth enabled computing system and associated methods
US20090094555A1 (en) 2007-10-05 2009-04-09 Nokia Corporation Adaptive user interface elements on display devices
JP2012502553A (ja) 2008-09-04 2012-01-26 サバント システムズ エルエルシー システムを遠隔的に操作するためのタッチセンシティブ・ワイヤレスデバイス、及びオンスクリーンディスプレイ
KR20100039194A (ko) 2008-10-06 2010-04-15 삼성전자주식회사 사용자 접촉 패턴에 따른 GUI(Graphic User Interface) 표시 방법 및 이를 구비하는 장치
US20100100849A1 (en) 2008-10-22 2010-04-22 Dr Systems, Inc. User interface systems and methods
JP5120326B2 (ja) 2009-04-17 2013-01-16 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20100277414A1 (en) 2009-04-30 2010-11-04 Qualcomm Incorporated Keyboard for a portable computing device
KR20100134153A (ko) 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
US9411509B2 (en) 2010-12-29 2016-08-09 Microsoft Technology Licensing, Llc Virtual controller for touch display
JP2012168932A (ja) * 2011-02-10 2012-09-06 Sony Computer Entertainment Inc 入力装置、情報処理装置および入力値取得方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244308A (ja) * 2004-02-24 2005-09-08 Sanyo Electric Co Ltd 携帯端末
JP2008022514A (ja) * 2006-06-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像表示装置
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6015033364; NES Emulator 'Nescaline' Released on the App Store...[Update:Gone!] , 20091221 *
JPN6015033367; 【完全保存版】2010年iPhoneベストゲームランキングまとめ!!-iPhoneアプリのAppBank , 20101224 *
JPN6016002212; 'Built-in Applications 使うのが楽しくなるiPadならではの機能性' Mac People 第16巻,第6号, 20100427, 第22〜27ページ, 株式会社アスキー・メディアワークス *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019177001A (ja) * 2018-03-30 2019-10-17 株式会社コロプラ ゲームプログラム、方法、および情報処理装置

Also Published As

Publication number Publication date
CN102693074B (zh) 2016-01-20
CA2765913A1 (en) 2012-08-10
US9207864B2 (en) 2015-12-08
KR20120094843A (ko) 2012-08-27
CN102693074A (zh) 2012-09-26
CA2765913C (en) 2015-01-06
AU2012200532A1 (en) 2012-08-30
KR101354614B1 (ko) 2014-01-22
US20130024806A1 (en) 2013-01-24
AU2012200532B2 (en) 2014-03-13
EP2487576A2 (en) 2012-08-15
EP2487576A3 (en) 2015-11-04
JP2012168932A (ja) 2012-09-06

Similar Documents

Publication Publication Date Title
JP5379250B2 (ja) 入力装置、情報処理装置および入力値取得方法
JP2014219992A (ja) 入力装置、情報処理装置および入力値取得方法
JP5694867B2 (ja) 携帯端末装置、プログラムおよび表示制御方法
JP5801656B2 (ja) 情報処理装置および情報処理方法
US8519986B2 (en) User interface device and user interface method
JP5460679B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US9086741B2 (en) User input device
JP4741983B2 (ja) 電子機器及び電子機器の動作方法
WO2010016409A1 (ja) 入力装置、入力方法、及び入力プログラムを記録した記録媒体
EP2360563A1 (en) Prominent selection cues for icons
US20100328209A1 (en) Input device for electronic apparatus
WO2012066591A1 (ja) 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
WO2009127916A2 (en) Touch interface for mobile device
JP5669698B2 (ja) Gui配置シミュレータ、およびgui配置設定支援方法
JP5773818B2 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
JP5669697B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP2024025272A (ja) 情報処理装置、情報処理方法、プログラム
WO2006100811A1 (ja) 情報処理装置、画像移動指示方法及び情報記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160628