JP2020204814A - 情報処理プログラム - Google Patents

情報処理プログラム Download PDF

Info

Publication number
JP2020204814A
JP2020204814A JP2019111003A JP2019111003A JP2020204814A JP 2020204814 A JP2020204814 A JP 2020204814A JP 2019111003 A JP2019111003 A JP 2019111003A JP 2019111003 A JP2019111003 A JP 2019111003A JP 2020204814 A JP2020204814 A JP 2020204814A
Authority
JP
Japan
Prior art keywords
sound
input
information
information processing
processing program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019111003A
Other languages
English (en)
Other versions
JP7125920B2 (ja
Inventor
政美 米
Masami Yone
政美 米
裕一 尾崎
Yuichi Ozaki
裕一 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nintendo Co Ltd
Original Assignee
Nintendo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nintendo Co Ltd filed Critical Nintendo Co Ltd
Priority to JP2019111003A priority Critical patent/JP7125920B2/ja
Priority to US16/899,889 priority patent/US11439907B2/en
Publication of JP2020204814A publication Critical patent/JP2020204814A/ja
Application granted granted Critical
Publication of JP7125920B2 publication Critical patent/JP7125920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1669—Detachable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/02—Counting; Calculating
    • G09B19/025—Counting; Calculating with electrically operated apparatus or devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization

Abstract

【課題】文字などの入力を行う際に、実際に筆記しているような感覚を高めることができる、情報処理プログラム、情報処理装置、及び情報処理方法を提供する。【解決手段】本開示に係る情報処理プログラムは、情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、ユーザの操作に基づく入力の入力座標を取得する入力座標取得手段と、前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成する描画情報生成手段と、前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出する移動方向算出手段と、前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成する音生成手段と、して前記コンピュータを機能させる。【選択図】図１４

Description

本発明は、情報処理プログラム、情報処理装置、及び情報処理方法に関する。
特許文献１には、タッチパネルにタッチペンで入力を行う際に、疑似筆記音を出力することが開示されている。そして、このような疑似筆記音は、入力の速度によって変化させることも開示されている。
特表２０１１−５２７７９２号公報
上記のように特許文献１では、入力の速度に応じて疑似筆記音を変化させているが、実際の筆記音は、筆記の速度だけに起因するものではない。したがって、実際の筆記を行っているような感覚を高められる疑似筆記音が要望されていた。本発明は、この問題を解決するためになされたものであり、文字等の入力を行う際に、実際の筆記を行っているような感覚を高めることができる、情報処理プログラム、情報処理装置、及び情報処理方法を提供することを目的とする。
本開示に係る情報処理プログラムは、情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、ユーザの操作に基づく入力の入力座標を取得する入力座標取得手段と、前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成する描画情報生成手段と、前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出する移動方向算出手段と、前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成する音生成手段と、して前記コンピュータを機能させる。
この構成によれば、ユーザによる操作によって入力の軌跡を表示装置に表示させるとき、つまり、例えば、筆記を模して表示装置に文字等を表示するとき、入力の移動方向に基づいて、変化させた疑似筆記音を音情報として生成するようにしている。例えば、ユーザが筆記具を用いて紙などに文字等を筆記する際には、筆記音は一定ではなく、筆記具の移動方向によって変化する。本発明においては、このような筆記の向きによって変化する音を模した音情報を生成することができるため、ユーザが入力操作を行っているときに、実際に筆記しているような感覚を高めることができる。
上記情報処理プログラムにおいては、以下のような種々の態様で、変化させた疑似筆記音の音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音量を変化させるように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、第１の方向に対して前記移動方向が垂直に近い場合、前記第１の方向に対して前記移動方向が平行に近い場合に比べて音量を大きくするように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音程を変化させるように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、第１の方向に対して前記移動方向が垂直に近い場合、前記第１の方向に対して前記移動方向が平行に近い場合に比べて、音程を高くするように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音色を変化させるように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、第１の方向に対して前記移動方向のなす角度が、０〜１８０°の場合と、１８０〜３６０°の場合とで、前記音色を変化させることができる。
上記情報処理プログラムにおいて、前記入力座標は、直交座標系の座標面に設定され、前記第１の方向は、前記座標面の座標軸から略４５度傾いた方向とすることができる。
上記情報処理プログラムにおいて、前記第１の方向は、前記座標軸に対して略４５度傾いた方向とすることができる。
上記情報処理プログラムにおいては、前記ユーザが、右利きと設定されている場合と、左利きと設定されている場合ので、前記第１の方向を変化させることができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記入力座標の変化に基づく入力速度に応じて、前記疑似筆記音の前記音情報を変化させることができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記入力速度が大きいほど、前記疑似筆記音を大きく変化させるように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記入力速度が大きいほど、前記疑似筆記音の音程を高くするように、前記音情報を生成することができる。
上記情報処理プログラムにおいて、前記音生成手段は、前記移動方向によっては変化することのないベース音を含む前記疑似筆記音の音情報を生成することができる。
この構成によれば、次の効果を得ることができる。例えば、入力の移動方向に基づいて変化させた疑似筆記音の音情報を生成すると、移動方向によっては、入力が継続しているのもかかわらず、疑似筆記音が小さくなり、ユーザに違和感が生じるおそれがある。そこで、移動方向によって変化しないベース音を疑似筆記音の含めると、移動方向に関わらずベース音が出力されるため、移動方向によって疑似筆記音が小さくなり、違和感が生じるのを防止することができる。
上記情報処理プログラムにおいて、前記表示装置は、前記入力が行われる、タッチディスプレイとすることができる。
本開示に係る情報処理装置は、ユーザの操作に基づく入力の入力座標を取得する入力座標取得手段と、前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成する描画情報生成手段と、前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出する移動方向算出手段と、前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成する音生成手段と、を備えている。
本開示に係る情報処理方法は、ユーザの操作に基づく入力の入力座標を取得するステップと、前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成するステップと、前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出するステップと、前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成するステップと、を備えている。
上記情報処理プログラム、情報処理装置、及び情報処理方法によれば、文字などの入力を行う際に、実際に筆記しているような感覚を高めることができる。
本体装置に左コントローラおよび右コントローラ装着した状態のゲームシステムの一例を示す図である。 本体装置から左コントローラおよび右コントローラをそれぞれ外した状態のゲームシステムの一例を示す図である。 図１の本体装置の一例を示す六面図である。 図１の左コントローラの一例を示す六面図である。 図１の右コントローラの一例を示す六面図である。 図１の本体装置の内部構成の一例を示すブロック図である。 図１の本体装置と左コントローラおよび右コントローラとの内部構成の一例を示すブロック図である。 ディスプレイに表示されるゲームの画面である。 ディスプレイに表示されるゲームの画面である。 本発明の一実施形態に係るゲームシステムの機能構成の一例である。 タッチペンによる描画の例を示す図である。 タッチペンによる描画における、入力の移動方向の例を説明する図である。 本発明の一実施形態において、ディスプレイ及びタッチパネルに設定される直交座標系の例を説明する図である。 図１３のディスプレイ及びタッチパネルにおいて、タッチペンの移動角度を説明する図である。 鉛筆による筆記で生じる音を説明する図である。 タッチペンの移動角度と第１音の音程との関係を示すグラフである。 タッチペンの移動角度と第１音の音量との関係を示すグラフである。 タッチペンの移動速度と第１音の音程との関係を示すグラフである。 タッチペンの移動速度と第１音の音量との関係を示すグラフである。 タッチペンの移動角度と第２音の音程との関係を示すグラフである。 タッチペンの移動角度と第２音の音量との関係を示すグラフである。 音声データの加工の例を示す図である。 タッチペンで円を描くときの音程及び音量を説明する図である。 ＤＲＡＭに記憶されるデータの一例である。 ゲーム処理の一例を示すフローチャートである。
以下、本発明に係る情報処理装置を、ゲームシステムに適用した場合の一実施形態について説明する。
＜１．ゲームシステムのハードウエア構成＞
以下、本実施形態の一例に係るゲームシステムについて説明する。本実施形態におけるゲームシステム１の一例は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる（図２参照）。以下では、本実施形態のゲームシステム１のハードウエア構成について説明し、その後に本実施形態のゲームシステム１の制御について説明する。
＜１−１．本体装置＞
図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ（表示装置）１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。
図２は、本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図である。図１および図２に示すように、左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。
図３は、本体装置２の一例を示す六面図である。図３に示すように、本体装置２は、略板状のハウジング１１を備える。本実施形態において、ハウジング１１の主面（換言すれば、表側の面、すなわち、ディスプレイ１２が設けられる面）は、大略的には矩形形状である。
なお、ハウジング１１の形状および大きさは、任意である。一例として、ハウジング１１は、携帯可能な大きさであってよい。また、本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。
図３に示すように、本体装置２は、ハウジング１１の主面に設けられるディスプレイ１２を備える。ディスプレイ１２は、本体装置２が生成した画像を表示する。本実施形態においては、ディスプレイ１２は、液晶表示装置（ＬＣＤ）とする。ただし、ディスプレイ１２は任意の種類の表示装置であってよい。
また、本体装置２は、ディスプレイ１２の画面上にタッチパネル１３を備える。本実施形態においては、タッチパネル１３は、マルチタッチ入力が可能な方式（例えば、静電容量方式）のものである。ただし、タッチパネル１３は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式（例えば、抵抗膜方式）のものであってもよい。また、タッチパネル１３への入力は、例えば、ユーザの指によるタッチのほか、公知のタッチペンを用いることができる。タッチペンは、ペン先が導電材料で形成されており、タッチパネル１３上でのペン先の軌跡を検出することができる。なお、以下では、ディスプレイ１２とタッチパネル１３を合わせて、タッチディスプレイと称することがある。
本体装置２は、ハウジング１１の内部においてスピーカ（すなわち、図６に示すスピーカ８８）を備えている。図３に示すように、ハウジング１１の主面には、スピーカ孔１１ａおよび１１ｂが形成される。そして、スピーカ８８の出力音は、これらのスピーカ孔１１ａおよび１１ｂからそれぞれ出力される。
また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。
図３に示すように、本体装置２は、スロット２３を備える。スロット２３は、ハウジング１１の上側面に設けられる。スロット２３は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム１およびそれと同種の情報処理装置に専用の記憶媒体（例えば、専用メモリカード）である。所定の種類の記憶媒体は、例えば、本体装置２で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、本体装置２で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。また、本体装置２は、電源ボタン２８を備える。
本体装置２は、下側端子２７を備える。下側端子２７は、本体装置２がクレードルと通信を行うための端子である。本実施形態において、下側端子２７は、ＵＳＢコネクタ（より具体的には、メス側コネクタ）である。上記一体型装置または本体装置２単体をクレードルに載置した場合、ゲームシステム１は、本体装置２が生成して出力する画像を据置型モニタに表示することができる。また、本実施形態においては、クレードルは、載置された上記一体型装置または本体装置２単体を充電する機能を有する。また、クレードルは、ハブ装置（具体的には、ＵＳＢハブ）の機能を有する。
＜１−２．左コントローラ＞
図４は、左コントローラ３の一例を示す六面図である。図４に示すように、左コントローラ３は、ハウジング３１を備える。本実施形態においては、ハウジング３１は、縦長の形状、すなわち、上下方向（すなわち、図１および図４に示すｙ軸方向）に長い形状である。左コントローラ３は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング３１は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ３は、横長となる向きで把持されることも可能である。左コントローラ３が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
左コントローラ３は、アナログスティック３２を備える。図４に示すように、アナログスティック３２は、ハウジング３１の主面に設けられる。アナログスティック３２は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック３２を傾倒することによって傾倒方向に応じた方向の入力（および、傾倒した角度に応じた大きさの入力）が可能である。なお、左コントローラ３は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、本実施形態においては、アナログスティック３２を押下する入力が可能である。
左コントローラ３は、各種操作ボタンを備える。左コントローラ３は、ハウジング３１の主面上に４つの操作ボタン３３〜３６（具体的には、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および左方向ボタン３６）を備える。さらに、左コントローラ３は、録画ボタン３７および−（マイナス）ボタン４７を備える。左コントローラ３は、ハウジング３１の側面の左上に第１Ｌボタン３８およびＺＬボタン３９を備える。また、左コントローラ３は、ハウジング３１の側面の、本体装置２に装着される際に装着される側の面に第２Ｌボタン４３および第２Ｒボタン４４を備える。これらの操作ボタンは、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。
また、左コントローラ３は、左コントローラ３が本体装置２と有線通信を行うための端子４２を備える。
＜１−３．右コントローラ＞
図５は、右コントローラ４の一例を示す六面図である。図５に示すように、右コントローラ４は、ハウジング５１を備える。本実施形態においては、ハウジング５１は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ４は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング５１は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ４は、横長となる向きで把持されることも可能である。右コントローラ４が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。ここで、説明の便宜のため、右コントローラ４のハウジング５１の外面を次のように規定することする。すなわち、ハウジング５１は概ね直方体状に形成されており、上下方向を長手方向とする長方形状の第１主面、及びこれとは反対側の第２主面を備えている。そして、ハウジング５１において、これら主面の長手方向の上端面が第１端面を構成し、下端面が第２端面を構成する。また、両主面の短手方向の右側面が第１側端面を構成し、左側面が第２側端面を構成する。但し、第１端面は、左端部に長手方向の上方を向く平坦な面を有しているが、右側にいくにしたがって下方に湾曲するように構成され、第１側端面の上端に連結されている。そして、この第１端面には、後述するように、湾曲した第１Ｒボタン６０が配置されている。同様に、第２端面は、左端部に長手方向の下方を向く平坦な面を有しているが、右側にいくにしたがって上方に湾曲するように構成され、第１側端面の下端に連結されている。そして、この第２端面に後述する赤外撮像部１２３及び赤外発光部１２４が配置されている。
右コントローラ４は、左コントローラ３と同様、方向入力部としてアナログスティック５２を備える。本実施形態においては、アナログスティック５２は、左コントローラ３のアナログスティック３２と同じ構成である。また、右コントローラ４は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ４は、左コントローラ３と同様、ハウジング５１の主面上に４つの操作ボタン５３〜５６（具体的には、Ａボタン５３、Ｂボタン５４、Ｘボタン５５、およびＹボタン５６）を備える。さらに、右コントローラ４は、＋（プラス）ボタン５７およびホームボタン５８を備える。これら右コントローラ４の第１主面に設けられたる操作ボタン５３〜５８及びアナログスティック３２が、本発明の第１操作部の一例となる。また、右コントローラ４は、ハウジング５１の第１端面に湾曲した第１Ｒボタン６０を備える。また、第１Ｒボタン６０の背面側には、背面側に突出するとともに、上方から押し込み可能なＺＲボタン６１が設けられている。そして、このＺＲボタン６１の下方には隆起部５００が形成されている。この隆起部５００は、第２主面から膨出する部位でありＺＲボタン６１から下方にいくにしたがって第２主面に向かう傾斜面を有している。ここで、第１Ｒボタン６０が本発明の第２操作部の一例となり、ＺＲボタン６１及び隆起部５００が第３操作部の一例となる。また、右コントローラ４は、左コントローラ３と同様、第２Ｌボタン６５および第２Ｒボタン６６を備える。
また、ハウジング５１の第２端面には、窓部６８が設けられる。詳細は後述するが、右コントローラ４は、ハウジング５１の内部に配置される赤外撮像部１２３および赤外発光部１２４を備えている。赤外撮像部１２３は、右コントローラ４の下方向（図５に示すｙ軸負方向）を撮像方向として、窓部６８を介して右コントローラ４の周囲を撮像する。赤外発光部１２４は、右コントローラ４の下方向（図５に示すｙ軸負方向）を中心とする所定範囲を照射範囲として、赤外撮像部１２３が撮像する撮像対象に窓部６８を介して赤外光を照射する。窓部６８は、赤外撮像部１２３のカメラのレンズや赤外発光部１２４の発光体等を保護するためのものであり、当該カメラが検知する波長の光や当該発光体が照射する光を透過する材質（例えば、透明な材質）で構成される。なお、窓部６８は、ハウジング５１に形成された孔であってもよい。なお、本実施形態においては、カメラが検知する光（本実施形態においては、赤外光）以外の波長の光の透過を抑制するフィルタ部材を赤外撮像部１２３自身が有する。ただし、他の実施形態においては、窓部６８がフィルタの機能を有していてもよい。
また、詳細は後述するが、右コントローラ４は、ＮＦＣ通信部１２２を備える。ＮＦＣ通信部１２２は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の規格に基づく近距離無線通信を行う。ＮＦＣ通信部１２２は、近距離無線通信に用いられるアンテナ１２２ａと、アンテナ１２２ａから送出すべき信号（電波）を生成する回路（例えばＮＦＣチップ）とを有する。なお、ＮＦＣ通信部１２２は、ＮＦＣの規格に基づく近距離無線通信を行う代わりに、任意の近接通信（非接触通信とも言う）で近距離無線通信を行うようにしてもよい。ここで、ＮＦＣの規格は、近接通信（非接触通信）に用いることができるものであり、「任意の近接通信で近距離無線通信を行うようにしてもよい」とは、ＮＦＣの規格による近接通信を除いた他の近接通信で近距離無線通信を行ってもよいことを意図している。
また、右コントローラ４は、右コントローラ４が本体装置２と有線通信を行うための端子６４を備える。
＜１−４．本体装置の内部構成＞
図６は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、図３に示す構成の他、図６に示す各構成要素８１〜９１、９７、および９８を備える。これらの構成要素８１〜９１、９７、および９８のいくつかは、電子部品として電子回路基板上に実装されてハウジング１１内に収納されてもよい。
本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。
本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。
本体装置２は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。
プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。
本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ−Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。なお、上記第２の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置２との間で無線通信可能であり、複数の本体装置２の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。
本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。
プロセッサ８１は、上述の左側端子１７、右側端子２１、および下側端子２７に接続される。プロセッサ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信する。また、プロセッサ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信する。また、プロセッサ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、画像データや音声データ）を据置型モニタ等に出力することができる。
ここで、本体装置２は、複数の左コントローラ３と同時に（換言すれば、並行して）通信を行うことができる。また、本体装置２は、複数の右コントローラ４と同時に（換言すれば、並行して）通信を行うことができる。したがって、複数のユーザは、左コントローラ３および右コントローラ４のセットをそれぞれ用いて、本体装置２に対する入力を同時に行うことができる。一例として、第１ユーザが左コントローラ３および右コントローラ４の第１セットを用いて本体装置２に対して入力を行うと同時に、第２ユーザが左コントローラ３および右コントローラ４の第２セットを用いて本体装置２に対して入力を行うことが可能となる。
本体装置２は、タッチパネル１３の制御を行う回路であるタッチパネルコントローラ８６を備える。タッチパネルコントローラ８６は、タッチパネル１３とプロセッサ８１との間に接続される。タッチパネルコントローラ８６は、タッチパネル１３からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ８１へ出力する。
また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。
本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。
また、本体装置２は、加速度センサ８９を備える。本実施形態においては、加速度センサ８９は、所定の３軸（例えば、図１に示すｘｙｚ軸）方向に沿った加速度の大きさを検出する。なお、加速度センサ８９は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。
また、本体装置２は、角速度センサ９０を備える。本実施形態においては、角速度センサ９０は、所定の３軸（例えば、図１に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ９０は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。
加速度センサ８９および角速度センサ９０は、プロセッサ８１に接続され、加速度センサ８９および角速度センサ９０の検出結果は、プロセッサ８１へ出力される。プロセッサ８１は、上記の加速度センサ８９および角速度センサ９０の検出結果に基づいて、本体装置２の動きおよび／または姿勢に関する情報を算出することが可能である。
本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。
また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。
＜１−５．コントローラの内部構成＞
図７は、本体装置２と左コントローラ３および右コントローラ４との内部構成の一例を示すブロック図である。なお、本体装置２に関する内部構成の詳細については、図６で示しているため図７では省略している。
左コントローラ３は、本体装置２との間で通信を行う通信制御部１０１を備える。図７に示すように、通信制御部１０１は、端子４２を含む各構成要素に接続される。本実施形態においては、通信制御部１０１は、端子４２を介した有線通信と、端子４２を介さない無線通信との両方で本体装置２と通信を行うことが可能である。通信制御部１０１は、左コントローラ３が本体装置２に対して行う通信方法を制御する。すなわち、左コントローラ３が本体装置２に装着されている場合、通信制御部１０１は、端子４２を介して本体装置２と通信を行う。また、左コントローラ３が本体装置２から外されている場合、通信制御部１０１は、本体装置２（具体的には、コントローラ通信部８３）との間で無線通信を行う。コントローラ通信部８３と通信制御部１０１との間の無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に従って行われる。
また、左コントローラ３は、例えばフラッシュメモリ等のメモリ１０２を備える。通信制御部１０１は、例えばマイコン（マイクロプロセッサとも言う）で構成され、メモリ１０２に記憶されるファームウェアを実行することによって各種の処理を実行する。
左コントローラ３は、各ボタン１０３（具体的には、ボタン３３〜３９、４３、４４、および４７）を備える。また、左コントローラ３は、アナログスティック（図７では「スティック」と記載する）３２を備える。各ボタン１０３およびアナログスティック３２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１０１へ出力する。
左コントローラ３は、慣性センサを備える。具体的には、左コントローラ３は、加速度センサ１０４を備える。また、左コントローラ３は、角速度センサ１０５を備える。本実施形態においては、加速度センサ１０４は、所定の３軸（例えば、図４に示すｘｙｚ軸）方向に沿った加速度の大きさを検出する。なお、加速度センサ１０４は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。本実施形態においては、角速度センサ１０５は、所定の３軸（例えば、図４に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ１０５は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。加速度センサ１０４および角速度センサ１０５は、それぞれ通信制御部１０１に接続される。そして、加速度センサ１０４および角速度センサ１０５の検出結果は、適宜のタイミングで繰り返し通信制御部１０１へ出力される。
通信制御部１０１は、各入力部（具体的には、各ボタン１０３、アナログスティック３２、各センサ１０４および１０５）から、入力に関する情報（具体的には、操作に関する情報、またはセンサによる検出結果）を取得する。通信制御部１０１は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。
上記操作データが本体装置２へ送信されることによって、本体装置２は、左コントローラ３に対して行われた入力を得ることができる。すなわち、本体装置２は、各ボタン１０３およびアナログスティック３２に対する操作を、操作データに基づいて判別することができる。また、本体装置２は、左コントローラ３の動きおよび／または姿勢に関する情報を、操作データ（具体的には、加速度センサ１０４および角速度センサ１０５の検出結果）に基づいて算出することができる。
左コントローラ３は、振動によってユーザに通知を行うための振動子１０７を備える。本実施形態においては、振動子１０７は、本体装置２からの指令によって制御される。すなわち、通信制御部１０１は、本体装置２からの上記指令を受け取ると、当該指令に従って振動子１０７を駆動させる。ここで、左コントローラ３は、コーデック部１０６を備える。通信制御部１０１は、上記指令を受け取ると、指令に応じた制御信号をコーデック部１０６へ出力する。コーデック部１０６は、通信制御部１０１からの制御信号から振動子１０７を駆動させるための駆動信号を生成して振動子１０７へ与える。これによって振動子１０７が動作する。
振動子１０７は、より具体的にはリニア振動モータである。リニア振動モータは、回転運動をする通常のモータと異なり、入力される電圧に応じて所定方向に駆動されるため、入力される電圧の波形に応じた振幅および周波数で振動をさせることができる。本実施形態において、本体装置２から左コントローラ３に送信される振動制御信号は、単位時間ごとに周波数と振幅とを表すデジタル信号であってよい。別の実施形態においては、本体装置２から波形そのものを示す情報を送信するようにしてもよいが、振幅および周波数だけを送信することで通信データ量を削減することができる。また、さらにデータ量を削減するため、そのときの振幅および周波数の数値に替えて、前回の値からの差分だけを送信するようにしてもよい。この場合、コーデック部１０６は、通信制御部１０１から取得される振幅および周波数の値を示すデジタル信号をアナログの電圧の波形に変換し、当該波形に合わせて電圧を入力することで振動子１０７を駆動させる。したがって、本体装置２は、単位時間ごとに送信する振幅および周波数を変えることによって、そのときに振動子１０７を振動させる振幅および周波数を制御することができる。なお、本体装置２から左コントローラ３に送信される振幅および周波数は、１つに限らず、２つ以上送信するようにしてもよい。その場合、コーデック部１０６は、受信された複数の振幅および周波数それぞれが示す波形を合成することで、振動子１０７を制御する電圧の波形を生成することができる。
左コントローラ３は、電力供給部１０８を備える。本実施形態において、電力供給部１０８は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ３の各部（具体的には、バッテリの電力の給電を受ける各部）に接続される。
図７に示すように、右コントローラ４は、本体装置２との間で通信を行う通信制御部１１１を備える。また、右コントローラ４は、通信制御部１１１に接続されるメモリ１１２を備える。通信制御部１１１は、端子６４を含む各構成要素に接続される。通信制御部１１１およびメモリ１１２は、左コントローラ３の通信制御部１０１およびメモリ１０２と同様の機能を有する。したがって、通信制御部１１１は、端子６４を介した有線通信と、端子６４を介さない無線通信（具体的には、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信）との両方で本体装置２と通信を行うことが可能であり、右コントローラ４が本体装置２に対して行う通信方法を制御する。
右コントローラ４は、左コントローラ３の各入力部と同様の各入力部を備える。具体的には、各ボタン１１３、アナログスティック５２、慣性センサ（加速度センサ１１４および角速度センサ１１５）を備える。これらの各入力部については、左コントローラ３の各入力部と同様の機能を有し、同様に動作する。
また、右コントローラ４は、振動子１１７およびコーデック部１１６を備える。振動子１１７およびコーデック部１１６は、左コントローラ３の振動子１０７およびコーデック部１０６と同様に動作する。すなわち、通信制御部１１１は、本体装置２からの指令に従って、コーデック部１１６を用いて振動子１１７を動作させる。
右コントローラ４は、ＮＦＣの規格に基づく近距離無線通信を行うＮＦＣ通信部１２２を備える。ＮＦＣ通信部１２２は、いわゆるＮＦＣリーダ・ライタの機能を有する。ここで、本明細書において近距離無線通信とは、一方の装置（ここでは、右コントローラ４）からの電波によって（例えば電磁誘導によって）他方の装置（ここでは、アンテナ１２２ａと近接する装置）に起電力を発生させる通信方式が含まれる。他方の装置は、発生した起電力によって動作することが可能であり、電源を有していてもよいし有していなくてもよい。ＮＦＣ通信部１２２は、右コントローラ４（アンテナ１２２ａ）と通信対象とが接近した場合（典型的には、両者の距離が十数センチメートル以下となった場合）に当該通信対象との間で通信可能となる。通信対象は、ＮＦＣ通信部１２２との間で近距離無線通信が可能な任意の装置であり、例えばＮＦＣタグやＮＦＣタグの機能を有する記憶媒体である。ただし、通信対象は、ＮＦＣのカードエミュレーション機能を有する他の装置であってもよい。
また、右コントローラ４は、第２端面に赤外撮像部１２３を備える。赤外撮像部１２３は、右コントローラ４の周囲を撮像する赤外線カメラを有する。一例として、本体装置２および／または右コントローラ４は、撮像された情報（例えば、撮像された撮像画像における少なくとも一部の領域全体を分割した複数のブロックの輝度に関連する情報等）を算出し、当該情報に基づいて、右コントローラ４の周囲変化を判別する。また、赤外撮像部１２３は、環境光によって撮像を行ってもよいが、本実施形態においては、赤外線を照射する赤外発光部１２４を有する。赤外発光部１２４は、例えば、赤外線カメラが画像を撮像するタイミングと同期して、赤外線を照射する。そして、赤外発光部１２４によって照射された赤外線が撮像対象によって反射され、当該反射された赤外線が赤外線カメラによって受光されることで、赤外線の画像が取得される。これによって、赤外撮像部１２３は、より鮮明な赤外線画像を得ることができる。なお、赤外撮像部１２３と赤外発光部１２４とは、それぞれ別のデバイスとして右コントローラ４内に設けられてもよいし、同じパッケージ内に設けられた単一のデバイスとして右コントローラ４内に設けられてもよい。また、本実施形態においては、赤外線カメラを有する赤外撮像部１２３が用いられるが、他の実施形態においては、撮像手段として、赤外線カメラに代えて可視光カメラ（可視光イメージセンサを用いたカメラ）が用いられてもよい。
右コントローラ４は、処理部１２１を備える。処理部１２１は、通信制御部１１１に接続される。また、処理部１２１は、ＮＦＣ通信部１２２、赤外撮像部１２３、および赤外発光部１２４に接続される。処理部１２１は、本体装置２からの指令に応じて、ＮＦＣ通信部１２２に対する管理処理を実行する。例えば、処理部１２１は、本体装置２からの指令に応じてＮＦＣ通信部１２２の動作を制御する。また、処理部１２１は、ＮＦＣ通信部１２２の起動を制御したり、通信対象（例えば、ＮＦＣタグ）に対するＮＦＣ通信部１２２の動作（具体的には、読み出しおよび書き込み等）を制御したりする。また、処理部１２１は、通信制御部１１１を介して通信対象に送信されるべき情報を本体装置２から受信してＮＦＣ通信部１２２へ渡したり、通信対象から受信された情報をＮＦＣ通信部１２２から取得して通信制御部１１１を介して本体装置２へ送信したりする。
また、処理部１２１は、ＣＰＵやメモリ等を含み、右コントローラ４に備えられた図示しない記憶装置（例えば、不揮発性メモリ等）に記憶された所定のプログラム（例えば、画像処理や各種演算を行うためのアプリケーションプログラム）に基づいて、本体装置２からの指令に応じて赤外撮像部１２３に対する管理処理を実行する。例えば、処理部１２１は、赤外撮像部１２３に撮像動作を行わせたり、撮像結果に基づく情報（撮像画像の情報、あるいは、当該情報から算出される情報等）を取得および／または算出して通信制御部１１１を介して本体装置２へ送信したりする。また、処理部１２１は、本体装置２からの指令に応じて赤外発光部１２４に対する管理処理を実行する。例えば、処理部１２１は、本体装置２からの指令に応じて赤外発光部１２４の発光を制御する。なお、処理部１２１が処理を行う際に用いるメモリは、処理部１２１内に設けられてもいいし、メモリ１１２であってもよい。
右コントローラ４は、電力供給部１１８を備える。電力供給部１１８は、左コントローラ３の電力供給部１０８と同様の機能を有し、同様に動作する。
＜２．ゲームの概要＞
次に、本実施形態のゲームシステムにおいて行われるゲームの概要について、図８及び図９を参照しつつ説明する。
このゲームにおいて、ユーザは、上述したタッチペンを用い、タッチディスプレイ１２に表示された計算問題の解答を筆記する。一例として、ゲームを開始すると、図８に示すようにディスプレイ１２には、計算問題が表示された問題領域１２１と、計算問題の解答を入力する解答領域１２２とが、表示される。問題領域１２１には、複数の計算問題が表示されており（図８の例では３問）、既に解答が終了した第１問及び第２問については、その正否が表示されている。すなわち、第１問（９×２）の解答は正解であるため、解答である「１８」に○の表示が付され、第２問（３＋５）の解答は不正解であるため、解答である「７」には×の表示が付されている。これから解答を行う第３問については、枠１２３の表示が付されている。すなわち、ユーザに対し、解答を行うべき問題を強調するようになっている。
解答領域１２２には、文字を入力するための矩形状の入力スペース１２４と、その下方に入力した文字の書き直しを行うための書き直しボタン１２５とが表示されている。入力スペース１２４には、タッチペン９５により、解答すべき問題の解答を入力するようになっている。図８の例では、第３問（１＋１）の解答を行うことが促されており、ユーザは、タッチペン９５を用いて、解答である「２」を入力している。入力の途中で修正を行いたい場合には、書き直しボタン１２５をタッチすると、入力スペース１２４において入力した文字がすべて消去され、新たに文字等を入力できるようになっている。また、タッチペンに９５よる入力が行われている最中には、スピーカ８８から疑似筆記音が出力されるようになっている。疑似筆記音とは、例えば、鉛筆によって紙に文字を筆記するときに、鉛筆の芯と紙とが擦れることによって生じる音を模したものである。この点については、後述する。
そして、入力が完了後、つまり、タッチペン９５による入力が終了し、タッチペン９５のペン先がタッチパネル１３から離れてから所定時間が経過すると、入力した文字が問題領域１２１の第３問の解答として表示されるとともに、その正否が表示される。すなわち、図９に示すように、問題領域１２１には、第３問の解答として、入力した「２」の文字が表示されるとともに、その正否が合わせて表示される。この例では正解が入力されたため、○の表示が表示される。
こうして、３問の計算問題が終了すると、次の問題がディスプレイ１２に表示され、ユーザによる解答が続けられる。そして、所定の数の問題の解答が行われるまで、問題の表示と解答が繰り返される。なお、ユーザがゲームを終了したい場合には、所定の終了ボタン（図示省略）をタッチすればよい。
＜３．ゲームシステムの機能構成＞
次に、上記のように構成されたゲームシステムの機能構成（ソフトウエア構成）について説明する。図１０は、本実施形態に係るゲームシステムの機能構成の一例である。ゲームシステムのプロセッサ８１は、フラッシュメモリ８４、あるいはスロット２３に装着された外部記憶媒体に記憶されたゲームプログラム（情報処理プログラム）をＤＲＡＭ８５に展開する。そして、プロセッサは、ＤＲＡＭ８５に展開されたゲームプログラムを解釈及び実行して、各機能構成要素を制御する。これにより、本実施形態に係るゲームシステムは、図１０に示すように、入力座標取得部８１１、描画情報生成部８１２、移動方向算出部８１３、及び音生成部８１４を備えるコンピュータとして機能する。
ディスプレイ１２及びタッチパネル１３上には、直交座標系が設定されており、入力座標取得部８１１は、タッチパネル１３上でタッチペン９５のペン先がタッチされた位置を入力座標としてＤＲＡＭ８５に記憶する。タッチペンによって文字等が入力される場合には、ペン先の継続的な移動に伴い、例えば、１／６０秒の周期で、入力座標を記憶していく。これにより、タッチペン９５のペン先がタッチパネル１３に接した時刻から、ペン先がタッチパネル１３から離れる時刻までのペン先の軌跡が、時系列に並ぶ入力座標としてＤＲＡＭ８５に記憶される。
描画情報生成部８１２は、上述したペン先の軌跡をディスプレイ１２に表示する機能を奏する。すなわち、ディスプレイ１２において、入力座標取得部８１１が取得した入力座標と対応する位置、つまりペン先が当接する位置に、入力座標の取得と同時に所定の径のドットを表示する。そして、図１１に示すように、描画情報生成部８１２は、ペン先の移動に伴い、順に取得した入力座標と対応する位置にドットＤを表示していき、時系列に並ぶドットＤが線として表示されることで、ペン先の軌跡をディスプレイ１２に表示する。すなわち、タッチペン８５によって行われた筆記が、疑似的にディスプレイ１２に表される。なお、図１１は、説明の便宜のため、ドットＤを強調して表示しているが、実際にはなめらかな線がディスプレイ１２に表示される。
移動方向算出部８１３は、上記入力座標取得部８１１において取得された入力座標から、ペン先の移動方向を算出する機能を奏する。移動方向は、種々の方法で算出することができるが、例えば、図１２に示すように、時系列に並ぶ２つの入力座標、つまり第１入力座標Ｌ１及び第２入力座標Ｌ２において、第１入力座標Ｌ１から第２入力座標Ｌ２に向かう方向を移動方向Ｘとして設定することができる。また、本実施形態では、右利きのユーザを想定し、図１３に示すように、ディスプレイ１２の右下から左上に向かい、水平線Ｈに対して４５度の角度で傾斜する線を基準線Ｓとし、この基準線Ｓに対するペン先の移動方向Ｘの角度を算出するようにしている。すなわち、右利きのユーザは、筆記の際にペンを握ったときに、平面視におけるペンの向きが概ね基準線Ｓと平行であるため、このペンの延びる方向を基準線Ｓの向きとしている。なお、水平線Ｈは、ディスプレイ１２の左右方向に延びる線としている。また、基準線Ｓと直交する線を交差線Ｋと称することとする。
ここで、基準線Ｓの延びる方向は、図１４に示すように、右下から左上に向かう方向とし、これを基準線方向Ｓ（第１の方向）と称することとする。そして、この基準線方向Ｓに対する移動方向Ｘのなす角度を移動角度θと称することとする。移動角度θは、図１４のように、０〜３６０°の範囲で規定される。また、移動方向算出部８１３は、移動方向Ｘのほか、第１入力座標Ｌ１及び第２入力座標Ｌ２間のペン先の移動速度Ｖも算出している。
続いて、音生成部８１４について説明する。本実施形態において、音生成部８１４は、疑似筆記音を出力するための３種類の音声データ（音情報）を生成する。ここでは、説明の便宜のため、３つの音声データを第１〜第３音声データと称し、これら第１〜第３音声データがコーデック回路８７に入力されることで、スピーカ８８から出力される音を第１〜第３音と称することとする。図１４に示すように、第１音は、ペン先が、基準線Ｓの左側から右側に移動するときに出力される音である。すなわち、移動角度θが、１８０〜３６０°のときに出力される音である。第２音は、ペン先が、基準線Ｓの右側から左側に移動するときに出力される音である。すなわち、移動角度θが、０〜１８０°のときに出力される音である。また、第３音は、移動角度θに関わらず、出力される音である。
例えば、紙に鉛筆で筆記を行った場合には、図１５に示すように、鉛筆９５の延びる方向、つまり基準線Ｓに対して、鉛筆９５を左側から右側に移動させたとき（矢印Ｆ１）と、右側から左側へ移動させたとき（矢印Ｆ２）とで、筆記音が異なる。これは、鉛筆の芯の移動の向き、鉛筆と紙との摩擦、右利きのユーザの筆記時の力の入れ方などに基づく。このような音の違いに基づき、第１音は、鉛筆を左から右へ移動したときの音を模したものであり、第２音は鉛筆を右から左へ移動したときの音を模したものである。したがって、第１音と第２音とは音色が異なる音である。
また、第３音（ベース音）は、第１音及び第２音とは音色の異なる音であるが、第１音及び第２音に近似した音である。
次に、音声データの生成について説明する。まず、第１音は、移動角度θが１８０〜３６０°の範囲にあるときに出力される音であるが、図１６Ａ及び図１６Ｂに示すように、移動角度θが２７０°（垂直）に近いほど、音程が高く、且つ音量が大きくなるように設定されている。これは、移動角度θが２７０°（垂直）に近いほど、実際の筆記では、ペン先と紙との接触面積が大きくなり、これによって筆記音の音程が高くなったり、音量が大きくなる傾向にあるため、これを模したものである。さらに、図１６Ｃ及び図１６Ｄに示すように、ペン先の移動速度Ｖが速くなるほど、音程が高く、且つ音量が大きくなるように設定されている。これは、移動速度Ｖが大きいほど、実際の筆記では筆記音の音程や音量が大きく変化する傾向にあるため、これを模したものである。以上のような設定に基づいて、第１音声データが生成されるようになっている。なお、音程及び音量は、移動角度θ及び移動速度Ｖに基づいて決定されるが、移動角度θ及び移動速度Ｖに重み付けをし、加重平均した値に基づいて決定することができる。例えば、移動角度θの重みを、移動速度Ｖよりも大きくすることができる。これにより、移動速度Ｖの変化によっては音程及び音量があまり変化しないが、移動角度θが変化すると、音程及び音量が大きく変化するような制御を行うことができる。この点は、次に説明する第２音についても同様である。また、図１６Ｂに示すように、移動角度θが、１８０°及び３６０°のときは、音量が０になるため、移動速度Ｖに関わらず、第１音は出力されない。
一方、第２音は、移動角度θが０〜１８０°の範囲にあるときに出力される音であるが、図１７Ａ及び図１７Ｂに示すように、移動角度が９０°（垂直）に近いほど、音程が高く、且つ音量が大きくなるように設定されている。さらに、上述した図１６Ｃ及び図１６Ｄに示すように、ペン先の移動速度Ｖが速くなるほど、音程が高く、且つ音量が大きくなるように設定されている。以上のような設定に基づいて、第２音声データが生成されるようになっている。なお、図１７Ｂに示すように、移動角度θが、０°及び１８０°のときは、音量が０になるため、移動速度Ｖに関わらず、第２音は出力されない。
また、第３音は、移動角度θに関わらず、出力される音であるが、上述した図１６Ｃ及び図１６Ｄに示すように、ペン先の移動速度Ｖが速くなるほど、音程が高く、且つ音量が大きくなるように設定されている。このような設定に基づいて、第３音声データが生成されるようになっている。
第１〜第３音声データは、基準となる基準第１〜第３音声データを加工することで、生成される。基準第１〜第３音声データは、フラッシュメモリ８４または外部記憶媒体に記憶されており、これをＤＲＡＭ８５にロードした後、加工が行われる。例えば、第１音声データは、移動方向算出部８１３において算出されたペン先の移動角度θ及び移動速度Ｖに基づいて、基準第１音声データを加工することで生成される。例えば、図１８に示すように、音程を上げる場合には、基準第１音声データの波形を、周波数が高くなるように加工し、音量を上げる場合には、基準第１音声データの波形を、振幅が大きくなるように加工する。
第２音声データも第１音声データと同様に生成する。相違点は、基準となるデータが基準第２音声データである点であり、音程や音量を変化させるように、基準第２音声データの波形を加工する。
第３音声データは、第１及び第２音声データと異なり、移動速度Ｖのみに基づいて、生成される。すなわち、基準となる基準第３音声データの波形を、ペン先の移動速度Ｖに基づいて加工する。すなわち、移動速度Ｖに基づいて、音程や音量を変化させるように、基準第３音声データの波形を加工する。
以上のように、タッチペン９５のペン先の移動に伴って第１〜第３音声データが順次生成され、これらの音声データに基づいて、スピーカ８８から疑似筆記音が出力される。より詳細に説明すると、第１音声データは、ペン先の移動角度が１８０〜３６０°の範囲であるときに生成されるため、この範囲においては、第１音と第３音とが重ねられた疑似筆記音がスピーカ８８から出力される。一方、第２音声データは、ペン先の移動角度が０〜１８０°の範囲であるときに生成されるため、この範囲においては、第２音と第３音とが重ねられた疑似筆記音がスピーカから出力される。なお、第３音は、移動速度が０でない限り、スピーカ８８から出力される。
図１９は、タッチパネル１３上で円を描く場合の、第１音及び第２音の音程及び音量の制御を説明する図である。図１９の例では、第１点から反時計回りに筆記をスタートし、円に沿う第２点、第３点、及び第４点を通過して第１点まで戻るような円を描くこととする。また、図１９におけるハッチングの幅は、音程及び音量を表しており、幅が大きいほど、音程が高く、且つ音量が大きいことを示している。なお、この例では、ペン先の移動速度Ｖは一定であるとする。
まず、第１点から第２点に向かう軌跡では、ペン先の移動角度θが０〜９０°に向かって徐々に増大する。そのため、この領域では、徐々に、第２音の音程が高くなるとともに、音量が大きくなり、第２点において最大になる。そして、第２点から第３点に至っては、ペン先の移動角度θが９０〜１８０°に向かって徐々に増大する。そのため、この領域では、徐々に、第２音の音程が低くなるとともに音量が小さくなり、第３点において最小になる。このように、第１点から第３点に至っては、第２音の音程及び音量が制御され、第１音は出力されないようになっている。
次に、第３点から第４点に至っては、ペン先の移動角度θが１８０〜２７０°に向かって徐々に増大する。そのため、この領域では、徐々に、第１音の音程が高くなるとともに、音量が大きくなり、第４点において最大になる。そして、第４点から第１点に至っては、ペン先の移動角度θが２７０〜３６０°に向かって徐々に増大する。そのため、この領域では、徐々に、第１音の音程が低くなるとともに、音量が小さくなり、第１点において最小になる。このように、第３点から第１点に至っては、第１音の音程及び音量が制御され、第２音は出力されないようになっている。なお、第１音または第２音が出力されないとは、音量が０で再生されていることも含む。
なお、この円を描いている間、第３音はペン先の移動速度が０でないため、第１音または第２音に重ね合わされつつ、常に出力されている。
次に、ＤＲＡＭ８５に記憶されるデータの一例を、図２０に示す。図２０に示すように、ＤＲＡＭ８５には、ゲームプログラム８５１、及びタッチペンによる入力座標８５２が順次記憶される。また、入力座標に基づいて算出されたペン先の移動角度８５３及びペン先の移動速度８５４も記憶される。さらに、上述したように、フラッシュメモリ８４または外部記憶媒体からロードされた基準第１〜第３音声データ８５５，８５７，８５９が記憶され、さらに、これらに基づいて生成された第１〜第３音声データ８５６，８５８，８５０が記憶される。
ゲームプログラム８５１は、本実施形態のゲームを行うためのプログラムであり、フラッシュメモリ８４または外部記憶媒体に予め記憶されている。ゲームプログラム８５１は、ゲームの開始時にＤＲＡＭ８５にロードされる。
その他、図示を省略するが、ゲームを進行する上で必要となるオブジェクトに関するデータも、適宜、ＤＲＡＭ８５にロードされて実行される。
＜４．ゲーム処理の例＞
次に、ゲーム処理の例について、図２１を参照しつつ説明する。図２１は、ゲーム処理の一例を示すフローチャートである。まず、ゲームプログラム８５１がＤＲＡＭ８５にロードされ、ゲームが開始されると（ステップＳ１０１）、図８に示すように、ディスプレイ１２には問題領域１２１と解答領域１２２とが表示される（ステップＳ１０２）。次に、ユーザは、タッチペン９５により、解答領域１２２の入力スペース１２４に、問題領域１２１に表示された問題の解答となる数字を入力する（ステップＳ１０３）。そして、タッチペン９５のペン先がタッチパネル１３上を継続的に移動している間、入力座標取得部８１１は、ペン先の入力座標を順次取得し（ステップＳ１０４）、ＤＲＡＭ８５に記憶していく。そして、移動方向算出部８１３は、取得された入力座標からペン先の移動角度θ及び移動速度Ｖを順次算出し（ステップＳ１０５）、ＤＲＡＭ８５に記憶していく。これに伴い、描画情報生成部８１２は、入力座標と対応するディスプレイ１２上の位置に、ドットを表示する。入力座標は連続的に取得されるため、ドットも連続的に表示されていくことで、ペン先の軌跡が、線としてディスプレイ１２に描画される。また、この描画とともに、音生成部８１４は、上述した処理により、第１〜第３音声データを生成し、これに基づいて、筆記音がスピーカ８８から出力される（ステップＳ１０６）。
そして、解答である数字の入力が終了し、タッチペン９５のペン先がタッチパネル１３から離れて所定時間が経過すると（ステップＳ１０７のＮＯ）、問題領域１２１の所定の位置に解答が表示されるとともに（ステップＳ１０８）、その正否が表示される（ステップＳ１０９）。こうして、問題領域１２１に表示されている全ての問題に解答し、正否が表示された後、ゲームを続ける場合には（ステップＳ１１０のＹＥＳ）、問題領域１２１に新たな問題が表示される（ステップＳ１０２）。一方、ゲームを続けない場合には（ステップＳ１１０のＮＯ）、ゲームが終了する。
＜５．特徴＞
本実施形態に係るゲームシステムによれば、以下の効果を得ることができる。
（１）ユーザがタッチペン９５により、タッチパネル１３上に文字や図形等を入力するとき、入力の移動角度θに基づいて、変化させた疑似筆記音を音声データとして生成するようにしている。上記のように、ユーザが鉛筆を用いて紙に文字等を筆記する際には、筆記音は一定ではなく、鉛筆の移動方向によって変化する。そこで、本実施形態においては、このような筆記の向きによって変化する音を模した音声データを生成し、これに基づいて疑似筆記音を出力しているため、ユーザは、タッチペン９５で文字を入力しているときに、実際に筆記しているような感覚を高めることができる。さらに、例えば、目を閉じてペン入力を行っても、疑似筆記音の変化から、聴覚によって、ある程度の筆記の形を認識することができる。
（２）本実施形態では、タッチペン９５の移動方向によって２種類の音声データ、つまり、第１音声データ及び第２音声データを生成している。これら２つの音声データによる第１音及び第２音は、ペン先の移動角度θに基づいて出力されるため、例えば、第１音用の移動角度の範囲（１８０〜３６０°）から第２音用の移動角度の範囲（０〜１８０°）に、ペン先の移動角度θが変わるときに、第１音及び第２音の両方が出力されない時間が生じてしまう。そこで、本実施形態では、ペン先の移動角度θに関わらず、移動速度Ｖによってのみ制御される第３音を出力するようにしている。これにより、上記のような第１音及び第２音の両方が出力されない時間においても、第３音による疑似筆記音が出力されるため、ユーザの違和感をなくすことができる。
＜６．変形例＞
以上、本発明の実施形態について説明したが、本発明は上記各実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例は、適宜組み合わせることができる。
（１）上記実施形態においては、ペン先の移動角度θにより疑似筆記音の音程及び音量の両方を変化させているが、いずれか一方であってもよい。例えば、ペン先の移動角度θが変化した場合に、第１音と第２音の音程については変化させないようにしてもよい。このようにすることで、第１音と第２音の音程は移動速度Ｖのみに基づくことになるため、移動角度θと移動速度Ｖが音程に与える変化が打ち消しあうようなことがなくなり、第１音と第２音の音色の自然感を高めやすくなる。
（２）上記実施形態では、基準線方向Ｓに対するペン先の移動方向Ｘ、つまり移動角度θが９０°に近いほど、あるいは２７０°に近いほど、音程が高く、且つ音量が大きくなるようにしている。すなわち、移動方向Ｘが基準線方向Ｓに対して垂直に近い場合の方が、平行に近い場合よりも音程が高く、且つ音量が大きくなるようにしている。但し、これは一例であり、移動角度θと、音程及び音量との関係は適宜設定することができる。例えば、垂直以外の角度で音程が高くなるようにしたり、あるいは、音程が高くなる所定の角度を複数設けることもできる。
（３）上記実施形態では、移動角度θによって、第１音が出力される移動角度θの範囲と、第２音が出力される移動角度θの範囲とを分け、例えば、第１音が出力される移動角度θでは、第２音が出力されないようにしている。しかしながら、移動角度によっては両方の音を出力できるようにしてもよい。例えば、図１９の例において、各音の移動角度θの範囲が遷移する第１点付近及び第３点付近において、両方の音を出力するようにしてもよい。
（４）上記実施形態では、音色の異なる第１音及び第２音を出力するように構成されているが、出力される音の音色は、１つでもよいし、３以上であってもよい。例えば音色が１つである場合には、移動角度θによって、その音の音程及び音量を変化させればよい。また、３以上の音色の音を設定する場合には、移動角度の範囲を３つ以上設定し、各範囲において、出力させる音を別個に設定しておけばよい。
（５）上記実施形態では、右利きのユーザを想定して基準線Ｓを右下から左上に延びるように設定したが、左利きのユーザを想定した場合は、交差線Ｋが基準線となる。したがって、ゲームの開始前に、ユーザが右利きか左利きかを入力し、それに応じて基準線を設定できるようにすることもできる。
（６）基準線方向（第１の方向）は、直交座標系の座標面において、座標軸に対して略４５度の角度で傾斜した方向でなくてもよく、それ以外の角度で傾斜した方向を適宜設定することができる。あるいは、いずれかの座標軸と平行に延びるような基準線方向を設定することもできる。したがって、本発明に係る「移動方向」とは、適宜設定された基準線方向に対する方向とすることができる。
（７）上記実施形態では、疑似筆記音に第３音を含めているが、第３音は、第１音及び第２音に重ねる音であるため、第１音及び第２音に音色が近似した音であることが好ましいが、これに限定されず、適用する場面によって適宜変更することができる。但し、第３音は必ずしも必要ではなく、移動角度θによって変化する第１音、第２音等の音だけでもよい。
（８）上記実施形態では、各音声データを生成する際に、移動角度θ及び移動速度Ｖに基づいて、音程及び音量を決定している。例えば、図１６及び図１７に示す音声データの生成方法は一例であり、これ以外の規定にしたがって、音声データを生成することができる。例えば、音程や音量が最大または最小になる移動角度や移動速度は、適宜変更することができる。また、音程及び音量の決定において、移動速度は必ずしも必要ではなく、移動角度θのみによって音程及び音量を決定することもできる。
（９）上記実施形態では、所定の周期で入力座標を取得し、隣接する入力座標Ｌ１，Ｌ２に基づいて、移動角度θや移動速度Ｖを算出しているが、これには限定されない。すなわち、隣接する入力座標に限らず、任意に規定された複数の入力座標の変化に基づいて、移動角度θや移動速度Ｖが算出されればよい。
（１０）上記実施形態では、基準音声データを元に、移動角度θや移動速度Ｖに基づいて、音程や音量を変化させた音声データ（音情報）を生成しているが、音声データの生成方法はこれには限定されず、種々の方法を用いることができる。例えば、基準音声データを用いずに、移動角度や移動速度に応じた音声データを、都度、生成することもできる。あるいは、所定の移動角度や移動速度に対応した音声データを予め作成しておき、これに基づいて音を出力することもできる。
（１１）上記実施形態では、紙に鉛筆で筆記を行う際の筆記音を模した疑似筆記音を設定しているが、これに限定されない。すなわち、疑似筆記音は、鉛筆のほか、ペン、万年筆等の種々の筆記具で、紙、プラスチック、金属などの種々の対象に筆記を行った際に生じる筆記音を模したものとすることができる。
（１２）上記実施形態では、タッチペンを用いて入力を行ったときの例について説明したが、タッチペンの代わりに指で入力したり、あるいはマウスやリモコンによるジェスチャ入力によって入力を行う際にも適用することができる。
（１３）上記実施形態では、ゲームにおける文字の入力に本発明を適用したが、ゲーム以外にも適用可能であり、単に文字等の入力とその描画を行う装置に適用することもできる。
（１４）上記実施形態において、本発明の情報処理装置に相当するゲームシステムは、ディスプレイ１２、タッチパネル１３、及びスピーカ８８を有しているが、これに限定されない。すなわち、本発明に係る情報処理装置は、ディスプレイ、タッチパネル、及びスピーカを有していなくてもよく、外部のディスプレイ、タッチパネル、及びスピーカを、本発明に係る情報処理装置に接続して、上述した処理を行うこともできる。
（１５）本発明の情報処理プログラム、情報処理装置、及び情報処理方法は、有線または無線で接続された、ＬＡＮまたはインターネットのようなネットワークを介した複数人用のプレイにも適用することができる。
１ ゲームシステム（情報処理装置）
１２ ディスプレイ（表示装置）
１３ タッチパネル
８１１ 入力座標取得部
８１２ 描画情報生成部
８１３ 移動方向算出部
８１４ 音生成部

Claims (17)

  1. 情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
    ユーザの操作に基づく入力の入力座標を取得する入力座標取得手段と、
    前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成する描画情報生成手段と、
    前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出する移動方向算出手段と、
    前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成する音生成手段と、
    して、前記コンピュータを機能させる、情報処理プログラム。
  2. 前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音量を変化させるように、前記音情報を生成する、請求項１に記載の情報処理プログラム。
  3. 前記音生成手段は、第１の方向に対して前記移動方向が垂直に近い場合、前記第１の方向に対して前記移動方向が平行に近い場合に比べて音量を大きくするように、前記音情報を生成する、請求項２に記載の情報処理プログラム。
  4. 前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音程を変化させるように、前記音情報を生成する、請求項１から３のいずれかに記載の情報処理プログラム。
  5. 前記音生成手段は、第１の方向に対して前記移動方向が垂直に近い場合、前記第１の方向に対して前記移動方向が平行に近い場合に比べて、音程を高くするように、前記音情報を生成する、請求項４に記載の情報処理プログラム。
  6. 前記音生成手段は、前記移動方向に応じて、前記疑似筆記音の音色を変化させるように、前記音情報を生成する、請求項１から５のいずれかに記載の情報補処理プログラム。
  7. 前記音生成手段は、第１の方向に対して前記移動方向のなす角度が、０〜１８０°の場合と、１８０〜３６０°の場合とで、前記音色を変化させるように、前記音情報を生成する、請求項６記載の情報処理プログラム。
  8. 前記入力座標は、直交座標系の座標面に設定され、
    前記第１の方向は、前記座標面の座標軸に対して傾いた方向である、請求項３，５，または７のいずれかに記載の情報処理プログラム。
  9. 前記第１の方向は、前記座標軸から略４５度傾いた方向である、請求項８に記載の情報処理プログラム。
  10. 前記ユーザが、右利きに設定されている場合と、左利きに設定されている場合とで、前記第１の方向を変化させる、請求項３，５，７，または８のいずれかに記載の情報処理プログラム。
  11. 前記音生成手段は、前記入力座標の変化に基づく入力速度に応じて、前記疑似筆記音の前記音情報を変化させる、請求項１から１０のいずれかに記載の情報処理プログラム。
  12. 前記音生成手段は、前記入力速度が大きいほど、前記疑似筆記音を大きく変化させるように、前記音情報を生成する、請求項１１に記載の情報処理プログラム。
  13. 前記音生成手段は、前記入力速度が大きいほど、前記疑似筆記音の音程を高くするように、前記音情報を生成する、請求項１１に記載の情報処理プログラム。
  14. 前記音生成手段は、前記移動方向によっては変化することのないベース音を含む前記疑似筆記音の音情報を生成する、請求項１から１３のいずれかに記載の情報処理プログラム。
  15. 前記表示装置は、前記入力が行われる、タッチディスプレイである、請求項１から１４のいずれかに記載の情報処理プログラム。
  16. ユーザの操作に基づく入力の入力座標を取得する入力座標取得手段と、
    前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成する描画情報生成手段と、
    前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出する移動方向算出手段と、
    前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成する音生成手段と、
    を備えている、情報処理装置。
  17. ユーザの操作に基づく入力の入力座標を取得するステップと、
    前記入力座標に応じた軌跡を表示装置に表示させるための描画情報を生成するステップと、
    前記入力が行われる間に継続して取得された前記入力座標の変化から、前記入力の移動方向を算出するステップと、
    前記入力座標が変化したことに応じて、前記移動方向に基づいて変化させた疑似筆記音の音情報を生成するステップと、
    を備えている、情報処理方法。
JP2019111003A 2019-06-14 2019-06-14 情報処理プログラム Active JP7125920B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019111003A JP7125920B2 (ja) 2019-06-14 2019-06-14 情報処理プログラム
US16/899,889 US11439907B2 (en) 2019-06-14 2020-06-12 Audio feedback that varies based on direction of input stroke

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019111003A JP7125920B2 (ja) 2019-06-14 2019-06-14 情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020204814A true JP2020204814A (ja) 2020-12-24
JP7125920B2 JP7125920B2 (ja) 2022-08-25

Family

ID=73745936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019111003A Active JP7125920B2 (ja) 2019-06-14 2019-06-14 情報処理プログラム

Country Status (2)

Country Link
US (1) US11439907B2 (ja)
JP (1) JP7125920B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD958251S1 (en) * 2020-04-06 2022-07-19 Nintendo Co., Ltd. Computer
USD965063S1 (en) * 2020-09-30 2022-09-27 Shenzhen Yang Liming Electronic Technology Co., Ltd. Game console
USD953437S1 (en) * 2020-12-30 2022-05-31 Shenzhen Qixiong Technology Co., Ltd Game controller
USD983272S1 (en) * 2022-06-21 2023-04-11 Guangzhou Fanmao Technology Co., Ltd. Game controller

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296010A (ja) * 2002-04-01 2003-10-17 Sumitomo Electric Ind Ltd ペン入力操作の効果音発生方法、端末装置及び双方向対話型システム
JP2011527792A (ja) * 2008-08-08 2011-11-04 日本写真印刷株式会社 タッチ検知デバイス
JP2014222492A (ja) * 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886088B2 (en) * 2012-08-08 2018-02-06 Microsoft Technology Licensing, Llc Physically modulating friction in a stylus
KR20140047897A (ko) * 2012-10-15 2014-04-23 삼성전자주식회사 터치 효과를 제공하기 위한 방법 및 그 전자 장치
KR20140110627A (ko) * 2013-03-08 2014-09-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2014222488A (ja) * 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム
US20160044422A1 (en) * 2014-08-11 2016-02-11 Dell Products, Lp Pointer System for Context Based Feedback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296010A (ja) * 2002-04-01 2003-10-17 Sumitomo Electric Ind Ltd ペン入力操作の効果音発生方法、端末装置及び双方向対話型システム
JP2011527792A (ja) * 2008-08-08 2011-11-04 日本写真印刷株式会社 タッチ検知デバイス
JP2014222492A (ja) * 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム

Also Published As

Publication number Publication date
US20200391112A1 (en) 2020-12-17
JP7125920B2 (ja) 2022-08-25
US11439907B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
JP7125920B2 (ja) 情報処理プログラム
CN104714687B (zh) 用于触觉显示参数的光学传输的系统和方法
CN104423591B (zh) 用于光谱图的视觉处理以生成触觉效果的系统和方法
CN104914987B (zh) 用于触觉启用的投影用户界面的系统和方法
US7607983B2 (en) Game program and game device using touch panel
US11439898B2 (en) Game controller
JP2014222488A (ja) 描画装置及び描画システム
JP6727081B2 (ja) 情報処理システム、拡張入力装置、および情報処理方法
US11947789B2 (en) Interactive control method and apparatus, storage medium, and electronic device
JP2014222492A (ja) 描画装置及び描画システム
JP6653293B2 (ja) 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2021035458A (ja) 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP7029888B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US11789536B2 (en) Input device and display input system
JP6837921B2 (ja) ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6938580B2 (ja) ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム処理制御方法
JP7045408B2 (ja) 情報処理プログラム
JP6937168B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP7340556B2 (ja) 振動制御システム
KR101544044B1 (ko) 교육특화디바이스용 확장형 교구 로봇
JP2021037298A (ja) 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP2021037264A (ja) 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP2017199208A (ja) ペン型入力装置、及び、電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220624

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220704

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R150 Certificate of patent or registration of utility model

Ref document number: 7125920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150