JP2014167800A - 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置 - Google Patents

制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置 Download PDF

Info

Publication number
JP2014167800A
JP2014167800A JP2014073490A JP2014073490A JP2014167800A JP 2014167800 A JP2014167800 A JP 2014167800A JP 2014073490 A JP2014073490 A JP 2014073490A JP 2014073490 A JP2014073490 A JP 2014073490A JP 2014167800 A JP2014167800 A JP 2014167800A
Authority
JP
Japan
Prior art keywords
pointer
screen
display
coordinate
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2014073490A
Other languages
English (en)
Inventor
Hidetoshi Kabasawa
秀年 椛澤
Taku Masuda
卓 増田
Kazuyuki Yamamoto
一幸 山本
Kunihito Sawai
邦仁 沢井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014073490A priority Critical patent/JP2014167800A/ja
Publication of JP2014167800A publication Critical patent/JP2014167800A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Abstract

【課題】入力装置が画面の端部から画面の外側へ動いたときに、ポインタの表示位置と入力装置の相対位置のずれが発生することを防止し、ユーザが直感的な操作感を得ることができる制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置を提供する。
【解決手段】実画面９５だけでなく、その実画面９５の周囲に設定された仮想画面１０５においても、仮想ポインタ２'の座標が生成され、記憶される。これにより、ユーザは、例えば実画面９５の外側で入力装置１が動いた分だけ、入力装置を例えば逆方向に動かすことにより、実画面９５の境界ラインに到達したポインタ２の実画面９５上での移動を再開させることができる。これにより、狭い画面に束縛されることがなく、擬似的な絶対座標系でポインタの座標値が生成されるので、ユーザは、直感的にストレスなく入力装置１を操作することができる。
【選択図】図１４

Description

本発明は、画面上のポインタの表示を制御する制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置に関する。
ＰＣ（Personal Computer）で普及しているＧＵＩのコントローラとして、主にマウスやタッチパッド等のポインティングデバイスが用いられている。ＧＵＩは、従来のＰＣのＨＩ（Human Interface）にとどまらず、例えばテレビを画像媒体としてリビングルーム等で使用されるＡＶ機器やゲーム機のインターフェースとして使用され始めている。このようなＧＵＩのコントローラとして、ユーザが空間で操作することができるポインティングデバイスが多種提案されている（例えば、特許文献１、２参照）。
例えば、マウスカーソルが画面の端部に表示されると、そのマウスカーソルを含む画像が、その画面より外側の仮想画面を含む画像に切り替えられる、画面の表示位置の制御方法が開示されている（例えば、特許文献３参照）。これにより、マウスカーソルが画面の端部にあったとしてもユーザはそれを見つけやすいという効果が得られる。
特開２００１−５６７４３号公報（段落[００３０]、[００３１]、図３） 特許第３７４８４８３号公報（段落[００３３]、[００４１]、図１） 特開平１０−３０１７５３号公報（段落[００３６]、図３）
上記各特許文献１〜３の技術では、ポインティングデバイスの位置と画面の位置とが相対的である。したがって、例えばユーザのそのポインティングデバイスを持つ手がどこにあっても、画面上のポインタの位置が決定される。しかし、ポインティングデバイスが指し示す方向とポインタの表示位置とがずれている場合、ストレスを感じることがある。例えば、レーザポインタのような感覚でポインタを操作したいと考える人にとっては、その傾向が高いと考えられる。
また、ユーザはポインタの位置を意識して操作しないと画面から外れてどこにポインタがあるのか分かり難いといった問題もある。特に、画面上のメニュー図形が画面の端部に表示される場合、ユーザがそのメニュー図形の範囲をポインティングしている時に、ポインタが画面の端部まで移動し、ポインタはそれ以上移動しないにも関わらず、ユーザはポインティングを移動させ続けようとする。そのため、ポインタの表示位置とポインティングデバイスの相対位置がずれ、ユーザが違和感を持つことがある。
以上のような事情に鑑み、本発明の目的は、入力装置が画面の端部から画面の外側へ動いたときに、ポインタの表示位置と入力装置の相対位置のずれが発生することを防止し、ユーザが直感的な操作感を得ることができる制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置を提供することにある。
上記目的を達成するため、本発明に係る制御装置は、入力装置の動きに応じた入力情報に基き、ポインタの表示を制御する制御装置であって、表示される実画面上の第１の座標系における、前記入力情報に応じた前記ポインタの位置を示す第１の座標情報を生成し、前記実画面の周囲に設定された仮想画面上の、前記第１の座標系に関連付けられた第２の座標系における、前記入力情報に応じた前記ポインタの位置を示す第２の座標情報を生成する生成手段と、前記生成された第１及び第２の座標情報に応じて前記実画面上で前記ポインタの表示を制御する表示制御手段とを具備する。
本発明では、実画面だけでなく、その実画面の外側に設定された仮想画面においても、ポインタの座標情報（第２の座標情報）が生成される。つまり、狭い実画面に束縛されることがなく、擬似的な絶対座標系でポインタの座標値が生成される。これにより、仮想画面上での移動座標の積算位置から再度ポインタを実画面上で表示させることができるので、ユーザにとって直感的にストレスなく入力装置を操作することができる。
第２の座標系が第１の座標系に関連付けられているとは、例えば第２の座標系と第１の座標系とが重なり合う場合、または、第２の座標系が第１の座標系に連続する場合等を意味する。
第１及び第２の座標系のスケール（座標の目盛）は、典型的には実質的に同じであるが、異なっていてもよい。
入力装置は、平面操作型の入力装置であってもよいし、後述する空間操作型の入力装置であってもよい。
上記ポインタは、いわゆるカーソルと称されるような定形性を有するものだけに限られず、画面上に表示されたアイコン等のＵＩを選択することが可能な種々の形態のものが含まれる。例えば、上記ポインタは、常に定形で表示されるものに限られず、ＵＩの選択操作が可能な領域に到達したときにそのポインタ位置が顕在化する形態も含まれる。
制御装置は、前記入力装置による選択操作の対象となる選択操作領域の、前記仮想画面上の仮想表示領域を、前記第２の座標系に対応付けることで、前記仮想表示領域を記憶する記憶手段と、前記生成された第２の座標情報が、前記仮想表示領域内にあるか否かを判定する判定手段と、前記生成された第２の座標情報が、前記仮想表示領域内にある場合、前記選択操作の対象を制御する選択制御手段とをさらに具備する。これにより、ユーザが仮想画面上をポインティング操作するときに、選択操作領域の仮想表示領域でポインティング操作することで、選択対象を選択することができる。
上記本発明では、選択操作領域のすべてが仮想表示領域であってもよい。あるいは、前記表示制御手段は、前記選択操作領域のうち、前記実画面上の、前記仮想表示領域に隣接する実表示領域の画像データを生成してもよい。さらに、実表示領域の画像データは、実画面の一部に常に表示されてもよい。例えば、ポインタが実画面上の選択操作領域内に表示されている状態で、ユーザが入力装置の操作により、ポインタが実画面から外れ仮想画面に入るようにポインティングしたとする。この場合、その仮想画面上にもその選択操作領域（仮想表示領域）が第２の座標系に対応付けられて設定されているため、ユーザは、仮想画面上でポインティング操作することで、選択対象を選択することができる。
選択操作領域における選択対象は、例えば、音量選択（音量コントロール）、放送番組等のチャンネル選択、画像の再生または停止の選択、早送りまたは巻き戻しの選択、実画面上で流れるように表示される１つ１つの画像の選択（いわゆるスクロール機能）、その他様々なメニュー画面の選択項目となり得る対象である。
選択制御手段による制御時は、ポインタの位置は、仮想画面のどこにあってもかまわない。ユーザが選択操作しているときに、ポインタの位置が、選択操作領域の仮想表示領域内から、仮想画面上の、仮想表示領域以外の領域に出たとしても、選択制御手段による制御が継続されてもよい。
実画面上の選択操作領域である実表示領域は、実画面上に常に表示される場合に限られない。すなわち、前記表示制御手段は、前記第２の座標情報が前記仮想表示領域内にあると前記判定手段が判定したとき、前記実表示領域を前記実画面上に表示させてもよい。これにより、ユーザの意図を反映した選択操作領域の表示制御を行うことが可能となる。
前記選択制御手段は、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ラインからの、前記生成される第２の座標情報の距離に応じて、前記選択操作によるスイッチング速度を可変に制御する。これにより、ユーザの直感に合った選択操作が可能となる。
スイッチング速度とは、例えば、選択対象が音量であれば音量の変更速度、選択対象がチャンネルであればチャンネルの変更速度等であり、その他、再生速度、早送り速度、スクロール速度等である。
前記記憶手段は、複数の前記選択操作領域のそれぞれの前記仮想表示領域を、前記第２の座標系に対応付けることで、複数の前記仮想表示領域を記憶する。この場合、表示制御手段は、複数の前記選択操作領域のそれぞれの仮想表示領域の画像データを出力してもよいし、複数の選択操作領域のうちポインタの表示位置に対応する一部の仮想表示領域の画像データのみを出力してもよい。
前記表示制御手段は、前記入力情報が、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ライン上の位置に対応する第１の入力値から、前記第２の座標系の、前記境界ラインに隣接する領域上の位置に対応する第２の入力値に変わったとき、前記境界ライン上に前記ポインタが表示されるように、前記ポインタの表示を制御する。本発明では、第２の座標情報が生成されているときは、表示制御手段は、その境界ライン上にポインタを静止させて表示させてもよいし、後述する発明のように、その境界ライン上でポインタを移動させて表示させてもよい。
例えば、境界ラインはマクロ的に見て、典型的には直線であるが、曲線であってもよい。第１の入力値は、境界ライン上の座標に対応する値である場合、または、実画面上の、境界ライン以外の座標に対応する値である場合が挙げられる。
前記表示制御手段は、前記生成手段により生成される前記第２の座標情報に応じて、前記境界ライン上で前記第１の座標値を更新することで、前記ポインタを前記境界ライン上で移動させるように前記ポインタの表示を制御する。これにより、ユーザは、入力装置により仮想画面上をポインティングしている場合に、実画面上の境界ライン上で表示されるポインタの位置を見ることで、縦方向または横方向でその仮想画面上のどの位置をポインティングしているかを認識することができる。
前記表示制御手段は、前記第２の入力値の変化に応じて、前記境界ライン上の前記ポインタの表示態様を変化させてもよい。これにより、ポインタが仮想画面内に位置していること、及び、ポインタが仮想画面内のどの辺りに位置しているかをユーザに認識させることが可能となる。ポインタの表示態様の変化には、ポインタの表示色の変化、ポインタの変形、アニメーション化などが含まれる。
前記表示制御手段は、前記第１の座標系に前記ポインタが位置することを示す前記入力情報の第１の入力値から、前記第２の座標系に前記ポインタが位置することを示す前記入力情報の第２の入力値に、前記入力情報が変わったとき、前記ポインタの状態を、前記入力情報に非相関な処理を実行するための信号を発生してもよい。
非相関な処理とは、ポインタの表示を消す処理、ポインタを表示させたり消したりする（点滅）処理、ポインタを実画面上で静止させる処理、ポインタを特定の記号または図形に変更する処理、あるいは、ポインタが入力情報に関わらず特定の動きをする処理等が挙げられる。
制御装置は、前記生成された第１の座標情報が、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ライン上にあるか否かを判定する判定手段と、前記第１の座標情報が前記境界ライン上にある場合、前記生成手段による前記第２の座標情報の生成を開始させる開始手段とをさらに具備する。
例えば、制御装置は、境界ラインの座標データを記憶しておき、判定手段は、生成された第１の座標情報が記憶された座標データのうち、いずれか１つに一致するか否かにより判定すればよい。
あるいは、制御装置は、上記したように生成された第１の座標情報が、境界ライン上になくても、上記選択操作領域の第２の領域内にある場合に、生成手段による第２の座標情報の生成を開始させてもよい。
制御装置は、前記入力装置のボタン操作に応じて出力されるコマンド信号を受信する受信手段と、前記受信されたコマンド信号に基いて、前記ポインタの位置を前記実画面上の所定の基準位置に対応させる校正手段とをさらに具備してもよい。例えば、ポインタが仮想画面の外側の領域にまで到達するほど入力装置が大きく移動操作された場合、画面上でのポインタの位置のずれが生じ得る。この場合、上記校正手段によりポインタ位置の校正処理が実行されることで、ポインタの表示位置のずれを解消でき、ユーザによる直感的なポインタの移動操作性を確保することができる。
前記表示制御手段は、前記ポインタが前記基準位置に表示されたときに、前記ポインタを一時的に強調表示するようにしてもよい。これにより、ユーザに対して、ポインタの位置が校正されたことを認識させることが可能となる。上記強調表示には、ポインタのハイライト表示や拡張表示などが含まれる。
例えば、前記入力装置は、前記入力装置の加速度値及び前記入力装置の角速度値のうち少なくとも一方に基づき、前記入力装置の速度値を生成し、前記速度値の情報を送信する空間操作型の入力装置であり、前記制御装置は、前記送信された速度値の情報を前記入力情報として受信する受信手段をさらに具備する。
角速度値のみに基き、速度値が生成される場合、例えば、角速度値を速度値とみなして出力することができる。
加速度値のみに基き、速度値が生成される場合、加速度値が積分演算されることにより速度値が生成されればよい。
入力装置が角度センサを備える場合、その角度センサにより得られる角度値が微分演算されることで、角速度値が得られる。入力装置が、角加速度センサを備える場合、その角加速度センサにより得られる角加速度値を積分演算することで、角速度値が得られる。
前記入力装置は、前記入力装置の加速度値及び前記入力装置の角速度値のうち少なくとも一方の情報を送信する空間操作型の入力装置であり、前記制御装置は、受信手段と、算出手段とをさらに具備することができる。前記受信手段は、前記送信された加速度値及び角速度値のうち少なくとも一方の情報を受信する。前記算出手段は、前記受信された加速度値及び角速度値のうち少なくとも一方の情報に基き、前記入力装置の速度値を算出する。この場合、前記生成手段は、前記算出された速度値の情報を前記入力情報として、前記入力情報に応じた前記第１及び第２の座標情報を生成する。
本発明に係る入力装置は、ポインタの表示を制御する入力装置であって、筐体と、前記筐体の動きを検出し、前記筐体の動きに応じた入力情報を生成する入力情報生成手段と、表示される実画面上の第１の座標系における、前記入力情報に応じた前記ポインタの位置を示す第１の座標情報を生成し、前記実画面の周囲に設定された仮想画面上の、前記第１の座標系に関連付けられた第２の座標系における、前記入力情報に応じた前記ポインタの位置を示す第２の座標情報を生成する生成手段と、前記生成された第１及び第２の座標情報に応じて前記実画面上で前記ポインタの表示を制御する表示制御手段とを具備する。
本発明に係る制御システムは、ポインタの表示を制御する制御システムであって、入力装置と制御装置とを具備する。入力装置は、筐体と、前記筐体の動きを検出し、前記筐体の動きに応じた入力情報を生成する入力情報生成手段と、前記入力情報を送信する送信手段とを有する。制御装置は、表示される実画面上の第１の座標系における、前記入力情報に応じた前記ポインタの位置を示す第１の座標情報を生成し、前記実画面の周囲に設定された仮想画面上の、前記第１の座標系に関連付けられた第２の座標系における、前記入力情報に応じた前記ポインタの位置を示す第２の座標情報を生成する生成手段と、前記生成された第１及び第２の座標情報に応じて前記実画面上で前記ポインタの表示を制御する表示制御手段とを有する。
本発明に係る制御方法は、入力装置の動きに応じた入力情報に基き、ポインタの表示を制御する制御方法であって、表示される実画面上の第１の座標系における、前記入力情報に応じた前記ポインタの位置を示す第１の座標情報を生成し、前記生成された第１及び第２の座標情報に応じて前記実画面上で前記ポインタの表示を制御し、前記実画面の周囲に設定された仮想画面上の、前記第１の座標系に関連付けられた第２の座標系における、前記入力情報に応じた前記ポインタの位置を示す第２の座標情報を生成する。
本発明に係るハンドヘルド装置は、筐体と、表示部と、前記筐体の動きを検出し、前記筐体の動きに応じた入力情報を生成する入力情報生成手段と、前記表示部に表示される実画面上の第１の座標系における、前記入力情報に応じた前記ポインタの位置を示す第１の座標情報を生成し、前記実画面の周囲に設定された仮想画面上の、前記第１の座標系に関連付けられた第２の座標系における、前記入力情報に応じた前記ポインタの位置を示す第２の座標情報を生成する生成手段と、前記生成された第１及び第２の座標情報に応じて前記実画面上で前記ポインタの表示を制御する表示制御手段とを具備する。
以上のように、本発明によれば、入力装置が画面の端部から画面の外側へ動いたときに、ポインタの表示位置と入力装置の相対位置のずれが発生することを防止し、ユーザが直感的な操作感を得ることができる。
本発明の一実施の形態に係る制御システムを示す図である。 入力装置を示す斜視図である。 入力装置の内部の構成を模式的に示す図である。 入力装置の電気的な構成を示すブロック図である。 表示装置に表示される画面の例を示す図である。 ユーザが入力装置を握った様子を示す図である。 入力装置の動かし方及びこれによる画面上のポインタの動きの典型的な例を説明するための図である。 センサユニットを示す斜視図である。 制御システムの基本的な動作を示すフローチャートである。 制御装置が主要な演算を行う場合の制御システムの動作を示すフローチャートである。 制御装置の制御に応じて表示装置が表示する画面の一例を示す図である。 制御システムをユーザが利用する場合に、ユーザは、入力装置の空間での位置と、全体画面上でのポインタの位置との関係を決定するためのキャリブレーション作業を説明するための図である。 制御装置が、実画面及び仮想画面を用いてポインタの動きを制御するときの動作を示すフローチャートである。 生成されたポインタの座標値が、第１の座標系から境界ライン-Xを超えて第２の座標系に入ったときの、仮想ポインタ及び実ポインタの動きを示す図である。 生成されたポインタの座標値が、第１の座標系から境界ライン+Yを超えて第２の座標系に入ったときの、仮想ポインタ及び実ポインタの動きを示す図である。 生成されたポインタの座標値が、第１の座標系から境界ライン-Xを超えて第２の座標系に入り、かつ、第２の座標系の、境界ライン+Yの下方の領域まで達したときの、仮想ポインタ及び実ポインタの動きを示す図である。 本発明の他の実施の形態に係る画面であり、制御装置が表示装置に表示させる画面を示す図である。 画面の表示を制御する制御装置の動作を示すフローチャートである。 図１７に示す画面の変形例である。 図１９に示した画面での制御装置の処理の示すフローチャートである。 図１９に示した画面での、制御装置の別の処理の示すフローチャートである。 図２１に示した処理を説明するための全体画面の図である。 本発明の他の実施の形態に係る画面であり、制御装置が表示装置に表示させる画面を示す図である。 本発明の他の実施の形態に係る画面であり、制御装置が表示装置に表示させる画面を示す図である。 本発明の他の実施の形態に係る画面であり、制御装置が表示装置に表示させる画面を示す図である。 本発明の他の実施の形態に係る画面であり、制御装置が表示装置に表示させる画面を示す図である。 画面に表示されるポインタの他の表示例を説明する図であり、（Ａ）はポインタの表示色を変化させた状態を示し、（Ｂ）はポインタの形状を変化させた状態を示している。
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の一実施の形態に係る制御システムを示す図である。制御システム１００は、表示装置５、制御装置４０及び空間操作型入力装置１を含む。
図２は、空間操作型入力装置１を示す斜視図である。これ以降の説明では、空間操作型入力装置を、単に、入力装置という。入力装置１は、ユーザが持つことができる程度の大きさとされている。入力装置１は、筐体１０、筐体１０の上部に設けられた例えば２つのボタン１１、１２、回転式のホイールボタン１３等の操作部を備えている。筐体１０の上部の中央よりに設けられたボタン１１は、例えばＰＣで用いられる入力デバイスとしてのマウスの左ボタンの機能を有し、ボタン１１に隣接するボタン１２は右ボタンの機能を有する。
例えば、ボタン１１を長押して入力装置１を移動させることにより「ドラッグアンドドロップ」、ボタン１１のダブルクリックによりファイルを開く操作、ホイールボタン１３により画面３のスクロール操作が行われるようにしてもよい。ボタン１１、１２、ホイールボタン１３の配置、発行されるコマンドの内容等は、適宜変更可能である。
図３は、入力装置１の内部の構成を模式的に示す図である。図４は、入力装置１の電気的な構成を示すブロック図である。
入力装置１は、センサユニット１７、制御ユニット３０、バッテリー１４を備えている。
図８は、センサユニット１７を示す斜視図である。センサユニット１７は、互いに異なる角度、例えば直交する２軸（Ｘ'軸及びＹ'軸）に沿った加速度を検出する加速度センサユニット１６を有する。すなわち、加速度センサユニット１６は、第１の加速度センサ１６１及び第２の加速度センサ１６２の２つセンサを含む。また、センサユニット１７は、その直交する２軸の周りの角加速度を検出する角速度センサユニット１５を有する。すなわち、角速度センサユニット１５は、第１の角速度センサ１５１及び第２の角速度センサ１５２の２つのセンサを含む。これらの加速度センサユニット１６及び角速度センサユニット１５はパッケージングされ、回路基板２５上に搭載されている。
第１、第２の角速度センサ１５１、１５２としては、角速度に比例したコリオリ力を検出する振動型のジャイロセンサが用いられる。第１、第２の加速度センサ１６１、１６２としては、ピエゾ抵抗型、圧電型、静電容量型等、どのようなタイプのセンサであってもよい。角速度センサ１５１または１５２としては、振動型ジャイロセンサに限られず、回転コマジャイロセンサ、レーザリングジャイロセンサ、あるいはガスレートジャイロセンサ等が用いられてもよい。
図２及び図３の説明では、便宜上、筐体１０の長手方向をＺ'方向とし、筐体１０の厚さ方向をＸ'方向とし、筐体１０の幅方向をＹ'方向とする。この場合、上記センサユニット１７は、回路基板２５の、加速度センサユニット１６及び角速度センサユニット１５を搭載する面がＸ'−Ｙ'平面に実質的に平行となるように、筐体１０に内蔵され、上記したように、両センサユニット１６、１５はＸ軸及びＹ軸の２軸に関する物理量を検出する。本明細書中では、入力装置１とともに動く座標系、つまり、入力装置１に固定された座標系をＸ'軸、Ｙ'軸、Ｚ'軸で表す。一方、地球上で静止した座標系、つまり慣性座標系をＸ軸、Ｙ軸、Ｚ軸で表す。Ｘ'軸（ピッチ軸）及びＹ'軸（ヨー軸）を含む平面が加速度検出面、つまり回路基板２５の主面に実質的に平行な面（以下、単に検出面という。）である。また、以降の説明では、入力装置１の動きに関し、Ｘ'軸の周りの回転の方向をピッチ方向、Ｙ'軸の周りの回転の方向をヨー方向といい、Ｚ'軸（ロール軸）方向の周りの回転の方向をロール方向という場合もある。
制御ユニット３０は、メイン基板１８、メイン基板１８上にマウントされたＭＰＵ１９（Micro Processing Unit）（あるいはＣＰＵ）、水晶発振器２０、送受信機２１、メイン基板１８上にプリントされたアンテナ２２を含む。
ＭＰＵ１９は、必要な揮発性及び不揮発性メモリを内蔵している。ＭＰＵ１９は、センサユニット１７による検出信号、操作部による操作信号等を入力し、これらの入力信号に応じた所定の制御信号を生成するため、各種の演算処理等を行う。上記メモリは、ＭＰＵ１９とは別体で設けられていてもよい。ＭＰＵ１９の代わりに、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が用いられてもよい。
典型的には、センサユニット１７がアナログ信号を出力するものである。この場合、ＭＰＵ１９は、Ａ／Ｄ（Analog/Digital）コンバータを含む。しかし、センサユニット１７がＡ／Ｄコンバータを含むユニットであってもよい。
送受信機２１は、ＭＰＵ１９で生成された制御信号（入力情報）をＲＦ無線信号として、アンテナ２２を介して制御装置４０に送信する。また、送受信機２１は、制御装置４０から送信された各種の信号を受信することも可能となっている。
水晶発振器２０は、クロックを生成し、これをＭＰＵ１９に供給する。バッテリー１４としては、乾電池または充電式電池等が用いられる。
制御装置４０は、ＭＰＵ３５（あるいはＣＰＵ）、ＲＡＭ３６、ＲＯＭ３７、ビデオＲＡＭ４１、表示制御部４２、アンテナ３９及び送受信機３８等を含む。
送受信機３８は、入力装置１から送信された制御信号（入力情報）を、アンテナ３９を介して受信する。また、送受信機３８は、入力装置１へ所定の各種の信号を送信することも可能となっている。ＭＰＵ３５は、その制御信号を解析し、各種の演算処理を行う。表示制御部４２は、ＭＰＵ３５の制御に応じて、主に、表示装置５の画面３上に表示するための画面データを生成する。ビデオＲＡＭ４１は、表示制御部４２の作業領域となり、生成された画面データを一時的に格納する。
制御装置４０は、入力装置１に専用の機器であってもよいが、ＰＣ等であってもよい。制御装置４０は、入力装置１に専用の機器に限られず、表示装置５と一体となったコンピュータであってもよいし、オーディオ／ビジュアル機器、プロジェクタ、ゲーム機器、またはカーナビゲーション機器等であってもよい。
表示装置５は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ等が挙げられるが、これらに限られない。あるいは、表示装置５は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよいし、このようなディスプレイと上記制御装置４０とが一体となった装置でもよい。
図５は、表示装置５に表示される画面３の例を示す図である。画面３上には、アイコン４やポインタ２等のＵＩが表示されている。アイコンとは、コンピュータ上のプログラムの機能、実行コマンド、またはファイルの内容等が画面３上で画像化されたものである。なお、画面３上の水平方向をＸ軸方向とし、垂直方向をＹ軸方向とする。
図６は、ユーザが入力装置１を握った様子を示す図である。図６に示すように、入力装置１は、上記ボタン１１、１２、１３のほか、例えばテレビ等を操作するリモートコントローラに設けられるような各種の操作ボタンや電源スイッチ等の操作部を備えていてもよい。このようにユーザが入力装置１を握った状態で、入力装置１を空中で移動させ、あるいは操作部を操作することにより、その入力情報が制御装置４０に出力され、制御装置４０によりＵＩが制御される。
次に、入力装置１の動かし方及びこれによる画面３上のポインタ２の動きの典型的な例を説明する。図７はその説明図である。
図７（Ａ）、（Ｂ）に示すように、ユーザが入力装置１を握った状態で、入力装置１のボタン１１、１２が配置されている側を表示装置５側に向ける。ユーザは、親指を上にし子指を下にした状態、いわば握手する状態で入力装置１を握る。この状態で、センサユニット１７の回路基板２５（図８参照）は、表示装置５の画面３に対して平行に近くなり、センサユニット１７の検出軸である２軸が、画面３上の水平軸（Ｘ軸）（ピッチ軸）及び垂直軸（Ｙ軸）（ヨー軸）に対応するようになる。以下、このような図７（Ａ）、（Ｂ）に示す入力装置１の姿勢を基本姿勢という。
図７（Ａ）に示すように、基本姿勢の状態で、ユーザが手首や腕を上下方向、またはピッチ方向に振る。このとき、第２の加速度センサ１６２は、Ｙ軸方向の加速度（第２の加速度）を検出し、第１の角速度センサ１５１は、角度関連値としてＹ軸の周りの角速度（第１の角速度）ωψを検出する。これらの検出値に基き、制御装置４０は、ポインタ２がＹ軸方向に移動するようにそのポインタ２の表示を制御する。
一方、図７（Ｂ）に示すように、基本姿勢の状態で、ユーザが手首や腕を左右方向、またはヨー方向に振る。このとき、第１の加速度センサ１６１は、Ｘ軸方向の加速度（第１の加速度）を検出し、第２の角速度センサ１５２は、角度関連値としてＸ軸の周りの角速度（第２の角速度）ωθを検出する。これらの検出値に基き、制御装置４０は、ポインタ２がＸ軸方向に移動するようにそのポインタ２の表示を制御する。
次に、以上のように構成された制御システム１００の基本的な動作を説明する。図９は、その動作を示すフローチャートである。
入力装置１に電源が投入される。例えば、ユーザが入力装置１または制御装置４０に設けられた電源スイッチ等を入れることにより、入力装置１に電源が投入される。電源が投入されると、角速度センサユニット１５から２軸の角速度信号が出力される。ＭＰＵ１９は、この２軸の角速度信号による第１の角速度値ωψ及び第２の角速度値ωθを取得する（ステップ１０１）。
また、入力装置１に電源が投入されると、加速度センサユニット１６から２軸の加速度信号が出力される。ＭＰＵ１９は、この２軸の加速度信号による第１の加速度値ax及び第２の加速度値ayを取得する（ステップ１０２）。この加速度値の信号は、電源が投入された時点での入力装置１の姿勢（以下、初期姿勢という）に対応する信号である。初期姿勢は、図７に示した基本姿勢である場合もあるし、あるいは、図１１または図１２に示したように、スタンド姿勢の場合もある。
なお、ＭＰＵ１９は、典型的にはステップ１０１及び１０２を所定のクロック周期ごとに同期して行う。
なお、図９等では、角速度センサユニットにより角速度信号を取得した後に加速度センサユニットにより加速度信号を取得する態様とされている。しかし、この順番に限定されるものではなく、加速度信号を取得した後に角速度信号を取得する態様とすることも可能であり、加速度信号と角速度信号を並列に（同時に）取得する態様とすることも可能である。（以下、図１０において同様。）
ＭＰＵ１９は、加速度値（ax、ay）及び角速度値（ωψ、ωθ）に基いて、所定の演算により速度値（第１の速度値Vx、第２の速度値Vy）を算出する（ステップ１０３）。第１の速度値VxはＸ軸に沿う方向の速度値であり、第２の速度値VyはＹ軸に沿う方向の速度値である。この点において、少なくともセンサユニット１７、または、ＭＰＵ１９及びセンサユニット１７は、ポインタ２を画面３上で移動させるための、筐体１０の動きに応じた入力情報を生成する入力情報生成手段として機能する。
速度値（Vx、Vy）の算出方法として、本実施形態では、ＭＰＵ１９は、加速度値（ax、ay）を、角加速度値（Δωψ、Δωθ）で割ることで入力装置１の動きの回転半径（Ｒψ、Ｒθ）を求める。この場合、その回転半径（Ｒψ、Ｒθ）に角速度値（ωψ、ωθ）が乗じられることにより速度値（Vx、Vy）を得ることができる。回転半径（Ｒψ、Ｒθ）は、加速度の変化率（Δax、Δay）を、角加速度の変化率（Δ（Δωψ）、Δ（Δωθ））で割ることで求められてもよい。
上記算出方法により、速度値が算出されることで、ユーザの直感に合致した入力装置１の操作感が得られ、また、画面３上のポインタ２の動きも入力装置１の動きに正確に合致する。
なお、速度値（Vx、Vy）は、必ずしも上記算出方法により、算出されなくてもよい。例えば、ＭＰＵ１９は、例えば加速度値（ax、ay）を積分して速度値を求め、かつ、角速度値（ωψ、ωθ）をその積分演算の補助して用いる方法が採用されてもよい。あるいは、加速度値（ax、ay）が単純に積分されて速度値（Vx、Vy）が算出されても構わない。あるいは、検出された角速度値（ωψ、ωθ）をそのまま筐体の速度値（Vx、Vy）として用いてもよい。検出された角速度値（ωψ、ωθ）を時間微分することで角加速度値（Δωψ、Δωθ）を求めることができ、これを筐体の加速度値として用いることも可能である。
ＭＰＵ１９は、求めた速度値（Vx、Vy）の情報を、入力情報として送受信機２１及びアンテナ２２を介して制御装置４０に送信する（ステップ１０４）。
制御装置４０のＭＰＵ３５は、アンテナ３９及び送受信機３８を介して、速度値（Vx、Vy）の情報を受信する（ステップ１０５）。入力装置１は、所定のクロックごとに、つまり単位時間ごとに速度値（Vx、Vy）を送信するので、制御装置４０は、これを受信し、単位時間ごとのＸ軸及びＹ軸方向の変位量を取得することができる。
ＭＰＵ３５は、下の式（１）、（２）より、取得した単位時間当りのＸ軸及びＹ軸方向の変位量に応じた、ポインタ２の画面３上における座標値（X(t)、Y(t)）（座標情報）を生成する（ステップ１０６）（生成手段）。この座標値の生成により、ＭＰＵ３５は、ポインタ２が画面３上で移動するように表示を制御する（ステップ１０７）。
X(t) =X(t-1)＋Vx・・・（１）
Y(t) =Y(t-1)＋Vy・・・（２）。
図９では、入力装置１が主要な演算を行って速度値（Vx、Vy）を算出していた。図１０に示す実施の形態では、制御装置４０が主要な演算を行う。
図１０に示すように、ステップ２０１及び２０２は、ステップ１０１及び１０２と同様の処理である。入力装置１が、例えばセンサユニット１７から出力された２軸の加速度値及び２軸の角速度値である検出値の情報を制御装置４０に送信する（ステップ２０３）。制御装置４０のＭＰＵ３５は、この検出値の情報を受信し（ステップ２０４）、ステップ１０３、１０６及び１０７と同様の処理を実行する（ステップ２０５〜２０７）。
次に、本発明の一実施の形態の主要な部分について説明する。
図１１は、上記制御装置４０にその表示が制御される、表示装置５が表示する画面の一例を示す図である。
制御装置４０のＭＰＵ３５は、実画面９５及びこの実画面９５上でのポインタ２の表示を制御する。また、ＭＰＵ３５は、実画面９５の周囲に設定された仮想画面１０５上でのポインタ２の動きを制御する。
実画面９５は、表示装置５が実際に表示する画面である。仮想画面１０５は、表示装置５に表示されず、制御装置４０が記憶する仮想的な画面である。実画面９５の横及び縦のピクセル数がそれぞれXr、Yrとされている。仮想画面１０５の横及び縦のピクセル数がそれぞれXv、Yvとされている。
（Xr,Yr）としては、例えば（1280,1024）、（1920,1080）、（2048,1152）等、様々であり、これらに限られない。
（Xv,Yv）としては、（Xr,Yr）より大きければよく、例えば（Xr,Yr）が（800,600）のとき、（Xv,Yv）は例えば（1280,1024）またはそれ以上（またはそれ以下）の大きさである。あるいは、（Xr,Yr）が（1920,1080）のとき、（Xv,Yv）は（3920,3080）等である。しかし、（Xr,Yr）と（Xv,Yv）との組み合わせは何でもよい。
ＭＰＵ３５は、実画面９５上でのポインタ２の座標値を生成する場合、実画面９５上の直交座標系（第１の座標系）を用いて座標値を生成する。また同様に、ＭＰＵ３５は、仮想画面１０５上でのポインタ２の座標値を生成する場合、仮想画面１０５上の直交座標系（第２の座標系）を用いて座標値を生成する。少なくとも実画面９５の端部のラインであって、第２の座標系との境界ライン（後述する）上の座標は、第１及び第２の座標系が重なり合うように設定されてもよい。
第２の座標系は、第１の座標系に連続する（あるいは第１の座標系に相対的な）座標系である。例えば、実画面９５の４つのコーナの座標値がそれぞれ（0, 0）、（x1, 0）、（0, y1）、（x1, y1）であるとする。仮想画面１０５の４つのコーナの座標値がそれぞれ（-x2, -y2）、（x1+x2, -y2）、（-x2, y1+y2）、（x1+x2, y1+y2）であるとする。この場合、仮想画面１０５は、横方向でx2の数倍のピクセル数分、実画面９５より大きく、縦方向でy2の数倍のピクセル数分、実画面９５より大きくなる。ＭＰＵ３５は、この実画面９５及び仮想画面１０５の第１及び第２の座標系のデータを、ＲＯＭ３７、ＲＡＭ３６、またはその他のメモリに格納する。
あるいは、ＭＰＵ３５は、第２の座標系の少なくとも一部の領域が第１の座標系と重なり合う座標系であるとして、両座標系のデータをメモリに格納してもよい。すなわち、実画面９５の第１の座標系のデータと、この実画面９５の座標範囲の一部（例えば端部の境界ライン）または全部を含む仮想画面１０５の第２の座標系のデータを、メモリに格納してもよい。
なお、以降では、実画面９５及び仮想画面１０５を含む画面を全体画面１５５という。
図１２は、このような制御システム１００をユーザが利用する場合に、ユーザは、入力装置１の空間での位置と、全体画面１５５上でのポインタ２の位置との関係を決定するためのキャリブレーション作業を説明するための図である。
例えば、制御装置４０のＭＰＵ３５は、実画面９５上の一部、例えば中心位置に所定の図形またはマーク（以下、キャリブレーションマークという。）９６を表示する。このキャリブレーションマーク９６は、ある所定のピクセル範囲（領域）に表示されるものである。キャリブレーションマーク９６の表示位置（基準位置）は、実画面９５の中心位置に限られず、例えば実画面９５の４つのコーナ９７のうち少なくとも１つであってもよい。あるいは、キャリブレーションマーク９６の表示位置は、中央位置と、４つのコーナ９７のうち少なくとも１つとの２点以上であってもよい。
例えば少なくとも２点のキャリブレーションマーク９６によるキャリブレーションにより、次のような効果も得られる。ＭＰＵ３５は、その２点間のピクセル数と、２点間のポインタの移動速度（またはその積分値）とを対比することで、入力装置１の移動速度に対する、その移動分のピクセル数等のキャリブレーションをすることもできる。すなわち、ユーザがどれくらいの速度で（またはどれくらいの距離で）入力装置１を動かせば、ポインタがどれくらいの距離（ピクセル数）を移動するかのキャリブレーションが可能となる。その結果、ユーザの操作感をさらに向上させることができる。
ユーザは、例えば図７に示したような基本姿勢で入力装置１を握り、筐体１０を動かすことで、入力装置１をキャリブレーションマーク９６の表示位置へ向ける。ユーザは、入力装置１をキャリブレーションマーク９６に向けた状態で、例えばボタン１１、またはその他のボタン等を押すことにより、入力装置１から決定コマンド信号を発生させる。
決定コマンド信号は、制御装置４０に送信され、制御装置４０はこれを受信する。制御装置４０のＭＰＵ３５は、入力装置１がキャリブレーションマーク９６に向けられた状態で決定コマンド信号を受信すると、ポインタ２の位置をキャリブレーションマーク９６に対応させる処理を実行する（校正手段）。その結果、ポインタ２がキャリブレーションマーク９６の表示位置へ表示される（あるいは移動する）。ＭＰＵ３５は、現在のポインタ２の位置が、実画面９５の中央位置であることを示す信号としてこれをメモリに記憶する。これにより、ＭＰＵ３５は、入力装置１の動きが、実画面９５に対しては空間で擬似的に絶対位置を示すものとしてポインタ２の動きを制御する。すなわち、入力装置１と全体画面１５５との位置関係は相対的となるが、入力装置１は、実画面９５に対しては空間で絶対的な位置関係になる。
なお、上記と同様な方法により、実画面９５上の四隅のいずれか又は全部の位置にキャリブレーションマークを表示させることで、当該位置におけるポインタ２の表示位置を校正してもよい。
ＭＰＵ３５は、ポインタ２がキャリブレーションマーク９６上に表示されたときに、ポインタ２を一時的に強調表示させてもよい。これにより、ポインタ２の表示位置が校正されたことをユーザに認識させることができる。ポインタ２の強調表示としては、ポインタ２のハイライト表示、拡張表示などが含まれる。
なお、制御装置４０は、例えば表示装置５に電気的に接続された時点で、表示装置５のデバイス情報（画面情報、その他の書誌的情報等）を取得する。
次に、制御装置４０が、このような実画面９５及び仮想画面１０５を用いてポインタ２の動きを制御するときの動作について説明する。図１３は、そのフローチャートである。
上記のようにキャリブレーションが終了し、ＭＰＵ３５は、入力装置１からの入力情報に基き生成したポインタ２の座標値が、第１の座標系の境界ラインに達したか否かを判定する（ステップ３０１）。
境界ラインとは、第１の座標系の端部のラインであって、第２の座標系との境界のラインである。図１１では、座標（0,0）から（x1,0）まで、及び、(0,y1)から（x1,y1）までの横の２本のライン（+Y及び-Y）と、また、座標（0,0）から（0,y1）まで、及び、（x1,0）から（x1,y1）までの縦の２本のライン（-X及び+X）のうち、いずれか１つのラインである。
あるいは、境界ラインは、ある程度の幅を持ったライン、つまり、２以上のピクセル分の幅を持つラインとして設定されてもよい。
ＭＰＵ３５は、ステップ３０１で、ポインタ２の座標値が第１の座標系の境界ラインに達しない場合、ステップ３０２に進む。ステップ３０２では、ＭＰＵ３５は、ポインタ２は第１の座標系にあるので、その座標値に応じてポインタ２を表示する。
以降の説明では、理解を容易にするため、実画面９５上で表示されるポインタ２を実ポインタという場合もある。また、仮想画面１０５上で管理されるポインタを仮想ポインタ２'という場合もある。
ステップ３０１で、ポインタ２の座標値が第１の座標系の境界ラインに達した場合、ＭＰＵ３５は、実ポインタ２と仮想ポインタ２'とを別管理する（ステップ３０３）。本実施の形態では、ＭＰＵ３５は、ステップ３０３では、第２の座標系による仮想ポインタ２'の座標値の生成を開始し、実ポインタを境界ラインで表示させたまま、第２の座標系で仮想ポインタ２'の座標管理を行う。
ＭＰＵ３５は、ポインタ２の座標値が４つの境界ライン-Y、-X、+Y、+Xのうちどの境界ラインに属する座標値であるかを判定する（ステップ３０４、３０６、３０８）。
その座標値が境界ライン-Yに属する場合、仮想ポインタ２'の座標値（xa,0-δy）をメモリに記憶する。また、その場合、実ポインタ２の座標値を（xa,0）として表示する（ステップ３０５）。ここで、xaは変化する値である。
図１５は、例えば座標値が、第１の座標系から境界ライン-Yを超えて第２の座標系に入ったときの、仮想ポインタ２'及び実ポインタ２の動きを示す図である（ステップ３０４及び３０５に対応）。この場合、境界ライン-Y上にある実ポインタ２（x,0）が、-δx、-δyだけ動いた様子が示されている。この場合も同様に、ＭＰＵ３５は、実ポインタ２の座標値を（x,0）から（x-δx,0）に移動するようにポインタ２の表示を制御する。
その座標値が境界ライン-Xに属する場合、仮想ポインタ２'の座標値（0-δx,ya）をメモリに記憶する。また、その場合、実ポインタ２の座標値を（0,ya）として表示する（ステップ３０７）。ここで、yaは変化する値である。
図１４は、例えば生成された座標値が、第１の座標系から境界ライン-Xを超えて第２の座標系に入ったときの、仮想ポインタ２'及び実ポインタ２の動きを示す図である（ステップ３０６及び３０７に対応）。この場合、境界ライン-X上にある実ポインタ２（0,y）が、-δx、+δyだけ動いた様子が示されている。（入力装置１からの入力情報の第１の入力値に対応する座標値から、第２の入力値に対応する座標値まで動いた様子が示されている。）この場合、ＭＰＵ３５は、実ポインタ２の座標値を（0,y）から（0,y+δy）に移動するようにポインタ２の表示を制御する。すなわち、境界ライン-X上にある実ポインタ２の座標値は、仮想画面１０５上の仮想ポインタ２'の座標値の記憶の更新に対応して、更新される。
これにより、ユーザは、仮想画面１０５上をポインティングしている場合に、実画面９５上の境界ライン上で表示されるポインタ２の位置を見ることで、縦方向または横方向でその仮想画面１０５上のどの位置をポインティングしているかを認識することができる。
図１３の説明に戻る。ステップ３０８において、座標値が境界ライン+Yに属する場合、仮想ポインタ２'の座標値（xa,y1+δy）をメモリに記憶する。また、その場合、実ポインタ２の座標値を（xa,y1）として表示する。ここで、xaは変化する値である。
その座標値が境界ライン+Xに属する場合、仮想ポインタ２'の座標値（x1+δx,ya）をメモリに記憶する。また、その場合、実ポインタ２の座標値を（x1,ya）として表示する（ステップ３１０）。ここで、yaは変化する値である。
ＭＰＵ３５は、次に生成されたポインタの座標値が、第２の座標系から第１の座標系の境界ラインに達したか否かを判定する（ステップ３１１）。ＮＯの場合、ステップ３０３からの処理が繰り返される。その後のステップ３０５、３０７、３０９、３１０では、メモリに記憶された仮想ポインタ２'の座標値が、新たな仮想ポインタ２'の座標値に更新される。
ステップ３１１でＹＥＳの場合、ＭＰＵ３５は、その座標値が第１の座標系の境界ライン以外の領域に達したかを判定し（ステップ３１２）、ＹＥＳの場合、ステップ３０２からの処理を繰り返す。
図１６は、例えば座標値が、第１の座標系から境界ライン-Xを超えて第２の座標系に入り、かつ、第２の座標系の、境界ライン-Yの下方の領域まで達したときの、仮想ポインタ２'及び実ポインタ２の動きを示す図である。この状態は、上記ステップ３０６〜３０９に対応する。
以上のように、実画面９５だけでなく、その実画面９５の周囲に設定された仮想画面１０５においても、仮想ポインタ２'の座標が生成され、記憶される。これにより、ユーザは、例えば実画面９５の外側で入力装置１が動いた分だけ、入力装置を例えば逆方向に動かすことにより、実画面９５の境界ラインに到達したポインタ２の実画面９５上での移動を再開させることができる。これにより、ポインタ２の表示位置と入力装置１の相対位置のずれを防止することができる。つまり、狭い画面に束縛されることがなく、擬似的な絶対座標系でポインタの座標値が生成されるので、ユーザは、直感的にストレスなく入力装置１を操作することができる。
また、例えば、ポインタが仮想画面の外側の領域にまで到達するほど入力装置が大きく移動操作された場合、画面上でのポインタの位置のずれが生じ得る。この場合、上記校正手段によりポインタ位置の校正処理が実行されることで、ポインタの表示位置のずれを解消でき、ユーザによる直感的なポインタの移動操作性を確保することができる。
次に、本発明の他の実施の形態について説明する。図１７は、制御装置４０が表示装置５に表示させる、他の実施形態に係る画面を示す図である。
制御装置４０が表示装置５に表示させる実画面９５の４つのコーナには、所定のアイコン９８ａ、９９ａ、１０１ａ及び１０２ａを含む。これら複数のアイコン９８ａ、９９ａ、１０１ａ及び１０２ａは、ユーザの入力装置１による選択操作の対象となる選択操作領域の一部（実表示領域）の画像データである。
制御装置４０は、これらのアイコン９８ａ、９９ａ、１０１ａ及び１０２ａにそれぞれ連続する選択操作領域の一部（仮想表示領域）９８ｂ、９９ｂ、１０１ｂ及び１０２ｂを、仮想画面１０５の第２の座標系に対応付けるようにして、これらの領域をＲＡＭ３６、ＲＯＭ３６、またはその他の記憶デバイスに記憶している。制御装置４０は、上記実表示領域及び仮想表示領域を含む選択操作領域９８、９９、１０１及び１０２に表示される画像データを生成する。本実施の形態では、実画面９５にアイコン９８ａ、９９ａ、１０１ａ及び１０２ａを常に表示させるが、後述するように、これに限られない。
選択操作領域９８は、例えばテレビジョン放送等のチャンネルアップのための操作領域である。選択操作領域９９は、そのチャンネルダウンのための操作領域である。選択操作領域１０１は、音声出力のボリュームアップのための操作領域である。選択操作領域１０２は、その音声出力のボリュームダウンのための操作領域である。選択操作領域９８、９９、１０１、１０２は、例えば矩形状に設定されている。しかし、それらの外形が曲線部分を有していてもよく、あらゆる形状に設定の変更が可能である。
図１８は、本実施の形態における制御装置４０の動作を示すフローチャートである。
ＭＰＵ３５は、上記したキャリブレーション後、生成されたポインタ２の座標値が第１の座標系の境界ラインに達したか否かを判定する（ステップ４０１）。ＮＯの場合、図１３の処理と同様に、ＭＰＵ３５は、ステップ４０２に進む。
ここで、ＭＰＵ３５は、その座標値が、アイコン９８ａ、９９ａ、１０１ａ及び１０２ａのうちいずれか１つの領域内にあるか否かを判定してもよい（ステップ４０３）。この場合、ＭＰＵ３５は、その座標値がその領域内にない場合、ステップ４０２に進めばよい。このステップ４０３の判定処理はなくてもよい。
ステップ４０１でＹＥＳの場合、図１３の処理と同様に、ＭＰＵ３５は、ステップ４０４に進み、ＭＰＵ３５は、第２の座標系による仮想ポインタ２'の座標値の生成を開始する。ステップ４０５では、例えばＭＰＵ３５は、実ポインタ２を境界ライン上に残してそれを静止させるか、または、その表示を消す処理を実行する。
ＭＰＵ３５は、次に生成された仮想ポインタ２'の座標値が仮想画面１０５内で設定された、選択操作領域９８ｂ、９９ｂ、１０１ｂ及び１０２ｂのうちいずれか１つにあるか否かを判定する（ステップ４０６）（判定手段）。ＮＯの場合、ＭＰＵ３５は、ステップ４０４からの処理を繰り返す。
ステップ４０６でＹＥＳの場合、ＭＰＵ３５は、生成された仮想ポインタ２'の座標値に対応する選択操作領域９８ｂ、９９ｂ、１０１ｂまたは１０２ｂにおける選択対象を制御する（ステップ４０７）（選択制御手段）。ステップ４０７では、ＭＰＵ３５は、例えば所定の一定速度でチャンネルを切り替えたり、またはボリュームを選択したりすればよい。その一定の切り替え速度は、ユーザによるカスタマイズにより変更可能とされてもよい。
ステップ４０８及び４０９は、図１３に示したステップ３１１及び３１２と同様の処理である。
なお、ステップ４０５の以降の処理において、ＭＰＵ３５は、実ポインタ２を静止させず、または表示も消さず、ステップ４０７を実行し、かつ、図１３に示したステップ３０５〜３１１の処理を実行してもよい。
本実施の形態では、ユーザは、実画面９５上に表示されたアイコン９８ａ、９９ａ、１０１ａ及び１０２ａにポインタ２を合わせることにより、仮想画面１０５上でポインティング操作して、選択対象を選択することができる。本実施の形態の場合、アイコン９８ａ、９９ａ、１０１ａ及び１０２ａは、いわば選択対象のインデックスのような機能を果たす。
図１９は、図１７に示す画面の変形例である。
図１７に示した形態では、選択操作領域９８、９９、１０１、１０２の形状は、実画面９５の四隅位置を部分的に含む矩形であった。図１９における選択操作領域２０３〜２０６は、それぞれ、隣接する実画面９５の各辺の全域を含む台形に設定されている。選択操作領域２０３（２０３ａ及び２０３ｂ）は、境界ライン-Xをまたいで第１及び第２の座標系で設定されている。選択操作領域２０４（２０４ａ及び２０４ｂ）は、境界ライン+Xをまたいで第１及び第２の座標系で設定されている。選択操作領域２０５（２０５ａ及び２０５ｂ）は、境界ライン+Yをまたいで第１及び第２の座標系で設定されている。選択操作領域２０６（２０６ａ及び２０６ｂ）は、境界ライン-Yをまたいで第１及び第２の座標系で設定されている。
選択操作領域２０３及び２０４は、それぞれチャンネルアップ及びダウンのための操作領域である。選択操作領域２０５及び２０６は、それぞれボリュームアップ及びダウンのための操作領域である。
図２０は、図１９に示した画面での制御装置４０の処理を示すフローチャートである。本実施の形態では、ＭＰＵ３５は、図１８に示したフローチャートにおいて、ステップ４０３及び４０６がない処理を実行することにより、上記と同様の作用効果が得られる。
図２１は、図１９に示した画面での別の処理を示すフローチャートである。この処理フローでは、ステップ６０５が、ステップ５０５と異なる。ステップ５０５では、ＭＰＵ３５は、ユーザの入力装置１を移動させることにより発生する入力情報に応じて生成した仮想ポインタ２'の座標値に応じて、選択対象のスイッチング速度を可変に制御して、選択対象を制御する。
典型的には、ステップ６０５では、ユーザは、仮想画面１０５上で入力装置１を動かすことで、チャンネルの選択のスピード（スイッチング速度）を変更したり、ボリュームの選択のスピード（スイッチング速度）を選択したりすることができる。これにより、ユーザは、アナログ的な操作感で、直感的に選択対象を選択することができる。
図２２を参照して、典型的には、ＭＰＵ３５は、第１の座標系の境界ラインからの仮想ポインタ２'の距離に応じて、スイッチング速度を可変に制御すればよい。例えば境界ラインからの仮想ポインタ２'が離れるほど、スイッチング速度が早く（または遅く）なればよい。例えば、選択操作領域２０３ｂについて説明すると、境界ライン-Xからの横方向での距離に応じて、チャンネルのスイッチング速度が可変に制御されればよい。
選択操作領域としては、図１７及び図１９で示した選択操作領域９８、９９、１０１、１０２、２０３〜２０６の形態に限られない。例えば、それらの形状、大きさ、または、１つの選択操作領域の実画面９５上での大きさと仮想画面１０５上での大きさの比率等、適宜変更可能である。あるいは、仮想画面１０５のみに選択操作領域が設定されていてもよい。
あるいは、選択操作領域９８、９９、１０１、１０２、２０３〜２０６における選択対象は、音量コントロール、放送番組等のチャンネル選択に限られない。例えば、選択対象としては、画像の再生または停止の選択、画像の早送りまたは巻き戻しの選択、実画面９５上で流れるように表 示される１つ１つの画像の選択（いわゆるスクロール機能）、その他様々なメニュー画面の選択項目となり得る対象である。
図１７で示した画面について制御装置４０の処理においても、ＭＰＵ３５は、図２０のステップ５０５のようなスイッチング速度の可変制御を実行してもよい。この場合、例えば選択操作領域９８ｂ（または、９９ｂ、１０１ｂ、１０２ｂ）から仮想ポインタ２'が外れた場合でも、ＭＰＵ３５は、その可変制御を継続してもよい。
図２３及び図２４は、本発明の他の実施の形態を示している。図１７、図１９及び図２２に示した実施形態では、アイコン（選択操作領域）の実表示領域９８ａ、９９ａ、１０１ａ、１０２ａ、２０３ａ、２０４ａ、２０５ａ及び２０６ａが常に実画面９５上に表示される場合について説明した。本実施の形態では、アイコンの実表示領域は通常、実画面９５上には表示されず、仮想画面１０５内に表示される選択操作領域の仮想表示領域にポインタ２'が移動されたときに、アイコンの実表示領域が実画面９５上に表示される。
例えば図２３を参照して、第１の選択操作領域３０１は、境界ライン-Xに沿った仮想画面１０５内にその仮想表示領域３０１ｂが設定され、第２の選択操作領域３０２は、境界ライン+Xに沿った仮想画面１０５内にその仮想表示領域３０２ｂが設定されている。
本実施の形態において、第１の選択操作領域３０１は、テレビジョン放送のチャンネル選択用のアイコン、第２の選択操作領域３０２は、ボリューム（音量）調整用のアイコンとして構成されている。第１の選択操作領域３０１の仮想表示領域３０１ｂは、境界ライン-Xに沿って設定チャンネルが段階的に変化するチャンネル設定領域を有し、第２の選択操作領域３０２の仮想表示領域３０２ｂは、境界ライン+Xに沿って音量が段階的に変化するボリューム設定領域を有する。
第１及び第２の選択操作領域３０１、３０２のそれぞれの実表示領域３０１ａ、３０２ａは、ポインタ２が実画面９５上に位置しているときは、表示されない。実表示領域３０１ａ、３０２ａは、ポインタ２が、境界ライン-X、+Xを超えて仮想画面１０５内に移動したときに、表示される。図２３は、カーソル２が境界ライン-Xを超えて仮想画面１０５内に移動したときの様子を示している。図２４は、カーソル２が境界ライン+Xを超えて仮想画面１０５内に移動したときの様子を示している。
ＭＰＵ３５は、カーソル２（２'）の座標情報に基いて、カーソル２（２'）が境界ライン-X又は+Xを超えて仮想画面１０５内に移動したか否かを判定する。ＭＰＵ３５は、境界ライン-X又は+Xを超えることで生成された仮想ポインタ２'の座標情報に基づいて、対応するチャンネル設定領域又はボリューム設定領域を決定する。そして、ＭＰＵ３５は、対応する設定チャンネル又は音量を表示したアイコン（実表示領域３０１ａ、３０２ａ）を、実画面９５上に表示する。これらのアイコン（実表示領域３０１ａ、３０２ａ）は、各設定領域に隣接して表示され、ポインタ２（２'）のｙ座標の変化に対応して、異なる表示内容のアイコンが境界ライン-X、+Xに沿って表示される。
以上のように、カーソル２が仮想画面１０５内に移動したときのみ選択操作領域３０１、３０２の実表示領域３０１ａ、３０２ａを実画面９５上に表示することで、ユーザの意図を反映した選択操作領域の表示制御を行うことが可能となる。また、定常的には実画面９５上に選択操作領域３０１、３０２が表示されないことで、実画面９５に表示される画像の視認性が高められる。
チャンネル切り替え制御及びボリューム調整制御は、実画面９５上にアイコン（実表示領域３０１ａ、３０２ａ）が表示されたと同時に行われてもよいし、表示されたアイコン３０１ａ、３０２ａに対する入力装置１によるボタン入力操作を待って行われてもよい。また、チャンネル設定用のアイコン（実表示領域３０１ａ）は、当該チャンネルで受信された映像をサブ画面として同時に表示されてもよい。サブ画面は選択されたチャンネルの画像だけに限られず、これ以外の複数のチャンネルの画像も同時に表示されてもよい。この場合、ポインタの上下方向の移動に伴って、表示される画像群が逐次切り替わるようにしてもよい。ポインタ２の入力操作によって選択された画像は、実画面９５での表示画像へ切り替えられる。この場合、例えば、アイコンの表示位置から徐々に実画面９５内で拡大するなどの種々の表示制御方法が採用可能である。
図２５及び図２６は、図２３及び図２４に示す画面の変形例を示している。本実施の形態では、ビデオ再生時（編集時）の画面を示している。
本実施の形態も同様に、アイコンの実表示領域は通常、実画面９５上には表示されず、仮想画面１０５内に表示される選択操作領域の仮想表示領域にポインタ２'が移動されたときに、アイコンの実表示領域が実画面９５上に表示される。
例えば図２５を参照して、第１の選択操作領域３０３は、境界ライン+Xに沿った仮想画面１０５内にその仮想表示領域３０３ｂが設定され、第２の選択操作領域３０４は、境界ライン-Yに沿った仮想画面１０５内にその仮想表示領域３０４ｂが設定されている。本実施の形態において、第１の選択操作領域３０３は、再生画面のコマ送り用のアイコン、第２の選択操作領域３０４は、実画面９５に表示された映像に対するチャプタ設定用のアイコンとして構成されている。
第１及び第２の選択操作領域３０３、３０４のそれぞれの実表示領域３０３ａ、３０４ａは、ポインタ２が実画面９５上に位置しているときは、表示されない。実表示領域３０３ａ、３０４ａは、ポインタ２が、境界ライン+X、-Yを超えて仮想画面１０５内に移動したときに、表示される。図２５は、カーソル２が境界ライン+Xを超えて仮想画面１０５内に移動したときの様子を示している。図２６は、カーソル２が境界ライン-Yを超えて仮想画面１０５内に移動したときの様子を示している。
ＭＰＵ３５は、カーソル２（２'）の座標情報に基いて、カーソル２（２'）が境界ライン+X又は-Yを超えて仮想画面１０５内に移動したか否かを判定する。ＭＰＵ３５は、境界ライン+X又は-Yを超えることで生成された仮想ポインタ２'の座標情報に基づいて、コマ送り操作又はチャプタ設定画面を表示したアイコン（実表示領域３０３ａ、３０４ａ）を、実画面９５上に表示する。これらのアイコン（実表示領域３０３ａ、３０４ａ）は、各設定領域に隣接して表示される。
以上のように、カーソル２が仮想画面１０５内に移動したときのみ選択操作領域３０３、３０４の実表示領域３０３ａ、３０４ａを実画面９５上に表示することで、ユーザの意図を反映した選択操作領域の表示制御を行うことが可能となる。また、定常的には実画面９５上に選択操作領域３０３、３０４が表示されないことで、実画面９５に表示される画像の視認性が高められる。
画像のコマ送り制御は、実画面９５上にアイコン（実表示領域３０３ａ）が表示されたと同時に行われてもよいし、表示されたアイコン３０３ａに対する入力装置１によるボタン入力操作を待って行われてもよい。また、チャプタ設定制御は、例えば、チャプタを設定したい場面で入力装置１のボタンを入力操作することで、シークバー（スライダ）３０４ｃの移動経路上にチャプタマーク３０４ｄが表示される。
本発明に係る実施の形態は、以上説明した実施の形態に限定されず、他の種々の実施形態が考えられる。
上記各実施の形態では、入力装置１として空間操作型の入力装置を例に挙げた。しかし、これに代えて平面操作型の入力装置であってもよい。平面操作型の入力装置は、例えば一般的なマウス、あるいは、ゲーム用のコントローラで用いられる十字操作キーによる入力装置、あるいはジョイスティックのような入力装置であってもよい。
上記各実施の形態では、入力装置１の動きに応じて画面上で動くポインタ２を、矢印の画像として表した。しかし、ポインタ２の画像は矢印に限られず、単純な円形、角形等でもよいし、キャラクタ画像、またはその他の画像であってもよい。
上記ポインタは、いわゆるカーソルと称されるような定形性を有するものだけに限られず、画面上に表示されたアイコン等のＵＩを選択することが可能な種々の形態のものが含まれる。例えば、上記ポインタは、常に定形で表示されるものに限られず、ＵＩの選択操作が可能な領域に到達したときにそのポインタ位置が顕在化する形態も含まれる。
また、仮想ポインタ２'の座標位置の変化に対応して、ポインタ２の表示を実画面９５と仮想画面１０５との境界ライン上で変化させてもよい。
例えば、図２７（Ａ）に示すように、境界ライン（図示の例では、-Xの境界ライン）においてポインタ２の表示色を、仮想ポインタ２'の位置に応じて変化させることができる。例えば、境界ラインに達したときにポインタの表示色を白色から緑色に変化させる。表示色の変化としては、仮想ポインタ２'が実画面９５から遠ざかるにつれて、表示色の明るさや濃度を変化させること等が含まれる。
あるいは、図２７（Ｂ）に示すように、上記境界ラインにおいてポインタ２の態様を、仮想ポインタ２'の位置に応じて変化させることができる。図示の例では、仮想画面１０５側にポインタ２の軸部が撓んだ様子を示している。また、このポインタ２の態様の変化には、ポインタ２が傾く、潰れるなどの変形も含まれる。ポインタ２の変形量は、仮想ポインタ２'が実画面９５から遠ざかるほど大きくすることができる。
これにより、ポインタが仮想画面内に位置していること、及び、ポインタが仮想画面内のどの辺りに位置しているかをユーザに認識させることが可能となる。ポインタの表示態様の変化のその他の例として、ポインタ２が仮想画面側へ向かって走っている様子を表示するなど、ポインタ２のアニメーション化が挙げられる。
上記表示装置５が表示する実画面９５及びその仮想画面１０５の形状は矩形であった。しかし、実画面９５の形状は、三角形、または５角形以上の多角形、円形、楕円形、またはこれらのうち少なくとも２つの組み合わせの形状であってもよい。仮想画面１０５も同様に多様な形状が考えられる。実画面９５と仮想画面１０５の形状が異なっていてもよい。
上記の説明では、実画面９５及び仮想画面１０５の座標系は直交座標系であった。しかし、実画面及び／または仮想画面の座標系は極座標系であってもよい。
上記の説明では、実画面９５及び仮想画面１０５は平面であった。しかし、実画面及び／または仮想画面は、曲面であってもよい。
第１及び第２の座標系のスケールは、上記説明では典型的には実質的に同じであったが、異なっていてもよい。
図１３に示した処理では、ＭＰＵ３５が仮想ポインタ２'の座標値を生成しているときに、つまり仮想ポインタ２'が仮想画面上で動いているときに、境界ライン上で実ポインタ２が移動するように表示制御された。しかし、ＭＰＵ３５は、仮想ポインタ２'の座標値を生成している間は、入力装置１からの入力情報に非相関な処理を実行してもよい。非相関な処理とは、ポインタの表示を消す処理、ポインタの表示させたり消したりする（点滅）処理、ポインタを実画面上で静止させる処理、ポインタが特定の記号または図形に変更する処理、あるいは、ポインタが入力情報に関わらず特定の動きをする処理等が挙げられる。このことは、図１８、図２０、図２１の処理についても同様である。
図９及び図１０の処理では、ポインタの座標値を制御装置４０が生成していた。しかし、入力装置１がポインタの座標値を生成し、その座標情報を制御装置４０に送信するか、または、その生成された座標情報による表示の制御信号を表示装置５に送信してもよい。
入力装置１が、例えば加速度センサユニット１６を備え、角速度センサユニット１５を備えない形態も考えられる。この場合、ステップ１０３で速度値（Vx、Vy）は、加速度センサユニット１６により検出される加速度値（ax、ay）を積分演算することで求められる（ただし、この場合、Ｙ及びＸ軸周りの角速度（ωψ、ωθ）は求めることができない。）。加速度センサユニット１６の代わりに、イメージセンサにより加速度が算出されてもよい。
上記角速度センサユニット１５の代わりとして、角度センサあるいは角加速度センサが用いられてもよい。角度センサとしては、地磁気センサまたはイメージセンサ等が挙げられる。例えば３軸地磁気センサが用いられる場合、角度値の変化量が検出されるので、その場合、角度値が微分演算されることで角速度値が得られる。角加速度センサは、複数の加速度センサの組み合わせにより構成され、角加速度センサにより得られる角加速度値が積分演算されることで、角速度値が得られる。これらのような実施形態の意味において、主にＭＰＵ１９または３５は、角度に関連する値としての角度関連値を出力する算出手段として機能する。
例えば、上記のように回転半径Ｒ(ｔ)を算出する場合において、Ｙ及びＸ軸周りの角加速度を検出する上記角加速度センサ、または角度を検出するセンサが用いられてもよい。この場合、角加速度センサにより検出された角加速度値が積分演算されることで角速度値（ωψ、ωθ）が求められる。あるいは、角度センサにより検出された角度値が微分演算されることで角速度値（ωψ、ωθ）が求められる。
上記角加速度センサとして、１軸の角加速度センサとしては、典型的には回転半径上Ｒ(ｔ)上に配置された２つの１軸加速度センサが用いられる。２つの加速度センサによりそれぞれ得られる２つの加速度値の差を、その２つの加速度センサ間の距離で除することで、入力装置１等の角速度値が算出される。２軸の角加速度センサとしては、上記２つの１軸加速度センサの検出原理と同様に、２つの２軸加速度センサが用いられればよい。この場合、角度センサとして、上記地磁気センサ及びイメージセンサのほか、例えばロール角φ（図８におけるＺ軸周りの角度）を求めるような原理を実現するように、２軸の加速度センサが用いられればよい。したがって、Ｙ及びＸ軸周りの２軸の角度を検出するためには、２つの２軸加速度センサが用いられればよい。
上記実施の形態に係る入力装置は、無線で入力情報を制御装置に送信する形態を示したが、有線により入力情報が送信されてもよい。
本発明は、例えば、表示部を備えるハンドヘルド型の情報処理装置（ハンドヘルド装置）に適用されてもよい。この場合、ユーザがハンドヘルド装置の本体を動かすことで、その表示部に表示されたポインタが動く。ハンドヘルド装置として、例えば、ＰＤＡ（Personal Digital Assistance）、携帯電話機、携帯音楽プレイヤー、デジタルカメラ等が挙げられる。
センサユニット１７の、角速度センサユニット１５及び加速度センサユニット１６の検出軸は、上述のＸ'軸及びＹ'軸のように必ずしも互いに直交していなくてもよい。その場合、三角関数を用いた計算によって、互いに直交する軸方向に投影されたそれぞれの加速度が得られる。また同様に、三角関数を用いた計算によって、互いに直交する軸の周りのそれぞれの角速度を得ることができる。
以上の各実施の形態で説明したセンサユニット１７について、角速度センサユニット１５のＸ'及びＹ'の検出軸と、加速度センサユニット１６のＸ'及びＹ'軸の検出軸がそれぞれ一致している形態を説明した。しかし、それら各軸は、必ずしも一致していなくてもよい。例えば、角速度センサユニット１５及び加速度センサユニット１６が基板上に搭載される場合、角速度センサユニット１５及び加速度センサユニット１６の検出軸のそれぞれが一致しないように、角速度センサユニット１５及び加速度センサユニット１６がその基板の主面内で所定の回転角度だけずれて搭載されていてもよい。その場合、三角関数を用いた計算によって、各軸の加速度及び角速度を得ることができる。
１…入力装置
２…ポインタ（実ポインタ）
２'…仮想ポインタ
５…表示装置
１０…筐体
１５…角速度センサユニット
１６…加速度センサユニット
１７…センサユニット
１９、３５…ＭＰＵ
４０…制御装置
９５…実画面
９６…キャリブレーションマーク
９８、９９、１０１、１０２、２０３〜２０６、３０１〜３０４…選択操作領域
１００…制御システム

Claims (20)

  1. 入力装置の空間内での動きの量を含む入力情報に基き、ポインタの表示を制御する制御装置であって、
    実画面に対応する第１の座標系で前記入力装置の動きの量を積算し、前記ポインタの位置を示す第１の座標情報と、前記第１の座標系に関連付けられた仮想画面に対応する第２の座標系で前記入力装置の動きの量を積算し、前記ポインタの仮想的な位置を示す第２の座標情報と、を生成する生成手段と、
    前記生成された第１及び第２の座標情報に応じて前記実画面上での前記ポインタの表示を制御する表示制御手段と
    を具備する制御装置。
  2. 請求項１に記載の制御装置であって、
    前記入力装置による選択操作の対象となる選択操作領域の、前記仮想画面上の仮想表示領域を、前記第２の座標系に対応付けることで、前記仮想表示領域を記憶する記憶手段と、
    前記生成された第２の座標情報が、前記仮想表示領域内にあるか否かを判定する判定手段と、
    前記生成された第２の座標情報が、前記仮想表示領域内にある場合、前記選択操作の対象を制御する選択制御手段と
    をさらに具備する制御装置。
  3. 請求項２に記載の制御装置であって、
    前記表示制御手段は、前記選択操作領域のうち、前記実画面上の、前記仮想表示領域に隣接する実表示領域の画像データを生成する制御装置。
  4. 請求項３に記載の制御装置であって、
    前記表示制御手段は、前記第２の座標情報が前記仮想表示領域内にあると前記判定手段が判定したとき、前記実表示領域を前記実画面上に表示させる制御装置。
  5. 請求項２に記載の制御装置であって、
    前記選択制御手段は、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ラインからの、前記生成される第２の座標情報の距離に応じて、前記選択操作によるスイッチング速度を可変に制御する制御装置。
  6. 請求項２に記載の制御装置であって、
    前記記憶手段は、複数の前記選択操作領域のそれぞれの前記仮想表示領域を、前記第２の座標系に対応付けることで、複数の前記仮想表示領域を記憶する制御装置。
  7. 請求項１に記載の制御装置であって、
    前記表示制御手段は、
    前記入力情報が、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ライン上の位置に対応する第１の入力値から、前記第２の座標系の、前記境界ラインに隣接する領域上の位置に対応する第２の入力値に変わったとき、前記境界ライン上に前記ポインタが表示されるように、前記ポインタの表示を制御する制御装置。
  8. 請求項７に記載の制御装置であって、
    前記表示制御手段は、前記生成手段により生成される前記第２の座標情報に応じて、前記境界ライン上で前記第１の座標値を更新することで、前記ポインタを前記境界ライン上で移動させるように前記ポインタの表示を制御する制御装置。
  9. 請求項７に記載の制御装置であって、
    前記表示制御手段は、前記第２の入力値の変化に応じて、前記境界ライン上の前記ポインタの表示態様を変化させる制御装置。
  10. 請求項１に記載の制御装置であって、
    前記表示制御手段は、前記第１の座標系に前記ポインタが位置することを示す前記入力情報の第１の入力値から、前記第２の座標系に前記ポインタが位置することを示す前記入力情報の第２の入力値に、前記入力情報が変わったとき、前記ポインタの状態を、前記入力情報に非相関な処理を実行するための信号を発生する制御装置。
  11. 請求項１０に記載の制御装置であって、
    前記入力情報に非相関な処理は、前記ポインタを前記実画面上で静止させる処理を含む制御装置。
  12. 請求項１に記載の制御装置であって、
    前記生成された第１の座標情報が、前記第１の座標系の端部のラインであって前記第２の座標系との境界となる境界ライン上にあるか否かを判定する判定手段と、
    前記第１の座標情報が前記境界ライン上にある場合、前記生成手段による前記第２の座標情報の生成を開始させる開始手段と
    をさらに具備する制御装置。
  13. 請求項１に記載の制御装置であって、
    前記入力装置のボタン操作に応じて出力されるコマンド信号を受信する受信手段と、
    前記受信されたコマンド信号に基いて、前記ポインタの位置を前記実画面上の所定の基準位置に対応させる校正手段と
    をさらに具備する制御装置。
  14. 請求項１３に記載の制御装置であって、
    前記表示制御手段は、前記ポインタが前記基準位置に表示されたときに、前記ポインタを一時的に強調表示する制御装置。
  15. 請求項１に記載の制御装置であって、
    前記入力装置は、前記入力装置の加速度値及び前記入力装置の角速度値のうち少なくとも一方に基づき、前記入力装置の速度値を生成し、前記速度値の情報を送信する空間操作型の入力装置であり、
    前記制御装置は、
    前記送信された速度値の情報を前記入力情報として受信する受信手段をさらに具備する制御装置。
  16. 請求項１に記載の制御装置であって、
    前記入力装置は、前記入力装置の加速度値及び前記入力装置の角速度値のうち少なくとも一方の情報を送信する空間操作型の入力装置であり、
    前記制御装置は、
    前記送信された加速度値及び角速度のうち少なくとも一方の情報を受信する受信手段と、
    前記受信された加速度値及び角速度のうち少なくとも一方の情報に基き、前記入力装置の速度値を算出する算出手段とをさらに具備し、
    前記生成手段は、前記算出された速度値の情報を前記入力情報として、前記入力情報に応じた前記第１及び第２の座標情報を生成する制御装置。
  17. ポインタの表示を制御する入力装置であって、
    筐体と、
    前記筐体の空間内での動きを検出し、前記筐体の動きの量を含む入力情報を生成する入力情報生成手段と、
    実画面に対応する第１の座標系で前記筐体の動きの量を積算し、前記ポインタの位置を示す第１の座標情報と、前記第１の座標系に関連付けられた仮想画面に対応する第２の座標系で前記筐体の動きの量を積算し、前記ポインタの仮想的な位置を示す第２の座標情報と、を生成する生成手段と、
    前記生成された第１及び第２の座標情報に応じて前記実画面上での前記ポインタの表示を制御する表示制御手段と
    を具備する入力装置。
  18. ポインタの表示を制御する制御システムであって、
    筐体と、
    前記筐体の空間内での動きを検出し、前記筐体の動きの量を含む入力情報を生成する入力情報生成手段と、
    前記入力情報を送信する送信手段とを有する入力装置と、
    実画面に対応する第１の座標系で前記筐体の動きの量を積算し、前記ポインタの位置を示す第１の座標情報と、前記第１の座標系に関連付けられた仮想画面に対応する第２の座標系で前記筐体の動きの量を積算し、前記ポインタの仮想的な位置を示す第２の座標情報と、を生成する生成手段と、
    前記生成された第１及び第２の座標情報に応じて前記実画面上での前記ポインタの表示を制御する表示制御手段とを有する制御装置と
    を具備する制御システム。
  19. 入力装置の空間内での動きに応じた入力情報に基き、ポインタの表示を制御する制御方法であって、
    実画面に対応する第１の座標系で前記筐体の動きの量を積算することで、前記ポインタの位置を示す第１の座標情報を生成し、
    前記第１の座標系に関連付けられた仮想画面に対応する第２の座標系で前記筐体の動きの量を積算することで、前記ポインタの仮想的な位置を示す第２の座標情報を生成し、
    前記生成された第１及び第２の座標情報に応じて前記実画面上での前記ポインタの表示を制御する
    制御方法。
  20. 筐体と、
    表示部と、
    前記筐体の空間内での動きを検出し、前記筐体の動きの量を含む入力情報を生成する入力情報生成手段と、
    実画面に対応する第１の座標系で前記筐体の動きの量を積算し、前記ポインタの位置を示す第１の座標情報と、前記第１の座標系に関連付けられた仮想画面に対応する第２の座標系で前記筐体の動きの量を積算し、前記ポインタの仮想的な位置を示す第２の座標情報と、を生成する生成手段と、
    前記生成された第１及び第２の座標情報に応じて前記実画面上での前記ポインタの表示を制御する表示制御手段と
    を具備するハンドヘルド装置。
JP2014073490A 2007-12-07 2014-03-31 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置 Abandoned JP2014167800A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014073490A JP2014167800A (ja) 2007-12-07 2014-03-31 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007317659 2007-12-07
JP2007317659 2007-12-07
JP2014073490A JP2014167800A (ja) 2007-12-07 2014-03-31 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009544682A Division JP5531616B2 (ja) 2007-12-07 2008-12-02 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Publications (1)

Publication Number Publication Date
JP2014167800A true JP2014167800A (ja) 2014-09-11

Family

ID=40717682

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009544682A Expired - Fee Related JP5531616B2 (ja) 2007-12-07 2008-12-02 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置
JP2014073490A Abandoned JP2014167800A (ja) 2007-12-07 2014-03-31 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009544682A Expired - Fee Related JP5531616B2 (ja) 2007-12-07 2008-12-02 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置

Country Status (7)

Country Link
US (1) US8531399B2 (ja)
EP (1) EP2219101A1 (ja)
JP (2) JP5531616B2 (ja)
KR (1) KR20100086931A (ja)
CN (1) CN101606120B (ja)
TW (1) TW200941302A (ja)
WO (1) WO2009072504A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052837A (ko) * 2016-11-10 2018-05-21 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제어 방법, 및 단말
WO2020149148A1 (ja) * 2019-01-18 2020-07-23 ソニー株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2021049677A1 (ko) * 2019-09-10 2021-03-18 엘지전자 주식회사 영상표시장치 및 이의 동작방법

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
EP2140916B1 (en) 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
JP5669294B2 (ja) * 2009-09-30 2015-02-12 任天堂株式会社 座標算出装置および座標算出プログラム
EP2228109B1 (en) 2009-03-09 2021-03-24 Nintendo Co., Ltd. Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
US9760186B2 (en) 2010-01-06 2017-09-12 Cm Hk Limited Electronic device for use in motion detection and method for obtaining resultant deviation thereof
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
EP2465023B1 (en) * 2009-08-10 2018-12-05 Koninklijke Philips N.V. System and method for moving a cursor on a screen
KR101646953B1 (ko) * 2010-01-12 2016-08-09 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101680113B1 (ko) * 2010-04-22 2016-11-29 삼성전자 주식회사 휴대 단말기의 ｇｕｉ 제공 방법 및 장치
HK1147905A2 (en) 2010-06-30 2011-08-19 Chi Ching Lee System and method for virtual touch sensing
CN103140825B (zh) * 2010-09-30 2016-03-30 乐天株式会社 阅览装置、阅览方法
JP5779923B2 (ja) * 2011-03-17 2015-09-16 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9857868B2 (en) * 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
JP5235032B2 (ja) * 2011-04-04 2013-07-10 シャープ株式会社 表示装置、情報処理システム及びプログラム
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
JP5870586B2 (ja) * 2011-09-28 2016-03-01 カシオ計算機株式会社 プロジェクタ制御装置、表示装置及びプログラム。
JP5902919B2 (ja) * 2011-11-09 2016-04-13 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、情報処理方法
CN103376919A (zh) * 2012-04-13 2013-10-30 十速兴业科技（深圳）有限公司 免校式光标追踪对位方法与其系统
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
TWI515632B (zh) 2012-06-26 2016-01-01 緯創資通股份有限公司 隨觸即用輸入裝置以及操作方法
KR20140055173A (ko) 2012-10-30 2014-05-09 삼성전자주식회사 입력 장치 및 그의 입력 제어 방법
CN103838360B (zh) * 2012-11-26 2018-07-06 联想(北京)有限公司 一种操作指令的识别方法和设备
JP6036217B2 (ja) * 2012-11-27 2016-11-30 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
CN103049101B (zh) * 2012-12-06 2016-04-06 上海飞智电子科技有限公司 定位指针位置的方法、系统及设备
CN103902061B (zh) * 2012-12-25 2016-12-28 华为技术有限公司 空中鼠标的光标显示方法、设备及系统
CN103111073A (zh) * 2013-01-18 2013-05-22 王一中 一种vp手柄及其手柄中虚拟电位器的运算方法
CN103111072A (zh) * 2013-01-18 2013-05-22 王一中 一种虚拟电位器及其运算方法
JP6251957B2 (ja) * 2013-01-23 2017-12-27 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
JP5779683B2 (ja) * 2013-03-27 2015-09-16 シャープ株式会社 外部機器、制御方法、表示システム、表示装置、およびテレビジョン受像機
EP2801891B1 (en) 2013-05-09 2018-12-26 Samsung Electronics Co., Ltd Input Apparatus, Pointing Apparatus, Method for Displaying Pointer, and Recordable Medium
JP2015028690A (ja) * 2013-07-30 2015-02-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20150034955A (ko) 2013-09-27 2015-04-06 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
CN103520921B (zh) * 2013-10-18 2016-06-01 深圳市宇恒互动科技开发有限公司 一种光标控制方法、系统及控制装置
EP2887184A1 (en) * 2013-12-23 2015-06-24 Movea Air pointer with improved user experience
WO2015104884A1 (ja) * 2014-01-08 2015-07-16 ソニー株式会社 情報処理システム、情報処理方法およびプログラム
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
JP6245117B2 (ja) 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10057619B2 (en) 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Remote control system and electronic device
WO2016157951A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US10860273B2 (en) * 2015-05-14 2020-12-08 Lg Electronics Inc. Display device and operation method therefor
JP6432583B2 (ja) * 2016-10-28 2018-12-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
JP6881004B2 (ja) * 2017-05-09 2021-06-02 船井電機株式会社 表示装置
CN107957781B (zh) * 2017-12-13 2021-02-09 北京小米移动软件有限公司 信息显示方法及装置
US11620044B2 (en) * 2018-10-23 2023-04-04 Lg Electronics Inc. Mobile terminal
CN109908582A (zh) * 2018-11-15 2019-06-21 网易（杭州）网络有限公司 一种信息处理方法及装置、电子设备、存储介质
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN110399052B (zh) * 2019-07-24 2020-12-11 威创集团股份有限公司 一种鼠标漫游方法及装置
DE102020109553A1 (de) 2020-04-06 2021-10-07 Leitz Acco Brands Gmbh & Co Kg Verfahren zum Abbilden einer geometrischen Figur
WO2023100249A1 (ja) * 2021-11-30 2023-06-08 日本電信電話株式会社 動き取得装置、動き取得方法及び動き取得プログラム
WO2023100250A1 (ja) * 2021-11-30 2023-06-08 日本電信電話株式会社 動き取得装置、動き取得方法及び動き取得プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143270A (ja) 1991-11-20 1993-06-11 Matsushita Electric Ind Co Ltd ウインドウシステム上のカーソル管理装置およびカーソル管理方法
JP3857504B2 (ja) 1993-05-21 2006-12-13 ソニー株式会社 入力装置、制御システム
JP4236706B2 (ja) * 1995-06-16 2009-03-11 ソニー株式会社 情報処理装置及び情報処理方法
JP3313610B2 (ja) 1997-04-24 2002-08-12 エヌイーシーシステムテクノロジー株式会社 ウィンドウ画面表示位置制御装置と方法
JP3748483B2 (ja) 1997-09-12 2006-02-22 株式会社リコー 姿勢入力装置、姿勢入力機能を備えるペン型入力装置及びそのペン型入力装置を有するペン型入力システム
JPH11353088A (ja) * 1998-06-05 1999-12-24 Nec Off Syst Ltd カーソル表示位置制御装置および方法
JP2003280785A (ja) 2002-03-26 2003-10-02 Sony Corp 画像表示処理装置、および画像表示処理方法、並びにコンピュータ・プログラム
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP4244202B2 (ja) * 2004-05-06 2009-03-25 アルパイン株式会社 操作入力装置および操作入力方法
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
JP2006172423A (ja) * 2004-11-18 2006-06-29 Canon Inc 遠隔操作システム、遠隔操作装置、被操作装置、遠隔操作方法、コンピュータプログラム、記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180052837A (ko) * 2016-11-10 2018-05-21 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제어 방법, 및 단말
US10535118B2 (en) 2016-11-10 2020-01-14 Samsung Display Co., Ltd. Display apparatus, controlling method thereof, and terminal thereof
KR102567958B1 (ko) * 2016-11-10 2023-08-17 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제어 방법, 및 단말
WO2020149148A1 (ja) * 2019-01-18 2020-07-23 ソニー株式会社 情報処理装置、情報処理方法、及び、記録媒体
US11550430B2 (en) 2019-01-18 2023-01-10 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
WO2021049677A1 (ko) * 2019-09-10 2021-03-18 엘지전자 주식회사 영상표시장치 및 이의 동작방법

Also Published As

Publication number Publication date
KR20100086931A (ko) 2010-08-02
EP2219101A1 (en) 2010-08-18
US20100265175A1 (en) 2010-10-21
CN101606120A (zh) 2009-12-16
CN101606120B (zh) 2012-08-15
US8531399B2 (en) 2013-09-10
JPWO2009072504A1 (ja) 2011-04-21
JP5531616B2 (ja) 2014-06-25
TW200941302A (en) 2009-10-01
WO2009072504A1 (ja) 2009-06-11

Similar Documents

Publication Publication Date Title
JP5531616B2 (ja) 制御装置、入力装置、制御システム、制御方法及びハンドヘルド装置
US10175784B2 (en) Control device, input device, control system, handheld device, and control method
TWI408572B (zh) Information processing device, input device, information processing system, information processing method and computer readable storage medium
JP4702475B2 (ja) 入力装置、ハンドヘルド装置及び制御方法
EP2353065B1 (en) Controlling and accessing content using motion processing on mobile devices
US9454834B2 (en) Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device
US9152246B2 (en) Input apparatus, control apparatus, control system, electronic apparatus, and control method
JP5581817B2 (ja) 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
KR20130142824A (ko) 원격 제어 장치 및 그 제어 방법
JPWO2009072471A1 (ja) 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
KR101339985B1 (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
JP5412812B2 (ja) 入力装置、制御装置、制御システム、及びハンドヘルド装置
US8456422B2 (en) Input apparatus, control apparatus, control system, control method, and handheld apparatus
JP2011108270A (ja) 入力装置、ハンドヘルド装置及び制御方法

Legal Events

Date Code Title Description
A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150401