JP2010231736A - 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム - Google Patents

Abstract

【課題】部品点数を少なくし、低コスト化することができるようにする。
【解決手段】入力装置１１は、画像表示装置１２を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される。画像表示装置１２は、入力装置１１の自由空間におけるジェスチャの信号を取得する。そして画像表示装置１２は、入力装置１１の自由空間における第１のジェスチャに基づいて、モードを設定するとともに、第１のジェスチャと異なる入力装置１１の自由空間における第２のジェスチャに基づいて、第１のジェスチャに基づいて設定されたモードにおける処理を実行する。
【選択図】図１

Description

本発明は、入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラムに関し、特に部品点数を少なくし、低コスト化することができるようにした入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラムに関する。

最近、さまざまな機器が、リモートコントローラなどの入力装置により遠隔制御される。しかし機器の機能の複雑化に伴い、入力装置のボタン、キー、レバーなどの数も増加し、操作性が悪化している。そこで、３次元自由空間で任意の方向に操作される入力装置が提案されている（例えば特許文献１）。

このような入力装置には、加速度センサーやジャイロセンサーが内蔵されており、これらにより姿勢が検知される。入力装置に対して行われる所定の操作、すなわちジェスチャが所定の機能に対応しており、ユーザーは、入力装置により所定のジェスチャを入力することで、対応する機能を指令する。これによりボタン、キー、レバーなどで操作される入力装置に較べて、ボタン、キー、レバーなどの数を減らすことができる。

また、入力装置を回転させ、その回転量に応じてモードの変量、あるいはコマンド群を切り替え、各モードの変量やコマンド群をボタンなどにより選択することも提案されている（例えば、特許文献２）。

特表２００６−５２６８４４号公報 特開２００１−２５１６９３号公報

しかしながら、いずれの提案においても、ジェスチャとボタン操作が併用されている。従ってこれらの入力装置は、部品点数を十分少なくすることができないばかりでなく、コスト高となる。

本発明はこのような状況に鑑みなされたものであり、部品点数を少なくし、低コスト化を図ることができるようにするものである。

本発明の一側面は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、モードを設定するための、操作部の自由空間における第１のジェスチャの信号と、第１のジェスチャに基づいて設定されたモードにおける処理を実行させるための、第１のジェスチャと異なる操作部の自由空間における第２のジェスチャの信号を送信する送信部とを備える入力装置である。

本発明の他の側面は、入力装置と、入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作され、情報処理装置は、入力装置の自由空間における第１のジェスチャに基づいてモードを設定し、第１のジェスチャと異なる入力装置の自由空間における第２のジェスチャに基づいて、第１のジェスチャに基づいて設定されたモードにおける処理を実行する情報処理システムである。

本発明のさらに他の側面は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部から、操作部の前記自由空間におけるジェスチャの信号を取得する取得部と、操作部の自由空間における第１のジェスチャに基づいて、モードを設定する設定部と、第１のジェスチャと異なる操作部の自由空間における第２のジェスチャに基づいて、第１のジェスチャに基づいて設定されたモードにおける処理を実行する実行部とを備える情報処理装置である。

本発明の一側面においては、操作部が、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作され、送信部が、モードを設定するための、操作部の自由空間における第１のジェスチャの信号と、第１のジェスチャに基づいて設定されたモードにおける処理を実行させるための、第１のジェスチャと異なる操作部の自由空間における第２のジェスチャの信号を送信する。

本発明の他の側面においては、入力装置は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される。情報処理装置は、入力装置の自由空間における第１のジェスチャに基づいてモードを設定し、第１のジェスチャと異なる入力装置の自由空間における第２のジェスチャに基づいて、第１のジェスチャに基づいて設定されたモードにおける処理を実行する。

本発明のさらに他の側面においては、操作部が、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作され、取得部が、操作部の前記自由空間におけるジェスチャの信号を取得し、設定部が、操作部の自由空間における第１のジェスチャに基づいて、モードを設定し、実行部が、第１のジェスチャと異なる操作部の自由空間における第２のジェスチャに基づいて、第１のジェスチャに基づいて設定されたモードにおける処理を実行する。

以上のように、本発明の実施の形態によれば、部品点数を少なくし、低コスト化することができる。

本発明の情報処理システムの一実施の形態の構成を示すブロック図である。 入力装置の構成を示す斜視図である。 入力装置の演算部の機能的構成を示すブロック図である。 画像表示装置の演算部の機能的構成を示すブロック図である。 コマンド送信処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 第１のジェスチャを説明する図である。 第３のジェスチャを説明する図である。 第２のジェスチャを説明する図である。 他のジェスチャを説明する図である。 他のジェスチャを説明する図である。 コマンド送信処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 ポインティングモード時の表示例を示す図である。 ズームモード時の表示例を示す図である。 ズームモード時の表示例を示す図である。 コマンド送信処理を説明するフローチャートである。 コマンド送信処理を説明するフローチャートである。 コマンド送信処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 入力装置の角度を説明する図である。 ポインタの表示例を示す図である。 操作量の変化を表す図である。 操作量の変化を表す図である。 入力装置の構成を示す斜視図である。 表示制御処理を説明するフローチャートである。 表示制御処理を説明するフローチャートである。 アイコンの表示例を示す図である。 入力装置の姿勢の変化を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 アイコンの表示の変化例を示す図である。 識別情報の表示例を示す図である。 識別情報の表示例を示す図である。 識別情報の表示例を示す図である。 識別情報の表示例を示す図である。 識別情報の表示例を示す図である。 識別情報の出力例を示す図である。 識別情報の出力例を示す図である。 識別情報の表示例を示す図である。

１ 情報処理システム， １１ 入力装置， １２ 画像表示装置， ３１ 加速度センサー， ３２ 角速度センサー， ３３ ドラッグボタン， ３４ 演算部， ３５ 通信部， ３６ アンテナ， ４１ 本体，５１ アンテナ， ５２ 通信部， ５３ 演算部， ５４ 表示部， １０１ 取得部， １０２ 算出部， １０３ 判定部， １０４ 設定部， １０５ 送信部， １５１ 取得部， １５２ 設定部， １５３ 実行部， １５４ 判定部， １５５ 表示部

以下、発明を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（システムの構成）
２．第１の実施の形態（入力装置の構成）
３．第１の実施の形態（演算部の機能的構成）
４．第１の実施の形態（コマンド送信処理１）
５．第１の実施の形態（表示制御処理１）
６．第２の実施の形態（コマンド送信処理２）
７．第２の実施の形態（表示制御処理２）
８．第３の実施の形態（コマンド送信処理３）
９．第４の実施の形態（コマンド送信処理４）
１０．第５の実施の形態（コマンド送信処理５）
１１．第５の実施の形態（表示制御処理３）
１２．第６の実施の形態（誤表示防止制御処理１）
１３．第６の実施の形態（誤表示防止制御処理２）
１４．第６の実施の形態（誤表示防止制御処理３）
１５．第６の実施の形態（誤表示防止制御処理４）
１６．第６の実施の形態（誤表示防止制御処理５）
１７．第７の実施の形態（表示制御処理４）
１８．第７の実施の形態（アイコンの出力例１）
１９．第７の実施の形態（アイコンの出力例２）
２０．第７の実施の形態（アイコンの出力例３）
２１．第７の実施の形態（アイコンの出力例４）
２２．変形例

＜１．第１の実施の形態＞
［システムの構成］

図１は、本発明の情報処理システムの一実施の形態の構成を示すブロック図である。

この情報処理システム１は、情報処理装置としての画像表示装置１２と、それを遠隔制御するポインティングデバイスあるいはリモートコントローラとしての入力装置１１とにより構成されている。

入力装置１１は、加速度センサー３１、角速度センサー３２、ボタン３３、演算部３４、通信部３５、およびアンテナ３６を有している。

入力装置１１はいわゆる空中リモートコントローラを構成する。加速度センサー３１と角速度センサー３２は、入力装置１１が３次元空間で任意の方向に操作された場合、それぞれ入力装置１１の加速度と角速度を検出する。

ボタン３３は、ユーザーにより操作される。ボタン３３は、図には１つのみが示されているが、実際には複数のボタンで構成される。例えばボタン３３は、ポインタを上下左右方向に移動させる場合にユーザーにより操作される方向ボタン、選択を確定するとき操作される決定ボタン、数字に対応したテンキーなどにより構成される。

例えばマイクロプロセッサなどよりなる演算部３４は、加速度センサー３１、角速度センサー３２、ボタン３３の操作結果を検出する。検出結果に対応するコマンド等の信号は、通信部３５により増幅、変調され、アンテナ３６を介して、電波で画像表示装置１２に送信される。

例えばテレビジョン受像機からなる画像表示装置１２は、アンテナ５１、通信部５２、演算部５３、および表示部５４を有している。

アンテナ５１は、入力装置１１からの電波を受信する。通信部５２は、アンテナ５１を介して受信した信号を増幅、復調する。例えばマイクロプロセッサなどよりなる演算部５３は、通信部５２からの信号に基づき、所定の動作を実行する。表示部５４は画像を表示する。なお、図示は省略されているが、画像表示装置１２は、テレビジョン放送を受信し、画像を表示部５４に表示する機能も有している。

［入力装置の構成］

図２は、入力装置の外観の構成を示す斜視図である。入力装置１１は、情報処理装置としての画像表示装置１２を制御する操作信号を生成するためにユーザーにより操作される操作部としての本体４１を有している。本体４１の上面には、１個のボタン３３が代表的に示されているが、実際には複数のボタンが設けられている。

ユーザーは入力装置１１すなわち本体４１を把持し、先頭を画像表示装置１２に向けて、３次元空間で任意の方向に操作したり、ボタン３３を操作したりする。これにより、ポインタを操作方向に移動させたり、所定のモードを設定したり、所定の動作を指令することができる。

入力装置１１の先頭には、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）の技術により製造された、加速度センサー３１と角速度センサー３２が取り付けられている。Ｘ’’Ｙ’’Ｚ’’は、加速度センサー３１の相互に垂直な相対座標系の軸である。Ｘ’Ｙ’Ｚ’は、角速度センサー３２の相互に垂直な相対座標系の軸である。Ｘ’’Ｙ’’Ｚ’’軸とＸ’Ｙ’Ｚ’軸は、それぞれ平行とされている。ＸＹＺはそれぞれ相互に垂直な絶対座標系の軸である。Ｘ軸とＺ軸は、水平面内の軸であり、Ｙ軸は、この水平面に対して垂直な鉛直方向の軸である。

本体４１の先頭（図２における右上方向の端部）を、その先に位置する画像表示装置１２の表示部５４に向けた状態で、本体４１の全体がユーザーにより、３次元空間の任意の方向に操作された場合、２軸式振動型角速度センサーで構成される角速度センサー３２は、それぞれＸ’軸とＹ’軸と平行なピッチ回転軸とヨー回転軸を中心として回転するピッチ角θとヨー角ψの角速度を検出する。あるいは振動型の角速度センサーの代わりに、地磁気式の角度センサーを用いることもできる。加速度センサー３１は、Ｘ’’軸およびＹ’’軸の方向の加速度Ａｘ（ｔ），Ａｙ（ｔ）を検出する。加速度センサー３１は、加速度をベクトル量として検知することができる。加速度センサー３１としては、Ｘ’’軸、Ｙ’’軸、およびＺ’’軸の３軸を感度軸とする３軸型加速度センサーを用いることもできる。

ユーザーは手で入力装置１１を把持し、入力装置１１の全体を３次元の自由空間において任意の方向に操作する。すなわち、入力装置１１は、いわゆる空中リモートコントローラであり、机上においたまま使用されるのではなく、空中で操作される。入力装置１１はその操作された方向を検出し、その操作された方向の操作信号を出力する。また入力装置１１は、ボタン３３が操作された場合、対応する操作信号を出力する。

［演算部の機能的構成］

図３は入力装置１１の演算部３４の機能的構成を示すブロック図である。演算部３４は、取得部１０１、算出部１０２、判定部１０３、設定部１０４、および送信部１０５を有している。

取得部１０１は、角速度や加速度の他、操作されたボタンに対応するボタン情報などを取得する。算出部１０２は、入力装置１１の角度、ポインタ移動量、ズーム量などを算出する。判定部１０３は各種の判定処理を行う。設定部１０４は、モードの設定、フラグの設定などの設定処理を行う。送信部１０５は、画像表示装置１２にコマンドなどを送信する。

図４は、画像表示装置１２の演算部５３の機能的構成を示すブロック図である。演算部５３は、取得部１５１、設定部１５２、実行部１５３、判定部１５４、および出力部１５５を有している。

取得部１５１は、入力装置１１から送信されてきた信号を取得する。設定部１５２は、モードを設定する。実行部１５３は、コマンドを実行する。判定部１５４は各種の判定を行う。出力部１５５は、信号を出力する。

［コマンド送信処理１］

図５は、入力装置１１のコマンド送信処理を説明するフローチャートである。以下、図５を参照して、入力装置１１のコマンド送信処理を説明する

ステップＳ１において取得部１０１は、操作量を取得する。具体的には、加速度センサー３１および角速度センサー３２の検出出力、並びにボタン３３の操作に基づくボタン情報が取得される。

すなわち、角速度センサー３２は、ユーザーが入力装置１１を３次元の自由空間で把持、操作した場合に発生する運動のＹ’軸周りとＸ’軸周りの角速度（ωψ（ｔ），ωθ（ｔ））を出力する。同様に加速度センサー３１は、ユーザーが入力装置１１を３次元の自由空間で把持、操作した場合に発生する運動のＸ’’軸とＹ’’軸の加速度（Ａｘ（ｔ），Ａｙ（ｔ））を出力する。取得部１０１は、検出された角速度（ωψ（ｔ），ωθ（ｔ））や加速度（Ａｘ（ｔ），Ａｙ（ｔ））を取得する。具体的には、角速度（ωψ（ｔ），ωθ（ｔ））や加速度（Ａｘ（ｔ），Ａｙ（ｔ））が演算部３４に内蔵されるＡ／Ｄ変換器によりＡ／Ｄ変換され、取り込まれる。

次にステップＳ２において送信部１０５は、ステップＳ１における取得結果に基づくコマンドを送信する。具体的には、コマンドは、通信部３５において変調され、アンテナ３６を介して電波で画像表示装置１２に送信される。

なお、ここでコマンドとは、必ずしも形式的にコマンドである必要はなく、それに基づき、画像表示装置１２が所定の処理を実行できる情報であればよい。

以上の処理が繰り返されることで、ユーザーの操作に基づいて、入力装置１１から所定のコマンドが画像表示装置１２に送信される。

［表示制御処理１］

図５に示される処理により入力装置１１からコマンドが送信されると、画像表示装置１２のアンテナ５１がその電波を受信する。通信部５２はアンテナ５１を介して受信したコマンドを復調し、演算部５３に供給する。演算部５３の取得部１５１は送信されてきたコマンドを取得する。演算部５３はこのコマンドに基づいて表示制御処理を実行する。

図６は画像表示装置１２が実行する表示制御処理を説明するフローチャートである。以下、この図６を参照して、この表示制御処理について説明する。

ステップＳ２１において判定部１５４は、入力装置１１の姿勢が、上向き垂直姿勢と水平姿勢のいずれであるかを判定する。ここで図７を参照して、入力装置１１の姿勢について説明する。

図７は、第１のジェスチャを説明する図である。ユーザーはズームモードを設定するとき、第１のジェスチャを操作する。第１のジェスチャは、図７に示すように、入力装置１１を、入力装置１１の長手方向の軸１１Ｌと垂直な軸１１Ｓを中心として、入力装置１１の正面が上を向く水平な姿勢（符号１１Ｈで示される姿勢）から、入力装置１１の正面がユーザーに対向するように、その先端が上向きの垂直な姿勢（符号１１Ｖで示される姿勢）に回転する回転移動的ジェスチャである。すなわち、ステップＳ２１においては、入力装置１１の姿勢が、符号１１Ｖで示される上向き垂直姿勢であるかが判定される。

入力装置１１の長手方向の軸１１ＬのＹ軸に対する角度αは、図２に示されるＺ’’軸方向の加速度Ａｚ（ｔ）の大きさから判定することができる。Ｙ軸に対する角度αが予め設定されている第1の閾値（例えば１０度）以内であるとき、入力装置１１は上向き垂直姿勢であると判定される。例えば、加速度Ａｚ（ｔ）と重力加速度ｇとの差が第1の閾値以下であるとき、すなわち、加速度Ａｚ（ｔ）と重力加速度ｇがほぼ等しいとき、入力装置１１は上向き垂直姿勢であると判定することができる。

一方ユーザーは、ポインティングモードを設定する場合、第３のジェスチャを操作する。図８は、第３のジェスチャを説明する図である。同図に示されるように、第３のジェスチャは、入力装置１１を、入力装置１１の正面がユーザーに対向するように、その先端が上向きの垂直な姿勢（符号１１Ｖで示される姿勢）から、入力装置１１の長手方向の軸１１Ｌと垂直な軸１１Ｓを中心として、入力装置１１の正面が上を向く水平な姿勢（符号１１Ｈで示される姿勢）に回転するジェスチャである。すなわち、第３のジェスチャは第１のジェスチャと逆の回転移動的ジェスチャである。

軸１１ＬのＺ軸に対する角度γが予め設定されている閾値（例えば１０度）以内であるとき、入力装置１１は水平姿勢であると判定される。換言すれば、入力装置１１の長手方向の軸１１ＬとＹ軸との角度α（＝９０−γ）が、第２の閾値（例えば８０度）以上のとき、入力装置１１は水平姿勢であると判定される。

入力装置１１の長手方向の軸１１ＬのＺ軸に対する角度γは、図２のＺ’’軸方向の加速度Ａｚ（ｔ）の大きさから判定することができる。例えば、Ｚ’’軸方向の加速度Ａｚ（ｔ）が殆ど０である場合、すなわち重力加速度ｇのＺ’’軸方向の分力が殆どない場合、入力装置１１は水平姿勢であると判定される。

もちろん、姿勢の判断は、図５のステップＳ２の処理で送信されてきたその他の各種の情報を利用して行うこともできる。

入力装置１１の姿勢が水平姿勢であると判定された場合、すなわち、角度αが第２の閾値以上であると判定された場合、ステップＳ２２において設定部１５２は、ポインティングモードを設定する。ポインティングモードは、入力装置１１の操作量に対応してポインタを移動するモードである。

ステップＳ２３において実行部１５３は、コマンドに基づいてポインタ操作を実行する。すなわち、ユーザーが入力装置１１を表示部５４に向けて、ほぼ水平な状態で把持し、３次元空間で任意の方向に任意の速度で操作すると、その操作量に基づくコマンドが送信されてくる。そこで表示部５４に表示されているポインタが、その操作量に対応して所定の位置に移動表示される。あるいは、その操作量に対応して選択状態にあるオブジェクトが他のオブジェクトに変更される。

ステップＳ２４において判定部１５４は、ポインティングモードにおいて入力装置１１の姿勢が、上向き垂直姿勢と水平姿勢のいずれであるかを判定する。入力装置１１の姿勢が水平姿勢であると判定された場合、処理はステップＳ２３に戻る。すなわち、入力装置１１の姿勢が水平姿勢である場合、ステップＳ２３のポインタ操作の実行処理が繰り返される。

ステップＳ２４において入力装置１１が上向き垂直姿勢であると判定された場合、すなわち角度αが第１の閾値以内である場合、ステップＳ２５において判定部１５４は、上向き垂直姿勢がＭ回連続して検出されたかを判定する。上向き垂直姿勢が検出されたとしても、まだＭ（Ｍ≧２）回連続していない場合、処理はステップＳ２３に戻り、それ以降の処理が繰り返される。

上向き垂直姿勢がＭ回連続して検出された場合、ステップＳ２６において設定部１５２は、ポインティングモードを解除する。

入力装置１１が基本的に水平姿勢で使用されるポインティングモードにおいて、１回でも上向き垂直姿勢が検出された場合、直ちにポインティングモードを解除することも可能である。しかしそのようにすると、ユーザーが誤って入力装置１１を上向き垂直姿勢にした場合に、ポインティングモードが解除されてしまい、操作性が悪化する。そこでＭ回連続して検出された場合にのみ、ポインティングモードが解除される。

例えば１５ｍｓのサンプリング間隔で入力装置１１の姿勢が検出される場合、Ｍ＝６とすると、７５ｍｓ（＝１５×（６−１））が閾値となり、７５ｍｓ以上継続して上向き垂直姿勢であるとき、ポインティングモードが解除される。この判定は、比較的簡単なソフトウエアアルゴリズムで実現可能である。

このように、この実施の形態においては、姿勢角度と姿勢保持時間の２つの閾値が設けられている。姿勢角度は、操作時の思わぬ角度変化による誤検出を防止するのに有効である。姿勢保持時間は、急激な動きの変化による慣性力に起因する誤検出を防止するのに有効である。

ステップＳ２６でポインティングモードを解除した後、ステップＳ２７で設定部１５２は、ズームモードを設定する。すなわち、図７に示されるように、第１のジェスチャ操作が行われ、入力装置１１が水平姿勢から上向き垂直姿勢に変化されると、ポインティングモードが解除されて、ズームモードが設定される。ズームモードは、入力装置１１の操作量に対応して画面表示を拡大または縮小するモードである。

なお、ステップＳ２１において入力装置１１が垂直上向き姿勢であると判定された場合には、ステップＳ２２乃至ステップＳ２６の処理はスキップされ、直ちにステップＳ２７においてズームモードが設定される。

ユーザーは、画面表示を拡大または縮小する場合、第２のジェスチャを操作する。図９は、第２のジェスチャを説明する図である。同図に示されるように、第２のジェスチャは、入力装置１１を上向き垂直姿勢のまま、符号１１Ｎで示されるユーザーに近づく位置、または符号１１Ｆで示されるユーザーから遠ざかる位置に、平行移動させる平行移動的ジェスチャである。

そこでステップＳ２８において判定部１５４は、本体が前後に移動したかを判定する。本体４１が手前側に移動した場合、すなわちユーザーに近づく方向に移動した場合、図２のＹ’’軸方向の加速度Ａｙ（ｔ）が正（または負）の操作量に応じた所定の値となる。これに対して、本体４１が奥行き方向（表示部５４の方向）に移動した場合、すなわちユーザーから遠ざかる方向に移動した場合、Ｙ’’軸方向の加速度Ａｙ（ｔ）が負（または正）の操作量に応じた所定の値となる。そこで、加速度Ａｙ（ｔ）の値が殆ど０である場合、本体４１が移動していないか、移動したとしても、その方向は左右方向であると判定することができる。この場合、本体４１は前後方向に移動していないと判定される。これに対して、正または負の操作量に応じた所定の値が検出された場合、本体４１は前後方向に移動したと判定される。

本体４１が前後方向に移動したと判定された場合、ステップＳ２９において出力部１５５は、画面表示を拡大または縮小する。拡大と縮小のいずれであるかは、加速度Ａｙ（ｔ）の極性に応じて決定される。例えば加速度Ａｙ（ｔ）が正の場合、縮小（または拡大）とされ、負の場合、拡大（または縮小）とされる。拡大率（または縮小率）を、加速度Ａｙ（ｔ）、Ｙ’軸周りの角速度ωψ（ｔ）の大きさ、または後述する仮想半径Ｒを考慮したＹ’軸周りの角速度ωψ（ｔ）の大きさに応じて制御することができる。すなわち、入力装置１１の移動速度に応じて、ズームモードの動作速度を制御することができる。

ユーザーが、符号１１で示される位置から、符号１１Ｎで示される位置に入力装置１１を移動させた場合、表示部５４の画像は、符号５４Ｎで示される表示部に示されるように、縮小される。これに対して、符号１１で示される位置から、符号１１Ｆで示される位置に入力装置１１が移動された場合、表示部５４の画像は、符号５４Ｆで示される表示部に示されるように、拡大される。

第２のジェスチャは姿勢の平行移動的変化であるので、回転移動的変化である第１のジェスチャおよび第３のジェスチャとの識別が容易である。

ユーザーは、ズームモードにおいてポインティングモードを設定する場合、第３のジェスチャを操作する。そこでステップＳ３０において判定部１５４は、入力装置１１の姿勢が、上向き垂直姿勢と水平姿勢のいずれであるかを再び判定する。入力装置１１の姿勢が上向き垂直姿勢であると判定された場合、処理はステップＳ２８に戻る。すなわち、入力装置１１の姿勢が上向き垂直姿勢のままである場合、ステップＳ２９の画面表示を拡大または縮小する処理が繰り返される。

ステップＳ２８において本体４１が前後に移動していないと判定された場合、ステップＳ３０において判定部１５４は、入力装置１１の姿勢が、上向き垂直姿勢と水平姿勢のいずれであるかを判定する。入力装置１１の姿勢が上向き垂直姿勢であると判定された場合、処理はステップＳ２８に戻り、それ以降の処理が繰り返される。すなわち、ズームモードにおいて入力装置１１の姿勢が上向き垂直姿勢である場合、本体４１が前後方向に移動されないと、実質的な処理は行われない。

ステップＳ３０において、入力装置１１の姿勢が水平姿勢であると判定された場合、すなわちズームモードにおいて入力装置１１の姿勢が水平姿勢にされた場合、ステップＳ３１において判定部１５４は、水平姿勢がＮ回連続して検出されたかを判定する。水平姿勢が検出されたとしても、まだＮ（Ｎ≧２）回連続していない場合、処理はステップＳ２８に戻り、それ以降の処理が繰り返される。すなわちズームモードか継続される。

水平姿勢がＮ回連続して検出された場合、すなわち、サンプリング時間×（Ｎ−１）時間連続して水平姿勢が維持されている場合、ステップＳ３２において設定部１５２は、ズームモードを解除する。ズームモードが解除された後、処理はステップＳ２２に戻り、設定部１５２は、ポインティングモードを設定する。

ズームモードにおいて、１回でも水平姿勢が検出された場合、直ちにズームモードを解除すると、ユーザーが誤って入力装置１１を水平姿勢にした場合に、ズームモードが解除されてしまい、操作性が悪化する。そこでＮ回連続して検出された場合にのみ、ズームモードが解除される。

このように、入力装置１１が上向き垂直姿勢になると（第１のジェスチャ操作が行われると）ズームモードが設定される。しかし、一旦ズームモードが設定されると、入力装置１１が水平姿勢にならない限り（第３のジェスチャ操作が行われない限り）、ズームモードは解除されずに維持される。これにより図９に示されるような、先端が上向きの垂直な姿勢の入力装置１１を、ユーザーに近づけるかまたは遠ざけるように平行移動的ジェスチャであるズーム操作を、安定して行うことができる。すなわち、操作途中で入力装置１１の姿勢が一時的に水平姿勢に近い角度に大きく傾いたとしても、ズームモードは維持される。

また、入力装置１１が水平姿勢になると（第３のジェスチャ操作が行われると）、ポインティングモードが設定される。しかし、ステップＳ２１乃至ステップＳ２６の処理で説明したように、一旦ポインティングモードが設定されると、入力装置１１が上向き垂直姿勢にならない限り（第１のジェスチャ操作が行われない限り）、ポインティングモードは解除されずに維持される。これにより図２に示されるような、先端が表示部５４の方向を向くほぼ水平な姿勢の入力装置１１を、３次元の自由空間で任意の方向に移動して、ポインタを任意の方向に移動させる操作を、安定して行うことができる。すなわち、操作途中で入力装置１１の姿勢が一時的に上向き垂直姿勢に近い角度に大きく傾いたとしても、ポインティングモードは維持される。

なお、図６の処理は、隣接するステップ間の同一ルーチンが、予め設定されている回数だけ繰り返されたとき、あるいは同一ステップ内で予め設定されている所定の時間が経過したとき、終了される。さらにユーザーが、操作中、押圧していたボタンを放したり、特定の中止ボタンを操作したり、フォト式タッチセンサーから指を離すなどの操作をしたとき、図６の処理は終了される。

このように、ユーザーは、入力装置１１の姿勢を３次元空間で所定の方向に変化させることで、モードを変更することができる。

なお制御対象とされるモードは、ポインティングモードとズームモードに限られるものではない。表示画像をスクロールするスクロールモード、チャンネルを変更するチャンネル送り／戻しモード、音量を増減する音量増減モード、その他のモードを制御対象とすることができる。

また、入力装置１１のジェスチャも、図７乃至図９に示した場合に限られるものではない。

図１０は、他のジェスチャを説明する図である。図１０に示されるように、上向き垂直姿勢のまま、左右方向に平行移動させたり（図１０Ａ）、上下方向に平行移動させたり（図１０Ｂ）する操作を例えば第２のジェスチャとすることができる。

図１１は、さらに他のジェスチャを説明する図である。同図に示されるように、入力装置１１を、符号１１で示される基本となる水平姿勢から、その先端が上向きになるように方向Ｃに９０度回転すると、入力装置１１は符号１１Ｃで示される上向き垂直姿勢になる。この姿勢は図７に示した姿勢である。

この他、入力装置１１を、水平姿勢から、その先端が下になるように、方向Ｄに９０度回転すると、入力装置１１は符号１１Ｄで示される下向き垂直姿勢になる。

また、入力装置１１を、水平姿勢から、反時計回転方向Ａに９０度回転すると、入力装置１１は符号１１Ａで示される反時計回転方向に９０度回転した姿勢になる。入力装置１１を、水平姿勢から、時計回転方向Ｂに９０度回転すると、入力装置１１は符号１１Ｂで示される時計回転方向に９０度回転した姿勢になる。入力装置１１を、水平姿勢から、時計回転方向Ｂに１８０度回転すると、入力装置１１は符号１１Ｅで示される裏返しの姿勢になる。

これらのジェスチャを、例えば第１ジェスチャあるいは第３のジェスチャとすることができる。

このようなジェスチャを利用して、上述した場合と同様の機能を実現することができる。このようなジェスチャを第１乃至第３のジェスチャとして組み合わせることで、ユーザーに直感的な操作をさせることが可能となる。

＜２．第２の実施の形態＞
［コマンド送信処理２］

図１２は、入力装置１１が実行する、他のコマンド送信処理を説明するフローチャートである。この実施の形態においては、入力装置１１側でもモードの管理が行われる。

すなわちステップＳ１０１において取得部１０１は、操作量を取得する。ユーザーが入力装置１１を把持し、３次元の自由空間で操作した場合、加速度センサー３１と角速度センサー３２が、その操作に対応する操作量を検出する。加速度センサー３１が検出したＹ’’軸とＺ’’軸の加速度（Ａｙ（ｔ），Ａｚ（ｔ））と、角速度センサー３２が検出したＹ’軸周りとＺ’軸周りの角速度（ωψ（ｔ），ωφ（ｔ））がここで取得される。あるいはさらにＸ’’軸の加速度Ａｘ（ｔ）を取得してもよい。またここで入力装置１１のボタンが操作された場合、その操作信号も取得される。

ステップＳ１０２において算出部１０２は、入力装置の角度を算出する。入力装置１１のＹ軸に対するピッチ角度αは、Ｙ’’軸の加速度Ａｙ（ｔ）と、Ｚ’’軸の加速度Ａｚ（ｔ）に基づいて、次式から算出することができる。
α＝ａｒｃｔａｎ（Ａｚ（ｔ）／Ａｙ（ｔ）） （１）

ステップＳ１０３において判定部１０３は、現在のモードはポインティングモードとズームモードのいずれであるのかを判定する。後述するステップＳ１０５，Ｓ１０９においてズームモードまたはポインティングモードが設定された場合、それが記憶されているので、その記憶からこの判定を行うことができる。

現在のモードがポインティングモードである場合、ステップＳ１０４において判定部１０３は、入力装置１１の角度はポインティングモードからズームモードへのモード遷移角度範囲であるかを判定する。例えば図７に示されるように、入力装置１１が上向き垂直姿勢である場合、すなわち入力装置１１のＹ軸に対する角度αが１０度以内である場合、ステップＳ１０５において設定部１０４はズームモードを設定する。このとき現在のモードがズームモードであることが記憶される。この記憶に基づいて、上述したステップＳ１０３の判定が行われる。

その後、処理はステップＳ１０１に戻り、再びユーザーの操作に基づく操作量が取得され、ステップＳ１０２で入力装置１１の角度が算出される。いまの場合、ズームモードが設定されているため、ステップＳ１０８において判定部１０３は、入力装置１１の角度はズームモードからポインティングモードへのモード遷移角度範囲であるかを判定する。例えば図８に示されるように、入力装置１１のＺ軸に対する角度が１０度以内である場合、すなわち水平姿勢である場合、ズームモードからポインティングモードへのモード遷移角度範囲であると判定される。

入力装置１１の角度が、ズームモードからポインティングモードへのモード遷移角度範囲ではない場合、ステップＳ１１０において算出部１０２は、ズーム量を算出する。すなわち、例えば図９に示されるような、上向き垂直姿勢の入力装置１１のＺ軸方向の移動量に基づいて、ズーム量が算出される。ステップＳ１１１において送信部１０５は、ステップＳ１１０で算出されたズーム量を表すコマンドを送信する。また必要に応じて、操作されたボタンに関するボタン情報のコマンドも送信される。具体的には、コマンドは通信部３５により変調され、アンテナ３６を介して画像表示装置１２に電波で送信される。

なお、このとき、ユーザーが行っている操作はズーム操作であり、ポインタを移動させる操作ではない。そこで、ポインタの移動を禁止すべく、ポインタ移動量が０であること表すコマンドを合わせて送信することもできる。

図１３を参照して後述するように、画像表示装置１２は、コマンドを受信するとそれに対応する処理を実行する。従って、ユーザーは、図９に示されるように、入力装置１１を上向き垂直姿勢にした状態で、Ｚ軸方向に移動操作することにより、すなわち第２のジェスチャを行うことにより、表示部５４の画像を拡大・縮小する（ズームする）ことができる。

ユーザーは、モードを、ズームモードからポインティングモードに切り替える場合、図８に示されるように、第３のジェスチャを行って、入力装置１１を上向き垂直姿勢から水平姿勢に変更する。この場合、ステップＳ１０３で現在のモードがズームモードであると判定された状態で、ステップＳ１０８において、入力装置１１の角度はズームモードからポインティングモードへのモード遷移角度範囲であると判定される。その結果、ステップＳ１０９において設定部１０４は、ポインティングモードを設定する。このとき現在のモードがポインティングモードであることが記憶される。この記憶に基づいて、上述したステップＳ１０３の判定が行われる。

その後、処理はステップＳ１０１に戻り、再びユーザーの操作に基づく操作量が取得され、ステップＳ１０２で入力装置１１の角度が算出される。いまの場合、ポインティングモードが設定されているため、ステップＳ１０４において判定部１０３は、入力装置１１の角度はポインティングモードからズームモードへのモード遷移角度範囲であるかを判定する。例えば図７に示されるように、入力装置１１のＹ軸に対する角度が１０度より大きい場合、ポインティングモードからズームモードへのモード遷移角度範囲ではないと判定される。この場合、ステップＳ１０５の処理は行われない。すなわちポインティングモードがそのまま継続される。

そこで、ステップＳ１０６において算出部１０２は、ポインタの移動量を算出する。すなわちステップＳ１０１で取得された操作量に基づいて、ポインタの移動量が算出される。例えば加速度（Ａｘ（ｔ），Ａｙ（ｔ））に所定の係数を乗算することでポインタの移動量が算出される。

ステップＳ１０７において送信部１０５は、ステップＳ１０６で算出されたポインタ移動量を表すコマンドを送信する。また操作されたボタンに関するボタン情報のコマンドも送信される。具体的には、コマンドは通信部３５により変調され、アンテナ３６を介して画像表示装置１２に電波で送信される。このとき、ユーザーが行っている操作はポインタ移動操作やオブジェクト移動操作であり、画像をズームさせる操作ではない。そこで、ズーム処理を禁止すべく、ズーム量が０であること表すコマンドを合わせて送信することもできる。

上述したように、画像表示装置１２は、コマンドを受信するとそれに対応する処理を実行する。従って、ユーザーは、入力装置１１を水平姿勢にした状態で、３次元空間で任意の方向に移動操作することで、ポインタを意図する方向に移動することができる。

ステップＳ１０７の処理の後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。

なお、モードの設定は、画像表示装置１２側で行ってもよい。この場合、ステップＳ１０５、Ｓ１０９では、それぞれズームモードおよびポインティングモードを設定する信号が送信される。

以上のようにして、ユーザーは、入力装置１１の姿勢を変更することで、ズームモードとポインティングモードの機能を切り替えることができる。

［表示制御処理２］

図１３は、図１２のコマンド送信処理に対応して、画像表示装置１２が実行する表示制御処理を説明するフローチャートである。

ステップＳ１５１において取得部１５１は、コマンドを取得する。すなわち、図１２のステップＳ１０７，Ｓ１１１で送信されたコマンドが、アンテナ５１を介して通信部５２により受信、復調され、演算部５３に供給され、取得される。

ステップＳ１５２において実行部１０３は、ステップＳ１５１で取得されたコマンドに対応する処理を実行する。具体的には、図１２のステップＳ１０７で送信されたポインタ移動量に基づいて、表示部５４上においてポインタが移動表示される。またステップＳ１１１で送信されたズーム量に基づいて、表示部５４上の画像がズームされる。

図１４は、ポインティングモード時の表示例を示す図である。なお図１４において、２０１は各オブジェクトに共通の符号であり、２０１Ａ乃至２０１Ｃは、そのうちの特定のオブジェクトを指す符号である。

図１４Ａにおいては、入力装置１１の３次元自由空間における手振れを含む移動操作に基づいて、ポインタ２１１が非直線的に移動した状態が示されている。さらに入力装置１１の決定ボタン（図示せず）が操作されると、複数のオブジェクト２０１のうちのポインタ２１１が位置する１つのオブジェクト２０１Ａが選択され、その周囲に枠２０２が表示される。

なお、決定ボタンの操作に代える決定を指令することもできる。例えば、ポインタ２１１が予め設定された時間以上オブジェクト２０１上に留まっている場合、そのオブジェクト２０１を選択することができる。また、ポインタ２１１が予め設定された時間以上オブジェクト２０１上に留まっているとともに、角速度が予め設定された時間以上、予め設定された値以下の場合、そのオブジェクト２０１を選択することができる。あるいは、オブジェクト２０１の周囲をポインタ２１１で囲む操作（ジェスチャ）が行われた場合、そのオブジェクト２０１を選択することができる。

図１４Ｂにおいては、最初は、不可視の仮想的ポインタによりオブジェクト２０１Ａが選択されている。次に、ユーザーは入力装置１１を右水平方向に移動操作する。その結果、選択されたオブジェクトが、操作方向（すなわち、右水平方向）に位置するオブジェクトのうち、オブジェクト２０１Ａに位置的に最も近い（いまの場合、水平方向より若干下方向に位置する）オブジェクトであるオブジェクト２０１Ｂに変化する。その後、さらにユーザーが入力装置１１を真上方向に移動操作する。その結果、選択されたオブジェクトが、操作方向（すなわち、真上方向）に位置するオブジェクトのうち、オブジェクト２０１Ｂに位置的に最も近い（いまの場合、真上方向より若干左方向に位置する）オブジェクトであるオブジェクト２０１Ｃに変化する。なお、位置的に最も近いオブジェクトとは、ユーザーによる操作方向を中心として所定の角度の範囲内で最も近くに位置するオブジェクトである。このようにこの実施の形態においては、選択されるオブジェクトが入力装置１１の移動操作毎に、順次移動する。

図１５は、ズームモード時の表示例を示す図である。図１５Ａにおいては、オブジェクト２０１Ａが選択されている。この状態で、カーソルモードからズームモードにモードが変更され、上向き垂直姿勢でズーム操作が行われると、図１５Ｂに示されるように、その時点で選択されているオブジェクト２０１Ａがズームされる。図１５Ｂの表示例では、図１５Ａのオブジェクト２０１Ａが拡大表示されている。

図１６は、他のズームモード時の表示例を示す図である。図１５と図１６を比較して明らかなように、図１６のズームモードの表示例においては、図１５のポインタ２１１が消去されている。

＜３．第３の実施の形態＞
［コマンド送信処理３］

図１７は、入力装置１１が実行する、他のコマンド送信処理を説明するフローチャートである。図１７のステップＳ２０１乃至ステップＳ２１５の処理は、基本的に図１２のステップＳ１０１乃至ステップＳ１１１の処理と同様である。ただし図１７の実施の形態の場合、入力装置１１の角速度が大きい場合、ポインタの移動量とズーム量が制限されるようになっている。

すなわち、図１２においては、ステップＳ１０６のポインタ移動量の算出処理が、ステップＳ１０４の、「角度はポインティングモードからズームモードへのモード遷移角度範囲か？」の判定処理の後で行われている。これに対して、図１７においては、図１２のステップＳ１０６に対応するステップＳ２０６の処理が、図１２のステップＳ１０４に対応する図１７のステップＳ２０７の前段で実行されている。

そして、図１７においては、図１２のステップＳ１０３に対応するステップＳ２０３で、現在のモードがポインティングモードであると判定された場合、ステップＳ２０４で判定部１０３による判定処理が行われる。すなわち、ステップＳ２０１で取得された角速度の大きさが閾値以上であるかが判定される。

角速度の大きさとしては、例えば角速度センサー３２が検出した角度の絶対値を利用することができる。具体的には、Ｘ’軸とＹ’軸にそれぞれ平行なピッチ回転軸とヨー回転軸を中心として回転するピッチ角θとヨー角ψの角速度の絶対値｜ωθ（ｔ）｜または｜ωψ（ｔ）｜を利用することができる。この場合の角速度は、入力装置１１の座標軸を基準とした、相対座標系での値である。

あるいは、角速度の大きさとして、ロール角速度（例えば、加速度センサー３１が検出した加速度Ａｘ（ｔ），Ａｙ（ｔ）の合成ベクトルの時間微分から求めることができる）の絶対値を利用することができる。さらに角速度センサー３２が検出した角速度と、加速度センサー３１が検出した加速度から算出される重力座標系（絶対座標系）におけるピッチ角θとヨー角ψの角速度の絶対値を利用することもできる。

角速度の大きさ（絶対値）が、予め設定されている閾値より小さい場合、ステップＳ２０６で算出部１０２によりポインタ移動量を算出する処理が行われる。そして、判定部１０３によりステップＳ２０７で、角度がポインティングモードからズームモードへのモード遷移範囲ではないと判定された場合、ステップＳ２０９において、ステップＳ２０６で算出されたポインタ移動量が画像表示装置１２に送信される。すなわちこの場合の処理は、図１２における場合と同様の処理となる。

これに対して、ステップＳ２０４において、角速度の大きさが閾値以上であると判定された場合、ステップＳ２０５において、算出部１０２は、移動量に制限値を設定する。具体的には、例えば、移動量として０が設定される。あるいは、感度を弱めて移動量が設定される。すなわち、入力装置１１の操作量が大きくても、ポインタが移動しないか、移動したとしても移動量が小さくなるように設定が行われる。ステップＳ２０９では、このようにして制限値が設定された移動量が送信される。

つまり、角速度の大きさが、予め設定されている閾値より大きい場合、制限値が設定された移動量が送信される。ユーザーがモード変更のため、図７または図８に示されるように、入力装置１１を縦方向に回転した場合、回転動作なので、角速度の大きさが大きくなる。この操作はモード変更の操作であって、ポインタを移動させる操作ではないので、ポインタは移動しないか、移動したとしても、その移動量は小さいことが望ましい。すなわち、角速度の大きさが大きいということは、入力装置１１の角度の変化（姿勢の変化）が速いことを意味する。これはモードが変更中であることを意味する。このように、モードが変更される場合、変更される前のモードの処理を制限することで、操作性が改善される。

これにより次のような効果が得られる。例えば図１５Ａにおいて、ポインタ２１１がオブジェクト２０１Ａ上に位置しているとする。この状態で、ユーザーがモードを、ポインティングモードからズームモードに切り替える場合、図７に示されるように、入力装置１１を縦方向に回転する。しかし、この操作によるポインタ２１１の移動は制限される。すなわち、ポインタ２１１は、オブジェクト２０１Ａ上から移動しないか、移動したとしても、その距離は短いものとなる。

また、図１６Ａに示される状態において、ユーザーがモードを、ポインティングモードからズームモードに切り替える操作をした場合においても、その操作によるポインタ２１１の移動は制限される。従って、枠２０２が表示されている選択状態にあるオブジェクト２０１が、他のオブジェクトに移動してしまうようなことが抑制される。

同様に、図１２においては、ステップＳ１１０のズーム量の算出処理が、ステップＳ１０８の、「角度はズームモードからポインティングモードへのモード遷移角度範囲か？」の判定処理の後で行われている。これに対して、図１７においては、図１２のステップＳ１１０に対応するステップＳ２１２の処理が、図１２のステップＳ１０８に対応する図１７のステップＳ２１３の前段で実行されている。

そして、図１７においては、図１２のステップＳ１０３に対応するステップＳ２０３で、現在のモードがズームモードであると判定された場合、ステップＳ２１０で判定部１０３による判定処理が行われる。すなわち、ステップＳ２０１で取得された角速度の大きさが閾値以上であるかが判定される。

角速度の大きさが、予め設定されている閾値より小さい場合、ステップＳ２１２で算出部１０２によりズーム量を算出する処理が行われる。そして、判定部１０３によりステップＳ２１３で、角度がズームモードからポインティングモードへのモード遷移範囲ではないと判定された場合、ステップＳ２１５において、ステップＳ２１２で算出されたズーム量が画像表示装置１２に送信される。すなわちこの場合の処理は、図１２における場合と同様の処理となる。

これに対して、ステップＳ２１０において、角速度の大きさが閾値以上であると判定された場合、ステップＳ２１１において、算出部１０２は、ズーム量に制限値を設定する。具体的には、例えば、ズーム量として０が設定される。あるいは、感度を弱めてズーム量が設定される。すなわち、入力装置の操作量が大きくても、ズームしないか、ズームしたとしてもズーム量が小さくなるように設定が行われる。ステップＳ２１５では、このようにして制限値が設定されたズーム量が送信される。

つまり、角速度の大きさが、予め設定されている閾値より大きい場合、制限値が設定されたズーム量が送信される。ユーザーがモード変更のため、図７または図８に示されるように、入力装置１１を縦方向に回転した場合、回転動作なので、角速度の大きさが大きくなる。この操作はモード変更の操作であって、ズームする操作ではないので、ズームはしないか、ズームしたとしても、その量は小さいことが望ましい。このように、モードが変更される場合（すなわち、変更途中である場合）、変更される前のモードの処理を制限することで、操作性が改善される。

その他の処理は、図１２における場合と同様であり、繰り返しになるので、その説明は省略する。また、図１７の処理に対応して画像表示装置１２側で行われる処理も、図１３に示される場合と同様なので、その説明も省略する。

なお、ユーザーは入力装置１１を縦方向にゆっくり回転することで、すなわち、角速度の大きさが、閾値以上にならないように回転することで、モードを変更せずに、入力装置１１の姿勢を変更することが可能である。

＜４．第４の実施の形態＞
［コマンド送信処理４］

図１８は、入力装置１１が実行する、さらに他のコマンド送信処理を説明するフローチャートである。この図１８のステップＳ３０１乃至ステップＳ３１６の処理は、基本的に図１７のステップＳ２０１乃至ステップＳ２１５の処理と同様の処理である。

ただし、図１８の実施の形態においては、図１７のステップＳ２０４，Ｓ２１０に対応するステップＳ３０５，Ｓ３１１において、角速度の大きさが、予め設定されている閾値以上、かつ仮想半径Ｒが閾値以下であるかが判定される。このため、図１７のステップＳ２０３に対応するステップＳ３０４の現在のモードの判定処理の前のステップＳ３０３において、算出部１０２により、仮想半径Ｒを算出する処理が行われる。

仮想半径Ｒは、例えば次のように算出される。

入力装置１１の速度は角速度に回転半径を乗算することで求められる。すなわち、ユーザーが入力装置１１を操作した場合の入力装置１１の運動は、ユーザーの肩、肘、または手首などを中心とした回転運動を合成したものとなる。そしてその回転半径は合成された回転運動の時間毎に変化する回転中心から入力装置１１までの距離となる。

Ｘ’軸周りの角速度ωθ（ｔ）はＹ軸方向の動き成分を有し、Ｙ’軸周りの角速度ωψ（ｔ）はＸ軸方向の動き成分を有する。従って入力装置１１のＸ軸方向とＹ軸方向の速度を（Ｖｘ（ｔ），Ｖｙ（ｔ））とすると、回転半径（Ｒｘ（ｔ），Ｒｙ（ｔ））は次式で表される。
（Ｒｘ（ｔ），Ｒｙ（ｔ））＝（Ｖｘ（ｔ），Ｖｙ（ｔ））／（ωψ（ｔ），ωθ （ｔ））
・・・（２）

式（２）の右辺の（Ｖｘ（ｔ），Ｖｙ（ｔ）），（ωψ（ｔ），ωθ（ｔ））は、速度のディメンジョンである。この式（２）の右辺に表されている速度と角速度とがそれぞれ微分され、加速度（または角加速度）、あるいは加速度（または角加速度）の時間変化率のディメンジョンとされても相関関係は失われない。同様に、速度と角速度とがそれぞれ積分され、変位のディメンジョンとされても相関関係は失われない。

従って、式（２）の右辺に表されている速度および角速度をそれぞれ変位、加速度（または角加速度）、加速度（または角加速度）の時間変化率のディメンジョンとして、以下の式（３）乃至式（５）が得られる。
（Ｒｘ（ｔ），Ｒｙ（ｔ））＝（ｘ（ｔ），ｙ（ｔ））／（ψ（ｔ），θ（ｔ））
・・・（３）
（Ｒｘ（ｔ），Ｒｙ（ｔ））＝（Ａｘ（ｔ），Ａｙ（ｔ））／（Δωψ（ｔ），Δω θ（ｔ））
・・・（４）
（Ｒｘ（ｔ），Ｒｙ（ｔ））＝（ΔＡｘ（ｔ），ΔＡｙ（ｔ））
／（Δ（Δωψ（ｔ）），Δ（Δωθ（ｔ）））
・・・（５）

上記式のうち、例えば式（５）に注目すると、加速度（Ａｘ（ｔ），Ａｙ（ｔ））の変化率（ΔＡｘ（ｔ），ΔＡｙ（ｔ））と、角加速度（Δωψ（ｔ），Δωθ（ｔ））の変化率（Δ（Δωψ（ｔ）），Δ（Δωθ（ｔ）））が既知であれば、回転半径（Ｒｘ（ｔ），Ｒｙ（ｔ））を求められることが分かる。この実施の形態においては、式（５）に基づいて半径（Ｒｘ（ｔ），Ｒｙ（ｔ））が求められる。

算出部１０２は、加速度センサー３１から取り込まれた検出値としての加速度（Ａｘ（ｔ），Ａｙ（ｔ））を微分して、加速度の変化率（ΔＡｘ（ｔ），ΔＡｙ（ｔ））を演算する。また算出部１０２は、角速度センサー３２から取り込まれた検出値としての角速度（ωψ（ｔ），ωθ（ｔ））を２階微分して、角加速度（Δωψ（ｔ），Δωθ（ｔ））の変化率（Δ（Δωψ（ｔ）），Δ（Δωθ（ｔ）））を演算する。そして、算出部１０２は、式（５）に基づいて、回転半径（Ｒｘ（ｔ），Ｒｙ（ｔ））を算出する。

ステップＳ３０５とステップＳ３１１では、角速度の大きさが、予め設定されている閾値以上であり、かつ仮想半径Ｒが閾値以下である場合に、その操作はモード遷移時の操作であると判定される。そして、その操作がモード遷移時の操作であると判定されたとき、図１７のステップＳ２０５，Ｓ２１１に対応するステップＳ３０６，Ｓ３１２の処理が実行される。すなわち、ステップＳ３０６においてポインタ移動量に制限値が設定され、ステップＳ３１２においてズーム量に制限値が設定される。

その後、図１７のステップＳ２０９，Ｓ２１５に対応するステップＳ３１０，Ｓ３１６において、制限値が設定されたポインタ移動量あるいはズーム量がそれぞれ送信される。その他の動作は図１７における場合と同様であるのでその説明は省略する。

ユーザーは、ポインタを移動する場合、およびズームする場合、腕を比較的伸ばして入力装置１１を操作する。これに対して図７および図８に示されるような、モード変更の操作は、手首を返すことで行われる。その結果、入力装置１１からその回転運動の支点までの距離である仮想半径Ｒは、モード変更時の場合の方が、ポインタを移動する場合およびズームする場合より短くなる。従って、角速度の大きさだけでなく、仮想半径Ｒの大きさに基づく判定を行うことで、モード変更のための操作であるのか、ポインティングのための操作であるのかを、より正確に判定することができる。

入力装置１１から送信されたコマンドを受信した画像表示装置１２が、例えば図１３の表示制御処理を実行するのも、図１７の実施の形態の場合と同様である。

＜５．第５の実施の形態＞
［コマンド送信処理５］

図１９は、入力装置１１が実行する、さらに他のコマンド送信処理を説明するフローチャートである。この実施の形態においては、図１６の表示例に示される場合のように、選択状態にあるオブジェクトを変更する場合において、オブジェクトを変更する操作と、モード変更の操作とが識別される。

ステップＳ４０１乃至ステップＳ４０４において、図１７のステップＳ２０１乃至ステップＳ２０４と同様の処理が行われる。

すなわちステップＳ４０１において取得部１０１は、操作量を取得する。ユーザーが入力装置１１を把持し、３次元の自由空間で操作した場合、加速度センサー３１と角速度センサー３２が、その操作に対応する操作量を検出する。加速度センサー３１が検出したＹ’’軸とＺ’’軸の加速度（Ａｙ（ｔ），Ａｚ（ｔ））と、角速度センサー３２が検出したＹ’軸周りとＺ’軸周りの角速度（ωψ（ｔ），ωφ（ｔ））がここで取得される。あるいはさらにＸ’’軸の加速度Ａｘ（ｔ）を取得してもよい。またここで入力装置１１のボタンが操作された場合、その操作信号も取得される。

ステップＳ４０２において算出部１０２は、入力装置の角度を算出する。入力装置１１のＹ軸に対するピッチ角度αは、Ｙ’’軸の加速度Ａｙ（ｔ）と、Ｚ’’軸の加速度Ａｚ（ｔ）に基づいて、上述した式（１）から算出することができる。

ステップＳ４０３において判定部１０３は、現在のモードはポインティングモードとズームモードのいずれであるのかを判定する。後述するステップＳ４０９においてズームモードが設定された場合、それが記憶されるので、その記憶からこの判定を行うことができる。ズームモードが設定されていない場合、ポインティングモードと判定される。

ステップＳ４０３で、現在のモードがポインティングモードであると判定された場合、ステップＳ４０４で判定部１０３による判定処理が行われる。すなわち、ステップＳ４０１で取得された角速度の大きさが閾値以上であるかが判定される。

角速度の大きさが、予め設定されている閾値より小さい場合、ステップＳ４０６で設定部１０４は、オブジェクト変更可否フラグに変更可能を設定する。これに対して、角速度の大きさが、予め設定されている閾値以上である場合、ステップＳ４０５で設定部１０４は、オブジェクト変更可否フラグに変更不可を設定する。すなわち、変更される前のモードの処理を制限するようにフラグが設定される。

ステップＳ４０５，Ｓ４０６の処理の後、ステップＳ４０７において算出部１０２は、ポインタの移動量を算出する。すなわちステップＳ４０１で取得された操作量に基づいて、ポインタの移動量が算出される。例えば加速度（Ａｘ（ｔ），Ａｙ（ｔ））に所定の係数を乗算することでポインタの移動量が算出される。

次にステップＳ４０８において判定部１０３は、入力装置１１の角度はポインティングモードからズームモードへのモード遷移角度範囲であるかを判定する。例えば図７に示されるように、入力装置１１のＹ軸に対する角度αが１０度以内である場合、すなわち上向き垂直姿勢である場合、ステップＳ４０９において設定部１０４はズームモードを設定する。このとき現在のモードがズームモードであることが記憶される。この記憶に基づいて、上述したステップＳ４０３の判定が行われる。

その後、処理はステップＳ４０１に戻り、再びユーザーの操作に基づく操作量が取得され、ステップＳ４０２で入力装置１１の角度が算出される。いまの場合、ズームモードが設定されているため、処理はステップＳ４０３からステップＳ４１１に進む。ステップＳ４１１において算出部１０２は、ステップＳ４０１で取得された操作量に基づいて、ズーム量を算出する。このズーム量は、ポインタ移動量と同様に、例えば加速度（Ａｘ（ｔ），Ａｙ（ｔ））に所定の係数を乗算することで算出される。

ステップＳ４１２において送信部１０５は、ステップＳ４１１で算出されたズーム量を送信する。

画像表示装置１２は、このズーム量を受信すると、それに基づいて、図１６に示されるように、画像をズームする。この処理は、図１３のフローチャートにより実行される。

ステップＳ４０８において、入力装置１１の角度はポインティングモードからズームモードへのモード遷移角度範囲はないと判定された場合、ステップＳ４１０において送信部１０５は、ポインタ移動量およびオブジェクト変更可否フラグを送信する。なおポインタ移動量はステップＳ４０７で算出されており、オブジェクト変更可否フラグはステップＳ４０５，Ｓ４０６で設定されている。

すなわち、図７に示されるように、入力装置１１のＹ軸に対する角度αが１０度より大きい場合、ポインティングモードからズームモードへのモード変更は指示されていない。そこで、ポインティングモードがそのまま継続される。

画像表示装置１２は、このポインタ移動量およびオブジェクト変更可否フラグを受信すると、それに基づいて、選択状態にあるオブジェクトを変更する。この処理は、図１３のフローチャートにより実行される。

以上のように、この実施の形態においては、ユーザーがモード変更の操作をした場合、そのことがフラグに設定される。従って、ユーザーのモード変更操作以外の操作に基づいて、枠２０２が表示されている選択状態にあるオブジェクト２０１が、他のオブジェクトに変更されてしまうようなことが防止される。

［表示制御処理３］

図２０は、画像表示装置１２が実行する、さらに他の表示制御処理を説明するフローチャートである。この処理は、図１９のコマンド送信処理に対応して実行される。

ステップＳ４５１において取得部１５１は、入力装置１１から送信された信号を取得する。この信号は、例えば図１９のステップＳ４１０，Ｓ４１２において送信されたものであり、ポインタ移動量、オブジェクト変更可否フラグ、ズーム量などが含まれる。

ステップＳ４５２において判定部１５４は、ステップＳ４５１で取得したポインタ移動量が０であるかを判定する。ポインタ移動量が０ではない場合、現在設定されているモードはポインティングモードであると判断される。すなわちポインタの動きの量に基づいてモードの判定が行われる。入力装置１１によりモードを表すフラグを発行し、それに基づきモードの判定を行うことも可能である。しかし、動き量に基づきモード判定を行った方が、入力装置１１から画像表示装置１２に送信するパケットの大きさを小さくすることができ、その分、入力装置１１の省電力化を図ることができる。

ポインタ移動量が０ではない場合、すなわち、現在設定されているモードがポインティングモードである場合、ステップＳ４５３において判定部１５４はさらにオブジェクトが変更可能であるかを判定する。この判定は、ステップＳ４５１で取得されたオブジェクト変更可否フラグから行うことができる。

オブジェクト変更可否フラグが変更可能を表している場合、ステップＳ４５４において実行部１５３は、ポインタ移動量に応じて選択状態にあるオブジェクトを変更する。すなわち、選択状態にあるオブジェクトが、それまでのオブジェクトから、ポインタ移動量に対応する位置の他のオブジェクトに変更される。

ステップＳ４５３において、オブジェクトが変更不可であると判定された場合、ステップＳ４５４のオブジェクトを変更する処理は実行されず、処理はステップＳ４５１に戻り、それ以降の処理が繰り返される。

ステップＳ４５２においてポインタ移動量が０であると判定された場合、ステップＳ４５５において判定部１５４は、ズーム量が０であるかを判定する。ズーム量が０でない場合、現在設定されているモードはズームモードであると判断される。すなわちズーム量に基づいてモードの判定が行われる。

ズーム量が０ではない場合、すなわち、現在設定されているモードがズームモードである場合、ステップＳ４５６において実行部１５３は、選択状態にあるオブジェクトをズーム量に基づいてズーミングする。

ステップＳ４５５において、ズーム量は０であると判定された場合、ステップＳ４５６の選択状態にあるオブジェクトをズーミングする処理は実行されず、処理はステップＳ４５１に戻り、それ以降の処理が繰り返される。

＜６．第６の実施の形態＞
［誤表示防止制御処理１］

ユーザーが、例えばポインティングモードからズームモードに、モードを切り替えるために入力装置１１を操作したにも拘わらず、ポインタが移動してしまうと操作性が悪化する。そこで、このようなモード切り替えのための操作であるにも拘わらずポインタが移動表示されてしまうような誤表示を防止するために、次のような処理を行うことができる。

図２１は、入力装置の角度を説明する図である。入力装置１１は、ポインティングモードと判定される角度範囲が、水平面から±β_１の角度範囲とされる（図２１においては、Ｚ軸と逆方向からの角度で示されている）。これに対して、ズームモードと判定される角度範囲は、Ｙ軸（鉛直方向）から±β_２の角度範囲とされる。そして、ポインティングモード（第１のモード）とズームモード（第２のモード）の角度範囲の間に、角度β_３の不感帯の領域が形成されている。すなわち、この実施の形態の場合、入力装置１１が、水平面から角度範囲β_１乃至（β_１＋β_３）の範囲内にあるときの入力装置１１の操作は無視される。その結果、入力装置１１が、水平面から角度β_１より大きく、角度（β_１＋β_３）未満である場合の操作、すなわちポインティングモードからズームモードへのモード切り替えのための操作については、ポインタが移動表示されることが抑制される。

［誤表示防止制御処理２］

図２２は、ポインタの表示例を示す図である。ポインティングモード時、ポインタ２１１がポインタ２１１Ａとして示される位置に表示されていたとする。ポインティングモードからズームモードに、モードを切り替えるために入力装置１１が操作された結果、ポインタ２１１がポインタ２１１Ｂとして示される位置に移動表示されたとする。ポインタ２１１のこの移動はユーザーが意図するものではない。そこで、この実施の形態の場合、ポインティングモードからズームモードへのモードの切り替えが検出されたとき、ポインタ２１１は、ポインタ２１１Ｂとして示される位置から、ポインタ２１１Ａとして示される位置に戻される。これによっても、実質的に、ポインタ２１１の誤表示を防止することができる。

具体的には、ポインタ２１１を所定の時間だけ前の時刻の表示位置に戻すことができる。あるいは、前回の操作速度が０、または０に近い値になったタイミングの表示位置までポインタ２１１を戻すことができる。多くの場合、モード切り替え時の操作速度は０になる。そこで、このようにすることで、ポインタ２１１の誤表示を防止することができる。

［誤表示防止制御処理３］

図２３は、操作量の変化を表す図である。入力装置１１が、ポインティングモードからズームモードに、モードを切り替えるため操作された場合、操作量（例えば移動量）は、信号Ａとして示されるように変化する。操作量は期間Ｔ_１において急激に増加し、所定の値に達した時刻ｔ_１のタイミングで、モードの切り替えが検出される。この実施の形態の場合、信号Ａは予め設定された一定の時間だけ遅延され、信号Ｂが生成される。モードの切り替えが検出された時刻ｔ_１から期間Ｔ_２の間、信号Ｂのレベルを０（操作量を０）にすることで、信号Ｃが生成される。そしてポインタ２１１の移動量の演算は、入力装置１１の操作に対応した信号Ｃに基づいて行われる。

このように、この実施の形態においては、モードの切り替えの検出は、遅延しない元の信号Ａに基づいて行われ、ポインタ２１１の移動量の演算は、遅延した信号Ｃに基づいて行われる。その結果、モード切り替え時に、ポインタ２１１が移動表示されることが抑制される。

［誤表示防止制御処理４］

図２４は、操作量の変化を表す図である。入力装置１１が、ポインティングモードからズームモードに、モードを切り替えるため操作された場合、操作量（例えば移動量）は、図２４Ａに信号Ａとして示されるように変化する。操作量は期間Ｔ_１において急激に増加し、所定の値に達した時刻ｔ_１のタイミングで、モードの切り替えが検出される。ここまでの処理は、図２３における場合と同様である。

この実施の形態の場合、モードの切り替えの検出と、ポインタ２１１の移動量の演算のいずれも、信号Ａに基づいて行われる。しかし、図２４Ｂに示されるように、モードの切り替えが検出された時刻ｔ_１から期間Ｔ_１１（例えば、０．１秒）の間、ポインタ２１１の移動表示の制御が禁止される。その結果、モード切り替え時に、ポインタ２１１が移動表示されることが抑制される。

［誤表示防止制御処理５］

図２５は、入力装置１１の構成を示す斜視図である。この実施の形態においては、入力装置１１の所定の面（この実施の形態の場合、上面）に、ボタン２５１が設けられている。ユーザーは、ポインタ２１１を移動する場合、ボタン２５１を指で操作した状態で入力装置１１を操作する。ボタン２５１を操作した状態はロックされるようにしてもよい。ボタン２５１が操作されていない場合、ユーザーが入力装置１１を操作しても、ポインタ２１１は移動表示されない。その結果、ユーザーは、モード切り替え時に、ボタン２５１を操作しないで入力装置１１を操作することで、ポインタ２１１が移動表示されることを防止することができる。

なお、ポインタ２１１を移動させない場合に、ボタン２５１を指で操作させるようにしてもよいのは勿論である。

なお、以上の誤表示防止制御処理は、単独、あるいは複数のいくつかを組み合わせて実行することができる。

＜７．第７の実施の形態＞
［表示制御処理４］

図２６と図２７は、画像表示装置１２が実行する、さらに他の表示制御処理を説明するフローチャートである。この実施の形態においては、現在設定されているモードを識別する識別情報が表示される。なお、この実施の形態においては、入力装置１１は、例えば図５に示されるような処理を実行し、ユーザーの操作に基づくコマンドを送信してくる。

ステップＳ５０１において判定部１５４は、入力装置１１の姿勢が、上向き垂直姿勢と水平姿勢のいずれであるかを判定する。この判定は、上述した図６のステップＳ２１，Ｓ２４，Ｓ３０における場合と同様の処理である。

入力装置１１の姿勢が、上向き垂直姿勢であると判定された場合、ステップＳ５０２において設定部１５２は、ズームモードを設定する。このモード設定は、ユーザーが、図７に示されるような第１のジェスチャ操作を行うことで実行される。

いまズームモードであるので、ステップＳ５０３において出力部１５５は、ズームモードのアイコンのみを表示する。

図２８は、アイコンの表示例を示す図である。ステップＳ５０３においては、表示部５４の表示画面は、例えば図２８Ａに示されるように制御される。同図においては、表示部５４の画面の右上の隅に、設定されているモードを識別する識別情報として、ズームモードであることを表すアイコン３０１が表示されている。

現在設定されているモードを知ることができないと、ユーザーはどのような操作をしてよいのかが判らず、不便である。そこで、このようにそのとき設定されているモードに対応するアイコンを表示することで、ユーザーは、現在設定されているモードを簡単かつ確実に知ることができ、所望のモードを迅速に設定することが可能となる。

ステップＳ５０４において実行部１５３は、ズームモードを実行する。すなわち、入力装置１１から送信されてくる、図９に示されるような第２のジェスチャの操作量に基づいて、図９に符号５４Ｎ，５４Ｆとして示されるように、表示部５４の表示画像をズームする処理が行われる。

ステップＳ５０５において判定部１５４は、入力装置１１の姿勢が、上向き垂直姿勢であるかを判定する。すなわちズームモードが設定されている状態において、入力装置１１の姿勢が、上向き垂直姿勢のままであるかが判定される。

図２９は、入力装置の姿勢の変化を示す図である。例えば図２９Ａに示されるように、入力装置１１が上向き垂直姿勢である場合、処理はステップＳ５０３に戻る。すなわち、入力装置１１が上向き垂直姿勢である場合、ステップＳ５０３乃至Ｓ５０５の処理が繰り返される。

ズームモードにおいては、入力装置１１は基本的に上向き垂直姿勢で使用されるが、入力装置１１のＹ軸に対する角度αが１０度より大きいと、ステップＳ５０５において、入力装置１１は上向き垂直姿勢ではないと判定される。すなわち、ズームモードからポインティングモードへの遷移のための第３のジェスチャ操作がなされたと判定される。

入力装置１１が上向き垂直姿勢ではないと判定された場合、ステップＳ５０６において判定部１５４は、モードの候補のアイコンが表示されているかを判定する。モードの候補のアイコンが表示されていない場合、ステップＳ５０７において出力部１５５は、モードの候補のアイコンを薄く表示する。

例えば、図２９Ａに示される上向き垂直姿勢から、図２９Ｂに示されるように、Ｙ軸に対する角度が１０度より大きくなるまで入力装置１１が傾けられると、入力装置１１は上向き垂直姿勢ではないと判定される。

このとき、例えば図２８Ｂに示されるように、現在のモードであるズームモードのアイコン３０１の周囲に、モードを識別する識別情報として、モードの候補のアイコン３０２乃至３０５が、ズームモードのアイコン３０１より薄く表示される。すなわち、現在のモードから遷移可能なモードの候補のアイコン３０２乃至３０５が、モードの遷移過程で、現在のモードと識別できるように表示される。

アイコン３０２はポインティングモード、アイコン３０３は回転モード、アイコン３０４は手書き入力モード、アイコン３０５はスクロールモードを、それぞれ表している。

ステップＳ５０６において、モードの候補のアイコンが表示されていると判定された場合、さらに表示する必要がないので、ステップＳ５０７の処理はスキップされる。

ステップＳ５０７の処理の後、およびステップＳ５０６で、モードの候補のアイコンが既に表示されていると判定された場合、ステップＳ５０８において、出力部１５５は、入力装置の傾きに応じてズームモードのアイコンとポインティングモードのアイコンの濃淡表示を変更する。

すなわち、ユーザーがモードを、ズームモードからポインティングモードに変更する場合、例えば図２９Ｂ乃至図２９Ｄに示されるように、入力装置１１の姿勢を、次第に水平に近い状態に変化させる。この操作に伴って、ズームモードのアイコンとポインティングモードのアイコンの濃淡表示が変更される。

図３０は、モード変更した場合のアイコンの表示の変化例を示す図である。図２９Ｂ乃至図２９Ｄに示されるように、入力装置１１の姿勢が次第に水平に近い状態に変化されると、図３０Ａに示されるように、濃く表示されていたズームモードのアイコン３０１が、図３０Ｂに示されるように少し薄く表示される。そしてポインティングモードのアイコン３０２が、少し濃く表示される。入力装置１１の姿勢がさらに水平に近い状態に変化されると、図３０Ｂに示されるように、少し薄く表示されていたズームモードのアイコン３０１が、図３０Ｃに示されるように、さらに薄く表示される。逆に、図３０Ｂに示されるように少し濃く表示されていたポインティングモードのアイコン３０２が、さらに濃く表示される。

このように色が次第に濃くなることからも、ユーザーは、そのとき行っている操作が、どのモードへ変更するのかを知ることができる。表示された候補モードのアイコンがユーザーが希望するものではないとき、ユーザーはその操作を中止することができる。従って、迅速かつ確実にユーザーが希望するモードを設定することが可能になる。

ステップＳ５０８の処理の後、ステップＳ５０９において判定部１５４は、水平姿勢がＮ回連続して検出されたかを判定する。Ｎは予め設定されている閾値としての２以上の基準回数である。水平姿勢が検出されたとしても、その検出回数がＮ回に達していない場合、処理はステップＳ５０５に戻り、それ以降の処理が繰り返される。すなわちズームモードの処理が継続される。

１回でも水平姿勢が検出された場合、直ちにズームモードを解除すると、ユーザーが誤って入力装置１１を水平姿勢にした場合に、ズームモードが解除されてしまい、操作性が悪化する。そこでＮ回連続して検出された場合にのみ、ズームモードが解除される。すなわち図６のステップＳ３１における場合と同様に、検出された姿勢が維持されている時間が計測される。

ステップＳ５０９において、水平姿勢がＮ回連続して検出されたと判定された場合、すなわち水平姿勢が所定の時間継続している場合、ステップＳ５１０において設定部１５２は、ズームモードを解除する。そしてステップＳ５１１において設定部１５２は、ポインティングモードを設定する。ステップＳ５０１において入力装置１１が水平姿勢であると判定された場合にも、ステップＳ５１１のポインティングモード設定処理が実行される。

ポインティングモードが設定されたので、ステップＳ５１２において出力部１５５は、ポインティングモードのアイコンのみを表示する。

すなわち、例えば、入力装置１１が、図２９Ａに示される上向き垂直姿勢から、遂に図２９Ｅに示される水平姿勢に変更された場合、図３０Ｄに示されるように、ポインティングモードのアイコン３０２のみが表示される。ポインティングモードのアイコン３０２以外のズームモードのアイコン３０１、回転モードのアイコン３０３、手書き入力モードのアイコン３０４、およびスクロールモードのアイコン３０５は、いずれも消去される。

従ってユーザーは、最終的に設定されたモードを知ることができる。

ステップＳ５１３において実行部１５３は、ポインティングモードを実行する。すなわち、入力装置１１から送信されてくる、入力装置１１の操作量に基づいて、表示部５４の表示画像をポインティングする処理が行われる。

次に、ステップＳ５１４において判定部１５４は、入力装置１１が水平姿勢であるかを判定する。すなわちポインティングモードが設定されている状態において、入力装置１１の姿勢が、水平姿勢のままであるかが判定される。

例えば図２９Ｅに示されるように、入力装置１１が水平姿勢である場合、処理はステップＳ５１２に戻る。すなわち、ポインティングデモードにおいては、ステップＳ５１２乃至Ｓ５１４の処理が繰り返される。

図３１は、アイコンの表示例を示す図である。この図３１は、以上のようにして、ズームモードから最終的にポインティングモードが設定された場合において、そのアイコン３０２が表示部５４に表示された状態を表している。

現在設定されているモードと遷移過程のモードとは、濃さ以外に、色彩を異ならせることで識別できるようにすることもできる。

以上のように、設定されているモードのアイコンを表示することで、ユーザーは各モードに対応する姿勢を記憶したり、各モードの姿勢を製品の取扱説明書で確認したりする必要がなくなり、操作性が向上する。また、モードが完全に切り替えられる前に、遷移過程のモードを表示すると、ユーザーは遷移しているモードを確認することができるので、希望するモードを迅速かつ確実に設定することが可能となる。

ポインティングモードにおいては、入力装置１１は基本的に水平姿勢で使用されるが、入力装置１１のＹ軸に対する角度αが８０度より小さいと（Ｚ軸に対する角度γが１０度より大きいと）、ステップＳ５１４において、入力装置１１は水平姿勢ではないと判定される。すなわち、ポインティングモードからズームモードへの遷移のための第１のジェスチャ操作がなされたと判定される。

入力装置１１が水平姿勢ではないと判定された場合、ステップＳ５１５において判定部１５４は、モードの候補のアイコンが表示されているかを判定する。モードの候補のアイコンが表示されていない場合、ステップＳ５１６において出力部１５５は、モードの候補のアイコンを薄く表示する。

ステップＳ５１５において、モードの候補のアイコンが表示されていると判定された場合、さらに表示する必要がないので、ステップＳ５１６の処理はスキップされる。

ステップＳ５１６の処理の後、およびステップＳ５１５で、モードの候補のアイコンが既に表示されていると判定された場合、ステップＳ５１７において、出力部１５５は、入力装置の傾きに応じてポインティングモードのアイコンとズームモードのアイコンの濃淡表示を変更する。

すなわち、ユーザーがモードを、ポインティングモードからズームモードに変更する場合、例えば図７および図２９Ｅ乃至図２９Ａに示されるように、入力装置１１の姿勢を、次第に上向き垂直姿勢に近い状態に変化させる第１のジェスチャ操作が行われる。この操作に伴って、図示は省略するが、ポインティングモードのアイコンとズームモードのアイコンの濃淡表示が変更される。すなわち、遷移元のモードであるポインティングモードのアイコンが次第に薄く表示され、逆に遷移先のモードであるズームモードのアイコンが次第に濃く表示される。

このように色が次第に濃くなることからも、ユーザーは、そのとき行っている操作が、どのモードへ変更するのかを知ることができる。表示された候補モードのアイコンがユーザーが希望するものではないとき、ユーザーはその操作を中止することができる。従って、迅速かつ確実にユーザーが希望するモードを設定することが可能になる。

ステップＳ５１７の処理の後、ステップＳ５１８において判定部１５４は、上向き垂直姿勢がＭ回連続して検出されたかを判定する。Ｍは予め設定されている閾値としての２以上の基準回数である。上向き垂直姿勢が検出されたとしても、その検出回数がＭ回に達していない場合、処理はステップＳ５１４に戻り、それ以降の処理が繰り返される。すなわちポインティングモードの処理が継続される。

ポインティングモードにおいて、１回でも上向き垂直姿勢が検出された場合、直ちにポインティングモードを解除すると、ユーザーが誤って入力装置１１を上向き垂直姿勢にした場合に、ポインティングモードが解除されてしまい、操作性が悪化する。そこでＭ回連続して検出された場合にのみ、ポインティングモードが解除される。すなわち図６のステップＳ２５における場合と同様に、検出された姿勢が維持されている時間が計測される。

ステップＳ５１８において、上向き垂直姿勢がＭ回連続して検出されたと判定された場合、すなわち上向き垂直姿勢が所定の時間継続している場合、ステップＳ５１９において設定部１５２は、ポインティングモードを解除する。そして処理はステップＳ５０２に戻り、ステップＳ５０２において設定部１５２は、ズームモードを設定する。以下、上述した場合と同様の処理が繰り返される。

なお、図２６と図２７の処理は、図６の処理と同様に、隣接するステップ間の同一ルーチンが、予め設定されている回数だけ繰り返されたとき、あるいは同一ステップ内で予め設定されている所定の時間が経過したとき、終了される。さらにユーザーが、操作中、押圧していたボタンを放したり、特定の中止ボタンを操作したり、フォト式タッチセンサーから指を離すなどの操作をしたとき、図２６と図２７の処理は終了される。

［アイコンの出力例１］

図３２乃至図３８は、モード変更した場合における他のアイコンの表示の変化例を示す図である。

図３２の実施の形態においては、アイコン３０２，３０５，３０１，３０３，３０４が、左から右に順番に水平に１列に表示されている。現在のモードはズームモードであるため、図３２Ａに示されるように、ズームモードのアイコン３０１が、他の同じ大きさのアイコン３０２乃至３０５に較べて最も大きく表示されている。

ユーザーのズームモードからポインティングモードへのモード変更の操作に伴って、図３２Ｂに示されるように、ズームモードのアイコン３０１の大きさが少し小さくなり、逆にポインティングモードのアイコン３０２が少し大きくなる。そして、ポインティングモードが設定されると、図３２Ｃに示されるように、ズームモードのアイコン３０１は他のアイコン３０５，３０３，３０４と同じ大きさとなり、ポインティングモードのアイコン３０２が、それらより大きく表示される。

図３３の実施の形態においては、図３３Ａに示されるように、現在のモードのアイコン３０１が、図３２Ａにおける場合と同様に最も大きく表示されている。ズームモードからポインティングモードへのモード変更の操作に伴って、図３３Ｂに示されるように、ポインティングモードのアイコン３０２は次第に大きくなるが、ズームモードのアイコン３０１は最大の大きさのままとされる。そして、最終的にポインティングモードが設定された場合、図３３Ｃに示されるように、ポインティングモードのアイコン３０２が最大にされるとともに、ズームモードのアイコン３０１が他のアイコンと同じ、小さい大きさに変更される。

図３４の実施の形態においては、アイコン３０１乃至３０５が、十字状に配置されている。図３４Ａに示されるように、中央のアイコンが現在のモードのアイコンとされ、その上下左右に配置されている他のアイコンより大きく表示されている。図３４Ａにおいては、ポインティングモードのアイコン３０２が中央に配置されている。

ポインティングモードからズームモードへのモード変更が行われる場合、図３４Ｂに示されるように、変更のモード候補であるズームモードのアイコン３０１が次第に中央に移動される。そして、ズームモードが設定されると、図３４Ｃに示されるように、ズームモードのアイコン３０１が中央に配置され、最も大きく表示される。それまで設定されていたポインティングモードのアイコン３０２は、この例では、上側に移動され、小さく表示されている。

図３５の実施の形態においては、各モードのアイコンが、立方体の図形の各面に表示されている。この例では、立方体の図形の３面が表示されている。そして、図３５Ａに示されるように、現在設定されているモードのアイコンが、正面を向くように表示される。この例の場合、ズームモードのアイコン３０１が正面に、手書き入力モードのアイコン３０４が右側面に、そしてポインティングモードのアイコン３０２が上面に、それぞれ表示されている。

例えばズームモードからポインティングモードへのモード変更が指示された場合、図３５Ｂに示されるように、立方体の上面が正面となるように回転する。その結果、ズームモードのアイコン３０１の面が隠れるように立方体が回転し、ズームモードのアイコン３０１の表示面積が次第に小さくなる。そして、ポインティングモードのアイコン３０２が正面に位置するように立方体が回転し、ポインティングモードのアイコン３０２の表示面積が次第に大きくなる。最終的にポインティングモードが設定されたとき、図３５Ｃに示されるように、ポインティングモードのアイコン３０２が正面に最も大きく表示される。そして新たに表示された上面には、いままで仮想的に背面に位置していたスクロールモードのアイコン３０５が表示されている。

図３６の実施例においては、各モードのアイコンが、４角錐台の図形の各面に表示されている。この例では、４角錐台の底面を除く５面に各モードのアイコン３０１乃至３０５が表示されている。４角錐台は、その上面が正面を向くように配置されている。そして設定されたモードは上面に表示される。図３６の例では、ポインティングモードのアイコン３０２が正面に、各側面に、その他のアイコン３０１，３０３，３０４，３０５がそれぞれ表示されている。

図３７の実施の形態においては、立方体を構成する６面が平面上に十字状に展開されており、各面に各モードのアイコン３０１乃至３０６が表示されている。アイコン３０６は、音量調節モードのアイコンである。この表示例では、さらにフレーム４０１が表示されている。フレーム４０１は現在設定されているモードのアイコンの周囲に移動表示される。

図３７Ａにおいては、フレーム４０１はポインティングモードのアイコン３０２を囲むように表示されている。この状態でポインティングモードからズームモードにモード変更が指示されると、フレーム４０１は、図３７Ｂに示されるように、ズームモードのアイコン３０１の方向に移動する。そしてズームモードが設定されると、図３７Ｃに示されるように、フレーム４０１はズームモードのアイコン３０１の周囲に表示される。ユーザーはフレーム４０１から、現在設定されているモードを識別することができる。

図３８の実施の形態においては、現在設定されているモードのアイコンが図３８Ａに示されるように単独で表示される。この例では、ズームモードのアイコン３０１が表示されている。この状態でポインティングモードへのモード変更が指示されると、図３８Ｂに示されるように、ポインティングモードのアイコン３０２が、ズームモードのアイコン３０１の右側に薄く表示される。

さらにモード変更の指示が進むと、図３８Ｃに示されるように、ズームモードのアイコン３０１が薄くなり、ポインティングモードのアイコン３０２が濃くなる。そして、ポインティングモードが設定されると、図３８Ｄに示されるように、ズームモードのアイコン３０１は消去され、ポインティングモードのアイコン３０２だけが濃く表示される。

以上のように、ユーザーは、現在設定されているモードと、変更先のモードを知ることができるので、所望のモードを迅速、確実に設定することが可能になる。

［アイコンの出力例２］

図３９乃至図４１は、さらにアイコンなどの他の識別情報の表示例を示す図である。

図３９の実施の形態においては、ポインタ２１１が、設定されたモードのアイコンに変化する。この例においては、ズームモードが設定されているため、ポインタ２１１がズームモードのアイコン３０１として表示されている。

図４０の実施の形態においては、設定されたモードのフレームが表示される。そしてそのフレームには、設定されたモードのアイコンが付加されている。この表示例においては、ズームモードが設定されているため、ズームモードのフレーム４１１が表示されている。そしてフレーム４１１には、ズームモードのアイコン３０１がフレーム４１１の左上に付加されている。

図４１の実施の形態においては、画面の右上に、設定されているモードを表す文字４２１が表示される。

図３９乃至図４１の実施の形態においても、ユーザーは設定されているモードを確実に知ることができる。

［アイコンの出力例３］

以上の実施の形態においては、設定されているモードの識別情報が、画像表示装置１２側に出力されていたが、入力装置１１側に出力させることもできる。この場合、上述した表示制御処理が入力装置１１において実行される。

図４２乃至図４４は、識別情報を入力装置１１側に出力する場合の識別情報の出力例を示す図である。

図４２の実施の形態においては、入力装置１１に表示部５０１が形成され、そこに設定されているモードのアイコンが表示される。この例では、ズームモードのアイコン３０１が表示されている。

図４３の実施の形態においては、入力装置１１に設定可能な複数のアイコンが表示され、そのうちの実際に設定されたモードのアイコンが点滅表示される。この例では、アイコン３０１，３０２，３０３，３０５が表示されており、そのうちのズームモードのアイコン３０１が点滅している。

図４４の実施の形態においては、入力装置１１に放音部５１１が形成されている。そして新たなモードが設定されると、設定されたモードの名称が、音声でユーザーに通知される。この例では、ズームモードの音声が出力されている。

なお、画像表示装置１２側で識別情報の音声を出力することもできる。

［アイコンの出力例４］

以上の実施の形態においては、設定されたモードをユーザーに直接認識させるようにしたが、間接的に認識させるようにすることもできる。

図４５と図４６は、他の識別情報の出力例を表す図である。

図４５の実施の形態においては、入力装置１１の内部に振動部材が収容されており、入力装置１１が振動する。振動のパターンがモードによって変化する。ユーザーはその振動のパターンから、設定されたモードを識別することができる。振動は、ユーザーがモード確認のボタンを操作したり、所定のモードのジェスチャを行ったとき発生する。あるいは、モードが設定されたとき、振動が発生するようにしてもよい。

なお、画像表示装置１２側で識別情報の振動を発生させることもできる。その場合、ユーザーがその振動を感知できるように、画像表示装置１２に、全体または一部を振動させる振動部材が設けられる。

図４６の実施の形態においては、所定のモードが設定された場合、入力装置１１の発光部５２１が光を点滅する。点滅のパターンがモードによって変化する。ユーザーはその点滅のパターンから、設定されたモードを識別することができる。点滅は、ユーザーがモード確認のボタンを操作したり、所定のモードのジェスチャを行ったとき発生する。あるいは、モードが設定されたとき、点滅が発生するようにしてもよい。

なお、画像表示装置１２側で、識別情報の光を点滅させることもできる。

［変形例］

なお、以上説明したモードは例であり、上記した以外のモードを設定する場合にも本発明は適用することができる。また、上記した表示、音声、光または振動以外の出力も可能である。

以上においては、入力装置１１により遠隔操作される画像表示装置１２をテレビジョン受像機としたが、パーソナルコンピュータ、その他の情報処理装置とすることができる。

さらに、制御対象の情報処理装置が、例えば携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの携帯情報処理装置である場合には、入力装置１１をその携帯情報処理装置と別の構成とするほか、一体化した構成にすることもできる。一体化された場合、携帯情報処理装置全体を所定の方向に操作することで入力が行われる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

Claims (20)

1. 情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部と、
   モードを設定するための、前記操作部の前記自由空間における第１のジェスチャの信号と、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行させるための、前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャの信号を送信する送信部と
   を備える入力装置。
2. 前記第１のジェスチャと前記第２のジェスチャの一方は、前記操作部の回転移動的ジェスチャであり、他方は平行移動的ジェスチャである
   請求項１に記載の入力装置。
3. 前記モードは、前記第１のジェスチャが所定の閾値を超えて行われた場合に設定される
   請求項２に記載の入力装置。
4. 前記第１のジェスチャの閾値は、前記操作部の姿勢の角度と時間である
   請求項３に記載の入力装置。
5. 前記第１のジェスチャは、前記操作部を水平な姿勢から、その先端が上向きの垂直な姿勢に回転するジェスチャであり、
   前記第２のジェスチャは、先端が上向きの垂直な姿勢の前記操作部を、ユーザーに近づけるかまたは遠ざけるように移動するジェスチャである
   請求項４に記載の入力装置。
6. 前記モードは、前記第１のジェスチャおよび前記第２のジェスチャと異なる第３のジェスチャが、所定の閾値を超えて行われた場合に解除される
   請求項１に記載の入力装置。
7. 前記第３のジェスチャの閾値は、前記操作部の姿勢の角度と時間である
   請求項６に記載の入力装置。
8. 前記第３のジェスチャが所定の閾値を超えて行われた場合、前記第１のジェスチャが所定の閾値を超えて行われた場合に設定される前記モードとは異なる他のモードが設定される
   請求項７に記載の入力装置。
9. 前記操作部の前記自由空間における第１のジェスチャに基づいて、モードを設定する設定部をさらに備える
   請求項１に記載の入力装置。
10. 前記モードが変更される場合、変更される前の前記モードの処理を制限する
    請求項１に記載の入力装置。
11. 操作部と、
    送信部とを備え、
    前記操作部は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作され、
    前記送信部は、モードを設定するための、前記操作部の前記自由空間における第１のジェスチャの信号と、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行させるための、前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャの信号を送信する
    入力装置の入力方法。
12. コンピュータに、
    モードを設定するための、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部の前記自由空間における第１のジェスチャの信号と、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行させるための、前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャの信号を送信する送信手段と
    しての機能を実行させるプログラム。
13. 入力装置と、前記入力装置からの遠隔制御信号により制御される情報処理装置とからなる情報処理システムにおいて、
    前記入力装置は、
    前記情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作され、
    前記情報処理装置は、
    前記入力装置の前記自由空間における第１のジェスチャに基づいてモードを設定し、前記第１のジェスチャと異なる前記入力装置の前記自由空間における第２のジェスチャに基づいて、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行する
    情報処理システム。
14. 情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部から取得された、前記操作部の前記自由空間における第１のジェスチャに基づいて、モードを設定する設定部と、
    前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャに基づいて、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行する実行部と
    を備える情報処理装置。
15. 前記第２のジェスチャ時における前記操作部の移動速度に応じて、前記モードの動作速度を制御する
    請求項１４に記載の情報処理装置。
16. 設定されている前記モードを識別する識別情報を出力する
    請求項１４に記載の情報処理装置。
17. 設定されている前記モードから遷移可能な前記モードの前記識別情報をさらに出力する
    請求項１６に記載の情報処理装置。
18. 前記識別情報を、表示、音声または振動により出力する
    請求項１６に記載の情報処理装置。
19. 設定部と、
    実行部とを備え、
    前記設定部は、情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部から取得された、前記操作部の前記自由空間における第１のジェスチャに基づいて、モードを設定する前記操作部の前記自由空間における第１のジェスチャに基づいて、モードを設定し、
    前記実行部は、前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャに基づいて、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行する
    情報処理方法。
20. コンピュータに、
    情報処理装置を遠隔操作するために、ユーザーにより把持され、３次元の自由空間で操作される操作部から取得された、前記操作部の前記自由空間における第１のジェスチャに基づいて、モードを設定する設定手段と、
    前記第１のジェスチャと異なる前記操作部の前記自由空間における第２のジェスチャに基づいて、前記第１のジェスチャに基づいて設定された前記モードにおける処理を実行する実行手段と
    しての機能を実行させるプログラム。

Images