JP2011065512A - 情報処理システム、情報処理プログラム、操作認識システム、および操作認識プログラム、 - Google Patents

Abstract

【課題】操作の認識とその操作に対応した処理の実行を、コストを抑制し高い信頼性を持って行う。
【解決手段】情報処理システム１０が、操作立体１１と、圧力センサ１２と、圧力移動検知部１３と、操作認識部１４と、処理実行部１５とを備えた。操作立体１１は、操作時に把持されて動かされる立体である。圧力センサ１２は、操作立体１１の表面の各箇所に加えられる圧力を検出するものである。圧力移動検知部１３は、圧力センサ１２による圧力の検出結果に基づいて、操作立体１１の表面における圧力の印加位置の移動を検知するものである。操作認識部１４は、圧力移動検知部１３での検知結果を用いて操作立体１１の動きを認識するものである。処理実行部１５は、操作認識部１４で認識された操作立体１１の動きに応じた情報処理を実行するものである。
【選択図】 図１

Description

本件は、操作を認識してその操作に対応した処理を実行する情報処理システムと情報処理プログラム、および、操作の認識を実行する操作認識システムと操作認識プログラムに関する。

従来、コンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）等といった情報処理装置の操作には、キーボードやマウス等に代表される操作デバイスを介してユーザの操作を受け付ける操作認識システムが使われている。

さらに、近年では、このような操作認識システムは、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）端末、ＡＶ（Ａｕｄｉｏ−Ｖｉｓｕａｌ）機器、あるいは高機能の家電機器等の操作にも使われるようになってきている。

このような機器は、子供や高齢者といった、上記のような情報処理装置に対して馴染みが薄くなりがちなユーザにも利用されることが多い。一方で、上記のような操作認識システムは細かなキー操作等を求められることが多い。そのため、そのようなキー操作に慣れないユーザにとっては、操作認識システムの操作が負担となってしまうことがある。そこで、細かなキー操作等が不要で、ユーザが直感的に操作することができる次のような操作認識システムが提案されている。

即ち、ユーザが手に取れる操作デバイスを用い、ユーザがその操作デバイスを手にとって動かすと、その動きに応じて機器を操作する操作認識システムが提案されている。このような操作認識システムで用いられる操作デバイスの一例として、例えば、ペンを模した操作デバイス等が挙げられる（例えば、特許文献１参照。）。

このような操作認識システムの多くでは、ユーザによって操作デバイスが動かされたときのその動きを検知する加速度センサや角速度センサ等が操作デバイスに内蔵されている。そして、それらの各種センサ類での検知結果を分析することで、操作デバイスがユーザによってどのように動かされたかが認識されるようになっている。

特開平１０−２６９００７号公報

しかしながら、加速度センサや角速度センサ等を操作デバイスに内蔵させた上記のような操作認識システムには、それらのセンサ類が高価であり製造コストが嵩みがちである。さらに、加速度センサや角速度センサ等は衝撃に対する耐性が低いので、ユーザが操作中に落とす危険性が高い上記のような操作デバイスに内蔵させるには信頼性が低いことが多い。

本件は上記事情に鑑み、次のような情報処理システム、情報処理プログラム、操作認識システム、および操作認識プログラムを提供することを目的とするものである。本件の目的に係る情報処理システムおよび情報処理プログラムは、操作を認識してその操作に対応した処理を実行する、コストが抑制され信頼性が高い情報処理システムおよび情報処理プログラムである。また、本件の目的に係る操作認識システムおよび操作認識プログラムは、操作を認識する、コストが抑制され信頼性が高い操作認識システムおよび操作認識プログラムである。

上記目的を達成する情報処理システムの基本形態は、操作立体と、圧力センサと、圧力移動検知部と、操作認識部と、処理実行部とを備えている。

操作立体は、操作を受ける立体であって、その操作時に把持されて動かされるものである。

圧力センサは、上記操作立体内に組み込まれた、その操作立体の表面の各箇所に加えられる圧力を検出するものである。

圧力移動検知部は、上記圧力センサによる圧力の検出結果に基づいて、上記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知するものである。

操作認識部は、上記圧力移動検知部での検知結果が表わす移動の向きを用いて、上記操作による上記操作立体の動きを認識するものである。

処理実行部は、上記操作認識部で認識された上記操作立体の動きに応じた情報処理を実行するものである。

また、上記目的を達成する情報処理プログラムの基本形態は、
コンピュータで実行され、そのコンピュータ上に、上記圧力移動検知部と、上記操作認識部と、上記処理実行部とを構築するものである。

また、上記目的を達成する操作認識システムの基本形態は、上記操作立体と、上記圧力センサと、上記圧力移動検知部と、上記操作認識部とを備えたものである。

また、上記目的を達成する操作認識プログラムの基本形態は、
コンピュータで実行され、そのコンピュータ上に、上記圧力移動検知部と、上記操作認識部とを構築するものである。

本件によれば、操作を認識してその操作に対応した処理を実行する、コストが抑制され信頼性が高い情報処理システムおよび情報処理プログラムを得ることができる。さらに、本件によれば、操作を認識する、コストが抑制され信頼性が高い操作認識システムおよび操作認識プログラムを得ることができる。

基本形態について説明した情報処理システムの具体的な実施形態を示す模式図である。 基本形態について説明した情報処理システムの具体的な実施形態として動作するコンピュータシステムを示す模式図である。 図２に示す操作デバイスのハードウェア構成図である。 図２に示すコンピュータのハードウェア構成図である。 情報処理プログラムによって図２のコンピュータシステム上に構築される情報処理システムを示す機能ブロック図である。 操作デバイスに対する操作によるメニューの項目選択を模式的に示す図である。 図５の記憶部における記憶内容を模式的に示す図である。 図５の情報処理システムで実行される情報処理の流れを示すフローチャートの前半を示す図である。 図５の情報処理システムで実行される情報処理の流れを示すフローチャートの後半を示す図である。 操作デバイスの回転の認識について説明する説明図である。 操作デバイスが振られる様子を示す図である。 図１１に示す上方への振れの際に起きる圧力の印加位置の移動を模式的に示す図である。 図１１に示す振れとは逆向きの下方への振れの際に起きる圧力の印加位置の移動を模式的に示す図である。 振れの際に生じる、圧力の印加位置の移動の理由を説明する説明図である。

以下、上記に基本形態について説明した情報処理システム、情報処理プログラム、操作認識システム、および操作認識プログラムの具体的な実施形態について、図面を参照して説明する。

まず、第１実施形態について説明する。

図１は、基本形態について説明した情報処理システムの具体的な実施形態を示す模式図である。

図１の情報処理システム１０は、操作立体１１と、圧力センサ１２と、圧力移動検知部１３と、操作認識部１４と、処理実行部１５とを備えている。

操作立体１１は、操作を受ける立体であって、その操作時に把持されて動かされるものである。

圧力センサ１２は、上記操作立体１１内に組み込まれた、その操作立体１１の表面の各箇所に加えられる圧力を検出するものである。

圧力移動検知部１３は、上記圧力センサ１２による圧力の検出結果に基づいて、上記操作立体１１の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知するものである。

操作認識部１４は、上記圧力移動検知部１３での検知結果が表わす移動の向きを用いて、上記操作による上記操作立体１１の動きを認識するものである。

処理実行部１５は、上記操作認識部１４で認識された上記操作立体１１の動きに応じた情報処理を実行するものである。

本実施形態では、図１の操作立体１１、圧力センサ１２、圧力移動検知部１３、操作認識部１４、および処理実行部１５が、上述の基本形態における操作立体、圧力センサ、圧力移動検知部、操作認識部、および処理実行部の各一例に相当する。

また、本実施形態では、図１の操作立体１１、圧力センサ１２、圧力移動検知部１３、および操作認識部１４を合わせたものが、基本形態について説明した操作認識システムの具体的な実施形態に相当する。

本実施形態では、図１の圧力移動検知部１３、操作認識部１４、および処理実行部１５それぞれは、不図示のコンピュータにインストールされた情報処理プログラムによってそのコンピュータ上に構築される。この図１の圧力移動検知部１３、操作認識部１４、および処理実行部１５それぞれをコンピュータ上に構築する情報処理プログラムが、基本形態について説明した情報処理プログラムの具体的な実施形態に相当する。

また、本実施形態では、この情報処理プログラムのうち、図１の圧力移動検知部１３と操作認識部１４とを構築するプログラム部分が、基本形態について説明した操作認識プログラムの具体的な実施形態に相当する。

尚、図１の各要素は、そのような作用を自分自身で実行するものとして構築されても良く、あるいは、コンピュータに組み込まれている他のプログラムに指示を与えて実行するものとして構築されても良い。

以上に説明した本実施形態によれば、図１の操作立体１１に対するユーザからの操作が、その操作時に操作立体１１の表面に加えられる圧力の印加位置の移動に基づいて認識される。そして、その圧力の印加位置の移動の検知には、操作立体１１の表面に加えられる圧力を検出する圧力センサ１２が使われる。言い換えると、本実施形態では、操作立体１１に対するユーザからの操作の認識が、圧力センサ１２での検出結果を使って行われる。ここで、このような圧力センサ１２は、物体の動きの検知に利用されることが多い加速度センサや角速度センサ等に比べて安価である。さらに、圧力センサ１２は、このような加速度センサや角速度センサ等に比べて衝撃に対する耐性が非常に高い。つまり、本実施形態によれば、操作の認識とその操作に対応した処理の実行を、コストを抑制し高い信頼性を持って行うことができる。

次に、第２実施形態について説明する。

図２は、基本形態について説明した情報処理システムの具体的な実施形態として動作するコンピュータシステムを示す模式図である。

図２のコンピュータシステム２０は、操作デバイス１００と、この操作デバイス１００に対するユーザからの操作を認識してその操作に対応した処理の実行を行うコンピュータ２００とを備えている。

操作デバイス１００は、立方体形状を有し、立方体の６つの面それぞれに、各面に加えられる圧力を検出するシート状の圧力センサ１１１が貼付されている。また、この操作デバイス１００は、この操作デバイス１００内に設定されたＸＹＺそれぞれの軸方向における地磁気の成分を検出する３軸地磁気センサ１１２を内蔵している。さらに、この操作デバイス１００は、この操作デバイス１００に対する電源投入のためにＯＮされ、電源遮断のためにＯＦＦされる電源スイッチ１１３を備えている。

本実施形態では、電源スイッチ１１３のＯＮにより電源が投入されると圧力センサ１１１および３軸地磁気センサ１１２での検出が開始される。さらに、これらの検出結果は、後述するようにデジタル信号に変換され、電波による無線通信によりコンピュータ２００に送信される。

図３は、図２に示す操作デバイスのハードウェア構成図である。

この図３に示すように、操作デバイス１００は、上記の６つの圧力センサ１１１と、上記の３軸地磁気センサ１１２と、上記の電源スイッチ１１３とを有している。さらに、各センサでの検出結果を示すアナログ値をデジタル値に変換するＡ／Ｄコンバータ１１４が、各センサにつき１個づつ設けられている。

また、操作デバイス１００は、この操作デバイス１００内での各要素の動作を制御するＣＰＵ１１５を備えている。本実施形態では、このＣＰＵ１１５で、６つの圧力センサ１１１および３軸地磁気センサ１１２の検出結果が状態情報にまとめられる。この状態情報は、操作デバイス１００の姿勢をコンピュータ２００側で把握するために、そのコンピュータ２００に供される。ＣＰＵ１１５では、この状態情報の生成が一定の時間間隔毎に実行される。

また、操作デバイス１００は、上記のようにＣＰＵ１１５で一定の時間間隔毎に生成される状態情報を、その時間間隔毎に無線通信によりコンピュータ２００に送信する無線モジュール１１６を備えている。ここでは特定しないが、この無線モジュール１１６としては、例えば、近距離での無線通信規格であるＢｌｕｅｔｏｏｔｈ（登録商標）に従った無線通信を行うＢｌｕｅｔｏｏｔｈモジュール等が挙げられる。

さらに、操作デバイス１００は、電源スイッチ１１３がＯＮ状態になると操作デバイス１００内での各要素に電力を供給する電源１１７を備えている。

図２のコンピュータ２００は、外観構成上、本体装置２１０、および、その本体装置２１０からの指示に応じて液晶モニタ２２１上に画像を表示する画像表示装置２２０を備えている。また、本体装置２１０は、外観上、ＣＤ−ＲＯＭ２３０を装填するためのＣＤ−ＲＯＭ装填口２１０ａを有する。

図４は、図２に示すコンピュータのハードウェア構成図である。

本体装置２１０は、図４に示すように、ＣＰＵ２１１、主メモリ２１２、ハードディスク装置２１３、ＣＤ−ＲＯＭドライブ２１４、Ｉ／Ｏインタフェース２１５、および、無線モジュール２１６を備えている。

ＣＰＵ２１１は、各種プログラムを実行するものである。主メモリ２１２は、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開されるものである。ハードディスク装置２１３は、各種プログラムやデータ等が保存されたものである。ＣＤ−ＲＯＭドライブ２１４は、ＣＤ−ＲＯＭ２３０が装填され、その装填されたＣＤ−ＲＯＭ２３０をアクセスするものである。Ｉ／Ｏインタフェース２１５は、このコンピュータ２００を不図示の外部装置と有線で接続するためのものである。無線モジュール２１６は、図３に示す操作デバイス１００の無線モジュール１１６と無線通信を行うためのものである。

これら本体装置２１０の各要素、および図２にも示す画像表示装置２２０は、バス２１７を介して相互に接続されている。

ここで、ＣＤ−ＲＯＭ２３０には、図２のコンピュータシステム２０を、基本形態について上述した情報処理システムの具体的な実施形態として動作させるための情報処理プログラムが記憶されている。ＣＤ−ＲＯＭ２３０がＣＤ−ＲＯＭドライブ２１４に装填されると、そのＣＤ−ＲＯＭ２３０に記憶された情報処理プログラムが、コンピュータシステム２０が備えるコンピュータ２００にアップロードされる。その情報処理プログラムは、ハードディスク装置２１３に記憶される。そして、そのハードディスク装置２１３からその情報処理プログラムが適宜に読み出されて、コンピュータ２００内で実行されることとなる。

図５は、情報処理プログラムによって図２のコンピュータシステム上に構築される情報処理システムを示す機能ブロック図である。

尚、この図５では、図２に模式的な斜視図で示された操作デバイス１００が、表面に貼付された圧力センサ１１１、内蔵の３軸地磁気センサ１１２および無線モジュール１１６とともにブロックで示されている。また、この図５には、図４に示すコンピュータ２００の無線モジュール２１６も示されている。

この図５の情報処理システム３００は、上記の操作デバイス１００および無線モジュール２１６の他に、領域特定部３１０、圧力移動検知部３２０、操作認識部３３０、処理実行部３４０、および記憶部３５０を備えている。

本実施形態では、操作デバイス１００が、上述の基本形態における操作立体の一例に相当する。また、圧力センサ１１１が、この基本形態における圧力センサの一例に相当する。また、圧力移動検知部３２０が、この基本形態における圧力移動検知部の一例に相当する。また、操作認識部３３０が、この基本形態における操作認識部の一例に相当する。また、本実施形態では、操作デバイス１００と無線モジュール２１６と領域特定部３１０と圧力移動検知部３２０と操作認識部３３０とを合わせたものが、基本形態について上述した操作認識システムの具体的な実施形態に相当する。

上記の情報処理プログラムが図２のコンピュータ２００内で実行されると、そのコンピュータ２００上に、図５の領域特定部３１０、圧力移動検知部３２０、操作認識部３３０、および処理実行部３４０が構築される。

この図５の領域特定部３１０、圧力移動検知部３２０、操作認識部３３０、および処理実行部３４０をコンピュータ２００上に構築する情報処理プログラムが、基本形態について上述した情報処理プログラムの具体的な実施形態に相当する。

また、本実施形態では、この情報処理プログラムのうち、領域特定部３１０と圧力移動検知部３２０と操作認識部３３０とを構築するプログラム部分が、基本形態について上述した操作認識プログラムの具体的な実施形態に相当する。

図５の情報処理システム３００では、ユーザから、操作デバイス１００に対する次のような操作によって、図２のコンピュータ２００に対する操作指示が与えられる。この操作指示は、概略、次のようなメニューに対する項目選択となっている。

図６は、操作デバイスに対する操作によるメニューの項目選択を模式的に示す図である。

この情報処理システム３００では、立方体形状を有する操作デバイス１００の６つの面それぞれに「Ｇ１」〜「Ｇ６」のうちのいずれかの面ＩＤが割り振られている。そして、「Ｇ１」〜「Ｇ６」までの各面ＩＤには、６種類のメニューが一対一に対応付けられている。

また、本実施形態では、操作デバイス１００の６つの面それぞれには、各面ＩＤに対応付けられているメニューを示すタイトル１００ａが印刷されている。本実施形態では、ユーザは、各面のタイトル１００ａを見て、所望のタイトル１００ａが印刷されている面を、地表とは反対側の上方に向ける。すると、その面の面ＩＤに対応するメニューが、図２の液晶モニタ２２１上に表示される。

図６のパート（Ａ）には、「Ｇ１」という面ＩＤが割り振られた面が上方に向けられたときに、その「Ｇ１」という面ＩＤに対応して液晶モニタ２２１上に表示されるメニューＭ１が模式的に示されている。

このように上方を向いている面（上面）の向きをそのままに、操作デバイス１００の中央を通る鉛直軸Ｖの周りに、ユーザによって操作デバイス１００が回転されると、次のような処理が行われる。即ち、この操作デバイス１００の回転によって、メニューを構成する複数の項目の中から選択される項目の変更が行われる。本実施形態では、この項目の変更が、操作デバイス１００の上面から見て時計回りの回転によってメニュー中の降順で行われ、その上面から見て反時計回りの回転によって昇順で行われる。

また、本実施形態では、選択された項目は、文字列の上に色付きの帯（図６ではハッチングで図示）が重ねられることで、他の項目と視覚的に識別可能な状態で表示が行われる。

尚、この選択された項目の表示方法は、上記のように文字列の上に色付きの帯を重ねる方法に限るものではない。この表示方法は、例えば、選択された項目の文字列を点滅しながら表示する方法等であっても良い。

図６のパート（Ａ）の例では、最上段から２段目の項目が選択されている。

項目が選択された後に操作デバイス１００が所定時間に亘って静止されると、その項目が、最終的な選択項目に決定される。そして、そのように決定された項目にさらに下位のメニューが対応付けられている場合にはその下位のメニューの表示が行われる。また、その項目が例えば画像の表示等といった具体的な処理の実行を指示するものである場合にはその内容の処理が実行される。

ここで、本実施形態では、メニューを構成する複数の項目それぞれに、図中では各項目に矢印で対応させて示しているように、各項目を識別するための項目ＩＤが割り振られている。そして、各項目ＩＤに上記の下位のメニューや、処理の内容等が対応付けられている。

図６の例では、メニューＭ１中で選択された項目「ＢＢＢ」に割り振られた項目ＩＤ「１２」には、パート（Ｂ）に示す下位のメニューＭ１２が対応付けられている。また、この下位のメニューＭ１２には、上位のメニューＭ１に戻ることを指示する項目が用意されている。ユーザは、上位のメニューＭ１に戻りたい場合には、操作デバイス１００を操作して、この戻ることを指示する項目を選択し、操作デバイス１００を静止させることとなる。

また、本実施形態では、操作デバイス１００の６つの面の面ＩＤと、上記のような各メニューの表示を指示するメニュー表示コマンドとが互いに一対一に対応付けられて図５の記憶部３５０に記憶されている。

図７は、図５の記憶部における記憶内容を模式的に示す図である。

この図７に示すように、操作デバイス１００の６つの面のそれぞれの面ＩＤ「Ｇ１」〜「Ｇ６」には、６種類のメニュー「Ｍ１」〜「Ｍ６」それぞれの表示を指示するメニュー表示コマンドが対応付けられている。図７の例では、例えば「Ｇ１」という面ＩＤには、「Ｍ１」というメニューの表示を指示するメニュー表示コマンドが対応付けられている。また、「Ｇ６」という面ＩＤには、「Ｍ６」というメニューの表示を指示するメニュー表示コマンドが対応付けられている。

また、表示対象のメニューの各項目を示す項目ＩＤが、そのメニューの表示を指示するメニュー表示コマンドが対応付けられた面ＩＤに対応付けられている。図７の例では、例えば「Ｇ１」という面ＩＤには、「Ｍ１」というメニューの各項目を示す項目ＩＤ「１１」や「１２」が対応付けられている。また、「Ｇ６」という面ＩＤには、「Ｍ６」というメニューの各項目を示す項目ＩＤ「６１」等が対応付けられている。

また、表示対象のメニューの項目が下位のメニューの表示を指示するものである場合には、その項目の項目ＩＤには、その下位のメニューの表示を指示するメニュー表示コマンドが、その下位のメニューの名称と共に対応付けられている。図７の例では、例えば「１１」という項目ＩＤには、「Ｍ１１」という下位のメニューの表示を指示するメニュー表示コマンドが、その下位のメニューの名称と共に対応付けられている。また、「１２」という項目ＩＤには、「Ｍ１２」という下位のメニューの表示を指示するメニュー表示コマンドが、その下位のメニューの名称と共に対応付けられている。また、「６１」という項目ＩＤには、「Ｍ６１」という下位のメニューの表示を指示するメニュー表示コマンドが、その下位のメニューの名称と共に対応付けられている。

また、上記のように項目が下位のメニューの表示を指示するものである場合には、その項目の項目ＩＤには、さらに、表示対象の下位のメニューの各項目を示す項目ＩＤが対応付けられている。このような対応付けは、その下位のメニューの各項目を示す項目ＩＤについても同様に行われる。図７の例では、例えば「１１」という項目ＩＤには、「Ｍ１１」という下位のメニューの項目を示す項目ＩＤ「１１１」や「１１２」が対応付けられている。また、「１２」という項目ＩＤには、「Ｍ１２」という下位のメニューの項目を示す項目ＩＤ「１２１」や「１２２」が対応付けられている。また、「６１」という項目ＩＤには、「Ｍ６１」という下位のメニューの項目を示す項目ＩＤ「６１１」や「６１２」が対応付けられている。さらに、「６１１」という項目ＩＤには、「Ｍ６１１」という更なる下位のメニューの項目を示す項目ＩＤ「６１１１」や「６１１２」が対応付けられている。また、「６１２」という項目ＩＤには、「Ｍ６１２」という更なる下位のメニューの項目を示す項目ＩＤ「６１２１」等が対応付けられている。

また、表示対象のメニューの項目が、例えば画像の表示等といった具体的な処理の実行を指示するものである場合には、その項目の項目ＩＤには、処理の実行を指示する処理コマンドが、その処理の名称と共に対応付けられている。図７の例では、例えば「１１１」という項目ＩＤには、「処理Ａ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。また、「１１２」という項目ＩＤには、「処理Ｂ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。「１２１」という項目ＩＤには、「処理Ｃ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。「１２２」という項目ＩＤには、「処理Ｄ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。「６１１１」という項目ＩＤには、「処理Ｅ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。「６１１２」という項目ＩＤには、「処理Ｆ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。「６１２１」という項目ＩＤには、「処理Ｇ」という処理の実行を指示するコマンドが処理名称と共に対応付けられている。

このように、本実施形態では、表示対象となる複数のメニューが、各メニューに属する複数の項目の項目ＩＤやメニュー名称や処理名称といった形式で、記憶部３５０に記憶されている。

そして、本実施形態では、操作デバイス１００の６つの面のうちいずれかの面が上方に向けられると、図５の処理実行部３４０は、その面の面ＩＤに対応したメニュー表示コマンドに従って、次のような処理を実行する。処理実行部３４０は、まず、記憶部３５０から、上面の面ＩＤに対応した各項目ＩＤに対応付けられているメニュー名称や処理名称を読み出す。そして、図２の液晶モニタ２２１上に、それらのメニュー名称や処理名称を各項目ＩＤの順に並べて表示することで、メニュー表示コマンドが表示を指示したメニューの表示を行う。さらに、操作デバイス１００の回転と静止とによって、メニュー中のいずれかの項目が選択されると、図５の処理実行部３４０が、その項目の項目ＩＤに対応した処理や下位のメニューの表示を実行する。

以上、概略的に説明したように、本実施形態では、操作デバイス１００の各面の面ＩＤに、記憶部３５０に上記のように記憶されているメニューの表示を指示するメニュー表示コマンドが対応付けらている。そして、処理実行部３４０は、上記の上面に対応して表示されたメニューを処理対象として、上記の項目の選択処理を行うこととなっている。本実施形態では、処理実行部３４０によるこのような簡単な処理により、ユーザによる上述したような直感的なメニュー選びが実現されている。

このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態は、複数の項目が順番に並べられたメニューを記憶する記憶部を備えている。また、この応用形態では、上記処理実行部は、上記メニューに属する複数の項目の中から１つの項目を選択する、上記操作認識部で上記操作立体の動きが認識される度に選択対象を上記順番に沿って順次に変更する選択処理を実行するものとなっている。

本実施形態の記憶部３５０は、この応用形態における記憶部の一例にも相当している。また、本実施形態の処理実行部３４０は、この応用形態における処理実行部の一例にも相当している。

次に、概略的に説明した情報処理の流れを詳細に説明することで、図５の情報処理システム３００の各構成要素について詳細に説明する。

図８は、図５の情報処理システムで実行される情報処理の流れを示すフローチャートの前半を示す図である。また、図９は、そのフローチャートの後半を示す図である。

これら図８および図９のフローチャートが示す情報処理は、図２のコンピュータ２００に電源が投入されるとスタートする。

この情報処理がスタートすると、図５の情報処理システム３００では、まず、操作デバイス１００の電源スイッチ１１３がＯＮ状態となるまで待機状態となる（ステップＳ１０１）。

ここで、本実施形態では、この電源スイッチ１１３のＯＮは、操作デバイス１００が、例えばテーブルの天板上等といった地表に対してほぼ平行で平坦な面上に載置された状態で行われる。

電源スイッチ１１３がＯＮされることで電源が投入されると（ステップＳ１０１におけるＹＥＳ判定）、３軸地磁気センサ１１２や圧力センサ１１１での検出が開始される。さらに、これらの検出開始と共に、次のように操作デバイス１００と図２のコンピュータ２００との間の無線接続が開始される（ステップＳ１０２）。

本実施形態では、図２のコンピュータ２００の無線モジュール２１６は、操作デバイス１００に対して、通信を呼びかける無線信号を一定の時間間隔で繰返し送信している。そして、電源スイッチ１１３がＯＮ状態となると、操作デバイス１００の無線モジュール１１６が、コンピュータ２００の無線モジュール２１６に対して返信する。その返信により、操作デバイス１００と図２のコンピュータ２００との間での無線接続が開始される。

無線接続が開始されると、ＣＰＵ１１５において、圧力センサ１１１および３軸地磁気センサ１１２での検出結果が、各時点での操作デバイス１００の姿勢をコンピュータ２００側で把握するための状態情報に一定の時間間隔毎にまとめられる。そして、そのようにＣＰＵ１１５でまとめられた状態情報をコンピュータ２００に送信する無線通信が、操作デバイス１００の無線モジュール１１６によって開始される（ステップＳ１０３）。

このように開始された無線通信によって操作デバイス１００から上記の状態情報が一定の時間間隔で繰返し送られてくると、それらの状態情報は、図２のコンピュータ２００の無線モジュール２１６で受信されて図５の領域特定部３１０に渡される。

図５の領域特定部３１０は、無線通信開始の後、最初に送られてきた状態情報を使って、次のようなキャリブレーション処理を実行する（ステップＳ１０４）。

このキャリブレーション処理では、上記の状態情報に含まれている３軸地磁気センサ１１２での検出結果が、不図示のメモリ内に保管される。

さらに、このキャリブレーション処理では、状態情報に含まれている６つの圧力センサ１１１それぞれの検出結果に基づいて、まず、圧力が全面に渡って検出されている圧力センサ１１１が貼付されている面が特定される。続いて、その特定された面と対向する面が上面として特定される。

上述したように、本実施形態では、電源スイッチ１１３のＯＮは、操作デバイス１００が平坦な面上に載置された状態で行われる。このため、この電源スイッチ１１３のＯＮの直後には、操作デバイス１００の６つの面のうちいずれかの面が、上記の平坦な面に全面的に接した状態となっている。その結果、電源スイッチ１１３のＯＮの直後には、その平坦な面に接した面の圧力センサ１１１では、圧力が全面に渡って検出されることとなる。つまり、上記の上面の特定は、操作デバイス１００の６つの面のうち上記の平坦な面に接した下面に対向する面を上面として特定する処理となる。尚、本実施形態では、操作デバイス１００の６つの面それぞれが、各面に割り振られている面ＩＤで管理される。このため、キャリブレーション処理では、上記のように特定された上面の面ＩＤが得られる。

本実施形態では、不図示のメモリ内に、キャリブレーションによって上記のように特定される上面の面ＩＤを保管しておくためのメモリ領域が設けられている。キャリブレーションでは、上記のように上面の面ＩＤが得られると、その面ＩＤが、そのメモリ領域に格納される。

本実施形態では、このようなキャリブレーションが終了した段階で、ユーザが、操作デバイス１００を上記の平坦な面上から取り上げて、６つの面のうち所望の面を上方に向けるべく操作デバイス１００を動かすこととなる。そして、ユーザが、操作デバイス１００を動かしている間は、繰返し送られてくる各状態情報に含まれる地磁気の検出結果が、その動きに応じて変化することとなる。一方、ユーザが操作デバイス１００の所望の面を上方に向け終わると、この地磁気の検出結果が安定することとなる。

図５の領域特定部３１０は、ユーザが操作デバイス１００の所望の面を上方に向け終わることで地磁気の検出結果が所定の判定時間に亘って安定するまで待機状態となる（ステップＳ１０５）。

地磁気の検出結果が安定したと判定されると（ステップＳ１０５におけるＹＥＳ判定）、領域特定部３１０が、地磁気の検出結果に基づいて、操作デバイス１００において地表とは反対側の上方を向いている面（上面）を次のように特定する（ステップＳ１０６）。

このステップＳ１０５の処理では、まず、上記のキャリブレーションで保管された３軸地磁気センサ１１２での検出結果と、このステップＳ１０６の時点での３軸地磁気センサ１１２での検出結果との間で、ＸＹＺそれぞれの成分値および符合が比較される。

そして、上記のようにユーザが操作デバイス１００の所望の面を上方に向けたことによって操作デバイス１００の姿勢が、キャリブレーションの時点の姿勢からどのように変化したかがその比較結果に基づいて特定される。

この特定の一例として、次のような分かり易い例を考える。

例えば、キャリブレーションの際、操作デバイス１００が、テーブルの天板等の面の上に、３軸地磁気センサ１１２におけるＸ軸とＹ軸とを含むＸＹ平面がその面に対して平行となるように載置されていたとする。この場合、Ｚ軸が鉛直軸にほぼ沿うこととなるので、このＺ成分の値はほぼ「０」となる。そして、その後の操作によって、操作デバイス１００が、３軸地磁気センサ１１２のＹ軸回りに１８０度反転されたとする。この場合、Ｘ軸とＺ軸とが操作デバイス１００の反転前に対して逆向きとなり、Ｙ軸については向きがそのまま維持される。その結果、操作デバイス１００の反転後には、３軸地磁気センサ１１２でのＸ成分の符号が反転することとなる。Ｚ成分については反転後も値はほぼ「０」となるので符号については維持される。また、Ｙ軸については向きがそのまま維持されるので、Ｙ成分については符号も維持される。この例では、操作デバイス１００の反転前後で、ＹＺ両成分については値と符号について変化がなくＸ成分について符号の反転が見られたことをもって、操作デバイス１００のＹ軸回りの反転を特定することができる。

ステップＳ１０６の処理では、このような幾何学的な性質を利用して操作デバイス１００の姿勢の変化が特定される。

ここで、上述のキャリブレーションでは、そのキャリブレーションの際の上面の面ＩＤが、不図示のメモリ領域に保管されている。ステップＳ１０６の処理では、上記のように特定された姿勢の変化によって新たに上面となった面の面ＩＤが、上記のメモリ領域に保管されている面ＩＤが示す面を基準として特定される。例えば、上記の例のように姿勢の変化が１８０度の反転であった場合には、姿勢変化後の上面の面ＩＤは、メモリ領域に保管されている面ＩＤが示す面と対向した面の面ＩＤとなる。

ステップＳ１０６において上面の面ＩＤが特定されると、領域特定部３１０は、次に、操作デバイス１００の６つの面の中から、圧力センサ１１２での検出結果が有効となる圧力有効面を選択する（ステップＳ１０７）。本実施形態では、この圧力有効面として、上記の上面と、その上面に対向した下面との２面を除いた４面が選ばれる。

本実施形態では、このように圧力有効面が選ばれると、これ以降に操作デバイス１００から送信されてくる上記の状態情報に含まれる圧力センサ１１２での検出結果のうち、圧力有効面以外の２つの面についての検出結果が廃棄される。

続いて、図５の処理実行部３４０が、特定された上面の面ＩＤに対応付けられているメニューを構成する各項目の名称を、記憶部３５０から読出し、液晶モニタ２２１に、これらの名称が並べられたメニューを表示する（ステップＳ１０８）。

本実施形態では、このように表示されるメニューを処理対象として、複数の項目の中から所望の項目を選択する処理が、後述するように、操作デバイス１００の回転等に応じて図５の処理実行部３４０で行われることとなっている。

以上に説明したように、本実施形態では、上記の３軸地磁気センサ１１２を使って操作デバイス１００の６つの面のうち地表に対する上方を向く面（上面）が特定される。そして、図５の処理実行部３４０では、この上面に対応したメニューを処理対象として、項目の選択処理が行われることとなっている。これにより、ユーザは、まず、操作デバイス１００の所望の面を上方に向けるという直感的で非常に簡単な操作により所望のメニューを処理対象に選んで、項目の選択処理を行うことができるようになっている。

このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記操作立体は、表面が、その表面上の稜線あるいはその表面上に描かれた線によって複数の領域に分割されたものとなっている。さらに、この応用形態は、以下に説明する記憶部と、３軸地磁気センサと、領域特定部とを備えている。記憶部は、各々が情報処理の対象となり得る複数種類の対象情報を、上記複数の領域と一対一に対応付けて記憶したものである。３軸地磁気センサは、上記操作立体内に設定された３次元座標軸それぞれについての地磁気の成分を検出するものである。領域特定部は、上記３軸地磁気センサでの検出結果を使って、上記複数の領域のうち、上記操作立体が存在している３次元空間に対して決められた特定の向きに向いている領域を特定する。また、この応用形態では、上記処理実行部は、上記操作認識部で認識された上記操作立体の動きに応じた情報処理を、次のような対象情報に対して実行する。この対象情報は、上記領域特定部で特定された領域に対応付けられて上記記憶部に記憶されている対象情報である。

本実施形態の操作デバイス１００は、この応用形態における操作立体の一例にも相当している。また、本実施形態の記憶部３５０が、この応用形態における記憶部の一例に相当する。また、本実施形態の３軸地磁気センサ１１２が、この応用形態における３軸地磁気センサの一例に相当する。また、本実施形態の領域特定部３１０が、この応用形態における領域特定部の一例に相当する。また、本実施形態の処理実行部３４０は、この応用形態における処理実行部の一例にも相当している。

また、本実施形態では、図６を参照して説明したように、操作デバイス１００の６つの面それぞれに、各面の面ＩＤに対応付けられているメニューを示すタイトル１００ａが印刷されている。これにより、ユーザは、一層容易に、所望のメニューを処理対象として選ぶことが出来ることとなっている。

このことは、操作立体の表面が複数の領域に分割された上述の応用形態に対し、以下に説明する応用形態が更に好適であることを意味している。この更に好適な応用形態では、上記操作立体は、上記複数の領域それぞれに、その領域が対応付けられている対象情報を表わす情報が視覚的に示されているものとなっている。

本実施形態の操作デバイス１００は、この応用形態における操作立体の一例にも相当している。また、本実施形態の操作デバイス１００の各面に印刷されているタイトル１００ａは、この応用形態にいう「対象情報を表わす情報」の一例に相当する。

以上に説明したステップＳ１０８までの処理が終了すると、次に、圧力移動検知部３２０において、上記の圧力有効面での圧力の印加位置の移動について、上記の状態情報に含まれる圧力センサ１１２での検出結果に基づく検知が開始される（ステップＳ１０９）。そして、この情報処理システム３００は、この圧力移動検知部３２０において、所定の閾値以上の移動が検知されるまで待機状態となる。

圧力移動検知部３２０で閾値以上の移動が検知されると（ステップＳ１０９におけるＹＥＳ判定）、図５の操作認識部３３０において、次のような判定処理が実行される（ステップＳ１１０）。

このステップＳ１１０では、上記のような印加位置の移動をもたらした、操作デバイス１００の動きが、後述の回転と振れとのいずれであるかが操作認識部３３０によって判定される。

その判定は、回転と振れそれぞれを操作認識部３３０において次のように認識することで行われる。

まず、回転の認識について説明する。

図１０は、操作デバイスの回転の認識について説明する説明図である。

尚、この図１０では、説明を簡単なものとするために、本実施形態の立方体形状の操作デバイス１００とは異なる円柱形状の操作デバイス１００’が示されている。

この図１０には、円柱形状の操作デバイス１００’が左手で把持されて、鉛直方向に操作デバイス１００’を貫く回転軸Ｒの周りを時計回りに回転される様子が示されている。図１０のパート（Ａ）には回転前の状態が示されており、パート（Ｂ）には回転後の状態が示されている。

このとき、操作デバイス１００’の側面には、操作デバイス１００’を把持している左手の指から圧力が加えられる。そして、パート（Ａ）およびパート（Ｂ）の２つの斜視図で左手の親指に注目して示すように、操作デバイス１００’が回転するにつれ、操作デバイス１００’の側面上における指からの圧力の印加位置Ｐ１は、その側面上を、回転の方向とは逆方向に移動して行く。

ここで、親指と、回転軸Ｒを挟んで対向する図の奥側の指からの圧力の印加位置についても、親指の場合と同様に、回転の方向とは逆方向の移動が起きることとなる。図１０のパート（Ｃ）には、親指と対向する図の奥側の指からの圧力の印加位置Ｐ２について回転前の状態が示されている。パート（Ｄ）には、その奥側の指からの圧力の印加位置Ｐ３について回転後の状態が示されている。

このとき、親指と対向する指についての印加位置Ｐ２の移動と、親指についての印加位置Ｐ１の移動とは、回転軸に対して回転対称となる。その結果、操作デバイス１００’の上面側から見ると、これらの指ついての印加位置Ｐ１，Ｐ２の移動は回転軸Ｒを挟んで互いに逆向きの移動となる。

本実施形態では、図５の圧力移動検知部３２０は、図８のステップＳ１０７で特定された圧力有効面の複数箇所で起きる圧力の印加位置の移動それぞれを検知する。そして、図５の操作認識部３３０は、圧力移動検知部３２０で、次のような印加位置の移動が検知された場合に、操作デバイス１００が回転したと認識する。即ち、回転軸を挟んだ一対の印加位置の移動の向きが互いに異なる向きであった場合に、操作認識部３３０は、操作デバイス１００が回転したと認識する。

本実施形態では、上記のような圧力の印加位置の移動の検知に基づくことで、操作デバイス１００の回転が、高価で衝撃に対する信頼性が低い加速度センサや角速度センサを用いることなく認識されることとなっている。

このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記圧力移動検知部が、上記表面上の、上記操作時の把持によって各々に圧力が加えられた複数箇所それぞれについて、上記印加位置の移動を検知するものとなっている。また、この応用形態では、上記操作認識部は、上記圧力移動検知部で上記複数箇所それぞれにおいて検知された移動の向きのうち少なくとも一対の向きが互いに異なる向きであった場合に、次のような処理を実行する。この場合、操作認識部は、それら一対の向きとは逆向きの前記操作立体の回転を認識する。

本実施形態の圧力移動検知部３２０は、この応用形態における圧力移動検知部の一例にも相当している。また、本実施形態の操作認識部３３０は、この応用形態における操作認識部の一例にも相当している。

上述したように操作デバイス１００の回転が認識されると、操作認識部３３０では、以下に説明するように、その回転における回転角度が算出される。

以下では、説明を簡単なものとするために、図１０に示す円柱形状の操作デバイス１００’を例に挙げて回転角度の算出方法について説明する。

本実施形態では、圧力有効面の複数箇所で起きる圧力の印加位置の移動それぞれにおける移動距離の平均値（以下、単に移動距離と呼ぶ）Ｌが求められる。この移動距離Ｌは、操作デバイス１００’の回転角度θを中心角とし、操作デバイス１００’の半径ｒを半径とした扇形の弧の長さに相当する。扇形の弧の長さは、中心角と半径の積で算出することができる。従って、上記の回転角度θは、「θ＝Ｌ／ｒ」という式で求めることができる。また、ここでは、操作デバイス１００’の上面から見て時計回りの回転を「正」、上面から見て反時計回りの回転を「負」として、上記の回転角度θに符号が付けられる。

このように、円柱形状の操作デバイス１００’の回転角度は、圧力の印加位置の移動距離Ｌと、移動前後の圧力の印加位置それぞれと回転軸との距離（ここでの例では円柱の半径）を使って算出される。同様に、本実施形態のような立方体形状の操作デバイス１００の回転角度も、圧力の印加位置の移動距離Ｌと、移動前後の圧力の印加位置それぞれと回転軸との距離を使って算出されることとなる。

次に、操作デバイス１００に対する上記の振れの認識について説明する。

図１１は、操作デバイスが振られる様子を示す図である。

この図１１には、本実施形態の操作デバイス１００が、左手で把持され、上面と下面との双方と交わって操作デバイス１００を貫く鉛直軸Ｖに沿って上方に動かされるという振れの様子が示されている。

このような振れでは、圧力有効面の複数箇所で起きる圧力の印加位置Ｐ３について、以下に説明するような鉛直軸Ｖに沿った移動が起きることとなる。

図１２は、図１１に示す上方への振れの際に起きる圧力の印加位置の移動を模式的に示す図である。また、図１３は、図１１に示す振れとは逆向きの下方への振れの際に起きる圧力の印加位置の移動を模式的に示す図である。

図１２に示すように、上方への振れの際には、まず、振れの開始時および移動中に、圧力の印加位置Ｐ３が、振れの方向と同じ向きに、図中で「１」と「２」という順番を示す符号が振られた矢印Ｄ１が示す上方に移動する。次に、振れの停止時に、圧力の印加位置Ｐ３が、振れの方向と逆向きに、図中で「２」と「３」という順番を示す符号が振られた矢印Ｄ２が示す下方に戻ることとなる。また、図１３に示すように、下方への振れの際には、まず、振れの開始時および移動中に、圧力の印加位置Ｐ３が、図中で「１」と「２」という順番を示す符号が振られた矢印Ｄ３が示す下方に移動する。次いで、振れの停止時に、圧力の印加位置Ｐ３が、図中で「２」と「３」という順番を示す符号が振られた矢印Ｄ４が示す上方に戻ることとなる。

振れの際に、圧力の印加位置Ｐ３がこのように移動するのは、以下の理由による。

図１４は、振れの際に生じる、圧力の印加位置の移動の理由を説明する説明図である。尚、この図１４では、図１１に示す上方への振れを例に挙げて、圧力の印加位置の移動の理由が説明されている。

上記のような振れでは、質量が「ｍ」で、重力加速度ｇに基づいて「ｍｇ」の重力が掛かっている操作デバイス１００が、重力とは別の加速度運動をすることとなる。このときの加速度を「α」とすると、図１４のパート（Ａ）に示すように、操作デバイス１００には「Ｆ＝ｍα」の式で表される、重力とは別の力が働く。そして、この力の反作用で、図１４のパート（Ｂ）に示すように指には、この力の大きさと同じ大きさで向きが逆向きの反力Ｆ’が働く。振れの開始時および移動中には、操作デバイス１００を把持している指の表面の皮膚が、この反力Ｆ’に引っ張られて操作デバイス１００の表面上を上記の振れの方向と同じ向きに動く。その結果、この指からの圧力の印加位置が、振れの方向と同じ向きに移動することとなる。一方、振れの停止時には、揺り戻しが起き、圧力の印加位置が、移動中とは逆向きに戻ることとなる。

ここで、このような振れの場合には、操作デバイス１００を把持している全ての指には、上記の反力Ｆ’が同じ向きに掛かる。その結果、操作デバイス１００の上面側から見ると、これらの指ついての印加位置の移動は互いに同じ向きの移動となる。

図５の操作認識部３３０は、圧力移動検知部３２０で複数の圧力の印加位置の全てについて互いに同じ向きの移動が検知され、かつ、移動後に逆向きに戻る移動も検知された場合に、操作デバイス１００に振れが生じたと認識する。

本実施形態では、上記のような圧力の印加位置の移動の検知に基づくことで、操作デバイス１００の振れが、高価で衝撃に対する信頼性が低い加速度センサや角速度センサを用いることなく認識されることとなっている。

このことは、上述の基本形態に対し、以下に説明する応用形態が好適であることを意味している。この応用形態では、上記圧力移動検知部が、上記表面上の、上記操作時の把持によって各々に圧力が加えられた複数箇所それぞれについて、上記印加位置の移動を検知するものとなっている。また、この応用形態では、上記操作認識部は、上記圧力移動検知部で上記複数箇所それぞれにおいて検知された移動の向きが互いに同じ向きで、かつ、移動後に逆向きの移動も検知された場合に、次の認識をする。即ち、この場合、操作認識部は、その逆向きの移動前に検出された移動の向きと同じ向きの上記操作立体の振れを認識する。

本実施形態の圧力移動検知部３２０は、この応用形態における圧力移動検知部の一例にも相当している。また、本実施形態の操作認識部３３０は、この応用形態における操作認識部の一例にも相当している。

上述したように操作デバイス１００の振れを認識すると、操作認識部３３０は、複数箇所での印加位置の移動距離の平均値Ｌを求める。

図９のステップＳ１１０では、図５の操作認識部３３０は、以上に説明した方法により、操作デバイス１００における回転あるいは振れを認識する。また、操作認識部３３０は、回転を認識した際には、回転角度を求め、振れを認識した際には、その振れ時の圧力の印加位置の移動距離の平均値を求める。

ステップＳ１１０で回転が認識された場合、操作認識部３３０は、上記の回転角度が、所定の閾値以上であるか否かを判定する（ステップＳ１１１）。回転角度が閾値未満である場合（ステップＳ１１１におけるＮＯ判定）、ステップＳ１０９まで処理が戻り、ステップＳ１０９およびステップＳ１１０が繰り返される。一方、回転角度が閾値以上である場合（ステップＳ１１１におけるＹＥＳ判定）、操作認識部３３０は、操作デバイス１００が回転したことを示す回転イベントを、処理実行部３４０に向けて発行する（ステップＳ１１２）。また、この回転イベントには、上記の回転角度の符号が付される。

処理実行部３４０は、回転イベントを受け取ると、ステップＳ１０８で表示されたメニュー中の項目の中から選択される項目を、回転角度の符号に応じた方向に１項目移動する（ステップＳ１１３）。

ここで、このステップＳ１１３の処理が、メニュー表示後に最初に実行される場合には、メニュー中の最上段の項目が選択される。そして、後述するようにステップＳ１１３の処理が繰り返される際、回転角度の符号が「正」の場合に、処理実行部３４０は、項目をメニュー中の項目の配列における降順で１項目移動する。また、回転角度の符号が「負」の場合には、処理実行部３４０は、項目をメニュー中の項目の配列における昇順で１項目移動する。

ステップＳ１１３の処理が終了すると、図５の操作認識部３３０は、操作デバイス１００が静止状態にあるか否かを、次のように判定する（ステップＳ１１４）。操作認識部３３０は、このステップＳ１１４の時点において、圧力移動検知部３２０で、圧力の印加位置の移動が、所定時間を過ぎても検知されない場合に、操作デバイス１００が静止状態にあると判定する。

静止状態にないと判定されると（ステップＳ１１４におけるＮＯ判定）、処理がステップＳ１０９まで戻る。一方、静止状態にあると判定されると（ステップＳ１１４におけるＹＥＳ判定）、図５の処理実行部３４０は、現時点で選択されている項目を最終的な選択項目に決定し、後述のステップＳ１１５の処理を実行する。

このように、本実施形態によれば、上記のメニュー中の項目に対する所望の選択結果の決定を、操作デバイス１００の静止という非常に簡単な操作によって行うことができる。

このことは、上述の基本形態に対し以下に説明する応用形態が好適であることを意味している。この応用形態では、上記操作認識部は、上記操作立体の動きが認識されてから所定時間を過ぎても次の動きが非認識である場合に、その操作立体が静止状態にあることを認識するものとなっている。また、この応用形態では、上記処理実行部は、上記操作認識部で上記静止状態が認識されると、その静止状態の認識の直前に実行された上記選択処理の結果を最終的な選択項目に決定するものとなっている。

本実施形態の操作認識部３３０は、この応用形態における操作認識部の一例にも相当している。また、本実施形態の処理実行部３４０は、この応用形態における処理実行部の一例にも相当している。

ステップＳ１１５では、処理実行部３４０が、選択されている項目に、下位のメニューが対応付けられているか否かを判定する。下位のメニューが対応付けられていた場合（ステップＳ１１５におけるＹＥＳ判定）、処理実行部３４０は、その下位のメニューを構成する各項目の名称を、記憶部３５０から読出す。そして、処理実行部３４０は、液晶モニタ２２１に、これらの名称が並べられた下位のメニューを表示する（ステップＳ１１６）。処理実行部３４０による下位のメニュー表示の後、処理はステップＳ１０９まで戻ることとなる。

一方、選択されている項目に、下位のメニューが対応付けられていない場合は（ステップＳ１１５におけるＮＯ判定）、処理実行部３４０は、次のステップＳ１１７の処理を実行する。この場合、その項目は、上述したように、例えば画像の表示等といった具体的な処理の実行を指示する処理情報に対応している。ステップＳ１１７では、処理実行部３４０は、この処理情報を記憶部３５０から読出す。そして、処理実行部３４０は、その処理情報の指示に従って画像の表示等といった処理を実行する。

この処理の実行後、操作デバイス１００の電源スイッチ１１３がＯＦＦされるまでは（ステップＳ１１８におけるＮＯ判定）、ユーザによって、操作デバイス１００が再度動かされて新たな面が情報に向けられることとなる。このため、本実施形態では、上記のステップＳ１１７の処理の実行後は、処理がステップＳ１０５まで戻り、新たな面が上方に向けられて操作デバイス１００の姿勢が安定するまで待機状態となる。そして、このステップＳ１０５以降の処理が繰り返される。一方、電源スイッチ１１３がＯＦＦされると（ステップＳ１１８におけるＹＥＳ判定）、電源の供給が止まることにより操作デバイス１００からの無線接続が解除される（ステップＳ１１９）。そして、この無線接続の解除をもって、図８および図９のフローチャートの処理は終了する。

本実施形態では、図８のステップＳ１０１とステップＳ１０２とに示すように、操作デバイス１００とコンピュータ２００との間の無線通信の接続が、操作デバイス１００の電源スイッチ１１３のＯＮというイベントが生じた場合に開始される。そして、図９のステップＳ１１８とステップＳ１１９とに示すように、その電源スイッチ１１３のＯＦＦというイベントが生じた場合に、上記の無線通信の接続が解除される。その結果、本実施形態では、操作デバイス１００を使用しないときには電源スイッチ１１３をＯＦＦすることでこの情報処理システム３００での省電力化を図るといった運用が可能となっている。

このことは、上述の基本形態に対し以下に説明する応用形態が好適であることを意味している。この応用形態では、上記圧力移動検知部、上記操作認識部、および上記処理実行部が、上記操作立体とは独立の外部装置に搭載されたものとなっている。また、この応用形態は、送信部と受信部とを備えている。送信部は、上記操作立体に搭載され、上記圧力センサによる上記各箇所の圧力の検出結果を表わす圧力情報をワイヤレス通信によって送信するものである。さらに、この送信部は、第１のイベントが生じると通信相手とのワイヤレス接続を構築し、第２のイベントが生じると通信相手とのワイヤレス接続を解除する。また、受信部は、上記外部装置に搭載され、上記圧力情報を受信するものである。そして、この応用形態では、上記圧力移動検知部が、上記受信部で受信された上記圧力情報を使って上記印加位置の移動を検知するものとなっている。

本実施形態の圧力移動検知部３２０、操作認識部３３０、および処理実行部３４０は、それぞれこの応用形態における圧力移動検知部、操作認識部、および処理実行部の各一例にも相当している。また、本実施形態の操作デバイス１００に内蔵されている無線モジュール１１６が、この応用形態における送信部の一例に相当する。また、本実施形態のコンピュータ２００に内蔵されている無線モジュール２１６が、この応用形態における受信部の一例に相当する。また、本実施形態では、上記の電源スイッチ１１３のＯＮが、この応用形態における第１のイベントの一例に相当する。また、電源スイッチ１１３のＯＦＦが、この応用形態における第２のイベントの一例に相当する。

以上、図９のステップＳ１１９までの処理について説明したように、ステップＳ１１０で操作デバイス１００の回転が認識された場合には、メニュー中の項目の選択と、その項目に対応した下位のメニューの表示や処理の実行が行われる。

一方、ステップＳ１１０で操作デバイス１００の振れが認識された場合には、以下のような処理が行われる。

この場合、図５の操作認識部３３０は、振れの際の上記の圧力の印加位置の移動距離が、所定の閾値以上であるか否かを判定する（ステップＳ１２０）。移動距離が閾値未満である場合（ステップＳ１２０におけるＮＯ判定）、ステップＳ１０９まで処理が戻り、ステップＳ１０９およびステップＳ１１０が繰り返される。

一方、移動距離が閾値以上である場合（ステップＳ１２０におけるＹＥＳ判定）、操作認識部３３０は、操作デバイス１００が振られたことを示す振れイベントを、処理実行部３４０に向けて発行する（ステップＳ１２１）。

処理実行部３４０は、振れイベントを受け取ると、この時点で表示されているメニューの消去や、ステップＳ１０６での上面についての特定結果の消去等といったリセット処理を実行する（ステップＳ１２２）。そして、この処理実行部３４０によるリセット処理の実行後、ステップＳ１０５まで処理が戻り、このステップＳ１０５以降の処理で、新たな上面の特定等の処理が繰り返される。

以上に説明した処理により、本実施形態の情報処理システム３００では、所望のメニューを対象とし、所望の項目に対応する下位のメニューの表示や、その項目に対応する処理の実行が、操作デバイス１００に対する直感的で簡単な操作により行われることとなる。そして、本実施形態では、上記の操作による操作デバイス１００の回転や振れといった動きが、加速度センサや角速度センサに比べて安価で衝撃に強い圧力センサを用いて行われる。これにより、本実施形態では、操作の認識とその操作に対応した処理の実行を、コストを抑制し高い信頼性を持って行うことができることとなっている。

尚、上記では、上記では、基本形態について上述した情報処理システムの一実施形態として、操作デバイスを使ってコンピュータ２００上でのメニューの項目選択が行われるという形態を例示した。しかしながら、基本形態について上述した情報処理システムはこれに限るものではない。基本形態について上述した情報処理システムは、例えば、カラオケボックスにおける選曲システムや、カーナビゲーションにおけるメニュー選択システムや、各種家電機器における操作システム等であっても良い。

また、上記では、上述の基本形態における操作立体の一例として、立方体形状や円柱形状を有する操作デバイス１００，１００’を例示した。しかしながら、この基本形態における操作立体はこれに限るものではない。基本形態における操作立体は、例えば、任意の面数の多面体形状を有するものであっても良く、あるいは、球形状を有するものであっても良い。また、基本形態における操作立体は、これらの幾何学形状を有するものに限るものでもなく、例えば、人形や乗物等の形を模した任意の形状を有するものであっても良い。

また、上記では、上述の基本形態における処理実行部の一例として、メニューに属する複数の項目の中から所望の項目を選択するという項目の選択処理と、表示メニューや上面の特定結果の消去といったリセット処理を実行する処理実行部３５０を例示した。しかしながら、この基本形態における処理実行部はこれに限るものではない。この基本形態における処理実行部は、例えば、スピーカの音量や、照明の明るさについて、予め設定されている複数のレベルの中から所望のレベルを選択する処理を実行するものであっても良い。また、この基本形態における処理実行部は、例えば、操作デバイスの回転角度等の連続的な変化に応じた量だけ、画面上のカーソルを移動させるといった処理を実行するものであっても良い。

また、上記では、上述の基本形態における処理実行部の一例として、操作デバイス１００の回転に応じてメニューの選択項目の変更を実行し、振れに応じて上記のリセット処理を実行する処理実行部３５０を例示した。しかしながら、この基本形態における処理実行部はこれに限るものではない。この基本形態における処理実行部は、例えば、操作デバイスの振れに応じてメニューの選択項目の変更を実行し、回転に応じて上記のリセット処理を実行するものであっても良い。この場合、処理実行部は、例えば、上方への振れに応じて選択項目の昇順での変更を実行し、下方への振れに応じて選択項目の降順での変更を実行する等といった処理行うこととなる。

また、上記では、上述の基本形態における処理実行部の一例として、操作デバイス１００の振れに応じて上記のリセット処理を実行する処理実行部３５０を例示した。しかしながら、この基本形態における処理実行部はこれに限るものではない。この基本形態における処理実行部は、例えば、操作デバイス１００の振れに応じて、表示メニュー（コンテンツ）の固定を実行するもの等であっても良い。

また、上記では、基本形態について上述した情報処理システムや操作認識システムの一実施形態として、操作デバイスの回転角度を求めてイベントを発行するという形態を例示した。しかしながら、上記の情報処理システムや操作認識システムは、この形態に限るものではない。この情報処理システムや操作認識システムは、例えば、上記の回転角度と共に角速度も求めて、回転角度と角速度との組合せに応じてイベントを発行するといった形態であっても良い。この場合、角速度ｗは、操作デバイスが回転した時間をｔとすると、上述したように求められる回転角度θを使って「ｗ＝−θ／ｔ」という式で求められる。ここで、上述したように、回転角度θは、操作デバイスの回転の方向とは逆向きの圧力の印加位置の移動に基づいて求められている。このため、操作デバイスの回転の角速度ｗを求める上記の式では、「θ／ｔ」という項に「−」符号が付されている。このように求めた回転角度と角速度との組合せに応じてイベントを発行する形態では、例えば、単なる回転ではなく有る程度の速さの回転に応じてイベントを発行する等といった処理が可能となる。

また、上記では、ワイヤレス通信を行う送信部を備えた上述の応用形態における第１および第２のイベントそれぞれの一例として、操作デバイス１００の電源スイッチ１１３のＯＮおよびＯＦＦを例示した。しかしながら、上述の応用形態における第１および第２のイベントはこれらに限るものではない。ワイヤレス接続開始のトリガーとなる第１のイベントは、例えば、上記の圧力センサーで圧力変化が検出されたというイベントであっても良い。同様に、ワイヤレス接続解除のトリガーとなる第２のイベントは、例えば、圧力センサーでの検出圧力が、静止状態検知の時間よりもずっと長い時間に亘って変化しないというイベントであっても良い。

また、上記では、ワイヤレス通信を行う送信部を備えた上述の応用形態にいうワイヤレス通信の一例として、電波による無線通信を例示したが、この応用形態にいうワイヤレス通信はこれに限るものではない。この応用形態にいうワイヤレス通信は、例えば、赤外線通信等であっても良い。

また、上記では、基本形態について上述した情報処理システムや操作認識システムの一実施形態として、圧力センサでの検出結果が圧力移動検知部にワイヤレス通信で送られる形態を例示した。しかしながら、基本形態について上述した情報処理システムや操作認識システムはこの形態に限るものではない。これらの情報処理システムや操作認識システムは、例えば、圧力センサでの検出結果が圧力移動検知部に有線通信で送られる形態であっても良い。

以下、上述した基本形態を含む種々の形態に関し、更に以下の付記を開示する。

（付記１）
操作を受ける立体であって、該操作時に把持されて動かされる操作立体と、
前記操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサと、
前記圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部と、
前記操作認識部で認識された前記操作立体の動きに応じた情報処理を実行する処理実行部とを備えたことを特徴とする情報処理システム。

（付記２）
前記圧力移動検知部が、前記表面上の、前記操作時の把持によって各々に圧力が加えられた複数箇所それぞれについて、前記印加位置の移動を検知するものであり、
前記操作認識部は、前記圧力移動検知部で前記複数箇所それぞれにおいて検知された移動の向きのうち少なくとも一対の向きが互いに異なる向きであった場合に、それら一対の向きとは逆向きの前記操作立体の回転を認識するものであることを特徴とする付記１記載の情報処理システム。

（付記３）
前記圧力移動検知部が、前記表面上の、前記操作時の把持によって各々に圧力が加えられた複数箇所それぞれについて、前記印加位置の移動を検知するものであり、
前記操作認識部は、前記圧力移動検知部で前記複数箇所それぞれにおいて検知された移動の向きが互いに同じ向きで、かつ、移動後に逆向きの移動も検知された場合に、該逆向きの移動前に検出された移動の向きと同じ向きの前記操作立体の振れを認識するものであることを特徴とする付記１又は２記載の情報処理システム。

（付記４）
複数の項目が順番に並べられたメニューを記憶する記憶部を備え、
前記処理実行部は、前記メニューに属する複数の項目の中から１つの項目を選択する、前記操作認識部で前記操作立体の動きが認識される度に選択対象を前記順番に沿って順次に変更する選択処理を実行するものであることを特徴とする付記１から３のうちいずれか１項記載の情報処理システム。

（付記５）
前記操作認識部は、前記操作立体の動きが認識されてから所定時間を過ぎても次の動きが非認識である場合に、該操作立体が静止状態にあることを認識するものであり、
前記処理実行部は、前記操作認識部で前記静止状態が認識されると、該静止状態の認識の直前に実行された前記選択処理の結果を最終的な選択項目に決定するものであることを特徴とする付記４記載の情報処理システム。

（付記６）
前記圧力移動検知部、前記操作認識部、および前記処理実行部が、前記操作立体とは独立の外部装置に搭載されたものであり、
前記操作立体に搭載され、前記圧力センサによる前記各箇所の圧力の検出結果を表わす圧力情報をワイヤレス通信によって送信する、第１のイベントが生じると通信相手とのワイヤレス接続を構築し、第２のイベントが生じると通信相手とのワイヤレス接続を解除する送信部と、
前記外部装置に搭載され、前記圧力情報を受信する受信部とを備え、
前記圧力移動検知部が、前記受信部で受信された前記圧力情報を使って前記印加位置の移動を検知するものであることを特徴とする付記１から５のうちのいずれか１項記載の情報処理システム。

（付記７）
前記操作立体は、表面が、該表面上の稜線あるいは該表面上に描かれた線によって複数の領域に分割されたものであり、
各々が情報処理の対象となり得る複数種類の対象情報を、前記複数の領域と一対一に対応付けて記憶した記憶部と、
前記操作立体内に設定された３次元座標軸それぞれについての地磁気の成分を検出する３軸地磁気センサと、
前記３軸地磁気センサでの検出結果を使って、前記複数の領域のうち、前記操作立体が存在している３次元空間に対して決められた特定の向きに向いている領域を特定する領域特定部とを備え、
前記処理実行部は、前記操作認識部で認識された前記操作立体の動きに応じた情報処理を、前記領域特定部で特定された領域に対応付けられて前記記憶部に記憶されている対象情報に対して実行するものであることを特徴とする付記１から６のうちいずれか１項記載の情報処理システム。

（付記８）
前記操作立体は、前記複数の領域それぞれに、その領域が対応付けられている対象情報を表わす情報が視覚的に示されているものであることを特徴とする付記７記載の情報処理システム。

（付記９）
コンピュータで実行され、該コンピュータ上に、
操作を受ける立体であって、該操作時に把持されて動かされる操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部と、
前記操作認識部で認識された前記操作立体の動きに応じた情報処理を実行する処理実行部とを構築することを特徴とする情報処理プログラム。

（付記１０）
操作を受ける立体であって、該操作時に把持されて動かされる操作立体と、
前記操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサと、
前記圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部とを備えたことを特徴とする操作認識システム。

（付記１１）
コンピュータで実行され、該コンピュータ上に、
操作を受ける立体であって、該操作時に把持されて動かされる操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部とを構築することを特徴とする操作認識プログラム。

１０，３００ 情報処理システム
１１ 操作立体
１２，１１１ 圧力センサ
１３，２１，３２０ 圧力移動検知部
１４，２２，３３０ 操作認識部
１５，２３，３４０ 処理実行部
２０ コンピュータシステム
１００，１００’ 操作デバイス
１００ａ タイトル
１１２ ３軸地磁気センサ
１１３ 電源スイッチ
１１４ Ａ／Ｄコンバータ
１１５，２１１ ＣＰＵ
１１６，２１６ 無線モジュール
１１７ 電源
２００ コンピュータ
２１０ 本体装置
２１２ 主メモリ
２１３ ハードディスク装置
２１４ ＣＤ−ＲＯＭドライブ
２１５ Ｉ／Ｏインタフェース
２１０ａ ＣＤ−ＲＯＭ装填口
２２０ 画像表示装置
２２１ 液晶モニタ
２３０ ＣＤ−ＲＯＭ
３１０ 領域特定部
３５０ 記憶部

Claims (5)

1. 操作を受ける立体であって、該操作時に把持されて動かされる操作立体と、
   前記操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサと、
   前記圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
   前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部と、
   前記操作認識部で認識された前記操作立体の動きに応じた情報処理を実行する処理実行部とを備えたことを特徴とする情報処理システム。
2. 前記圧力移動検知部が、前記表面上の、前記操作時の把持によって各々に圧力が加えられた複数箇所それぞれについて、前記印加位置の移動を検知するものであり、
   前記操作認識部は、前記圧力移動検知部で前記複数箇所それぞれにおいて検知された移動の向きのうち少なくとも一対の向きが互いに異なる向きであった場合に、それら一対の向きとは逆向きの前記操作立体の回転を認識するものであることを特徴とする請求項１記載の情報処理システム。
3. コンピュータで実行され、該コンピュータ上に、
   操作を受ける立体であって、該操作時に把持されて動かされる操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
   前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部と、
   前記操作認識部で認識された前記操作立体の動きに応じた情報処理を実行する処理実行部とを構築することを特徴とする情報処理プログラム。
4. 操作を受ける立体であって、該操作時に把持されて動かされる操作立体と、
   前記操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサと、
   前記圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
   前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部とを備えたことを特徴とする操作認識システム。
5. コンピュータで実行され、該コンピュータ上に、
   操作を受ける立体であって、該操作時に把持されて動かされる操作立体内に組み込まれた、該操作立体の表面の各箇所に加えられる圧力を検出する圧力センサによる圧力の検出結果に基づいて、前記操作立体の表面における圧力の印加位置の移動を、少なくとも移動の向きについて検知する圧力移動検知部と、
   前記圧力移動検知部での検知結果が表わす移動の向きを用いて、前記操作による前記操作立体の動きを認識する操作認識部とを構築することを特徴とする操作認識プログラム。

Images