JP2007310683A - 情報入出力システム - Google Patents

Abstract

【課題】物理的オブジェクトを操作して直感的にわかりやすくコンピュータを操作できるユーザインタフェース環境を実現する情報入出力システムを提供する。
【解決手段】情報入出力システムは、４個の光センサからなる光センサ群を底面に備えるとともに無線通信装置を備えた１個または複数個のセンサタグ、表示装置、前記無線通信装置と通信を行う設置型無線通信装置、およびユーザインタフェース処理を実行する情報処理システムを具備する。センサタグ位置回転算出手段により、センサタグの底面が前記表示装置の表示画面に接触または接近した状態で、前記光センサ群により前記表示画面に表示されたマーカパターンの明度を計測し、得られた明度の計測値に基づいて前記センサタグの表示画面での位置および当該表示画面に直交する軸周りの回転情報を算出する。
【選択図】図１

Description

本発明は、利用者が物理的オブジェクトとその動きを用いて直感的にわかりやすくコンピュータを操作することができるユーザインタフェース環境を提供する情報入出力システムに関するものである。

コンピュータを操作するために、ＷＩＭＰ（Ｗｉｎｄｏｗｓ（登録商標）−Ｉｃｏｎｓ−Ｍｅｎｕｓ−Ｐｏｉｎｔｅｒ）型インタフェースが普及しているが、ディスプレイが大型化、複数化し、多機能化していくと、精神的作業負荷の増加や誤操作誘発などが問題となる。タンジブルユーザーインタフェース（ＴＵＩ、非特許文献１）は、実物体とデジタル表現とを結合することで直感的な操作が可能となるため、ポストＷＩＭＰ型インタフェースの１つと考えられている。

発明者らは以前、非特許文献２において、ＴＵＩの一形態としてタンジブルテーブルトップインタフェース（ＴＴＴ）を提案した。これは、超音波表面弾性波（ＳＡＷ）方式タッチパネル付き大型ＬＣＤを、テーブルトップディスプレイとして使用し、このテーブルトップディスプレイの上に置かれる複数の３次元計測用超音波発信機を「タグ」と呼ばれる実物体として用いている。

タグの３次元位置は、その超音波発信機から、ディスプレイ上方に設置された複数の超音波受信機に向けて超音波を発信し、超音波飛行時間を用いてタグと各レシーバとの距離を計測し、多辺測量の原理を用いることで計測することができる。

各タグには、作業者ウィンドウやマニュアルウィンドウなどのＧＵＩオブジェクトが対応付けられており、タグを移動させると、そのＧＵＩオブジェクトも追従して移動する。タグの持つアフォーダンス、直感的なタグジェスチャ（タグの動かし方に応じたコマンド発行）、タグとタッチパネルを用いた非対称な両手操作といったＴＴＴの特徴により、直接的で直感的な入出力体系を利用者に提供することが可能となっている。

タグのような実物体の位置を計測する他の手法としては、ＲＦＩＤを用いて物体の位置を計測する手法（特許文献１、非特許文献３）や、物体にマーカを貼付し、カメラで撮った画像から物体の動きを計測する手法（非特許文献４，非特許文献５）もある。

また、特許文献２および特許文献３の場合、背面投影ディスプレイにおいて、カメラをプロジェクタと同様、スクリーンの背面に設置し、そのカメラによってディスプレイ上の実物体を認識する。認識方法としては、識別コードを実物体に付加し、そのコードをカメラで読み取る、スクリーンの背面から赤外光を照射しその反射光をカメラで計測する、などの方式が考えられている。

また、光センサを内蔵した測定対象物に対して、プロジェクタや液晶ディスプレイなどの表示装置から、輝度が時間的にあるいは空間的に変化するパターン（マーカパターン）を照射し、光センサの出力に基づいてその光センサ群が組み込まれた実物体の位置・回転の計測を行う手法についてもさまざまな研究がなされている。非特許文献６では、５つの光センサで構成された光センサ群と、表示装置に表示されるマーカパターンを用いて、その光センサ群が組み込まれた実物体の位置と回転の計測を行っている。
特開２００２−１３２４４６号公報 特開２００５−１６５８６４号公報 特開２００５−３１７０３２号公報 H. Ishii and B.Ullmer. Tangible Bits: Towards seamless interfaces between people, bits andatoms. In Proc. ACM CHI’97, pages234-241, 1997 Takeshi Kurata,Takahiro Oyabu, Nobuchika Sakata, Masakatsu Kourogi, and Hideaki Kuzuoka,"Tangible Tabletop Interface for an Expert to Collaborate with Remote FieldWorkers", In Proc. 1st International Conference on CollaborationTechnology (CollabTech2005) in Tokyo, Japan, pp.58-63 (2005) J. Rekimoto, B.Ullmer, and H. Oba. DataTiles: A modular platform for mixed physical andgraphical interactions. In Proc. ACM CHI2001, pages 269-276, 2001. Jun Rekimoto,"Matrix: A Realitime Object Identification and Registration Methodfor Augmented Reality", In Proc.APCHI'98, pp. 63-68, 1998 H. Kato and M.Billinghurst. Marker tracking and HMD calibration for a video-based augmentedreality conferencing system. In Proc. IWAR99, pp.85-94, 1999. 杉本麻樹、小島稔、中村享大、新居英明、稲見昌彦、"画像提示装置で表示した指標画像を用いた位置・姿勢制御"、日本バーチャルリアリティ学会論文誌 vol.10 No.4, pp.485-493, 2005

非特許文献２で述べられている３次元計測用超音波発信機・受信機を用いたタグの位置計測手法の場合、タグの姿勢を計測することはできないため、タグジェスチャの種類を制限する要因となっていた。また、発信機と受信機の間に利用者の手などが侵入するために起こる遮蔽や超音波の反射によるマルチパスなどの外乱により位置計測が困難になる状況も発生する。

非特許文献４，非特許文献５で示される手法も、実物体上のマーカとカメラの間に障害物があると計測ができなくなるという問題があるため、ＴＵＩのように手で測定対象物を覆ったりするシステムに応用することは本質的に難しい。

特許文献１または非特許文献３で述べられているＲＦＩＤを用いた実物体位置取得手法の場合、ＲＦＩＤタグを読み取るセンサを平面ディスプレイ表面に一定間隔に並べることで実現される。しかし、この手法においては、ＲＦＩＤタグがＲＦＩＤタグを読み取るセンサを配置した位置周辺でしか認識されないため、ＲＦＩＤタグ・センサを位置決め手段として捉えた場合、空間的に離散的な位置決めしかできないことになる。つまり、位置決めの分解能を上げるのに問題があり、ディスプレイ上の任意の場所にタグを動かすことを要求するインタフェースへの応用は困難である。

また、非特許文献６で述べられているように、５つの光センサ群と、表示装置に表示されるマーカパターンを用いて、その光センサ群が組み込まれた実物体の位置・回転を計測する場合、表示装置としてプロジェクタではなく、液晶やプラズマなどのフラットディスプレイを採用し、光センサ群が直接その表示装置の表示画面に接触するようにして利用することにより、上記のような遮蔽による問題は回避できる。また、超音波受信機やカメラなどの特殊な装置を表示装置の上方に設置する必要がないため、システム構成が簡潔にすむ利点がある。

ただし、この場合には、表示装置の表示画面上の２軸方向の平行移動量、表示画面に直交する軸周りの回転、表示装置以外の照明などによる外乱４変数を５つの光センサを用いて計算しており、冗長性がある。これにより、必要以上に光センサ群を組み込む実物体上の面の最小面積が広くなってしまうという問題点がある。また、表示画面から光センサ群が離れてしまうと計測ができなくなる。

科学技術展示館や博物館などの施設では、展示物の説明や解説などの情報提示のために表示装置が遍在しているケースがよく見られる。各表示装置で提示される情報の内容は、本来、利用者ごとの理解度や興味の方向に応じて変化させるべきであるが、実際には、タッチパネルやボタン、マウスやキーボードなどの入力インタフェースを用いて対話的に好みの情報を選択していく場合が多い。そのため、利用者の望む情報が得られるまでの時間コストが高く、また、その場その場での異なる入力インタフェースの操作技法に慣れる必要もあり、また、それらの入力インタフェースは不特定多数の利用者が触れるため、決して清潔とはいえない。

本発明は、上記のような事情に鑑みてなされたものであり、本発明においては、汎用的なＴＵＩを実現するために必要な実物体（後述する本発明の実施例においてセンサタグに相当する実物体）の位置姿勢を計測する手法が、４個の光センサからなる光センサ群と、表示装置に表示されるマーカパターンを用いて提供される。また、加速度センサやジャイロセンサを併用することにより、マーカパターン上に光センサ群が存在していない状況でも継続して位置姿勢の計測が可能とされる。さらに、不特定多数の利用者が接触する可能性のある複数箇所に設置された当該表示装置に素手で接することなく、利用者に応じた情報提供サービスを行うことが可能とされる。

具体的に、本発明の目的は、利用者が物理的オブジェクトとその動きを用いて直感的にわかりやすくコンピュータを操作することができるユーザインタフェース環境を実現できる情報入出力システムを提供することにある。

上記のような目的を達成するため、本発明による情報入出力システムは、基本的な構成として、４個の光センサからなる光センサ群を底面に備えるとともに無線通信装置を備えた１個または複数個のセンサタグ、表示装置、前記無線通信装置と通信を行う設置型無線通信装置、およびユーザインタフェース処理を実行する情報処理システムを具備する情報入出力システムであって、前記情報処理システムに、前記センサタグの底面が前記表示装置の表示画面に接触または接近した状態で、前記光センサ群により前記表示画面に表示されたマーカパターンの明度を計測し、得られた明度の計測値に基づいて前記センサタグの表示画面での位置および当該表示画面に直交する軸周りの回転情報を算出するセンサタグ位置回転算出手段と、前記センサタグ位置回転算出手段の結果に応じて表示画面に表示するマーカパターンの種類、位置、向き、またはそれらの組み合わせを変化させるマーカパターン表示制御手段と、前記前記センサタグ位置回転検出手段によるセンサタグの位置および回転情報に基づいてユーザインタフェース処理を行う情報処理手段とを具備する。

本発明の１つの態様として、本発明による情報入出力システムにおいて、前記光センサ群の４個の光センサは、各光センサが正方形の各頂点となる位置に配置されており、前記マーカパターンは、前記光センサの正方形配置において、正方形の一方の対角線上に配置された２個の光センサを光センサペアＡとし、他方の対角線上に配置された残りの２個の光センサを光センサペアＢとした場合、前記マーカパターンのうちの１種類は、前記各光センサに対応するように４領域に分割されており、前記光センサペアＡに対応する２領域の明度は、同じ軸方向に沿って当該２領域の明度が逆方向に線形に変化し、前記光センサペアＢに対応する残りの２領域の明度は、前記光センサペアＡに対応する２領域の明度が変化する軸と直交する軸方向に沿って当該２領域の明度が逆方向に線形に変化し、前記マーカパターンの明度変化が回転対称ではないマーカパターンであるように構成される。

別の態様として、本発明による情報入出力システムにおいて、前記センサタグは、センサとして前記光センサ群の他に、加速度センサ、ジャイロセンサ、もしくはその両方を備え、前記情報処理システムには、更に、前記加速度センサもしくはジャイロセンサもしくはその両方から得られる計測値および前記光センサ群から得られる計測値を用いて、センサタグの位置および姿勢を算出するハイブリッドセンサタグ位置姿勢算出手段を具備するように構成される。

これにより、前記センサタグが、前記表示装置の表示画面から離れている状況、センサタグが高速に動いている状況、前記センサタグ位置回転算出手段だけでは当該センサタグの位置や当該表示画面に直交する軸周りの回転を正確に算出できない状況、当該表示画面に直交する軸以外の軸周りの回転情報を獲得したい状況などにおいても、センサタグの位置および回転情報が得られので、情報処理手段は、得られたセンサタグの位置および回転情報に基づいて、適切にユーザインタフェース処理を行うことができる。

更に別の態様として、本発明による情報入出力システムにおいて、前記センサタグは、その底面以外の面にも前記光センサ群と同等の光センサ群を備え、前記情報処理システムに、前記センサタグのどの面が前記表示画面に接触しているかを認識するセンサタグ面認識手段を具備し、前記センサタグ面認識手段が、信号処理を行う信号を前記表示画面に接触している光センサ群からの信号に切り替えるように構成される。

また、前記表示装置が遍在する場合に関して、本発明による情報入出力システムにおいては、複数の前記表示装置と複数の前記設置型無線通信装置は、それぞれに対として複数箇所に設置され、前記情報処理システムに、更に、利用者ごとに割り当てられた前記センサタグの無線通信装置と当該表示装置と対になっている設置型無線通信装置との間で当該センサタグを識別するタグＩＤを含む無線通信により、前記利用者のセンサタグがどの表示装置に近づいたかを検知して、接近したセンサタグのタグＩＤを取得するセンサタグＩＤ取得手段と、前記情報処理手段およびマーカパターン表示制御手段を制御して、当該タグＩＤが示すセンサタグを携帯する利用者に対応した情報および前記マーカパターンを、当該センサタグが接近した表示装置に表示し、前記センサタグ位置回転算出手段およびハイブリッドセンサタグ位置姿勢算出手段から出力される情報に基づいて、不特定多数の利用者が接触する可能性のある複数箇所に設置された当該表示装置に素手で接することなく、利用者に応じた情報提供サービスを行うカスタム情報対話手段とを具備する構成とされる。

上記のような構成による本発明の情報入出力システムによれば、センサタグの位置姿勢を計測する手法を、光センサ群と表示装置に表示されるマーカパターンを用いて提供する場合に、従来手法では、５個の光センサからなる光センサ群が必要であったが、本発明においては、４個の光センサからなる光センサ群で実現でき、センサタグを小型化・省電力化する効果が得られる。また、加速度センサやジャイロセンサを併用することにより、マーカパターン上に光センサ群が存在していない状況でも継続して位置姿勢の計測が可能となる。複数箇所に設置された表示装置で情報提供サービスを利用する場合に、センサタグのタグＩＤを用いて利用者に応じた情報を表示することができ、さらに、不特定多数の利用者が接触する可能性の少ない利用者自らが携帯しているセンサタグを用いて情報提供サービスの操作ができる。これにより、利用者が物理的オブジェクトとその動きを用いて直感的にわかりやすくコンピュータを操作することができるユーザインタフェース環境を実現できる情報入出力システムが提供される。

以下、本発明の情報入出力システムの実施例を、図面を参照して説明する。図１は、本発明による情報入出力システムのシステム構成を説明する図である。典型的な実施形態として、入出力操作部を中心とした概略のシステム構成を示している。図１において、１はユーザインタフェース環境を利用する利用者、１０は利用者が操作する物理的オブジェクトのセンサタグ、２０は表示画面２１が水平になるように設置された表示装置、３０は表示装置２０の周辺部に組み込まれてセンサタグ１０との間の無線通信を行う設置型無線通信装置である。もちろん、設置型無線通信装置３０は、表示装置２０に組み込まれている必要はなく、表示装置２０に近接した状態で設置されていればよい。設置型無線通信装置３０はセンサタグ１０に組み込まれた無線通信装置（３１：図４）との間で無線通信を行い、データ通信を行うものである。また、表示装置２０としてはタッチパネル２６が組み込まれているものが用いられているが、センサタグ１０が置かれている位置は、後述するように、センサタグ位置回転算出手段２０１により得られる場合には、タッチパネル２６が組み込まれていないものであっても良い。なお、５０はセンサタグ１０に対応付けられているウィンドウ画面を示している。

また、図１において、２００は情報処理システムであり、この情報処理システム２００には、本発明にかかる情報処理を行う処理モジュールとして、センサタグ位置回転算出手段２０１、マーカパターン表示制御手段２０２、情報処理手段２０３が設けられている。

情報処理システム２００のセンサタグ位置回転算出手段２０１は、センサタグ１０の底面が表示装置２０の表示画面２１に接触または接近した状態で、後述するように、センサタグ１０の光センサ群により表示画面に表示されたマーカパターンの明度を計測して、得られた明度の計測値に基づいてセンサタグ１０の表示画面２１での位置および表示画面に直交する軸周りの回転情報を算出するデータ処理を行う。また、マーカパターン表示制御手段２０２は、センサタグ位置回転算出手段２０１によるデータ処理の結果に応じて表示画面２１に表示するマーカパターンの種類、位置、向き、またはそれらの組み合わせを変化させる処理を行う。そして、情報処理手段２０３が、センサタグ位置回転検出手段２０１によるセンサタグの位置および回転情報に基づいて、ウィンドウ画面５０の操作など、利用者の入出力操作の指示を受けたユーザインタフェース処理を行う。

本発明による情報入出力システムの実施例は、システムの基本構成として、後に詳述するように、４個の光センサからなる光センサ群を底面に備えるとともに無線通信装置を備えた１個または複数個のセンサタグ１０、表示装置２０、センサタグ１０の無線通信装置と通信を行う設置型無線通信装置３０、およびユーザインタフェース処理を含む利用者の入出力操作にかかるデータ処理を実行する情報処理システム２００を備え、情報処理システム２００において、センサタグ位置回転算出手段２０１、マーカパターン表示制御手段２０２、情報処理手段２０３の処理モジュールが、前述したデータ処理を行うシステムとして構成される。

図２〜図４は、表示装置２０，センサタグ１０の構造を詳細に説明する図である。図２は、表示装置２０を拡大して図示しており、図３は、表示装置２０の表示画面２１上に置かれているセンサタグ１０を取り除いた状態の表示装置２０を図示している。表示画面２１に表示されているマーカパターン４０、ウィンドウ画面５０が図示されている。図２および図３から理解されるように、センサタグ１０の下には、マーカパターン表示制御手段２０２のデータ処理により表示されたマーカパターン４０が表示されている。このマーカパターン４０の上部にセンサタグ１０が置かれる。センサタグ１０は、それぞれウィンドウ画面５０と対応づけられており、利用者１によるセンサタグ１０の移動操作、回転操作などのユーザインタフェース処理を指示する操作により、対応のウィンドウ画面５０に対するユーザインタフェース処理が実行される。

図４は、センサタグ１０の構造を説明する図である。ここでのセンサタグ１０は、図４に示すように、６面体のキューブ構造のものが用いられるが、表示画面２１上のマーカパターン１０に接する底面に４つの光センサ１１の光センサ群１２が設けられる構造のものであれば、どのような形状のものであってもよい。

センサタグ１０には、図４に示されるように、４個の光センサ１１からなる光センサ群１２、無線通信装置３１，加速度センサ７０，ジャイロセンサ７１の要素部品が内蔵されると共に、これら内蔵される要素部品を制御する制御装置として機能するマイクロコンピュータ（図示せず）が内蔵される。センサタグ１０においては、底面に設けられた４個の光センサ１１からなる光センサ群１２により、当該センサタグ１０の底面が表示装置２０の表示画面２１に接触または接近した状態で、表示画面２１に表示されたマーカパターン４０の明度を計測し、制御装置のマイクロコンピュータの制御により、無線通信装置３１を制御して、設置型無線通信装置３０を介して、情報処理システム２００に計測したデータを送信する。また、加速度センサ７０，ジャイロセンサ７１は、同じく、センサタグ１０における位置情報、回転情報を検出して、同じく、制御装置のマイクロコンピュータの制御により、無線通信装置３１を制御して、設置型無線通信装置３０を介して、情報処理システム２００に計測したデータを送信する。

後述する別の実施例として説明するように、制御装置のマイクロコンピュータのデータ処理機能を利用して、光センサ群１２により得られた明度の計測値に基づいてセンサタグ１０の表示画面２１での位置および表示画面２１に直交する軸周りの回転情報を算出するように構成されてもよい。

別の実施例の情報入出力システムでは、図１９に示すように、データ処理を行う情報処理システム３００が備えられる。この情報処理システム３００は、表示装置２０や設置型無線通信装置３０と同じ筐体に組み込まれていてもよいし、ネットワーク経由でアクセスできる計算機資源を用いたものでもよい。もちろん、センサタグ自身を無線ネットワークでアクセスできる計算機資源として利用することもでき、センサタグ位置回転算出手段１００をセンサタグ１０に内蔵される制御装置のマイクロコンピュータに設けるような構成としてもよい。

別の実施例の情報入出力システムにおいては、情報処理システム３００を用いて、後述するように、センサタグ位置回転算出手段１００、マーカパターン表示制御手段１０１、ハイブリッドセンサタグ位置姿勢算出手段１０２、センサタグＩＤ取得手段１０３、カスタム情報対話手段１０４、センサタグ面認識手段１０５のそれぞれの機能が実現される。

ここで重要なのは、センサタグ位置回転算出手段１００のデータ処理を実行するために、光センサ群１２が表示画面２１に表示されたマーカパターン４０の明度を計測することであり、センサタグ位置回転算出手段１００では、後述するように、センサタグ１０の表示画面２１内での位置や表示画面２１に直交する軸周りの回転情報を算出することができ、その算出された結果を用いてマーカパターン表示制御手段１０１により、マーカパターン４０の位置や向きを更新して変化させることができることである。

このような情報入出力システムにより、マウスやキーボードを用いることなく、表示装置２０の表示画面２１に表示されているウィンドウ画面５０の位置を変えたり、複数のセンサタグの位置関係でデータのコピーやペーストなどのコマンドを実行したりすることができ、ユーザインタフェース処理を実行することができる。また、複数のセンサタグ１０とタッチパネル２６を併用して、非特許文献２に示されているような両手を用いた直感的な操作技法を実現することもできる。

次に、光センサ群１２の配置とマーカパターン４０について説明する。理解を容易なものとするために、まず、従来手法の非特許文献６の例について概説する。

図５は従来手法による５つの光センサで構成された光センサ群１５とマーカパターン４１の組み合わせの例を説明する図である。従来手法においては、図５に示すように、５つの光センサで構成された光センサ群１５と、マーカパターン４１を用いてセンサタグの位置・姿勢の計測を行っている。ここで、図５に示す光センサ群１５はセンサタグの底面における各光センサｐ１〜ｐ５の配置を表している。また、マーカパターン４１のみを図６に示す。

これら５つの光センサｐ１〜ｐ５は、一定間隔ｄで十字型に配置される。ここでのマーカパターン４１は、図６に示すように、中心の円領域の明度は、マーカパターンの明暗の最大値と最小値の中間値であり、その以外の中心の円領域を除く周辺領域の４領域のパターンとしては、マーカパターン４１の場合、ｘ軸あるいはｙ軸方向に明度が線形に変化しており、その明度変化は、中心部の光センサｐ５を中心とした回転対称となっている。

図５に示すとおり、マーカパターンの半径は１．５ｄとする。各光センサｐ１〜ｐ５は平行移動だけなら、図７に示すように、直径ｄの円内を、回転だけなら最大４５°動くことができる。これ以上動くと、光センサｐ１〜ｐ４がマーカパターン４１の外にはみだすので、計測が不可能となる。

この従来手法の場合、光センサ群１５がマーカパターン４１上を、図５に示した位置から平行移動した場合、以下の計算により、光センサ群１５の出力から平行移動量が算出される。

詳述すると、ここでは、まず、ｙ軸方向の変化に着目する。光センサ群の平行移動量はｔｙとする。光センサｐ１，ｐ４の輝度はｔｙに比例して変化するため、その出力ｌ_１，ｌ_４にはｔｙに応じた変化が現れる。この出力変化量をｌ_ｔｙとする。同様にして、光センサｐ２，ｐ３の出力は、ｘ軸方向の平行移動量ｔｘに応じてｌ_ｔｙだけ変化する。外乱光に起因した輝度の変化による各光センサ出力の変化量をｌ_ｎｉ（ｉ＝１，…，５）とする。光センサｐ１〜ｐ５の出力ｌ_１〜ｌ_５は以下のように表される。

ここで、

となる。外乱光による輝度の変化が一様ならば、ｌ_ｎ３−ｌ_ｎ２≒０，ｌ_ｎ４−ｌ_ｎ１≒０ なので、

として、平行移動による出力の変化分をとりだすことができる。

光センサ間の距離をｄとすると、図７に示したとおり、マーカパターン各領域の輝度は

にわたって変化するため、

として、光センサの出力から平行移動量ｔｘ，ｔｙを求めることができる。

次に従来手法による回転量の算出について説明する。光センサ群１５が図５の状態からθ（ｒａｄ）回転すると、各センサの出力はｒｏｔ（＝ｄ・ｓｉｎθ）だけ平行移動したときと同じ量だけ変化する。このとき各光センサｐ１〜ｐ５の出力ｌ_１〜ｌ_５は次の式で表される。

外乱が一様であるならば、各光センサｐ１〜ｐ５の出力から

として、回転による出力変化を取り出すことができる。最終的に、平行移動の計測と同様に考えると、

となり、光センサ群１５の回転量が求められる。

また、図８に示すように、平行移動と回転が同時に起きた場合は、次のような計算の処理により、平行移動量と回転量を独立してもとめることができる。

まず、各光センサｐ１〜ｐ５の出力ｌ_１〜ｌ_５は次のように表される。

このとき外乱が一様であるならば、

として、マーカパターン４１上にある光センサ群１５の平行移動量、回転量を独立に求めることができる。

従来手法では、５つの光センサｐ１〜ｐ５を用いてｔｘ，ｔｙ，θ，外乱ｎの４変数を計算しており、本来は冗長性があるはずである。しかしながら、マーカパターン４１の明度変化が回転対称であるため、５つの光センサｐ１〜ｐ５を必要としていた。

本発明においては、使用する光センサを４つに減らして同等の計測が行えるように、４個の光センサからなる光センサ群１２とパターンの模様を工夫したマーカパターン４０の組み合わせを用いる。図９および図１０には、本発明による光センサ群の配置とマーカパターンの例を示している。また、図１１および図１２には、それぞれ図９および図１０に示したマーカパターン４２およびマーカパターン４３を図示している。なお、図１２に示している２本の点線は、マーカパターン４３が４領域に分かれていることを図示するためのもので、その点線自体はマーカパターンには含まれない。

図９に示すマーカパターン４２においては、光センサｐ３の計測結果が直接外乱ｎを表すため、その計測誤差が位置・姿勢の計測誤差に大きな影響を与えるが、図１０に示すようなマーカパターン４３を用いることで、より安定性の高い計測が行える。このマーカパターン４３の特徴は、光センサｐ１，ｐ３を光センサペアＡとし，光センサｐ２，ｐ４を光センサペアＢとした場合、光センサペアＡに対応する２領域の明度は、ｙ軸方向に沿って２領域の明度が逆方向に線形に変化し、光センサペアＢに対応する残りの２領域の明度は、ｘ軸方向に沿って２領域の明度が逆方向に線形に変化し、さらに、マーカパターン４３の明度が回転対称ではないように構成される。

マーカパターン４３と光センサ群１６を用いた場合、以下の計算を、センサタグ位置回転算出手段２０２（図１）またはセンサタグ位置回転算出手段１００（図１９）により行うことによって、光センサ群１６（センサタグ）の動きを計測することができる。

図１３は、マーカパターン４３と従来手法で用いられたマーカパターン４１とのサイズを比較して説明する図である。４つの光センサからなる光センサ群１６の各光センサが、図１３の右に示す計測範囲６０の範囲内にある場合、各センサの出力は以下のようになる。

ここで外乱が一様であれば、

として出力変化分が算出される。

より、以下のように平行移動量と回転量を求めることができる。

図１３に示すとおり、マーカパターン４３の場合（マーカパターン４２も同様である）、従来手法で用いられたマーカパターン４１と比較して、マーカパターンの面積を６５％に、光センサｐ１〜ｐ４をそれぞれ頂点とする正方形１７（図１０）の面積を５０％にすることができる。これは、光センサ群を組み込むセンサタグを小型化できることを意味する。

次に、平行移動量の算出に特化した矩形マーカパターンについて説明する。これまでに説明した円形のマーカパターン４２およびマーカパターン４３は、光センサ群１６が平行移動できる範囲が比較的狭い。そこで、本発明の別の実施例では、高速に平行移動することを許容するようなマーカパターンを、円形のマーカパターンと組み合わせて用いることで、その問題を解消する。

図１４は、高速に平行移動することを許容するマーカパターンを説明する図である。図１４においては、円形のマーカパターン４３と矩形のマーカパターン４４をマーカパターン表示制御手段２０２により選択・表示しながら、センサタグ位置回転算出手段２０１により光センサ群の位置を算出する場合の一実施例を示している。光センサ群１６（センサタグ）の移動方向に沿った軸方向に明度が線形に変化するように伸縮させることで、計測精度を犠牲になるものの、その方向の計測範囲を広げることができる。

ただし、矩形のマーカパターン４４では、明度が変化しない方向の移動量を計測することができないので、マーカパターン４４における明度の変化方向と光センサ群１６の移動方向とを一致させる必要がある。そのため、後述するように、ハイブリッドセンサタグ位置姿勢算出手段１０２を用いる。ハイブリッドセンサタグ位置姿勢算出手段１０２により、光センサ群１６の移動方向は、その光センサ群１６を備えるセンサタグ１０に組み込まれた加速度センサ７０から推定される移行方向や、低速で移動していた状況において円形のマーカパターン４３を用いて算出された移動方向から推測され、マーカパターン表示制御手段２０２によって、マーカパターンの種類や大きさ、位置、向きなどが決定され、表示画面２１に対応のマーカパターンが表示される。

矩形のマーカパターン４４を用いた場合、矩形マーカパターン４４の幅ｗを用いると以下のように平行移動量ｔを算出することができる。

ただし、

である。

図１５は、時系列マーカパターン４５を用いて光センサ群１６の位置を算出する一実施例を示している。マーカパターン表示制御手段２０２により、マーカパターンの位置とサイズ、明暗の向きを、図１５のように時系列的に変えながら探索範囲を絞っていくことにより、光センサ群１６の広域探索を行うことができる。このような広域探索では、センサタグの初期探索や、情報入出力システムが途中でセンサタグを見失ってしまった場合に有効である。

次に、光センサ群と加速度センサを用いたハイブリッドセンサタグ位置姿勢算出手段１０２によるセンサタグの位置姿勢の算出の一実施例について説明する。センサタグ１０に内蔵された３軸の加速度センサ７０により得られる加速度の２重積分により、３次元位置の相対変化を求める。ただし、誤差が蓄積するため、特に低速で長時間の移動を計測する場合には高い精度が得られない。一方、前述の光センサ群１２とマーカパターン４３などを用いたセンサタグ位置回転算出手段１００の場合、低速での計測精度は高い。このように、両センサを併用することで、図１６に示すように、
（ａ）中低速移動、
（ｂ）高速移動、
（ｃ）三次元移動、
といったセンサタグ１０の典型的ないくつかの動作パターンにおいて広範囲にわたり対応することができる。

図１６は、（ａ）中低速移動、（ｂ）高速移動および（ｃ）三次元移動のセンサタグ１０の典型的ないくつかの動作パターンにおける対応を説明する図である。例えば、図１６（ａ）のような状況では、円形のマーカパターン４３のみを用いてセンサタグの位置と回転を計測する。図１６（ｂ）のセンサタグの移動操作（ｂ１）のような状況では、直前の計測結果からセンサタグ１０が比較的高速で移動していると判断されるため、各センサからの予測値を元に位置・姿勢・サイズを決定した矩形のマーカパターン４４を用いて、広範囲の位置計測を行う。この場合に、低速で移動していると判断されれば、図１６（ｂ）のセンサタグの移動操作（ｂ２）のように再び円形のマーカパターン４３を用いることができる。

また、図１６（ｃ）のような状況では、センサタグ１０の位置予測や空中での位置姿勢の計測に加速度計７０を用いる。図１６（ｃ）に示すように、センサタグが３次元的に移動した後に再び表示画面２１上に接地した場合、初期位置探索をする場合、更には、センサタグ１０がマーカパターンから外れた場合などには、時系列矩形マーカパターン４５を用いて、センサタグ１０の広域探索を行う。これにより、情報入出力システムが途中でセンサタグを見失ってしまった場合にセンサタグが探索できる。

前述したように、センサタグ１０には、ジャイロセンサ７１をセンサタグ１０に内蔵することにより、センサタグの位置および姿勢が検出できる。この場合、３軸回転をすべてジャイロで計測してもよいが、加速度計で得られる加速度から傾斜情報（Ｒｏｌｌ，Ｐｉｔｃｈ）を算出することにより、重力方向に沿った軸周りの回転（Ｙａｗ）以外は計測できるので、そのＹａｗ回転のみをジャイロで計測してもよい。

図１７は、センサタグの別の実施例を示している。この場合、図１７に示すセンサタグ１１０は、底面の光センサ群１２のほかに、異なる面に光センサ群１３、光センサ群１４が組み込まれている。

センサタグ１１０に、図４により説明したように、加速度センサ７０やジャイロセンサ７１が組み込まれていてもよい。また、この場合、図１９に示すように、情報処理システム３００に設けられるセンサタグ面認識手段１０５が、例えば、センサタグ１１０に設けられた各光センサ群１２，１３，１４の計測値を用いて、センサタグ１１０のどの面の光センサ群１２，１３，１４がマーカパターンを計測しているかを判断する。また、加速度センサ７０やジャイロセンサ７１を用いてセンサタグの運動を計測することにより、センサタグ１１０の向きを獲得することもできる。さらに、光センサ群と加速度センサやジャイロセンサなどの情報を併用して、センサタグの向きを獲得するようにしてもよい。

センサタグ面認識手段１０５は、情報処理システム３００に実装されるが、先に述べたように、センサタグ１１０自体おいても動作の制御のための制御装置のマイクロコンピュータを内蔵しており、これは情報処理システムの一部であるとみなせるので、センサタグ面認識手段１０５が、センサタグ１１０の側に実装されていてもよいし、表示装置２０の側の計算機資源上に実装されていてもよい。

このような実施例を採用すると、センサタグ１１０のどの面が表示画面２１と接してどのような動きをしているかという情報を得ることができるため、より多様な操作技法を利用者に提供することができる。例えば、光センサ群１２の面が下のときは表示画面に直交した軸周りのセンサタグの回転は音楽の音量を変化させ、光センサ群１３の面が下のときには、曲を切り替えるといったユーザインタフェース処理の操作技法を提供できる。

図１８には、科学技術展示館や博物館などの施設で、展示物の説明や解説などの情報提示のために表示装置が、表示装置２０や表示装置２２のように遍在しているケースにおける本発明による情報入出力システムの典型的な実施形態を示している。

この実施例では、利用者としては、利用者１および利用者２の２名がおり、おのおのがセンサタグ１０を携帯しており、本発明の情報入出力システムはどのセンサタグをどの利用者が携帯しているかを予め知っている。

例えば、表示装置２０において、利用者１および利用者２は、おのおののセンサタグ１０を用いて表示装置２０に接近している。おのおののセンサタグ１０が表示装置２０と対になっている設置型無線通信装置３０と通信し、センサタグ１０からセンサタグＩＤを送信することにより、利用者１と２が表示装置２０に接近していることを、システムは知ることができる（センサタグＩＤ取得手段１０３）。これにより、表示装置２０には利用者１および利用者２のそれぞれに適した情報提供サービスを表示することができ、さらに、利用者１，２はおのおのの持つセンサタグを使ってその情報提供サービスを操作できる（カスタム情報対話手段１０４）。

また、図１８の例では、利用者２は、表示装置２０に接近した後、表示装置２２にも接近している。ここでも、表示装置２２と対になっている設置型無線通信装置３２とセンサタグ１０の無線通信装置３１がセンサタグＩＤを含む情報の無線通信を行い、センサタグＩＤ取得手段１０３によって、それぞれのセンサタグ１０が識別されることにより、カスタム情報対話手段１０４により、それぞれ利用者に対応した情報を提供することができる。

すなわち、利用者の携帯するセンサタグ１０が、情報サービスの自動選択をするだけでなく、不特定多数の利用者が接触する可能性のある複数箇所に設置された表示装置に素手で接することなく、利用者に応じた情報サービスを操作・利用することができることになる。さらに、携帯電話に光センサ群を組み込むと、これを、無線通信装置を備えたセンサタグとして機能させることができるため、利用者が所有する携帯電話を表示装置に載せたり接触させることで大型の表示装置に利用者固有の情報サービス用ウィンドウが表示されて、携帯電話を動かすと、それに応じて情報サービスを操作できるといった応用ができる。

このように、本発明による情報入出力システムを用いることにより、例えば、非特許文献２にあるような遠隔協調作業のためのＴＵＩを用いたコミュニケーション端末を実現することができる。また、科学技術展示館や博物館など、表示装置が遍在している施設において、展示物の説明や解説などの情報提示サービスシステムへの応用が可能となる。

本発明による情報入出力システムのシステム構成を説明する図である。 表示装置２０の構造を詳細に説明する第１の図である。 表示装置２０の構造を詳細に説明する第２の図である。 センサタグ１０の構造を詳細に説明する図である。 従来手法による５つの光センサで構成された光センサ群１５とマーカパターン４１の組み合わせの例を説明する図である。 マーカパターン４１のみを示す図である。 光センサ群１５とマーカパターン４１の組み合わせにより平行移動の計測可能な範囲を説明する図である。 平行移動と回転が同時に起きた場合の平行移動量と回転量の独立性を説明する図である。 本発明による光センサ群の配置とマーカパターンの１つの例を示す図である。 本発明による光センサ群の配置とマーカパターンの別の例を示す図である。 図９に示されたマーカパターン４２のみを示す図である。 図１０に示されたマーカパターン４３のみを示す図である。 マーカパターン４３と従来手法で用いられたマーカパターン４１とのサイズを比較して説明する図である。 高速に平行移動することを許容するマーカパターンの例を説明する図である。 時系列マーカパターン２１を用いて光センサ群１６の位置を算出する一実施例を示す図である。 （ａ）中低速移動、（ｂ）高速移動および（ｃ）三次元移動のセンサタグ１０の典型的ないくつかの動作パターンにおける対応を説明する図である。 センサタグの別の実施例を示す図である。 科学技術展示館や博物館などの施設で、展示物の説明や解説などの情報提示のために表示装置が、表示装置２０や２２のように遍在しているケースにおける本発明による情報入出力システムの典型的な実施形態を示している概略図を示す図である。 情報入出力システムの別のシステム構成の例を示すブロック図である。

符号の説明

１ 利用者
２ 利用者
１０ センサタグ
１１ 光センサ
１２ 光センサ群
１３ 光センサ群
１４ 光センサ群
１５ 光センサ群
１６ 光センサ群
１７ 正方形
２０ 表示装置
２１ 表示画面
２２ 表示装置（縦型）
３０ 設置型無線通信装置
３１ 無線通信装置
３２ 設置型無線通信装置（縦型）
４０ マーカパターン
４１ マーカパターン
４２ マーカパターン
４３ マーカパターン
４４ 矩形マーカパターン
４５ 時系列マーカパターン
５０ センサタグに対応付けられたウィンドウ画面
６０ 計測範囲
７０ 加速度センサ
７１ ジャイロセンサ
１００ センサタグ位置回転算出手段
１０１ マーカパターン表示制御手段
１０２ ハイブリッドセンサタグ位置姿勢算出手段
１０３ センサタグＩＤ取得手段
１０４ カスタム情報対話手段
１０５ センサタグ面識手段
１１０ センサタグ
２００ 情報処理システム
２０１ センサタグ位置回転算出手段
２０２ マーカパターン表示制御手段
２０３ 情報処理手段
３００ 情報処理システム

Claims (5)

1. ４個の光センサからなる光センサ群を底面に備えるとともに無線通信装置を備えた１個または複数個のセンサタグ、表示装置、前記無線通信装置と通信を行う設置型無線通信装置、およびユーザインタフェース処理を実行する情報処理システムを具備する情報入出力システムであって、
   前記情報処理システムに、
   前記センサタグの底面が前記表示装置の表示画面に接触または接近した状態で、前記光センサ群により前記表示画面に表示されたマーカパターンの明度を計測し、得られた明度の計測値に基づいて前記センサタグの表示画面での位置および当該表示画面に直交する軸周りの回転情報を算出するセンサタグ位置回転算出手段と、
   前記センサタグ位置回転算出手段の結果に応じて表示画面に表示するマーカパターンの種類、位置、向き、またはそれらの組み合わせを変化させるマーカパターン表示制御手段と、
   前記前記センサタグ位置回転検出手段によるセンサタグの位置および回転情報に基づいてユーザインタフェース処理を行う情報処理手段と
   を具備する
   ことを特徴とする情報入出力システム。
2. 請求項１に記載の情報入出力システムにおいて、
   前記光センサ群の４個の光センサは、各光センサが正方形の各頂点となる位置に配置されており、
   前記マーカパターンは、前記光センサの正方形配置において、正方形の一方の対角線上に配置された２個の光センサを光センサペアＡとし、他方の対角線上に配置された残りの２個の光センサを光センサペアＢとした場合、前記マーカパターンのうちの１種類は、前記各光センサに対応するように４領域に分割されており、前記光センサペアＡに対応する２領域の明度は、同じ軸方向に沿って当該２領域の明度が逆方向に線形に変化し、前記光センサペアＢに対応する残りの２領域の明度は、前記光センサペアＡに対応する２領域の明度が変化する軸と直交する軸方向に沿って当該２領域の明度が逆方向に線形に変化し、前記マーカパターンの明度変化が回転対称ではないマーカパターンである
   ことを特徴とする情報入出力システム。
3. 請求項１に記載の情報入出力システムにおいて、
   前記センサタグは、センサとして前記光センサ群の他に、加速度センサ、ジャイロセンサ、もしくはその両方を備え、
   前記情報処理システムには、更に、
   前記加速度センサもしくはジャイロセンサもしくはその両方から得られる計測値および前記光センサ群から得られる計測値を用いて、センサタグの位置および姿勢を算出するハイブリッドセンサタグ位置姿勢算出手段を具備する
   ことを特徴とする情報入出力システム。
4. 請求項１に記載の情報入出力システムにおいて、
   前記センサタグは底面以外の面にも前記光センサ群と同等の光センサ群を備え、
   前記情報処理システムに、前記センサタグのどの面が前記表示画面に接触しているかを認識するセンサタグ面認識手段を具備し、
   前記センサタグ面認識手段が、信号処理を行う信号を前記表示画面に接触している光センサ群からの信号に切り替える
   ことを特徴とする情報入出力システム。
5. 請求項３に記載の情報入出力システムにおいて、
   複数の前記表示装置と複数の前記設置型無線通信装置は、それぞれに対として複数箇所に設置され、
   前記情報処理システムに、更に、
   利用者ごとに割り当てられた前記センサタグの無線通信装置と当該表示装置と対になっている設置型無線通信装置との間で当該センサタグを識別するタグＩＤを含む無線通信により、前記利用者のセンサタグがどの表示装置に近づいたかを検知して、接近したセンサタグのタグＩＤを取得するセンサタグＩＤ取得手段と、
   前記情報処理手段およびマーカパターン表示制御手段を制御して、当該タグＩＤが示すセンサタグを携帯する利用者に対応した情報および前記マーカパターンを、当該センサタグが接近した表示装置に表示し、前記センサタグ位置回転算出手段およびハイブリッドセンサタグ位置姿勢算出手段から出力される情報に基づいて、不特定多数の利用者が接触する可能性のある複数箇所に設置された当該表示装置に素手で接することなく、利用者に応じた情報提供サービスを行うカスタム情報対話手段と、
   を具備する
   ことを特徴とする情報入出力システム。
   

Images