JP2008305290A - 情報処理システム及び入力制御方法 - Google Patents

Abstract

【課題】入力補助具に対して操作者が及ぼすことが可能な作用の種類を多様化し、操作者に対してより直感的な操作感覚を与える。
【解決手段】情報処理システム１は、表示装置１１、入力補助具１２、検出部１３及び情報処理部１０を備える。表示装置１１は、表示面１１１を有し、画像情報に対応する画像を表示面１１１に表示する。入力補助具１２は、操作者による操作によって、測定光の透過特性が互いに異なる少なくとも２つの形態の間で形態を変更可能である。検出部１３は、測定光を照射する測定光源及び測定光を受光する受光部を含む光学センサユニット１３１及び１３２を有し、受光部による測定光の受光状態に基づいて、表示面１１１上に配置される入力補助具１２の位置及び形態の変化を検出する。情報処理部１０は、入力補助具１２の形態の変化に応じて画像情報を更新して表示装置１１に対して供給する。
【選択図】図１

Description

本発明は、有体物である入力補助具に対して操作者が作用を及ぼした内容を入力情報として利用する情報処理システムに関する。

現在、コンピュータ等の情報処理装置のユーザインタフェースとしてＧＵＩ（Graphical User Interface）が広く使用されている。ＧＵＩは、マウス等のポインティングデバイスによって操作者による入力を受け付けるユーザインタフェースである。具体的には、操作者は、マウス等のポインティングデバイスを操作することで、画面に表示されたポインタの位置を移動させたり、そのポインタを使用して画面に表示された表示物を操作したりすることができる。

しかしながら、ＧＵＩは、画面に表示された表示物の動きが表示画面上のポインタの動きに関連付けられるため、表示物を動かすための操作が煩雑であり、操作者が入力操作を直感的に行えなかった。このようなＧＵＩの課題に対処するため、画面の表示物を実体のある物体（有体物）に関連付けることで、直感的な入力操作を可能とする情報処理システムが知られている（例えば、特許文献１及び２を参照）。

特許文献１及び２に開示された情報処理システムは、テーブル上に前面投射型のプロジェクタにより映像を投影し、テーブル上に有体物（以下、入力補助具と呼ぶ）を置き、テーブル上に投影された画面の表示物と入力補助具との関連付けを行うものである。これによって、特許文献１及び２に開示された画像表示システムでは、操作者は、表示画面上の入力補助具を移動させたり回転させたりすることで画面の表示物を操作することができる。このように、有体物である入力補助具に対して操作者が直接作用を及ぼした内容をコンピュータに対する入力情報として利用するユーザインタフェースは、ＴＵＩ（Tangible User Interface）と呼ばれている。

一方、特許文献３には、指又は指示棒若しくはタブレットペン等の入力指示具によって、タッチパネルの入力検出面がタッチされた部位（指示部位）の数をカウントし、指示部位のカウント数に応じて情報処理装置に所定の処理を実行させるタッチパネルシステムが開示されている。例えば、タッチパネル上の複数の部位を複数の指で順に又は同時に指定したり、タッチパネル上の複数の部位を指示棒で順に指定したりすることによって、指示部位の数や複数の指示部位間の距離に応じた所定の情報処理が行われる。
特開２００４−３０２８５１号公報 特開２００５−２５０６３１号公報 特開２００１−２２８９７１号公報

特許文献１及び２に開示された情報処理システムは、有体物である入力補助具の平行移動や回転移動、つまりテーブル上に置かれた入力補助具の位置及び姿勢の変化を検出することで、表示の変更等の情報処理を行うものである。しかしながら、入力補助具の位置及び姿勢を情報入力に使用するのみでは、操作者が入力できる内容に制限があるという問題がある。

また、特許文献３に開示されたタッチパネルシステムは、指又は指示棒若しくはタブレットペン等の入力指示具によって、タッチパネルの入力検出面に対して同時又は連続的に指定された指示部位の数を情報入力に利用するものである。つまり、特許文献３に開示されたタッチパネルシステムに採用されている入力方法は、有体物である入力補助具に対して操作者が直接作用を及ぼした内容をコンピュータに対する入力情報として利用するＴＵＩとは異なる。したがって、特許文献３の開示内容は、上述した特許文献１及び２に開示された情報処理システムの問題点を解決できるものではない。

本発明は上述した事情を考慮してなされたものであって、本発明の目的は、有体物である入力補助具に対して操作者が作用を及ぼした内容を入力情報として利用する情報処理システムにおいて、入力補助具に対して操作者が及ぼすことが可能な作用の種類を多様化し、操作者に対してより直感的な操作感覚を与えることが可能なユーザインタフェースの実現を目的とする。

本発明の第１の態様にかかる情報処理システムは、表示装置、入力補助具、検出部及び情報処理部を備える。前記表示装置は、表示面を有し、画像情報に対応する画像を前記表示面に表示する。前記入力補助具は、操作者による操作によって、測定光の透過特性が互いに異なる少なくとも２つの形態の間で形態を変更可能である。前記検出部は、前記測定光を照射する測定光源及び前記測定光を受光する受光部を有し、前記受光部による前記測定光の受光状態に基づいて、前記表示面上に配置される前記入力補助具の位置及び形態の変化を検出する。前記情報処理部は、前記入力補助具の形態の変化に応じて前記画像情報を更新し、前記表示装置に対して供給する。

また、本発明の第２の態様にかかる入力制御方法は、有体物である入力補助具に対して操作者が作用を及ぼした内容をコンピュータに対する入力情報として利用するコンピュータの入力制御方法である。本態様にかかる入力制御方法では、画像表示を行う表示面の上に置かれた前記入力補助具の形態が、前記操作者によって、第１の形態から前記第１の形態とは測定光の透過特性が異なる第２の形態に変更されたことを、受光部に入射する前記測定光の変化によって検出する。そして、前記入力補助具の形態変化の検出に応じて、前記コンピュータに所定の情報処理内容を実行させる。

本発明により、入力補助具に対して操作者が及ぼすことが可能な作用の種類を多様化し、操作者に対してより直感的な操作感覚を与えることが可能な情報処理システム及び入力制御方法を提供することができる。

以下では、本発明の具体的な実施例のいくつかについて、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

実施例１．
本実施例にかかる情報処理システム１の構成を図１に示す。情報処理システム１は、情報処理部１０、表示装置１１、入力補助具１２及び検出部１３を有する。情報処理システム１は、有体物である入力補助具１２に対して操作者が作用を及ぼした内容を入力情報として利用するユーザインタフェースを採用している。

情報処理部１０は、表示装置１１に画像表示を行わせるための画像情報を生成し、表示装置１１に供給する。また、情報処理部１０は、表示装置１１の表示面１１１に置かれた入力補助具１２の位置情報、姿勢情報及び形状情報を後述する検出部１３から入力し、入力補助具１２の位置、姿勢及び形状に応じた情報処理を実行し、更新された画像情報を生成して表示装置１１に供給する。つまり、情報処理部１０は、表示装置１１の画像表示がなされる表示面１１１上に置かれた有体物である入力補助具１２と表示面１１１に表示される表示物との関連付けを行う。これによって、本実施例にかかる画像表示システム１では、操作者が表示面１１１上の入力補助具１２を移動させたり回転させたり、またその形状を変化させたりすることで、表示面１１１に表示された表示物を操作することができる。なお、情報処理部１０の具体例は、例えば、パーソナルコンピュータである。

表示装置１１は、情報処理部１０から供給される画像情報に対応する画像を表示面１１１に表示する。本実施例で用いられる表示装置１１は、外部の観測者から見て表示面１１１を挟んで後方側に位置する光源から表示面１１１に光を照射することで映像表示を行う直視型の表示装置である。表示装置１１の具体例は、液晶ディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、ＥＬ（electroluminescence）ディスプレイ、背面投射型ディスプレイ等である。

入力補助具１２は、表示面１１１上に配置され、操作者の直接的な操作対象となる有体物である。入力補助具１２は、操作者による操作によってその形状を変更できるよう構成されている。入力補助具１２の具体的な構成については後述する。

検出部１３は、表示面１１１上に置かれた入力補助具１２の位置、姿勢及び形状を光学的に検出し、入力補助具１２の位置情報、姿勢情報及び形状情報を情報処理部１０に供給する。ここで、入力補助具１２の位置情報とは、表示面１１１上における入力補助具１２の２次元位置を示す情報である。情報処理部１０は、検出部１３から入力される入力補助具１２の位置情報の経時変化によって、入力補助具１２の移動軌跡を認識することができる。

また、入力補助具１２の姿勢情報とは、表示面１１１上に置かれた入力補助具１２の姿勢を示す情報である。入力補助具１２の姿勢は、例えば、表示面１１１に平行な基準方向を基準とした入力補助具１２の姿勢角により表される。情報処理部１０は、検出部１３から入力される入力補助具１２の姿勢情報の経時変化によって、入力補助具１２の回転等の姿勢変化を認識することができる。

また、入力補助具１２の形状情報とは、表示面１１１上に置かれた入力補助具１２の形状を示す情報である。上述したように、入力補助具１２は、操作者による直接操作によって、その形状を変更できる。情報処理部１０は、検出部１３から入力される入力補助具１２の形状情報によって、入力補助具１２の形状が操作者によって変更されたことを認識することができる。

ここで、検出部１３の構成の具体例を図２を用いて説明する。光学センサユニット１３１及び１３２は、測定光を照射する光源（不図示）及び測定光を受光する受光部（不図示）を有する。光学センサユニット１３１及び１３２が有する受光部（不図示）は、１次元ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子である。光学センサユニット１３１及び１３２が有する光源（不図示）は、表示面１１１に平行に測定光を照射する。

再帰性反射材１３３は、表示面１１１の周囲を囲むように配置されている。再帰性反射材１３３は、入射光を入射方向に反射する性質を有する。このため、表示面１１１上に障害物となる入力補助具１２がなければ、光学センサユニット１３１及び１３２から照射された測定光は再帰性反射材１３３によって再帰反射されて光学センサユニット１３１及び１３２に戻り、受光部（不図示）によって受光される。

検出処理部１３４は、光学センサユニット１３１及び１３２による測定光の受光状態によって、表示面１１１上の入力補助具１２の位置、姿勢及び形状を算出する。つまり、図２示した検出部１３１による入力補助具１２の位置、姿勢及び形状の測定原理は、以下の通りである。光学センサユニット１３１及び１３２から照射された測定光が入力補助具１２によって遮られることで、再帰性反射材１３３に明暗のパターンが現れる。この明暗パターンを２つの光学センサユニット１３１及び１３２の受光部（撮像素子）によって撮影する。そして、検出処理部１３４は、２つの光学センサユニット１３１及び１３２によって撮影された明暗パターンによって、入力補助具１２の位置、姿勢及び形状を特定する。なお、検出処理部１３４は、一般的なコンピュータにより実現できる。上述した情報処理部１０を構成するハードウェアと検出処理部１３４を構成するハードウェアは、同一のコンピュータであってもよい。

このような検出部１３の構成及び検出原理は、特許文献３に開示された光学式タッチパネルの構成及び検出原理と同様であるため、本明細書では検出部１３の構成及び検出原理のさらなる詳細説明を省略する。

なお、図２示した検出部１３の構成は一例に過ぎないことはもちろんである。例えば、図２では、光源と受光部が一体構成された光学センサユニット１３１及び１３２を使用しているが、測定光を照射する光源と、これを受光する受光部は、表示面１１１の周囲に独立して配置されても良い。また、３つ以上の光学センサユニットを使用して、入力補助具１２の位置、姿勢及び形状を検出してもよい。

続いて、本実施例にかかる入力補助具１２の具体的な構成例について説明する。図３は、入力補助具１２の外観を示す斜視図である。図４は、入力補助具１２の平面図及び正面図である。ベース部材１２１は、光学センサユニットから照射される測定光を透過する材料によって形成されており、中空円筒形状を有する。入力補助具１２は、ベース部材１２１の底面１２１２を表示面１１１に対向させて、表示面１１１上に配置される。例えば、表示面１１１が鉛直上向きでテーブル状である場合、入力補助具１２は、ベース部材１２１の底面１２１２を下に向けて、表示面１１１上に置かれる。

柱状部材１２２ａ及びｂは、ベース部材１２１の中空部１２１１に配置されている。柱状部材１２２ａ及びｂの表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。つまり、柱状部材１２２ａ及びｂは、ベース部材１２１部分を透過する測定光を遮る遮光部材である。柱状部材１２２ａ及びｂの光透過率を小さくするためには、ベース部材１２１を形成する材料に比べて測定光の透過率が小さい材料によって柱状部材１２２ａ及びｂを形成してもよい。また、柱状部材１２２ａ及びｂの表面に遮光シールを貼ることや遮光性塗料を塗布することで、測定光の透過を抑制してもよい。

なお、柱状部材１２２の数は、図３及び４に示した数に限られるものではない。つまり、柱状部材１２２ａ及びｂは、入力補助具１２の姿勢検出のために設けているものであるから、柱状部材１２の数は１つでも良いし、３つ以上であってもよい。

キャップ部材１２３は、中空円筒形状を有する。キャップ部材１２３の表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。キャップ材１２３の光透過率を小さくするためには、ベース部材１２１を形成する材料に比べて測定光の透過率が小さい材料によってキャップ材１２３を形成してもよい。また、キャップ部材１２３の表面に遮光シールを貼ることや遮光性塗料を塗布することで、測定光の透過を抑制してもよい。

キャップ部材１２３は、操作者による操作によって図３（ａ）に示す矢印Ｄ１方向に変位可能に構成されている。このため、キャップ部材１２３は、図３（ａ）に示す配置と図３（ｂ）に示す配置をとることができる。図３（ａ）に示す形態Ａでは、キャップ部材１２３がベース部材１２１の上方に位置している。つまり、図３（ａ）の形態Ａでは、ベース部材１２１の側面が外部に露出している。このため、図３（ａ）の形態で表示面１１１上に置かれた入力補助具１２は、測定光の大部分を透過し、柱状部材１２２ａ及びｂの影による明暗パターンを再帰性反射材１３３の上に形成する。

一方、図３（ｂ）に示す形態Ｂでは、キャップ部材１２３がベース部材１２１の側面を覆うように配置されている。つまり、図３（ｂ）の形態Ｂでは、ベース部材１２１に入射する測定光がキャップ部材１２３によって遮られる。このため、図３（ｂ）の形態で表示面１１１上に置かれた入力補助具１２は、測定光を遮るため、キャップ部材１２３の影による明暗パターンを再帰性反射材１３３の上に形成する。

続いて以下では、入力補助具１２と表示面１１１に表示される表示物を関連付けることで、入力補助具１２に対する操作者の操作に応じて表示物の表示位置を移動させる処理の一例を、図５（ａ）乃至（ｃ）を用いて説明する。

図５（ａ）は、表示面１１１に表示された複数の表示物を示している。以下では、表示物４０１の表示位置を移動させる処理について説明する。まず、図５（ｂ）に示すように移動させたい表示物４０１の上に入力補助具１２を置く。入力補助具１２が、表示面１１１上に置かれると、検出部１３は、入力補助具１２の２つの柱状部材１２２ａ及びｂが置かれた位置を算出し、情報処理部１０に対して算出結結果（つまり位置情報）を供給する。

情報処理部１０は、検出部１３から入力される位置情報によって、入力補助具１２が表示面１１１上に置かれたことを検出するとともに、柱状部材１２２ａ及びｂの位置を用いて入力補助具１２の底面１２１２の中心位置を算出する。なお、本実施例では、柱状部材１２２ａ及びｂの位置が底面１２１２の中心から等距離とされているため、底面１２１２の中心は、柱状部材１２２ａ及びｂの間を結ぶ線分の中間位置として算出される。

さらに、情報処理部１０は、小ウィンドウ４０２が配置された画像情報を生成して表示装置１１に供給する。小ウィンドウ４０２には、底面１２１２の中心位置を示す中心位置マーカ４０３と、入力補助具１２が置かれることで表示が妨げられることになる表示物とが表示される。この結果、図５（ｂ）に示すような、小ウィンドウ４０３を含む画像表示が行われる。このような表示を行うことにより、表示物と入力補助具１２との重なりが生じても、操作者は入力補助具１２の配置、入力補助具１２の配置と表示物４０１との位置関係を正確に知ることができる。

操作者は、移動をさせたい表示物４０１の上に中心位置マーカ４０３が位置していることを確認した後に、キャップ部材１２３を下方向に押し下げる。これにより、入力補助具の形状は、図３（ａ）の形態Ａから図３（ｂ）の形態Ｂに変化する。検出部１３は、入力補助具１２の形状が変化したことを情報処理部１０に通知する。情報処理部１０は、入力補助具１２の形状変化がなされたときに入力補助具１２の中心位置と重なっている表示物４０１を、位置移動の対象に選択された表示物に決定する。

次に、操作者は、形態Ｂとしたままで入力補助具１２をスライド移動させる。検出部１３は、入力補助具１２の位置が変化したことを情報処理部１０に通知する。情報処理部１０は、表示物４０３の表示位置を入力補助具１２の位置変化の軌跡に追随させて移動させる。これにより、図５（ｃ）に示すように、入力補助具１２に対する操作に応じた表示物４０１の表示位置の移動が行われる。

表示物４０１を所望の位置まで移動させた後に、操作者は、キャップ部材１２３の押し下げを解除することで、入力補助具１２の形状を図３（ａ）の形態Ａに戻す。検出部１３は、入力補助具１２の形状が形態Ａに変化したことを情報処理部１０に通知する。情報処理部１０は、入力補助具１２の形状変化によって、表示物４０１の選択が解除されたことを認識する。以上の一連の操作者の動作及び情報処理システム１の処理によって、表示物４０１を移動させる処理が完了する。

上述したように、入力補助具１２は、操作者による操作によって、測定光の透過特性が異なる２つの形態Ａ及びＢの間で形状を変更可能とされている。また、入力補助具１２の形状変化は、再帰性反射材１３３の上に形成される明暗パターンの変化をもたらす。このため、検出部１３は、再帰性反射材１３３の上に形成される明暗パターンを撮影することによって、言い換えると受光部（不図示）における受光強度の変動によって、入力補助具１２の形状変化を光学的に検出することができる。これにより、本実施の形態にかかる情報処理システム１は、入力補助具１２の位置や姿勢だけでなく、操作者の操作によってもたらされる入力補助具１２の形状変化をユーザインタフェースに利用できる。つまり、情報処理システム１は、入力補助具１２に対して操作者が及ぼすことが可能な作用の種類を多様化し、操作者に対してより直感的な操作感覚を与えることが可能なユーザインタフェースを実現している。

また、特許文献１及び２に開示された情報処理システムは、入力補助具内に配置されたコイルとテーブル装置との電磁誘導によって入力補助具の位置検出を行うため、アンテナが張り巡らされた特殊なテーブル装置が必要であるという問題があった。さらに、特許文献１及び２に開示された情報処理システムは、このような特殊なテーブル装置を必要とするために、表示装置が前面投射型のプロジェクタに限定されるという問題があった。さらに、特許文献１及び２に開示された情報処理システムは、表示装置が前面投射型のプロジェクタであるために、入力補助具の操作時に、操作者自身が障害物となって画像表示が妨害され、投影面に全ての画像が投影されないという問題があった。

これに対して、本実施例の情報処理システム１は、入力補助具１２の位置、姿勢及び形状を検出部１３によって光学的に検出している。このため、本実施例の情報処理システム１は、アンテナが張り巡らされた特殊なテーブル装置を必要としない。また、本実施例の情報処理システム１は、特殊なテーブル装置が不要であるために、液晶ディスプレイやプラズマディスプレイ等の直視型の表示装置１１を使用することができる。さらに、本実施例の情報処理システム１は、直視型の表示装置１１を使用できるために、入力補助具１２の操作時に、操作者自身が障害物となって画像表示が妨害されることがない。

実施例２．
本実施例にかかる情報処理システムは、上述した実施例１の情報処理システムにおける入力補助具１２の構成を変更したものである。入力補助具１２を除く他の構成は、実施例１の情報処理システム１と同様である。このため、以下では、本実施例にかかる入力補助具２２について説明する。

本実施例にかかる入力補助具２２の構成を図６に示す。図６のうち、ベース部材１２１は、実施例１にかかる入力補助具１２が有するものと同様である。入力補助具２２は、ベース部材１２１の中空部１２１１に配置される柱状部材２２２ａ及びｂの数が変更可能である。柱状部材２２２ａ及びｂの表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。キャップ部材２２３は、中空円筒形状を有し、ボタン２２４が突出した構造を有する。ボタン２２４は、図６（ａ）中の矢印Ｄ２方向に変位可能である。図６（ｂ）に示すように、入力補助具２２は、操作者によってボタン２２４がＤ２方向に押し下げられることで、柱状部材２２２ａ及びｂが中空部１２１１内に押し出されるように構成されている。

なお、柱状部材２２２ａ及びｂの数は、図６（ａ）及び（ｂ）に示した２つに限定されるものではない。図７（ａ）に示すように、柱状部材２２２の数は１つでもよいし、図７（ｃ）に示すように、３つ以上であってもよい。

検出部１３は、入力補助具２２の柱状部材２２２の数を検出する。また、情報処理部１０は、入力補助具２２の柱状部材２２２の数の変化によって、入力補助具２２の形状変化を認識する。

なお、柱状部材２２２ａ及びｂの位置が中空部１２１１の内から外に戻るように付勢しておき、操作者によるボタン２２４の押し下げ力（押し付け力）が解除されたことに応じて、柱状部材２２２ａ及びｂの位置が中空部１２１１の内から外に戻るように、バネ等の弾性部材によって柱状部材２２２ａ及びｂを付勢してもよい。これにより、操作者がボタン２２４から手を離すだけで入力補助具２２の形状変化が自動的に起こるため、入力補助具２２の形状を変化させる際に要する操作量を少なくすることができる。

実施例３．
実施例２にかかる入力補助具２２は、中空部１２１１内に位置する柱状部材２２２の数がゼロの形態と、１つ以上の形態とを選択できるものであった。これに対して、本実施例にかかる入力補助具３２は、中空部１２１１内に位置する柱状部材３２２の数が正数αの形態と、正数β（α＜βとする）の形態とを選択できる。図８（ａ）及び（ｂ）は、α＝１、β＝２である場合の入力補助具３２の具体例を示している。図８（ａ）は中空部１２１１内に１つの柱状部材３２２ａが位置する形態である。一方、図８（ｂ）は、ボタン３４２の押し下げに連動して、柱状部材３２２ｂが中空部１２１１に飛び出した形態である。なお、柱状部材３２２ａ及びｂの表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。

本実施例では、実施例２と同様に、検出部１３は、入力補助具３２の柱状部材３２２の数を検出する。また、情報処理部１０は、入力補助具３２の柱状部材３２２の数の変化によって、入力補助具３２の形状変化を認識する。

実施例４．
本実施例にかかる情報処理システムは、上述した実施例１の情報処理システム１における入力補助具１２の構成を変更したものである。入力補助具１２を除く他の構成は、実施例１の情報処理システム１と同様である。このため、以下では、本実施例にかかる入力補助具４２について説明する。

本実施例にかかる入力補助具４２の構成を図９に示す。図９のうち、ベース部材１２１は、実施例１にかかる入力補助具１２が有するものと同様である。入力補助具４２は、ベース部材１２１の中空部１２１１に配置される柱状部材４２２ａ及びｂの間の距離を変更可能である。柱状部材４２２ａ及びｂの表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。キャップ部材４２３は、中空円筒形状を有し、ボタン４２４が突出した構造を有する。ボタン４２４は、一方の柱状部材４２２ｂと連結されており、かつ、図９（ａ）中の矢印Ｄ４方向に変位可能である。図９（ｂ）に示すように、操作者によってボタン４２４がＤ４方向にスライドされることで、柱状部材４２２ｂが中空部１２１１内を平行移動し、他方の柱状部材４２２ａに近づく。

検出部１３は、入力補助具４２の柱状部材４２２ａ及びｂの間の距離を検出する。また、情報処理部１０は、柱状部材４２２ａ及びｂの間の距離変化によって、入力補助具４２の形状変化を認識する。

なお、柱状部材４２２ａ及びｂの数は、図９（ａ）及び（ｂ）に示した２つに限定されるものではないことはもちろんである。

実施例５．
上述した実施例１では、入力補助具１２と表示面１１１の表示物との関連付けを、入力補助具１２の位置情報と形状情報によって行い、入力補助具１２の位置又は形状の変化によって表示物を操作する例を示した。ここでは、検出部１３により生成される入力補助具１２の姿勢情報を利用し、入力補助具１２の姿勢の変化によって表示物を操作する例を説明する。図１０は、表示面１１１上に配置された入力補助具１２を表示面１１１に垂直な回転軸周りで回転させた状態を示す図である。図１０の左側に示す状態を回転状態αと呼ぶ。また、回転状態αから時計回りに角度θだけ回転させた状態を回転状態βと呼ぶ。

検出部１３は、柱状部材１２２ａ及びｂの位置を検出し、支柱の位置変化から入力補助具１２の回転角θを算出する。

情報処理部１０は、入力補助具１２が表示面１１１上に置かれたことに応じて、図１１に示すようなダイヤル目盛り９０１及び目盛り位置マーカ９０２が入力補助具１２の周囲に配置された画像を表示装置１１に出力させる。なお、ダイヤル目盛り９０１及び目盛り位置マーカ９０２を表示させるタイミングは、入力補助具１２の回転が検出されたタイミングとしてもよい。情報処理部１０は、入力補助具１２の回転角θの大きさが、予め設定されていた閾値角度θｔｈ以上になったことに応じて、目盛り位置マーカ９０２の位置を隣の目盛り位置にずらして表示させる。

このような構成によって、操作者は、実体のある入力補助具１２を回転することで、表示面１１１の表示物であるダイヤルを回転させるという直感的な操作感を得ることができる。

実施例６．
本実施例にかかる情報処理システムは、上述した実施例１の情報処理システム１における入力補助具１２の構成を変更したものである。入力補助具１２を除く他の構成は、実施例１の情報処理システム１と同様である。このため、以下では、本実施例にかかる入力補助具６２について説明する。

図１２は、本実施例にかかる入力補助具６２の構成を示す平面図及び正面図である。図１２のうち、ベース部材１２１は、実施例１にかかる入力補助具１２が有するものと同様である。入力補助具６２では、ベース部材１２１の中空部１２１１に配置される柱状部材６２２ａ及びｂの太さがそれぞれ異なる。柱状部材６２２ａ及びｂの表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。キャップ部材６２３は、中空円筒形状を有し、その表面は、ベース部材１２１に比べて測定光の透過率が小さくされている。

検出部１３は、太さの異なる柱状部材６２２ａ及びｂそれぞれの位置と太さを検出し、柱状部材６２２ａ及びｂの位置及び太さから入力補助具６２の姿勢を検出する。

情報処理部１０は、入力補助具６２の姿勢を示す表示を含む画像情報を生成して表示装置１１に供給する。例えば、太い支柱６２２ｂから細い支柱６２２ａに向かう向きを入力補助具６２の前向きとし、図１３に示すような向き表示マーカ１１０１を入力補助具６２の周囲に表示するとよい。入力補助具６２を回転させて向きを変えると、これに追随して、向き表示マーカ１１０１が指す方向も変化する。なお、図１３では、向き表示マーカ１１０１を矢印としたが、人の顔や自動車の等の向きを表す他の表示であってもよい。

その他の実施例．
入力補助具１２と表示面１１１に表示される表示物とが重なって操作者から表示内容が見え難くなった場合の救済方法として、図５（ｂ）では小ウィンドウ４０２を表示させる例を示した。図５（ｂ）の例では、小ウィンドウ４０２内に、入力補助具１２の中心位置を示す中心位置マーカ４０３が示されているため、操作者は入力補助具１２がどの表示物を指しているかを容易に特定できる。

図１４は、入力補助具１２がどの表示物を指しているかを操作者に容易に特定させるための他の表示例を示している。具体的には、図１４の例では、入力補助具１２の周囲に入力補助具１２よりも直径が大きい円形マーカ１２０１を表示させる。

検出部１３は、入力補助具１２の２つの柱状部材１２２ａ及びｂが置かれた位置を算出し、情報処理部１０に対して算出結結果（位置情報）を供給する。

情報処理部１０は、検出部１３から入力される位置情報によって、入力補助具１２が表示面１１１上に置かれたことを検出し、柱状部材１２２ａ及びｂの位置を用いて入力補助具１２の底面１２１２の中心位置を算出する。そして情報処理部１０は、底面１２１２の中心位置を中心として入力補助具１２よりも直径が大きい円形マーカ１２０１を含む画像情報を生成して表示装置１１に供給する。この結果、図１４に示すような、円形マーカ１２０１を含む画像表示が行われる。

図１５は、図１４と同様に、入力補助具１２がどの表示物を指しているかを操作者に容易に特定させるための他の表示例を示している。具体的には、図１５の例では、入力補助具１２の中心位置と重なりのある表示物１３０１の表示色を変化させる。

検出部１３は、入力補助具１２の２つの柱状部材１２２ａ及びｂが置かれた位置を算出し、情報処理部１０に対して算出結結果（位置情報）を供給する。

情報処理部１０は、検出部１３から入力される位置情報によって、入力補助具１２が表示面１１１上に置かれたことを検出し、柱状部材１２２ａ及びｂの位置を用いて入力補助具１２の底面１２１２の中心位置を算出する。そして情報処理部１０は、底面１２１２の中心位置と重なっている表示物１３０１を特定し、この表示物１３０１の表示色を変化させた画像情報を生成して表示装置１１に供給する。この結果、図１５に示すような、表示色が変更された表示物１３０１を含む画像表示が行われる。なお、表示物１３０１の表示内容は特に限定されるものではなく、入力補助具１２との重なりを操作者に視覚的に認識させるものであればよい。例えば、表示物１３０１の表示色を２色の異なる色の間で交互に変更したり、表示物１３０１を点滅表示させたりしてもよい。

さらに、本発明は上述した実施例のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

実施例１にかかる情報処理システムの構成図である。 実施例１にかかる検出部の構成を示す図である。 実施例１にかかる入力補助具の構成を示す外観斜視図である。 実施例１にかかる情報処理システムに含まれる入力補助具の構成を示す平面図及び正面図である。 実施例１にかかる情報処理システムにおける表示物の操作を説明するための図である。 実施例１にかかる情報処理システムに含まれる入力補助具の構成を示す外観斜視図である。 実施例２にかかる入力補助具の構成を示す外観斜視図である。 実施例３にかかる入力補助具の構成を示す外観斜視図である。 実施例４にかかる入力補助具の構成を示す外観斜視図である。 実施例５にかかる情報処理システムにおける入力補助具の回転を示す図である。 実施例５にかかる入力補助具の回転に応じた画面表示の一例を示す図である。 実施例６にかかる情報処理システムに含まれる入力補助具の構成を示す平面図及び正面図である。 実施例６にかかる入力補助具が置かれた位置に対応する画面表示の一例を示す図である。 入力補助具が置かれた位置に対応する画面表示の一例を示す図である。 入力補助具が置かれた位置に対応する画面表示の一例を示す図である。

符号の説明

１ 情報処理システム
１０ 情報処理部
１１ 表示装置
１２、２２、３２、４２、６２ 入力補助具
１３ 検出部
１１１ 表示面
１２１ ベース部材
１２１１ 中空部
１２１２ 底面
１２２ａ、１２２ｂ 柱状部材
１２３ キャップ部材
１３１、１３２ 光学センサユニット（光源及び受光部）
１３３ 再帰性反射材
１３４ 検出処理部
２２２ａ、２２２ｂ、２２２ｃ 柱状部材
２２３ キャップ部材
２２４ ボタン
３２２ａ、３２２ｂ 柱状部材
３２３ キャップ部材
３２４ ボタン
４２２ａ、４２２ｂ 柱状部材
４２３ キャップ部材
４２４ ボタン
６２２ａ、６２２ｂ 柱状部材
６２３ キャップ部材
４０１ 表示物
４０２ 小ウィンドウ
４０３ 中心位置マーカ
９０１ ダイヤル目盛り
９０２ 目盛り位置マーカ
１１０１ 向き表示マーカ
１２０１ 円形マーカ
１３０１ 表示物

Claims (20)

1. 表示面を有し、画像情報に対応する画像を前記表示面に表示する表示装置と、
   操作者による操作によって、測定光の透過特性が互いに異なる少なくとも２つの形態の間で形態を変更可能な入力補助具と、
   前記測定光を照射する測定光源及び前記測定光を受光する受光部を有し、前記受光部による前記測定光の受光状態に基づいて、前記表示面上に配置される前記入力補助具の位置及び形態の変化を検出する検出部と、
   前記入力補助具の形態の変化に応じて前記画像情報を更新し、前記表示装置に対して供給する情報処理部と、
   を備える情報処理システム。
2. 前記入力補助具は、
   前記測定光を透過する材料で形成された中空筒状のベース部材と、
   前記ベース部材の中空部に配置され、前記ベース部材に比べて前記測定光の透過率が小さい少なくとも１つの遮光部材と、
   前記ベース部材に比べて前記測定光の透過率が小さく、前記操作者による操作によって、前記ベース部材が前記測定光に対して露出する露出位置と前記ベース部材に入射する前記測定光を遮るように前記ベース部材の周囲を覆う遮光位置との間で変位可能に配置された中空筒状のキャップ部材と、
   を有する請求項１に記載の情報処理システム。
3. 前記遮光位置にある前記キャップ部材は、前記露出位置に戻る方向に付勢されており、前記操作者による押し付け力が解除されたことに応じて、自立的に前記露出位置に変位する請求項２に記載の情報処理システム。
4. 前記入力補助具は、
   前記測定光を透過する材料で形成された中空筒状のベース部材と、
   前記ベース部材に比べて前記測定光の透過率が小さく、前記操作者による操作によって前記ベース部材の中空部に対して出し入れ可能に配置された少なくとも１つの遮光部材と、
   を有する請求項１に記載の情報処理システム。
5. 前記中空部内にある前記遮光部材は、前記中空部の外に戻る方向に付勢されており、前記操作者による押し付け力が解除されたことに応じて、前記前記中空部の外に変位する請求項４に記載の情報処理システム。
6. 前記入力補助具は、
   前記測定光を透過する材料で形成され、前記入力補助具が前記表示面上に置かれる際に前記表示面に対向する底面を有する中空筒状のベース部材と、
   前記ベース部材に比べて前記測定光の透過率が小さく、前記ベース部材の中空部内に配置されるとともに、前記操作者による操作によって互いの距離を変更可能とされた少なくとも２つの柱状部材と、
   を有する請求項１に記載の情報処理システム。
7. 前記情報処理部は、前記入力補助具が前記表示面上に配置されたことが前記検出部により検出されたことに応じて、前記表示面のうちで、前記入力補助具の底面に対向することで表示が妨げられる領域の表示内容を含む小ウィンドウを前記表示面の他の領域に配置した前記画像情報を生成する請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記小ウィンドウには、前記妨げられる領域の表示内容が前記入力補助具の位置を示す表示と関連付けて表示される請求項７に記載の情報処理システム。
9. 前記情報処理部は、前記入力補助具の形態変化を契機として予め定められた情報処理を行う請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記表示装置は、外部の観測者から見て前記表示面を挟んで後方側に位置する光源から前記表示面に光を照射することで映像表示を行う直視型の表示装置である請求項１乃至９のいずれか１項に記載の情報処理システム。
11. 前記測定光源及び前記受光部は前記表示面の周囲に配置され、前記測定光は前記表示面に平行に照射され、
    前記検出部は、前記測定光源と前記受光部の間の光路上に配置された前記入力補助具が前記測定光を遮光することに伴う前記受光部の受光強度の変動によって、前記入力補助具の位置及び形態の変化を検出する請求項１乃至９のいずれか１項に記載の情報処理システム。
12. 前記検出部は、
    複数の前記測定光源と、
    前記表示面の周囲を囲むように配置され、複数の前記測定光源から照射される前記測定光を入射方向に向けて反射する再帰性反射部材と、
    前記複数の前記測定光源の各々と対をなし、複数の前記測定光源の各々の近傍に配置される複数の前記受光部と、
    を有する請求項１１に記載の情報処理システム。
13. 前記検出部は、前記受光部による前記測定光の受光状態に基づいて、前記表示面に垂直な仮想軸周りの前記入力補助具の回転量を算出し、
    前記情報処理部は、前記回転量が所定量を超えたことに応じて、前記表示面上に位置する前記入力補助具の周囲に前記回転量を表す画像が配置された前記画像情報を生成し、前記表示装置に表示させる請求項１乃至９のいずれか１項に記載の情報処理システム。
14. 前記検出部は、前記受光部による前記測定光の受光状態に基づいて、前記入力補助具の姿勢を検出し、
    前記情報処理部は、前記表示面上に位置する前記入力補助具の周囲に前記入力補助具の姿勢を表す画像が配置された前記画像情報を生成し、前記表示装置に表示させる請求項１乃至９のいずれか１項に記載の情報処理システム。
15. 前記情報処理部は、前記入力補助具が前記表示面上に配置されたことが前記検出部により検出されたことに応じて、前記表示面上に位置する前記入力補助具の周囲に、前記入力補助具の中心位置を中心とする同心円を表す画像が配置された前記画像情報を生成し、前記表示装置に表示させる請求項１乃至９のいずれか１項に記載の情報処理システム。
16. 前記情報処理部は、前記入力補助具が前記表示面上に配置されたことが前記検出部により検出されたことに応じて、前記入力補助具の直下に位置する表示物の表示色を変化させた前記画像情報を生成し、前記表示装置に表示させる請求項１乃至９のいずれか１項に記載の情報処理システム。
17. 有体物である入力補助具に対して操作者が作用を及ぼした内容をコンピュータに対する入力情報として利用するコンピュータの入力制御方法であって、
    画像表示を行う表示面の上に置かれた前記入力補助具の形態が、前記操作者によって、第１の形態から前記第１の形態とは測定光の透過特性が異なる第２の形態に変更されたことを、受光部に入射する前記測定光の変化によって検出し、
    前記入力補助具の形態変化の検出に応じて、前記コンピュータに所定の情報処理内容を実行させる、入力制御方法。
18. 前記入力補助具の形態変化の検出に応じて、前記入力補助具の直下に表示された表示物が前記操作者によって選択されたものと判定する請求項１７に記載の入力制御方法。
19. 前記受光部による前記測定光の受光状態に基づいて、前記入力補助具が前記表示面上に配置されたことを検出し、
    前記表示面のうちで、前記入力補助具の底面に対向することで表示が妨げられる領域の表示内容を含む小ウィンドウを前記表示面の他の領域に配置して表示する請求項１７に記載の入力制御方法。
20. 前記受光部による前記測定光の受光状態に基づいて、前記表示面に垂直な仮想軸周りの前記入力補助具の回転量を算出し、
    前記回転量が所定量を超えたことに応じて、前記表示面上に位置する前記入力補助具の周囲に、前記回転量を表す画像が配置された画像を前記表示面に表示する請求項１７に記載の入力制御方法。

Images