JP2014149815A - 情報処理装置、システムおよび方法 - Google Patents

Abstract

【課題】種々の入力装置を持ち替えることを必要せず、より簡単に、かつ直感的に操作するためのユーザ・インタフェースを提供する。
【解決手段】情報処理装置１０ａは、映像を表示し、ユーザによるタッチ操作を受け付けるタッチスクリーンパネル１４と、ユーザによる、タッチスクリーンパネル１４への操作を検出する検出回路２１と、操作に応じた処理を行う処理回路２０とを備えている。ユーザが、各々が異なる形状の複数の面を有する多面体の入力インタフェース装置を用いて操作を行ったときにおいて、検出回路２１は、操作時に入力インタフェース装置がタッチスクリーンパネルに接触した領域の形状を検出することにより、操作に利用された多面体の面を特定し、処理回路２０は特定された面に関連付けられた処理を実行する。
【選択図】図２

Description

本開示は、タッチスクリーンパネルを備えた情報処理装置に入力を行うためのユーザ・インタフェース技術に関する。

特許文献１は、マウスなどの座標指示装置に代替されるユーザ入力装置として、立方体を始めとする多面体形状の物体を採用する技術を開示する。この文献では、ユーザ入力装置としての物体を所定の操作面上に置いた位置が、座標指示情報として、コンピュータに入力される。また、操作面上に置くべき物体を複数の候補の中から選択することによって、メニューが選択される。さらに、物体を構成するそれぞれの面に対して、ユーザ・コマンド、機能、処理などが割り付けられている。

特開２００１−２６５５２３号公報

本開示は、種々の入力装置を持ち替えることを必要とせず、より簡単に、かつ直感的に操作するためのユーザ・インタフェースを提供する。

本開示における情報処理装置は、映像を表示し、ユーザによる操作を受け付けるタッチスクリーンパネルと、ユーザによる、前記タッチスクリーンパネルへの前記操作を検出する検出回路と、前記操作に応じた処理を行う処理回路とを備え、前記ユーザが、各々が異なる形状の複数の面を有する多面体の入力インタフェース装置を用いて前記操作を行ったときにおいて、前記検出回路は、前記入力インタフェース装置が前記タッチスクリーンパネルに接触している領域の形状を検出することにより、前記操作に利用された前記多面体の面を特定し、前記処理回路は特定された面に関連付けられた処理を実行する。

ある実施形態において、前記入力インタフェース装置が前記タッチスクリーンパネルに接触したことを前記検出回路が検出したときは、前記処理回路は、前記接触した位置の近傍に、所定のパターンを表示させる。

ある実施形態において、前記処理回路は、前記所定のパターンを表示させた後、前記検出回路が予め定められた期間内に前記ユーザによる追加の操作を検出しない場合には、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を所定の倍率だけ拡大する。

ある実施形態において、前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、前記タッチスクリーンパネルに接触させた前記多面体および前記ペン形状の各入力インタフェース装置の相対的な距離が変更されたことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を、前記相対的な距離に応じた倍率だけ変更する。

ある実施形態において、前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、前記タッチスクリーンパネルに接触させた前記多面体の入力インタフェース装置が、前記タッチスクリーンパネルに垂直な軸の周りに回転したことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を回転させる。

ある実施形態において、前記処理回路は、前記入力インタフェース装置の回転方向および回転角度と同じ回転方向および回転角度だけ、前記タッチスクリーンパネルに表示されている画像を回転させる。

ある実施形態において、前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、前記タッチスクリーンパネルに接触させた前記多面体および前記ペン形状の各入力インタフェース装置が、同じ回転方向に回転したことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を回転させる。

ある実施形態において、前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、前記タッチスクリーンパネルに接触させた前記多面体の入力インタフェース装置が、前記タッチスクリーンパネル上をドラッグされたことを検出したときは、前記処理回路は、前記ドラッグされた方向および距離に応じて、前記タッチスクリーンパネルに表示されている画像の表示範囲を変更する。

ある実施形態において、前記多面体の第２の面が前記タッチスクリーンパネルに接触しており、前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、前記タッチスクリーンパネルには、定規の画像オブジェクトが表示されており、前記ペン形状の入力インタフェース装置の位置が、前記画像オブジェクトに沿って直線上に移動したことを前記検出回路が検出したときは、前記処理回路は、前記画像オブジェクトに沿って直線のオブジェクトを表示する。

ある実施形態において、前記多面体の第３の面が前記タッチスクリーンパネルに接触しており、前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、前記ペン形状の入力インタフェース装置の位置の変化を前記検出回路が検出したときは、前記処理回路は、前記位置の変化に対応する筆跡のデータに基づいて文字の認識を行い、認識された前記文字を前記タッチスクリーンパネルに表示する。

ある実施形態において、前記多面体の第４の面が前記タッチスクリーンパネルに接触しているときにおいて、前記タッチスクリーンパネルには、１８０度反転された２種類の映像が表示され、前記２種類の映像は映像上の位置に関して所定の対応関係を有しており、前記多面体の位置の変化を前記検出回路が検出したときは、前記処理回路は、前記一方の映像上で移動された前記多面体の位置の変化に基づいて、対応する位置が表示されるよう前記他方の映像の表示を制御する。

ある実施形態において、前記入力インタフェース装置は、前記入力インタフェース装置の姿勢の変化を検出し、検出した前記姿勢の変化に関する情報を出力する姿勢検出モジュールを備え、前記情報処理装置は、前記姿勢の変化に関する情報を受信する通信回路をさらに備え、前記処理回路は、前記姿勢の変化に関する情報に基づいて前記タッチスクリーンパネルに表示された画像の表示態様を変更する。

本開示にかかる情報処理システムは、上述の情報処理装置と、前記タッチスクリーンパネルへの操作に際して利用される、各々が異なる形状の複数の面を有する多面体の第１入力インタフェース装置と、前記タッチスクリーンパネルへの操作に際して利用される、ペン形状の第２入力インタフェース装置とを備え、前記タッチスクリーンパネルに画像が表示されている状態で、前記第１入力インタフェース装置、および前記第２入力インタフェース装置が予め定められた規則で操作されたことを前記検出回路が検出したときは、前記処理回路は前記画像の表示を変更する。

本開示にかかる情報処理方法は、上述の情報処理装置と、前記タッチスクリーンパネルへの操作に際して利用される、各々が異なる形状の複数の面を有する多面体の第１入力インタフェース装置と、前記タッチスクリーンパネルへの操作に際して利用される、ペン形状の第２入力インタフェース装置とを備えた情報処理システムを利用して実行される方法であって、前記タッチスクリーンパネルに画像が表示されている状態で、前記第１入力インタフェース装置、および前記第２入力インタフェース装置を利用して行われた操作を前記検出回路によって検出するステップと、前記検出回路によって検出された前記操作が、予め定められた規則に合致するか否かを判定するステップと、前記操作が予め定められた規則に合致する場合に、前記処理回路が前記画像の表示を変更させるステップとを包含する。

本開示における他の情報処理装置は、映像を表示し、ユーザによる操作を受け付けるタッチスクリーンパネルと、ユーザによる、前記タッチスクリーンパネルへの前記操作を検出する検出回路と、前記操作に応じた処理を行う処理回路とを備え、前記ユーザが、各々が異なる数の端子を備えた複数の面または各々が異なる配置の端子を備えた複数の面を有する入力インタフェース装置を用いて前記操作を行ったときにおいて、前記検出回路は、前記入力インタフェース装置が前記タッチスクリーンパネルに接触している端子の数または配置を特定し、前記処理回路は特定された端子の数または配置に応じた処理を実行する。

ある実施形態において、前記入力インタフェース装置は、前記入力インタフェース装置の姿勢の変化を検出し、検出した前記姿勢の変化に関する情報を出力する姿勢検出モジュールを備え、前記情報処理装置は、前記姿勢の変化に関する情報を受信する通信回路をさらに備え、前記処理回路は、前記姿勢の変化に関する情報に基づいて前記タッチスクリーンパネルに表示された画像の表示態様を変更する。

本願発明のある実施形態にかかる情報処理装置によれば、種々の入力装置を持ち替えることを必要せず、より簡単に、かつ直感的に操作するためのユーザ・インタフェースを提供することができる。

例示的な本実施形態による情報処理システム１００の構成を示す図である。 タブレット端末１０ａのハードウェア構成を示す図である。 （ａ）、（ｂ）および（ｃ）はそれぞれ、コントロール・キューブ１０ｂの正面図、背面図、および底面図である。 （ａ）および（ｂ）は、コントロール・キューブ１０ｂが、ユーザによってタブレット端末１０ａのタッチパネル１１に載置される前後の状態を示す図である。 （ａ）は検出回路２１がコントロール・キューブ１０ｂの接触を検出し、パターン５０を表示させた直後の状況を想定した図であり、（ｂ）は詳細化されて表示された画像オブジェクト６０ｂを示す図である。 （ａ）はコントロール・キューブ１０ｂがタッチパネルに接触していることを、検出回路２１が検出している状態で、かつ、さらにスタイラスペン１０ｃが接触したときの図であり、（ｂ）はドラッグによって縮小された画像オブジェクト６０ｃを示す図である。 （ａ）は図５（ａ）に示す状態から、さらにコントロール・キューブ１０ｂがその位置で回転されたときの、コントロール・キューブ１０ｂのタッチ位置周辺の表示パネル１２に表示される画像６０ｄを示す図であり、（ｂ）はコントロール・キューブ１０ｂの回転方向およびドラッグ量にしたがって回転して表示された画像６０ｆを示す図である。 コントロール・キューブ１０ｂとスタイラスペン１０ｃとを利用して回転操作を行う例を示す図である。 図５（ａ）に示す状態から、さらにコントロール・キューブ１０ｂがタッチパネル１１上をドラッグされたときの画像６０ｇを示す図である。 コントロール・キューブ１０ｂの近傍に表示された、複数のメニューアイコン７０ａ〜７０ｃを示す図である。 （ａ）は定規モード移行時の初期表示例を示す図であり、（ｂ）は主として、所定の角度だけ回転されたときの定規の画像オブジェクト８０ａおよび８０ｂを示す図である。 吹き出し挿入モード移行時の表示例を示す図である。 デュアル・ビュー・モードにおける表示例を示す図である。 （ａ）および（ｂ）は、変形例１によるコントロール・シリンダ２１０の外観を示す図であり、（ｃ）は導電性構造体２１６を有するコントロール・シリンダ２１０ａの外観を示す図である。 （ａ）は変形例２によるコントロール・シリンダ２２０の斜視図を示し、（ｂ）はその分解図を示す。 姿勢検出モジュール２２２のハードウェア構成を示す図である。 （ａ）は変形例２による導電性構造体２２３の上面斜視図を示し、（ｂ）はその背面斜視図を示し、（ｃ）はその分解図を示す。 （ａ）は変形例３によるコントロール・シリンダ２３０の斜視図を示し、（ｂ）はその側面図を示し、（ｃ）はその分解図を示す。 （ａ）は変形例４によるコントロール・シリンダ２４０の斜視図を示し、（ｂ）はその分解図を示す。 （ａ）は変形例５によるコントロール・シリンダ２５０の斜視図を示し、（ｂ）はその分解図を示す。 （ａ）は変形例６によるコントロール・シリンダ２６０の斜視図を示し、（ｂ）はその側面図を示し、（ｃ）はその分解図を示す。 姿勢検出モジュール２２２を有するコントロール・キューブ１０ｄを示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

本明細書においては、情報処理装置をタブレット端末として説明する。

図１は、本実施形態による情報処理システム１００の構成を示す。情報処理システム１００は、タブレット端末１０ａと、コントロール・キューブ１０ｂと、スタイラスペン１０ｃとを備える。コントロール・キューブ１０ｂおよびスタイラスペン１０ｃは、それぞれ入力インタフェース装置である。ユーザはコントロール・キューブ１０ｂおよびスタイラスペン１０ｃを利用してタブレット端末１０ａにタッチ操作を行い、タブレット端末１０ａを動作させる。

タブレット端末１０ａは、タッチパネル１１と、表示部１２と、筐体１３とを備える。

タッチパネル１１は、ユーザのタッチ操作を受け付ける。タッチパネル１１は、少なくとも操作領域をカバーする広さで、表示パネル１２に重畳して配置されている。

本実施形態では、タッチパネル１１および表示パネル１２は別体であるとして説明するが、これらは一体的に形成されていてもよい。後述する図２には、タッチパネル１１および表示パネル１２の機能を包含するタッチスクリーンパネル１４が示されている。なお、タッチスクリーンパネル１４は、別体であるタッチパネル１１および表示パネル１２を重畳して形成される構成のほか、表示パネルの構造部品の中にセルに、タッチセンサー用の配線を設けた、いわゆるインセル方式の構成も含む。

表示パネル１２は、いわゆる表示装置である。表示パネル１２は、後述するグラフィックコントローラ２２によって処理された画像データに基づく画像を表示する。表示パネル１２は、文字、数字等のテキストデータや、図形を表示可能である。本明細書においては、表示パネル１２は建築物の設計図等を表示するとして説明する。

本実施形態においては、表示パネル１２は、３２インチまたは２０インチの液晶パネルであり、その画面解像度は、３，８４０×２，５６０ドットであるとする。

表示パネル１２として、液晶パネルの他、例えば、有機ＥＬパネル、電子ペーパ、プラズマパネルなどの公知の表示装置を用いることができる。なお、表示パネル１２は、電源回路、駆動回路、およびパネルの種類によっては光源を含んでもよい。

筐体１３は、タッチパネル１１および表示部１２を収納する。筐体１３には電源ボタンや、スピーカ等がさらに設けられてもよいが、図１では記載は省略している。

再び図１を参照する。図１に示す情報処理システム１００に含まれるコントロール・キューブ１０ｂの詳細は、後に図３を参照しながら詳述する。

スタイラスペン１０ｃは、ポインティングデバイスの一種である。ユーザは、スタイラスペン１０ｃの先端部１５をタッチパネル１１に当接させることにより、タッチ操作を行う。スタイラスペン１０ｃの先端部１５は、タブレット端末１０ａのタッチパネル１１におけるタッチ操作の検出方式に対応した材料で形成されている。本実施形態では、タッチパネル１１は静電容量方式でタッチ操作を検出するため、スタイラスペン１０ｃの先端部１５は、導電性の金属繊維、または導電性のシリコンゴム等で形成されている。

図２は、タブレット端末１０ａのハードウェア構成を示す。

タブレット端末１０ａは、タッチパネル１１と、表示パネル１２と、マイクロコンピュータ２０と、タッチ操作検出回路２１と、グラフィックコントローラ２２と、ＲＡＭ２３と、ストレージ２４と、通信回路２５と、スピーカ２６と、バス２７を備える。

タッチパネル１１およびタッチ操作検出回路（以下「検出回路」と記述する。）２１は、たとえば投影型静電容量方式でユーザのタッチ操作を検出する。

タッチパネル１１は、ユーザが操作する側から順に、ガラスやプラスチックなどの絶縁体フィルム層、電極層、演算処理を行う検出回路２１を搭載した基板層の順に構成されている。電極層には、Ｘ軸（たとえば横軸）とＹ軸（たとえば縦軸）に透明電極がマトリクス状に配置されている。なお、各電極は表示パネルの各画素より小さい密度で配置されていてもよいし、各画素と概ね同等の密度で配置されていてもよい。本実施形態では前者の構成を採用しているとして説明する。

タッチパネル１１として、例えば、静電式、抵抗膜式、光学式、超音波方式電磁式などのタッチパネルを用いることもできる。

検出回路２１は、Ｘ軸、およびＹ軸のマトリックスを順次スキャンする。そして、静電容量の変化を検出すると、検出回路２１はその位置にタッチ操作が行われたことを検出し、表示パネル１２の各画素と同等以上の密度（解像度）で座標情報を生成する。検出回路２１は、同時に複数箇所のタッチ操作を検出することが可能である。検出回路２１は、タッチ操作に起因して検出された一連の座標データを継続的に出力している。この座標データは、後述するマイクロコンピュータ２０によって受け取られ、種々のタッチ操作（タップ、ドラッグ、フリック、スワイプなど）として検出される。なお、そのようなタッチ操作を検出する機能は、一般にはタブレット端末１０ａを動作させているオペレーティング・システムの機能として実現される。

本実施形態においては、ユーザは、後述する２種類の入力装置（「コントロール・キューブ」および「スタイラス」）を用いてタッチ操作を行う。「コントロール・キューブ」および「スタイラス」は、静電容量の変化を生じさせる材料を用いて形成されている。詳細は後述する。なお、タッチパネル１１は、ユーザの指を用いるタッチ操作を受け付けてもよい。

マイクロコンピュータ２０は、検出回路２１から受け取ったユーザのタッチ位置の情報を用いて後述する各種の処理を行う処理回路（たとえばＣＰＵ）である。

グラフィックコントローラ２２は、マイクロコンピュータ２０によって生成される制御信号に基づいて動作する。グラフィックコントローラ２２は、表示パネル１２に表示される画像データを生成し、表示パネル１２の表示動作を制御する。

ＲＡＭ２３は、いわゆるワークメモリである。ＲＡＭ２３には、マイクロコンピュータ２０によって実行される、タブレット端末１０ａを動作させるためのコンピュータプログラムが展開される。

ストレージ２４は、たとえばフラッシュメモリである。ストレージ２４には、表示に利用される画像データ２４ａ、上述のコンピュータプログラム２４ｂが格納されている。本実施形態において、画像データ２４ａは、設計図のような静止画像のデータ、後述する建築物のバーチャルツアーを可能にするための三次元動画像データを含む。

通信回路２５は、例えばインターネットや、パーソナルコンピュータ等への通信を可能とする回路である。通信回路２５は、たとえば、Ｗｉ−Ｆｉ規格、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信回路である。

スピーカ２６は、マイクロコンピュータ２０が生成した音声信号に基づく音声を出力する。

バス２７は、タッチパネル１１および表示パネル１２を除く、上述した構成要素を相互に接続し、信号の授受を可能にするための信号線である。

次に、図３を参照しながら、コントロール・キューブ１０ｂを説明する。

図３（ａ）、（ｂ）および（ｃ）はそれぞれ、コントロール・キューブ１０ｂの正面図、背面図、および底面図である。

コントロール・キューブ１０ｂは、種々の形状の面４０〜４３を有している。具体的には、面４０は正方形、面４１は三角形、面４２は半円形、面４３は長方形である。

コントロール・キューブ１０ｂは多面体の入力インタフェース装置である。タブレット端末１０ａの検出回路２１は、静電容量方式のタッチパネル１１に当てられたコントロール・キューブ１０ｂの面の形状を検出することが可能である。タブレット端末１０ａのマイクロコンピュータ２０は、検出された面に応じて、タブレット端末１０ａに異なる動作を行わせる。このような目的のため、コントロール・キューブ１０ｂは相互に異なる形状を有している。

タブレット端末１０ａの検出回路２１がコントロール・キューブ１０ｂの面の形状を検出するために、コントロール・キューブ１０ｂの少なくとも表面は導電性材料で形成されている。さらにコントロール・キューブ１０ｂは、透明の材料で形成されている。これは、コントロール・キューブ１０ｂがタッチパネル１１に載置されたとき、ユーザが表示パネル１２に表示された画像をコントロール・キューブ１０ｂが遮らないようにするためである。これらを満足するため、コントロール・キューブ１０ｂは、透明のポリカーボネートの表面にＩＴＯ（酸化インジウムスズ）製の透明導電性粉末が塗布されて構成されている。

静電容量の変化範囲（面積）が特定値以下である場合には、検出回路２１は、その入力がスタイラスペン１０ｃを用いて行われたと検出する。これは、電極の配置密度によっては、スタイラスペン１０ｃを用いて操作した場合でも静電容量の変化範囲は点ではなく領域になり得ることを意味している。一方、静電容量の変化範囲（面積）が特定値以上である場合には、検出回路２１は、その領域の形状を判定し、さらにその形状が面４０〜４３のいずれの形状と一致するかを判定する。これにより、検出回路２１は、コントロール・キューブ１０ｂのどの面がタッチパネル１１に当てられたのかを特定することが可能である。なお、この動作の前提として、タブレット端末１０ａのＲＡＭ２３またはストレージ２４には、コントロール・キューブ１０ｂの各面の形状、サイズの情報を保持している。

なお、「キューブ」（cube）は正六面体を意味することがあるが、上述のように本実施形態ではコントロール・キューブ１０ｂは正六面体ではない。各面の形状は多角形または円形であってもよく、相互に異なっているとする。また一部に曲面を有していてもよい。

なお、本実施形態によるコントロール・キューブでは、面と面とが交わって形成される辺、および辺と辺との交点である頂点（いわゆるエッジ）は角張っているとして説明する。しかしながら、エッジが角張っている必要はない。コントロール・キューブが、入力インタフェースとして使用されることを考慮すると、持ちやすさ、安全性、タッチスクリーンの傷付き防止のためにエッジに丸みを持たせてもよい。

上述のように、コントロール・キューブ１０ｂのどの面がタブレット端末１０ａのタッチパネル１１に当てられているかによって、タブレット端末１０ａは異なる動作または処理を行う。以下、その動作の詳細を説明する。

１．タッチ検出処理／タッチ離脱検出処理
図４（ａ）および（ｂ）は、コントロール・キューブ１０ｂが、ユーザによってタブレット端末１０ａのタッチパネル１１に載置される前後の状態を示す。図４に関連する処理は、コントロール・キューブ１０ｂのどの面がタッチパネル１１に触れているかに拘わらず行われる表示処理である。コントロール・キューブ１０ｂの面に応じた処理に関しては後述する。

図４（ａ）に示されるように、コントロール・キューブ１０ｂがタッチパネル１１に近づけられ、載置される。すると、タブレット端末１０ａの検出回路２１は、コントロール・キューブ１０ｂが載置された領域を認識する。本明細書では、この領域を巨視的に点とみなして「タッチ位置」と呼ぶこともある。検出回路２１は、認識結果であるコントロール・キューブ１０ｂの位置の情報をマイクロコンピュータ２０に送信する。

マイクロコンピュータ２０は、グラフィックコントローラ２２に制御信号を送信し、グラフィックコントローラ２２に、コントロール・キューブ１０ｂ認識時の映像効果表示処理を行うよう指示する。するとグラフィックコントローラ２２は、認識された領域、またはその領域の中心位置を基準とした所定の範囲に他と区別可能なパターンを表示する。たとえば、グラフィックコントローラ２２は、図４（ｂ）に示されるように、領域の中心位置を基準とする円のパターン５０をフェードインで表示させる。この表示はコントロール・キューブ１０ｂがタッチパネル１１上から取り除かれるまで表示されていてもよい。なお、中心位置は例である。タッチ位置の近傍にパターンを表示することにより、ユーザはコントロール・キューブ１０ｂの存在が認識されたことを知ることができる。

コントロール・キューブ１０ｂがタッチスクリーンから離されたときは、検出回路２１は、コントロール・キューブ１０ｂに起因して変化していた静電容量が所定の基準状態に戻ったことを検出し、コントロール・キューブ１０ｂがタッチスクリーンから離されたことをマイクロコンピュータ２０に送信する。

マイクロコンピュータ２０は、グラフィックコントローラ２２に制御信号を送信し、グラフィックコントローラ２２に、コントロール・キューブ１０ｂ離脱時の映像効果表示処理を行うよう指示する。するとグラフィックコントローラ２２は、一定時間（たとえば０．５秒）経過後、当該パターン５０の表示を消す。単に消してもよいし、フェードアウトさせてもよい。または、パターン５０を少し大きく拡大した後、フェードアウトさせてもよい。表示が消えるまでの態様は任意である。

２．ビュー変更処理
次に、表示パネル１２に表示された画像が、タッチ操作によって拡大され、縮小され、移動される処理を説明する。これらの処理を行うモードを「ビュー変更モード」と称する。タブレット端末１０ａは、たとえばコントロール・キューブ１０ｂの底面４２がタッチパネル１１に接触していることを検出すると、動作モードをビュー変更モードに切り替える。換言すると、コントロール・キューブ１０ｂの底面４２には、ビュー変更モードの機能が割り当てられている。

２．１．位置認識後の画像拡大処理
図５（ａ）は、検出回路２１がコントロール・キューブ１０ｂの接触を検出し、パターン５０を表示させた直後の状況を想定した図である。なお、図５（ａ）には説明の便宜のため、パターン５０は明示されていない。

図５（ａ）に示す状況において、検出回路２１が、一定期間（たとえば０．５秒）以内に追加の操作を検出しない場合には、タブレット端末１０ａはビュー変更モードに移行する。マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、コントロール・キューブ１０ｂのタッチ位置に表示されている画像オブジェクト６０ａを詳細化した画像を表示させる。詳細図への変更時には、グラフィックコントローラ２２は、あたかも画像表示が拡大されたような視覚効果を与えてもよい。

図５（ｂ）は、詳細化されて表示された画像オブジェクト６０ｂを示す。なお、拡大率は予め定められていてもよい。グラフィックコントローラ２２は、拡大率の表示を表示パネル１２の表示領域内のいずれかの位置に表示してもよい。図５（ｂ）では、画像の右上に倍率表示欄６１が表示されている。他の例として、コントロール・キューブ１０ｂのタッチ位置近傍に表示されてもよい。

時間の経過に伴って、グラフィックコントローラ２２は段階的に画像オブジェクト６０ａを拡大してもよい。拡大・縮小時には、原図からの倍率が表示される（たとえば倍率表示欄６１）。

２．２．コントロール・キューブ１０ｂおよびスタイラスペン１０ｃを用いた拡大／縮小処理
図６（ａ）は、コントロール・キューブ１０ｂがタッチパネルに接触していることを、検出回路２１が検出している状態で、かつ、さらにスタイラスペン１０ｃの接触を検出したときの状況を示す。ユーザがスタイラスペン１０ｃをタッチパネルに当てることにより、タブレット端末１０ａはビュー変更モードに移行する。

ユーザが、コントロール・キューブ１０ｂのタッチ位置とスタイラスペン１０ｃのタッチ位置との間隔を広げる／狭めると、マイクロコンピュータ２０は、表示されている画像を拡大する／縮小するよう、グラフィックコントローラ２２に指示する。グラフィックコントローラ２２は、変更された間隔に応じて決まる拡大率にしたがい、画像を拡大する。拡大率の情報は、たとえばマイクロコンピュータ２０からグラフィックコントローラ２２に伝えられる。

たとえば図６（ａ）のスタイラスペン１０ｃを矢印の方向にドラッグする。図６（ｂ）は、ドラッグによって縮小された画像オブジェクト６０ｃを示す。なお、この例ではスタイラスペン１０ｃのタッチ位置のみを変更する例を説明したが、コントロール・キューブ１０ｂのタッチ位置のみを変更してもよいし、またはスタイラスペン１０ｃおよびコントロール・キューブ１０ｂの各タッチ位置を同時に変更してもよい。倍率は、両者のタッチ位置の相対的な変化量に応じて決定されればよい。また、マイクロコンピュータ２０が、間隔を広げる際の速さ（相対的な位置の変化速度）を計算することにより、当該変化速度を利用して拡大率を決定してもよい。

ユーザがコントロール・キューブ１０ｂおよび／またはスタイラスペン１０ｃをタッチスクリーンから離したことを検出回路２１が検出すると、ビュー変更モードは終了する。拡大および縮小は、予め定められたレベルまで可能である。拡大および縮小中は、原図からの倍率が表示される。たとえばグラフィックコントローラ２２は、図５（ｂ）に示すような倍率表示欄６１に倍率を表示してもよいし、コントロール・キューブ１０ｂのタッチ位置近傍に表示してもよい。

２．３．コントロール・キューブ１０ｂおよびスタイラスペン１０ｃを用いた回転処理
図７（ａ）は、図５（ａ）に示す状態から、さらにコントロール・キューブ１０ｂがその位置で回転されたときの、コントロール・キューブ１０ｂのタッチ位置周辺の表示パネル１２に表示される画像６０ｄを示す。図７（ａ）は、コントロール・キューブ１０ｂが載置された表示パネル１２を真上から見下ろしたときの、コントロール・キューブ１０ｂと画像６０ｄとの位置関係を示している。

まず、図５（ａ）に示す状況において、検出回路２１が、コントロール・キューブ１０ｂの回転を検出する。ここでいう回転とは、ユーザが、コントロール・キューブ１０ｂをタッチパネル１１に垂直な軸の周りに回転させることを意味する。このとき、タッチパネル１１上の位置は実質的に変更されない。検出回路２１は、静電容量の変化を継続的に検出することにより、コントロール・キューブ１０ｂの底面４２（図３）の形状を逐次検出する。この結果、マイクロコンピュータ２０は、コントロール・キューブ１０ｂが回転していることを検出する。するとマイクロコンピュータ２０は、グラフィックコントローラ２２に指示して、回転角度を示す角度目盛り画像６０ｄと、図５（ａ）に示す位置を基準として算出された角度の画像６０ｅを、コントロール・キューブ１０ｂのタッチ位置の周囲に表示させる。画像６０ｄおよび６０ｅは、回転中継続して表示される。図７（ａ）は、図５（ａ）に示されるコントロール・キューブ１０ｂが、半時計回りに３２度回転されたときの表示例である。なお、図７（ａ）には「半時計回り」であることを示す情報は示されていないが、その情報を、たとえば回転方向を示す矢印で明示してもよい。

コントロール・キューブ１０ｂの回転操作とともに、マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、図５（ａ）に表示されていた画像６０ａを回転させる。

図７（ｂ）は、コントロール・キューブ１０ｂの回転方向およびドラッグ量にしたがって回転して表示された画像６０ｆを示す。なお図７（ｂ）ではコントロール・キューブ１０ｂおよびスタイラスペン１０ｃの表示は省略されている。

なお、コントロール・キューブ１０ｂとスタイラスペン１０ｃとを利用して回転操作を行うこともできる。たとえば図８の矢印によって示されるように、コントロール・キューブ１０ｂとスタイラスペン１０ｃとをタッチパネル１１に接触させて、円を描くように同じ回転方向にドラッグする。マイクロコンピュータ２０は、検出回路２１から受け取った一連の検出結果（座標データ）の変化に基づいて、コントロール・キューブ１０ｂおよびスタイラスペン１０ｃが回転しながらドラッグされていることを検出する。すると、マイクロコンピュータ２０は、グラフィックコントローラ２２に指示して、図５（ａ）に表示されていた画像６０ａを回転させる。その結果、表示パネル１２には、やはり図７（ｂ）に示す画像６０ｆが表示される。

２．４．ドラッグによる表示範囲の移動処理
図９は、図５（ａ）に示す状態から、さらにコントロール・キューブ１０ｂがタッチパネル１１上をドラッグされたときの画像６０ｇを示す。

コントロール・キューブ１０ｂのみがタッチパネル１１に接触している状態で、タッチパネル１１上のコントロール・キューブ１０ｂをドラッグすると、表示範囲が、ドラッグされた方向および距離に応じて移動する。検出回路２１は図５（ａ）に示す位置から図面左下方向にドラッグされたことを検出する。すると、マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、表示範囲を図９に示すように変更させる。その結果、当初表示されていた画像オブジェクト６０ａが左下に位置し、たとえばこれまで表示されていなかった画像オブジェクト６０ｇや６０ｈなどが表示される。

３．メニュー表示・選択処理
次に、コントロール・キューブ１０ｂの異なる面をタッチパネル１１に接触させることによって行われる、ビュー変更処理とは異なる処理を説明する。以下の例では、コントロール・キューブ１０ｂの背面に位置する、矩形の面４３をタッチパネル１１に接触させるとして説明する。

３．１．メニューアイコンの表示
コントロール・キューブ１０ｂの面４３（図３（ｂ））がタッチパネル１１に触れると、検出回路２１は、認識した領域の形状に基づいて面４３がタッチパネル１１に接触していることを認識する。すると、タブレット端末１０ａは、動作モードをメニュー表示・選択処理モードに切り替える。換言すると、コントロール・キューブ１０ｂの面４３には、メニュー表示・選択処理モードの機能が予め割り当てられている。

動作モードがメニュー表示・選択処理モードに切り替えられると、マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、複数のメニューアイコンをコントロール・キューブ１０ｂの近傍に表示させる。

図１０は、コントロール・キューブ１０ｂの近傍に表示された、複数のメニューアイコン７０ａ〜７０ｃを示す。図１０には、コントロール・キューブ１０ｂも示されている。つまり図１０は、図７と同様、コントロール・キューブ１０ｂが載置された表示パネル１２を真上から見下ろしたときの、コントロール・キューブ１０ｂとメニューアイコン７０ａ〜７０ｄとの位置関係を示している。面４３がタッチパネル１１に接触するようにコントロール・キューブ１０ｂが載置されているため、上方から見下ろしたとき、面４１が上側に位置することになる。

なお、メニューアイコン７０ａは電子的に表示された定規を利用する定規モードである。メニューアイコン７０ｂは手書き文字の認識により、吹き出しを作成する吹き出し挿入モードである。メニューアイコン７０ｃはメジャーを利用して表示図面上の長さを計測するメジャーモードである。

以下、各メニューアイコンが選択されたときの処理を説明する。なお、アイコンが選択されると、マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、図１０に示すメニューアイコン７０ａ〜７０ｃの表示を消去させ、以下に説明する画像を表示する。

３．２．定規モード選択時の処理
ユーザが、定規が示されたメニューアイコン７０ａの表示位置をスタイラスペン１０ｃを用いてタップすると、検出回路２１はその位置にスタイラスペン１０ｃが触れたことを認識する。するとマイクロコンピュータ２０は、その位置に対応して表示されていたメニューアイコンが選択されたと判断する。その結果、タブレット端末１０ａは、そのメニューアイコンに対応する定規モードに移行する。

図１１（ａ）は、定規モード移行時の初期表示例を示す。マイクロコンピュータ２０の指示により、グラフィックコントローラ２２は、図１１（ａ）に示されるような定規の画像オブジェクト８０ａおよび８０ｂと、回転量を示す角度計の画像オブジェクト８０ｃとを表示パネル１２に表示する。

定規の画像オブジェクト８０ａおよび８０ｂには目盛りが刻まれている。グラフィックコントローラ２２は、現在の画像の表示倍率に合わせて、目盛りの間隔を調整する。初期的には、定規の画像オブジェクト８０ａおよび８０ｂは、タッチ位置を頂角として表示パネル１２の縦、横にそれぞれ平行な方向に沿って表示される。

角度計の画像オブジェクト８０ｃは、初期表示時を基準として、複数種類の目盛りが刻まれている。たとえば大きい目盛りは３０度ごとに設けられ、小さい目盛りは１０度ごとに設けられている。

コントロール・キューブ１０ｂのみがタッチパネル１１に接触している状態で、ユーザが、タッチパネル１１に垂直な軸の周りにコントロール・キューブ１０ｂを回転させると、その回転方向および回転角度にしたがって定規の画像オブジェクト８０ａおよび８０ｂが回転する。これにより、定規の画像オブジェクト８０ａおよび８０ｂはタッチスクリーンの縦、横にそれぞれ平行ではなくなる。たとえば図１１（ｂ）は、主として、所定の角度だけ回転されたときの定規の画像オブジェクト８０ａおよび８０ｂを示す。このとき、ユーザがコントロール・キューブ１０ｂをドラッグすると、グラフィックコントローラ２２は、定規の画像オブジェクト８０ａおよび８０ｂの位置を平行移動させる。

回転中は、図７（ａ）に示した例と同様、初期表示位置の角度を基準として、その位置からの回転量を示す画像オブジェクト（図示せず）が、回転軸の周りに表示されてもよい。

定規の画像オブジェクト８０ａおよび８０ｂを利用して、表示パネル１２に表示されている画像に直線の画像オブジェクトを追記することも可能である。たとえば図１１（ｂ）は、スタイラスペン１０ｃと定規の画像オブジェクト８０ｂを利用して直線の画像オブジェクト８０ｄを追記する例を示す。ユーザがスタイラスペン１０ｃを画像オブジェクト８０ｂの近傍にタッチし、定規の画像オブジェクト８０ｂに沿ってスタイラスペン１０ｃをドラッグさせる。検出回路２１は、スタイラスペン１０ｃの接触、およびその後のドラッグ操作に伴う接触位置の変化も検出する。その検出結果を受けて、マイクロコンピュータ２０はスタイラスペン１０ｃによるドラッグ操作が行われていることを検出し、直線を追記する処理を行うようグラフィックコントローラ２２に指示を送る。グラフィックコントローラ２２は、スタイラスペン１０ｃの最初のタッチ位置から、ドラッグ方向に沿って、ドラッグ長と同じ長さの直線のオブジェクト８０ｄを、表示パネル１２に表示されている画像に重畳して描画する。スタイラスのタッチ位置近傍には、引いた直線の長さを示す情報８０ｅが表示される。

コントロール・キューブ１０ｂおよびスタイラスペン１０ｃをタッチスクリーンから離すと、描画された直線の画像オブジェクト８０ｄの編集が確定され、定規モードが終了する。

３．３．吹き出し挿入モード選択時の処理
再び図１０を参照して、吹き出し挿入モードを説明する。

ユーザが、吹き出しが示されたメニューアイコン７０ｂの表示位置をスタイラスペン１０ｃを用いてタップすると、検出回路２１はその位置にスタイラスペン１０ｃが触れたことを認識する。するとマイクロコンピュータ２０は、その位置に対応して表示されていたメニューアイコンが選択されたと判断する。その結果、タブレット端末１０ａは、そのメニューアイコンに対応する吹き出し挿入モードに移行する。

図１２は、吹き出し挿入モード移行時の表示例を示す。マイクロコンピュータ２０は、スタイラスペン１０ｃによるユーザの手書き文字入力を待つ。検出回路２１はスタイラスペン１０ｃによる入力を検出し、検出した筆跡のデータをマイクロコンピュータ２０に送信する。タブレット端末１０ａの予めＲＡＭ２３またはストレージ２４には、筆跡のデータを文字に変換するための変換規則、および変換後に利用されるテキストデータが保持されている。マイクロコンピュータ２０は、その変換規則を参照して、受け取った筆跡のデータから文字を特定し、その文字の情報をグラフィックコントローラ２２に送る。グラフィックコントローラ２２は、その文字に対応するテキストデータを読み出して、そのデータによって表されるテキストを吹き出しの画像オブジェクト９０として表示する。図１２には、手書き入力された筆跡の画像９１と、吹き出しの画像オブジェクト９０に表示されたテキスト９２とが示されている。なお、手書き入力中は、コントロール・キューブ１０ｂはタッチパネル１１上に載置されたままである。

コントロール・キューブ１０ｂおよびスタイラスペン１０ｃをタッチスクリーンから離すと、描画された吹き出しの画像オブジェクト９０の編集が確定され、コントロール・キューブ１０ｂの近傍に、メッセージを含む吹き出しとして埋め込まれる。メッセージの長さによっては、全文が表示されていなくてもよい。たとえば当該吹き出しをスタイラスペン１０ｃによってタップされたときに、グラフィックコントローラ２２はメッセージの全体を表示してもよい。

３．４．メジャーモード選択時の処理
再び図１０を参照して、メジャーモードを説明する。

吹き出しが示されたメニューアイコン７０ｃの表示位置を、ユーザがスタイラスペン１０ｃを用いてタップすると、検出回路２１はその位置にスタイラスペン１０ｃが触れたことを認識する。するとマイクロコンピュータ２０は、その位置に対応して表示されていたメニューアイコンが選択されたと判断する。その結果、タブレット端末１０ａは、そのメニューアイコンに対応するメジャーモードに移行する。

メジャーモードは、スタイラスペン１０ｃによって最初にタップされた位置を始点とし、次にタップされた位置を終点としたときの、線分の長さを表示するモードである。検出回路２１は、最初にタップされた位置を示す情報と、次にタップされた位置を示す情報とをマイクロコンピュータ２０に送信する。マイクロコンピュータ２０は、その２点間の画像上の距離（たとえば２つの画素間距離）を計算し、現在の表示倍率に基づいて、図面上の距離を計算する。これにより、表示パネル１２に表示されている画像に関する距離を得ることができる。

上述の説明では、コントロール・キューブ１０ｂの背面４３をタッチパネル１１に接触させると、メニューアイコンを表示させるとした。しかしながら、この処理は一例である。メニューアイコンの表示をしなくても、たとえばコントロール・キューブ１０ｂの各面に、上述した定規を利用するモードや、文字入力を可能とするモードの起動機能を割り当ててもよい。

４．デュアル・ビュー・モード処理
デュアル・ビュー・モードとは、たとえばタブレット端末の２つの短辺側にそれぞれユーザが着座し、向かい合っている状況で使用される表示モードである。一方のユーザは画像の表示を操作する者（操作者）であり、他方のユーザは表示された画像を閲覧する者（閲覧者）である。そのようなデュアル・ビュー・モードでの動作をデュアル・ビュー・モード処理と呼ぶ。

タブレット端末１０ａは、たとえばコントロール・キューブ１０ｂの面４０（図３）を用いてタッチパネル１１がタップされたときに、デュアル・ビュー・モードに移行する。または、タブレット端末１０ａは、スクリーンに表示されたデュアル・ビュー・モード移行用のボタン（画像オブジェクト）がタップされたときに動作モードをデュアル・ビュー・モードに移行してもよい。または、タブレット端末１０ａは、その一方の短辺が下になるよう持ち上げられたときに動作モードをデュアル・ビュー・モードに移行してもよい。最後の例では、タブレット端末に実装された加速度センサー（図示せず）によって当該動作が検出される。

デュアル・ビュー・モードでは、操作者が視認する映像の内容と、閲覧者が視認する映像の内容は、１８０度反転している。たとえば建物のバーチャルツアーを表示する例を挙げて説明する。

図１３は、デュアル・ビュー・モードにおける表示例を示す。

設計図は操作者側の第１領域１１０に示されている。第１領域１１０では、設計図の寸法を表す数字や、建物内の名称などの文字は、操作者にとって正しい方向（通常読むことができる方向）に向けられている。つまり、閲覧者にとっては設計図に関しては、天地が逆に表示されている。

一方、図１３では、閲覧者が視認するバーチャルツアーの映像（動画像）は、閲覧者側の第２領域１２０に示されている。動画像の再生は、操作者の操作によって制御される。この表示は、閲覧者にとって正しい方向、具体的には、建物内の映像の床が下に位置し、天井が上に位置する方向に向けられている。

バーチャルツアーでは、操作者がコントロール・キューブ１０ｂの面４０（図３）を表示パネル１２に表示された画像上に置くと、設計図が所定倍率拡大されて表示される。たとえば、いま、操作者が設計図の通路上の位置にコントロール・キューブを置いたとする。すると、その位置の画像が拡大されて表示される。図１３の第１領域１１０には、拡大後の設計図の表示例が示されている。

コントロール・キューブ１０ｂが画像上に置かれたとき、まずマイクロコンピュータ２０は表示されている設計図上のどの位置にコントロール・キューブ１０ｂが位置しているかを判定し、その位置に対応する三次元映像を出力するようグラフィックコントローラ２２に指示する。その後、操作者がコントロール・キューブ１０ｂを表示された通路に沿って移動させると、検出回路２１は、コントロール・キューブ１０ｂの位置の変化を検出する。その情報はマイクロコンピュータ２０に送られ、その移動方向、移動量、および移動の速さがマイクロコンピュータ２０によって検出される。マイクロコンピュータ２０はグラフィックコントローラ２２に指示して、その方向および速さであたかも建物内を移動しているかのような三次元映像を閲覧者側の第２領域１２０に表示させる。コントロール・キューブ１０ｂの移動方向、移動量、および移動速度に対応して、三次元映像中の移動方向、移動量、および移動速度が変化する。これにより、閲覧者はまだ設計図段階の建物のバーチャルツアーを体験することができる。

これまでは、各々が異なる形状の複数の面を有する多面体の入力インタフェース装置として、コントロール・キューブ１０ｂを例示して説明した。以下では、入力インタフェース装置の変形例１〜６を説明する。

（変形例１）
図１４（ａ）および（ｂ）は、コントロール・シリンダ２１０の外観を示す。コントロール・シリンダ２１０は、情報処理システム１００（図１）のタブレット端末１０ａにタッチ操作を行い、タブレット端末１０ａを動作させるための入力インタフェース装置である。コントロール・シリンダ２１０は、コントロール・キューブ１０ｂに代えて、またはコントロール・キューブ１０ｂと共に情報処理システム１００を構成する。なお、スタイラスペン１０ｃもまた、コントロール・シリンダ２１０とともに入力インタフェース装置として利用され得る。後述する変形例２〜６も同様である。

図１４（ａ）および（ｂ）に示されるように、コントロール・シリンダ２１０は円柱形状である。コントロール・シリンダ２１０は、面２１１と、面２１２と、側面２１３とを有する。図１４（ａ）は面２１１を上に向けて配置したときのコントロール・シリンダ２１０の外観を示し、図１４（ｂ）は面２１２を上に向けて配置したときのコントロール・シリンダ２１０の外観を示す。コントロール・シリンダ２１０はたとえば透明樹脂で成形されている。

図１４（ａ）に示されるように、面２１１には２つの端子２１４が設けられている。また図１４（ｂ）に示されるように、面２１２には４つの端子２１５が設けられている。２つの端子２１４の各々、および４つの端子２１５の各々は、タッチパネル１１によって検出され得る材料または構造を有している。たとえばタッチパネル１１が静電容量方式の場合には、各端子は導電性材料で形成されている。より具体的には、各端子は導電性のある金属繊維、導電性のシリコンゴム、銅やアルミニウムなどの導体によって形成されている。面２１１または面２１２に、ＩＴＯ（酸化インジウムスズ）製の透明導電性粉末を塗布して電極を形成してもよい。

いま、コントロール・シリンダ２１０がタブレット端末１０ａの静電容量方式のタッチパネル１１に載置された状況を想定する。タブレット端末１０ａの検出回路２１は、静電容量の変化を検出することにより、タッチパネル１１に接触しているコントロール・シリンダ２１０の端子の数を特定することができる。タブレット端末１０ａのマイクロコンピュータ２０は、検出回路２１から受け取ったユーザのタッチ位置の情報を用いて、面２１１および面２１２のいずれがタッチパネル１１に接触しているかを特定することができる。図１４（ａ）の載置例では面２１２がタッチパネル１１に接触しており、図１４（ｂ）の載置例では面２１１がタッチパネル１１に接触していることになる。タブレット端末１０ａのマイクロコンピュータ２０は、検出された面に応じて、タブレット端末１０ａに異なる動作を行わせる。このような目的のため、コントロール・シリンダ２１０は、各々が異なる数の端子を備えた複数の面を有している。

なお、上述の説明では、検出回路２１が端子の数を特定し、マイクロコンピュータ２０が接触面を特定すると説明したが、これらの動作は一例である。タッチパネル１１に接触している面が面２１１か面２１２かを特定することは必須ではなく、タッチパネル１１に接触している端子の数が特定されれば十分である。タブレット端末１０ａは、検出された端子数に応じて異なる動作または処理を行うことができればよい。異なる動作または処理とは、たとえば上述したタッチ検出処理／タッチ離脱検出処理、ビュー変更処理、メニュー表示・選択処理、デュアル・ビュー・モード処理である。

各端子の形状および大きさを特定する端子情報を予め定めておくことにより、マイクロコンピュータ２０は、端子を容易に検出することができる。本例では、全ての端子が同じ形状および大きさ（たとえば直径１ｃｍの円形状）であると仮定する。端子情報は、タブレット端末１０ａのＲＡＭ２３またはストレージ２４に保持されている。以下の説明では、スタイラスペン１０ｃの先端部１５の大きさ、端子の大きさ、コントロール・キューブ１０ｂの面の大きさの順にタッチパネル１１への接触面積が大きくなるとして説明する。

静電容量の変化範囲（面積）が第１閾値以下である場合には、検出回路２１は、変化範囲にスタイラスペン１０ｃの先端部１５が接触していると検出する。静電容量の変化範囲（面積）が第１閾値より大きく第２閾値以下の場合には、検出回路２１は、その変化範囲に端子が接触していると検出する。そして静電容量の変化範囲（面積）が第２閾値より大きく第３閾値以下の場合には、検出回路２１は、その変化範囲に、先に説明したコントロール・キューブ１０ｂの面が接触していると検出する。これにより、検出回路２１は、コントロール・シリンダ２１０の何個の端子がタッチパネル１１に当てられたのかを特定することができる。

タブレット端末１０ａは、各端子の検出位置の情報を補完的に用いて、タッチパネル１１に接触しているのが２つの端子２１４であるか、４つの端子２１５であるかを特定してもよい。各端子の検出位置の情報とは、たとえば図１４（ａ）の載置例では、４つの端子が十字型に並んでいるという位置関係を示す情報であり、図１４（ｂ）の載置例では、２つの端子が直線的に並んでいるという位置関係を示す情報である。端子の数が多くなると、検出された端子群のパターンと、予め定めておいたパターンとを利用してパターンマッチング処理を行い、判定精度を高くすることができる。あるいは、何らかの理由で１つまたは複数の端子の検出ができなかった場合には、検出回路２１は、検出された端子群のパターンと予め定めておいたパターンとに基づいて、端子の数を推測することができる。

上述したコントロール・シリンダ２１０の面２１１および２１２は、正円であることを想定して説明した。しかしながら、面２１１および２１２の形状は正円でなくてもよく任意である。一方の面に設けられた端子の数と、他方の面に設けられた端子の数とが異なっていれば、タブレット端末１０ａはそれぞれの面を識別することが可能である。それぞれの面に設けられた端子の数が異なっている限り、各面の形状は任意である。よって、面２１１および２１２の形状は、たとえば楕円であってもよいし、正方形、長方形であってもよい。

または、端子の数が同じであっても、その配置が異なっていればよい。たとえば、４つの端子が十字型に配置されている場合を考える。タブレット端末１０ａは、互いの間隔が相対的に狭く配置された４つの端子と、相対的に広く配置された４つの端子とを、異なる端子群であると認識することが可能である。

他の例として、タブレット端末１０ａは、十字型に配置されている４つの端子と、半円の円周に沿って配置された４つの端子とを、異なる端子群であると認識することが可能である。

上述の説明から明らかな通り、入力インタフェース装置の複数の面において、端子の数が異なるか、端子の配置が識別可能な程度に異なっていればよい。タブレット端末１０ａは端子の数または端子の配置が異なることを識別することにより、識別結果に応じて異なる動作を行うことができる。

図１４（ａ）および（ｂ）では、２つの端子２１４の各々、および４つの端子２１５の各々は、面２１４および面２１５上に設けられた平面的な形状で描かれているが、この形状も一例である。形状は任意である。

たとえば２つの端子２１４の各々、および４つの端子２１５の各々は、コントロール・シリンダの内部で電気的に接続されていてもよい。図１４（ｃ）は、後述する導電性構造体と同様の導電性構造体２１６を有するコントロール・シリンダ２１０ａを示す。導電性構造体２１６は導電性材料で形成されており、２つの端子２１４、および４つの端子２１５をコントロール・シリンダ２１０ａ内部において電気的に接続する。このような態様も、本開示による端子の範疇である。

（変形例２）
変形例２〜６までは、自装置の姿勢を検出するためのセンサを備えた入力インタフェース装置を説明する。同じ機能および／または構造を有する構成要素には同じ参照符号を付し、その説明は省略する。

図１５（ａ）は変形例２によるコントロール・シリンダ２２０の斜視図を示し、（ｂ）はその分解図を示す。

図１５（ｂ）に示されるように、コントロール・シリンダ２２０は、筐体部品２２１と、姿勢検出モジュール２２２と、導電性構造体２２３と、筐体部品２２４とを備えている。

筐体部品２２１および２２４は、たとえば透明の非導電性樹脂で成形されている。筐体部品２２１および２２４はいずれも、後述する姿勢検出モジュール２２２および導電性構造体２２３を嵌め込むためのくぼみおよび貫通穴を有している。筐体部品２２１および２２４の相違点は、導電性構造体２２３を嵌め込むための貫通穴の数である。

姿勢検出モジュール２２２は、筐体部品２２１および２２４に嵌め込まれてコントロール・シリンダ２２０の姿勢の変化を検出する装置である。姿勢検出モジュール２２２は、検出した姿勢に関する情報を無線でタブレット端末１０ａに送信する。本変形例では、姿勢検出モジュール２２２は球状に形成されている。

図１６は、姿勢検出モジュール２２２のハードウェア構成を示す。姿勢検出モジュール２２２は、マイクロコンピュータ２２２ａと、センサ２２２ｂと、アナログ・デジタル変換器（ＡＤＣ）２２２ｃと、送信回路２２２ｄと、これらを相互に通信可能に接続するバス２２２ｅとを備えている。なお姿勢検出モジュール２２２は上述した構成要素を動作させるためのバッテリ（図示せず）を有している。

マイクロコンピュータ２２２ａは、姿勢検出モジュール２２２の全体の動作の開始および終了を制御する。

センサ２２２ｂは、たとえば３軸角速度（ジャイロ）センサ、および３軸加速度センサを内蔵しており、姿勢検出モジュール２２２の動きを合計６軸で検出する。姿勢検出モジュール２２２が筐体部品２２１および２２４に嵌め込まれた場合には、センサ２２２ｂはコントロール・シリンダ２２０の動きを検出することになる。なお、上述の３軸角速度（ジャイロ）センサ、および３軸加速度センサとして周知のセンサを用いることができる。または、センサ２２２ｂは、電子コンパスを含んでもよい。電子コンパスもまた、コントロール・シリンダ２２０の姿勢の変化を検出するセンサであるということができる。電子コンパスは、上述の３軸角速度（ジャイロ）センサ、および３軸加速度センサに加えて設けられてもよいし、それらのいずれかと組み合わせで設けられてもよいし、単独で設けられてもよい。

ＡＤＣ２２２ｃは、センサから出力された各軸のアナログ信号をデジタル信号に変換する。

送信回路２２２ｄは、たとえばＷｉ−Ｆｉ規格やＢｌｕｅｔｏｏｔｈ規格に準拠した無線通信により、デジタル信号を出力する。このデジタル信号は、タブレット端末１０ａの通信回路２５（図２）によって受信される。

次に、再び図１５（ｂ）を参照しながら、導電性構造体２２３を説明する。導電性構造体２２３は導電性材料で形成されている。導電性構造体２２３が筐体部品２２１および２２４に嵌め込まれたとき、導電性構造体２２３の一部は外部に露出する。具体的には、導電性構造体２２３は、コントロール・シリンダ２２０の側面において円周方向に露出している。また、導電性構造体２２３は、コントロール・シリンダ２２０の一方の面では４箇所において露出し、他方の面では３箇所において露出している。露出している箇所は、上述したコントロール・シリンダ２１０の端子と同様に機能する。

コントロール・シリンダ２２０がタブレット端末１０ａの静電容量方式のタッチパネル１１に載置されたときを考える。タブレット端末１０ａの検出回路２１は、変形例１と同様、静電容量の変化を検出する。これにより、検出回路２１またはマイクロコンピュータ２０は、タッチパネル１１に接触しているコントロール・シリンダ２２０の端子の数を特定することができる。

図１７（ａ）は変形例２による導電性構造体２２３の上面斜視図を示し、（ｂ）はその背面斜視図を示し、（ｃ）はその分解図を示す。図１７（ｃ）に示されるように、本変形例による導電性構造体２２３は４つの脚部２２３ａと、フレーム２２３ｂと、３つの脚部２２３ｃとに分解することが可能である。ただしこの構成は一例である。一部または全部が一体的に成形されてもよい。

コントロール・シリンダ２２０の無線通信機能を用いると、ユーザはタブレット端末１０ａをさらに新たな方法で操作することができる。すなわち、無線通信によってユーザの操作に起因する姿勢の変化をタブレット端末１０ａに伝送できるため、ユーザはタブレット端末１０ａに接触しなくても、タブレット端末１０ａを操作することが可能になる。

たとえば、タブレット端末１０ａに建築物の設計図面が表示されているとする。ユーザがコントロール・シリンダ２２０をタッチパネル１１に接触させることなく、タッチパネル１１に平行に移動させる。すると姿勢検出モジュール２２２はその移動方向の加速度を検出する。タブレット端末１０ａはその情報をコントロール・シリンダ２２０から受け取り、速度および移動距離を演算する。具体的には、タブレット端末１０ａのマイクロコンピュータ２０は、加速度の時間積分値を求めて速度とし、さらに速度の時間積分値を求めて移動距離とする。マイクロコンピュータ２０は、速度および移動距離に応じた移動速度（移動方向および速さ）および距離で、図９に示すような、コントロール・キューブ１０ｂがタッチパネル１１上をドラッグされたときと同じ動作を行う。

他の例として、タブレット端末１０ａの表示パネル１２に建築物の３Ｄ画像オブジェクトが表示されているとする。ユーザがコントロール・シリンダ２２０を持ち上げて静止させ、コントロール・シリンダ２２０を回転させると、姿勢検出モジュール２２２はその回転の方向および角速度を検出する。タブレット端末１０ａはそれらの情報をコントロール・シリンダ２２０から受け取り、そのマイクロコンピュータ２０は、その回転方向および角速度に応じた回転方向および角速度で、表示されている建築物の３Ｄ画像オブジェクトを回転させる。なお、コントロール・シリンダ２２０の回転と共に平行移動を行うことで、さらにその画像オブジェクトを平行移動させることも可能である。

上述の画像オブジェクトの回転処理や平行移動処理にあたっては、画像オブジェクトを構成する頂点の位置情報（座標）を、所定の座標変換行列を用いて変換する必要がある。座標変換に使用する行列として、主に移動行列、回転行列、射影行列などが知られている。上述の動作を実現するにあたっても公知の行列を利用することができる。

（変形例３）
図１８（ａ）は変形例３によるコントロール・シリンダ２３０の斜視図を示し、（ｂ）はその側面図を示し、（ｃ）はその分解図を示す。

コントロール・シリンダ２３０が、変形例２にかかるコントロール・シリンダ２２０（図１５）と相違する点は、導電性構造体２２３と筐体部品２２４の組み立て順序である。コントロール・シリンダ２３０では導電性構造体２２３の４つの脚部２２３ａおよびフレーム２２３ｂが露出している。

その他の構成や、コントロール・シリンダ２３０を用いたタブレット端末１０ａの動作は変形例２と同じであるため、その説明は省略する。

（変形例４）
図１９（ａ）は変形例４によるコントロール・シリンダ２４０の斜視図を示し、（ｂ）はその分解図を示す。

コントロール・シリンダ２４０が、変形例３にかかるコントロール・シリンダ２３０（図１８）と相違する点は、姿勢検出モジュール２２２が筐体部品２２１に嵌め込まれるのではなく露出し、かつ、筐体部品２２１と導電性構造体２２３とが嵌合する点である。球状の姿勢検出モジュール２２２が露出しているため、本変形例のコントロール・シリンダ２４０によれば、ユーザは姿勢検出モジュール２２２をトラックボールのように回転させることができる。これによりタブレット端末１０ａは表示している画像オブジェクトを回転させることができる。

その他の構成や、コントロール・シリンダ２３０を用いたタブレット端末１０ａの動作は変形例２と同じであるため、その説明は省略する。

（変形例５）
図２０（ａ）は変形例５によるコントロール・シリンダ２５０の斜視図を示し、（ｂ）はその分解図を示す。

コントロール・シリンダ２５０が、変形例４にかかるコントロール・シリンダ２３０（図１９）と相違する点は、コントロール・シリンダ２５０が姿勢検出モジュール２２２および筐体部品２２４で構成されている点である。本変形例では変形例４にかかるコントロール・シリンダ２３０（図１９）の筐体部品２２１および導電性構造体２２３が設けられていない。

本変形例のコントロール・シリンダ２５０によっても、変形例４と同様、ユーザは姿勢検出モジュール２２２をトラックボールのように回転させてタブレット端末１０ａに表示されている画像オブジェクトを回転させることができる。

なお、導電性構造体２２３が設けられていないため、本変形例のコントロール・シリンダ２５０は、タッチパネル１１の静電容量の変化を生じさせることはない。コントロール・シリンダ２５０をタッチパネル１１に載置して安定して操作することができるため、たとえば精密な操作が必要な場合に有用である。

（変形例６）
図２１（ａ）は変形例６によるコントロール・シリンダ２６０の斜視図を示し、（ｂ）はその側面図を示し、（ｃ）はその分解図を示す。

本変形例のコントロール・シリンダ２６０は、図１５のコントロール・シリンダ２２０における導電性構造体２２３および筐体部品２２４に代えて、導電性構造体２６１および筐体部品２６２を有している。図２１（ｂ）に示されるように、姿勢検出モジュール２２２が嵌合される面と反対側の筐体部品２６２の面は緩やかな曲面を有している。この曲面を設けることにより、たとえば３Ｄ画像オブジェクトの角度を微調整して表示したい場合には、微小な回転角度の調整が容易になる。なお、筐体部品２２１には導電性構造体２６１の一部を露出させる貫通穴が設けられているため、コントロール・シリンダ２６０の天地を入れ替えた場合には、タッチパネル１１の静電容量の変化を生じさせることは可能である。

上述の変形例２〜６においては、コントロール・シリンダに姿勢検出モジュール２２２を設ける例を説明した。しかしながら、初めの実施形態において説明したコントロール・キューブ１０ｂ内に姿勢検出モジュール２２２を設けてもよい。

図２２は、姿勢検出モジュール２２２を有するコントロール・キューブ１０ｄを示す。このコントロール・キューブ１０ｄは、図１に示すコントロール・キューブ１０ｂに代えて使用することができる。コントロール・キューブ１０ｂ内の姿勢検出モジュール２２２は姿勢に関する信号を検出して出力する。タブレット端末１０ａの通信回路２５は、その信号を受信する。これにより、タブレット端末１０ａは、コントロール・キューブ１０ｂを介したユーザの操作に応じて画像オブジェクトの移動、回転などの表示態様を変更することが可能になる。

本開示は、タッチパネルおよび表示パネルを有し、ユーザによるタッチ操作が可能な情報処理装置に適用可能である。具体的には、タブレット端末、スマ―トフォン、電子黒板などに、本開示は適用可能である。

１０ａ タブレット端末
１０ｂ コントロール・キューブ
１０ｃ スタイラスペン
１１ タッチパネル１１
１２ 表示パネル
１４ タッチスクリーンパネル
２０ マイクロコンピュータ
２１ タッチ操作検出回路
２２ グラフィックコントローラ
２３ ＲＡＭ
２４ ストレージ
２５ 通信回路
２６ スピーカ
２７ バス
２１０、２１０ａ、２２０、２３０、２４０、２５０、２６０ コントロール・シリンダ
２１１、２１２ コントロール・シリンダの面
２１３ 側面
２１４、２１５ 端子
２２１、２２４、２６２
２２２ 姿勢検出モジュール
２１６、２２３、２６１ 導電性構造体

Claims (16)

1. 映像を表示し、ユーザによる操作を受け付けるタッチスクリーンパネルと、
   ユーザによる、前記タッチスクリーンパネルへの前記操作を検出する検出回路と、
   前記操作に応じた処理を行う処理回路と
   を備え、
   前記ユーザが、各々が異なる形状の複数の面を有する多面体の入力インタフェース装置を用いて前記操作を行ったときにおいて、前記検出回路は、前記入力インタフェース装置が前記タッチスクリーンパネルに接触している領域の形状を検出することにより、前記操作に利用された前記多面体の面を特定し、前記処理回路は特定された面に関連付けられた処理を実行する、情報処理装置。
2. 前記入力インタフェース装置が前記タッチスクリーンパネルに接触したことを前記検出回路が検出したときは、前記処理回路は、前記接触した位置の近傍に、所定のパターンを表示させる、請求項１に記載の情報処理装置。
3. 前記処理回路は、前記所定のパターンを表示させた後、前記検出回路が予め定められた期間内に前記ユーザによる追加の操作を検出しない場合には、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を所定の倍率だけ拡大する、請求項２に記載の情報処理装置。
4. 前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、
   前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、
   前記タッチスクリーンパネルに接触させた前記多面体および前記ペン形状の各入力インタフェース装置の相対的な距離が変更されたことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を、前記相対的な距離に応じた倍率だけ変更する、請求項１または２に記載の情報処理装置。
5. 前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、
   前記タッチスクリーンパネルに接触させた前記多面体の入力インタフェース装置が、前記タッチスクリーンパネルに垂直な軸の周りに回転したことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を回転させる、請求項１に記載の情報処理装置。
6. 前記処理回路は、前記入力インタフェース装置の回転方向および回転角度と同じ回転方向および回転角度だけ、前記タッチスクリーンパネルに表示されている画像を回転させる、請求項５に記載の情報処理装置。
7. 前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、
   前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、
   前記タッチスクリーンパネルに接触させた前記多面体および前記ペン形状の各入力インタフェース装置が、同じ回転方向に回転したことを前記検出回路が検出したときは、前記処理回路は、前記タッチスクリーンパネルに表示されている画像を回転させる、請求項１に記載の情報処理装置。
8. 前記多面体の第１の面が前記タッチスクリーンパネルに接触しており、
   前記タッチスクリーンパネルに接触させた前記多面体の入力インタフェース装置が、前記タッチスクリーンパネル上をドラッグされたことを検出したときは、前記処理回路は、前記ドラッグされた方向および距離に応じて、前記タッチスクリーンパネルに表示されている画像の表示範囲を変更する、請求項１に記載の情報処理装置。
9. 前記多面体の第２の面が前記タッチスクリーンパネルに接触しており、
   前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、
   前記タッチスクリーンパネルには、定規の画像オブジェクトが表示されており、
   前記ペン形状の入力インタフェース装置の位置が、前記画像オブジェクトに沿って直線上に移動したことを前記検出回路が検出したときは、前記処理回路は、前記画像オブジェクトに沿って直線のオブジェクトを表示する、請求項１に記載の情報処理装置。
10. 前記多面体の第３の面が前記タッチスクリーンパネルに接触しており、
    前記ユーザが、ペン形状の入力インタフェース装置を用いてさらに操作を行うときにおいて、
    前記ペン形状の入力インタフェース装置の位置の変化を前記検出回路が検出したときは、前記処理回路は、前記位置の変化に対応する筆跡のデータに基づいて文字の認識を行い、認識された前記文字を前記タッチスクリーンパネルに表示する、請求項１に記載の情報処理装置。
11. 前記多面体の第４の面が前記タッチスクリーンパネルに接触しているときにおいて、
    前記タッチスクリーンパネルには、１８０度反転された２種類の映像が表示され、前記２種類の映像は映像上の位置に関して所定の対応関係を有しており、
    前記多面体の位置の変化を前記検出回路が検出したときは、前記処理回路は、前記一方の映像上で移動された前記多面体の位置の変化に基づいて、対応する位置が表示されるよう前記他方の映像の表示を制御する、請求項１に記載の情報処理装置。
12. 前記入力インタフェース装置は、前記入力インタフェース装置の姿勢の変化を検出し、検出した前記姿勢の変化に関する情報を出力する姿勢検出モジュールを備え、
    前記情報処理装置は、前記姿勢の変化に関する情報を受信する通信回路をさらに備え、
    前記処理回路は、前記姿勢の変化に関する情報に基づいて前記タッチスクリーンパネルに表示された画像の表示態様を変更する、請求項１に記載の情報処理装置。
13. 請求項１に記載の情報処理装置と、
    前記タッチスクリーンパネルへの操作に際して利用される、各々が異なる形状の複数の面を有する多面体の第１入力インタフェース装置と、
    前記タッチスクリーンパネルへの操作に際して利用される、ペン形状の第２入力インタフェース装置と
    を備え、
    前記タッチスクリーンパネルに画像が表示されている状態で、前記第１入力インタフェース装置、および前記第２入力インタフェース装置が予め定められた規則で操作されたことを前記検出回路が検出したときは、前記処理回路は前記画像の表示を変更する、情報処理システム。
14. 請求項１に記載の情報処理装置と、
    前記タッチスクリーンパネルへの操作に際して利用される、各々が異なる形状の複数の面を有する多面体の第１入力インタフェース装置と、
    前記タッチスクリーンパネルへの操作に際して利用される、ペン形状の第２入力インタフェース装置と
    を備えた情報処理システムを利用して実行される方法であって、
    前記タッチスクリーンパネルに画像が表示されている状態で、前記第１入力インタフェース装置、および前記第２入力インタフェース装置を利用して行われた操作を前記検出回路によって検出するステップと、
    前記検出回路によって検出された前記操作が、予め定められた規則に合致するか否かを判定するステップと、
    前記操作が予め定められた規則に合致する場合に、前記処理回路が前記画像の表示を変更させるステップと
    を包含する、情報処理方法。
15. 映像を表示し、ユーザによる操作を受け付けるタッチスクリーンパネルと、
    ユーザによる、前記タッチスクリーンパネルへの前記操作を検出する検出回路と、
    前記操作に応じた処理を行う処理回路と
    を備え、
    前記ユーザが、各々が異なる数の端子を備えた複数の面または各々が異なる配置の端子を備えた複数の面を有する入力インタフェース装置を用いて前記操作を行ったときにおいて、前記検出回路は、前記入力インタフェース装置が前記タッチスクリーンパネルに接触している端子の数または配置を特定し、前記処理回路は特定された端子の数または配置に応じた処理を実行する、情報処理装置。
16. 前記入力インタフェース装置は、前記入力インタフェース装置の姿勢の変化を検出し、検出した前記姿勢の変化に関する情報を出力する姿勢検出モジュールを備え、
    前記情報処理装置は、前記姿勢の変化に関する情報を受信する通信回路をさらに備え、
    前記処理回路は、前記姿勢の変化に関する情報に基づいて前記タッチスクリーンパネルに表示された画像の表示態様を変更する、請求項１５に記載の情報処理装置。

Images