JP2001265523A - 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 入力の自由度が多く且つ容易に操作すること
ができる簡便なユーザ入力装置を提供する。 【解決手段】 マウスなどの座標指示装置に代替される
ユーザ入力装置として、立方体を始めとする多面体形状
の物体を採用する。ユーザ入力装置としての物体を、所
定の操作面上に置いた位置を座標指示情報として、コン
ピュータ入力することができる。また、操作面上に置く
べき物体を複数の候補の中から選択することによって、
メニュー選択することができる。また、物体を構成する
それぞれの面に対して、ユーザ・コマンド、機能、処理
などを割り付けることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータに対
してオブジェクトの操作やコマンド等の入力を行うため
のユーザ・インターフェース環境の提案に係り、特に、
コンピュータに対してユーザが直感的で分かり易くオブ
ジェクト操作やコマンド入力を行うことができるユーザ
・インターフェース環境の提案に関する。

【０００２】更に詳しくは、本発明は、入力の自由度が
多く且つ容易に操作することができる簡便なユーザ入力
装置を導入することによって、直感的で分かり易く表現
することができるユーザ・インターフェース環境の提案
に係る。特に、入力の自由度が多く且つ容易に操作する
ことができる簡便なユーザ入力装置を導入することによ
って、メニュー選択に応答して順次プルダウン表示され
てくるサブメニュー・ウインドウ上で繰り返し詳細な指
定を行ったり、メニュー選択した機能や項目のプロパテ
ィをさらに指定したり、ツール・パレット上での選択な
どの、複数回の指示動作を含む煩雑なユーザ入力作業を
直感的で分かり易く表現することができるユーザ・イン
ターフェース環境の提案に関する。

【０００３】

【従来の技術】昨今の技術革新に伴い、ワークステーシ
ョンやパーソナル・コンピュータ（ＰＣ）と呼ばれる、
比較的小型且つ低価格で、高付加価値化・高機能化され
た汎用タイプのコンピュータ・システムが開発・市販さ
れ、大学その他の研究機関や企業その他のオフィス、さ
らには一般家庭内の日常生活にも深く浸透している。

【０００４】コンピュータ・システムは、一般に、ユー
ザ入力コマンドに応答して駆動し、処理結果をディスプ
レイ・スクリーン上に表示することによって、「インタ
ラクティブ」、すなわち対話的な処理環境を提供してい
る。最近では、ＤＯＳ（DiskOperating System）シェル
画面を代表とする旧来のキーボードを介したキャラクタ
・ベースのユーザ入力環境すなわち「ＣＵＩ（Characte
r User Interface）」から、グラフィック・ベースのユ
ーザ入力を実現した「ＧＵＩ（Graphical User Interfa
ce）」への移行が挙げられる。ＧＵＩ環境下では、コン
ピュータ・システムがシミュレートされたデスクトップ
と無数のアイコンがディスプレイ・スクリーンに用意さ
れる。

【０００５】ＧＵＩが提供されたデスクトップ上では、
ファイル等のコンピュータ・システム上で取り扱われる
全ての資源オブジェクトはアイコンとして表現される。
ユーザは、ディスプレイ・スクリーン上のプログラム、
データ、フォルダ、デバイスなどを象徴するアイコンに
対してマウスなどを介して直接操作を印加する（例え
ば、クリックやドラッグ・アンド・ドロップ）ことで、直
感的にコンピュータ操作を行うことができる。また、デ
スクトップ上には、メニュー・バーやツール・ボックス
など、各種の機能すなわちコンピュータ処理を瞬時に呼
び出すためのボタンが用意されており、コマンド入力の
様式はますます直感的で分かり易いものとなってきてい
る。

【０００６】ＧＵＩ環境の導入により、もはやユーザ
は、特定のコマンドの名称やコマンド操作方法等を特に
習得したり、煩雑なキー入力を行わなくとも、コンピュ
ータを充分に操作することができる。

【０００７】かかるＧＵＩ環境下において利用可能なユ
ーザ入力装置として、例えば、マウスや、トラックポイ
ント、タッチパッド、ジョイスティックなどの座標指示
装置が代表的である。このうち、マウスは、コンピュー
タ業界に深く定着しており、ほとんどのユーザは、ドラ
ッグ・アンド・ドロップを基調とするマウス操作に慣れ
親しんでいる。オフィスや家庭などの日常生活の各場面
においてコンピュータを新規導入するに際して、マウス
操作を特にトレーニングする必要は全くないと言っても
過言ではない。

【０００８】最近では、ＧＵＩ環境の拡充に従い、デス
クトップ画面上でユーザに提供される機能が多種多様化
してきている。これに伴なって、ＧＵＩ画面上のユーザ
操作も複雑化してきた。マウスなどの座標指示装置を用
いてメニュー選択を行う場合、まずメイン・メニュー上
で所望の機能や項目を選んだ後、順次プルダウン表示さ
れてくるサブメニュー・ウインドウ上で繰り返し詳細な
指定を行ったり、あるいは、さらにポップアップ表示さ
れたプロパティ・ウィンドウ上で選択した機能や項目に
関するプロパティを設定したりしなければならない。マ
ウスなどの座標指示装置を介してユーザ入力を行う場合
には、デスクトップ・スクリーン上でマウス・カーソル
を右往左往させなければならず、ユーザに複雑で煩わし
い作業を強要してしまうことになる。また、マウスが本
来持つ入力作業の直感性を阻害することになる。

【０００９】そもそも、マウス自体は、入力自由度が少
ない。すなわち、マウスの底面に回転自在に配設された
トラック・ボールを、マウス背面で把持して操作面（例
えば、マウス・パッド）上を走行させることにより、Ｘ
Ｙ平面上の２自由度が得られる。また、背面の略先端部
に左右各ボタンが配設されているので、各ボタンのオン
／オフの組み合わせにより２²＝４自由度が得られる。
したがって、マウスは最大で２×４＝８個の自由度を得
ることができる。

【００１０】また、最近では、米マイクロソフト社が提
供する「インテリマウス」に代表されるような、オン／
オフと回転という２自由度を持つ第３ボタンを装備した
先進的なマウスが登場してきている。この種のマウスの
場合、最大で２×４×２＝１６個の自由度を得ることが
できる。

【００１１】ところが、マウス背面を把持してＸＹ平面
上で操作させながら、左右それぞれのボタンのオン／オ
フを切り替えることは、困難な作業である。特殊技能を
持ち合わせたり、手先が格別器用なユーザでない限り、
２以上のボタンを片手で同時に操作することは難しい。
結局のところ、一般的なユーザがマウスを用いた場合、
ＸＹ平面上の操作といずれか１つのボタンのオン／オフ
からなる少ない自由度しか使いこなすことができないで
あろう。

【００１２】例えば、設計現場におけるＣＡＤ（Comput
er Aided Design）システムや、メディア・コンテンツ制
作現場におけるビデオ編集システムなどのように、大量
のツール・パッドを取り扱うアプリケーションがある。
このようなシステムでは、メニューが階層化されている
ので、所望のツール・ウィンドウを表示させるために毎
回メニュー階層を逐次的なマウス操作で辿らなければな
らず、ユーザ操作が煩雑である。

【００１３】例えば、＜編集個所の選択＞→＜メニュー
表示＞→＜メニュー選択＞→＜決定＞→＜編集個所への
戻り＞という一連の操作手順を、逐次的に繰り返さなけ
ればならない。この操作手順は、編集個所として指示し
た座標を一旦離れる、すなわちユーザの目線がディスプ
レイ画面上で錯綜するという作業を含んでいる。また、
使用頻度に関係なく、その都度同じ操作を繰り返す必要
があるので、効率よくメニュー選択することができな
い。また、かかる煩雑な手順を行う期間中、マウス・カ
ーソルがディスプレイ画面上を激しく行き交うことにな
り、目障りなこともある。

【００１４】表示画面上に複数のツール・ウィンドウを
オープンしたままにすると、アプリケーション本体のウ
ィンドウ表示領域が干渉されてしまい（すなわち、ツー
ル・ウィンドウの影に隠れてしまい）、本来の編集作業
が阻害されてしまう。

【００１５】例えば３次元ＣＡＤシステムの場合、編集
対象となる図形オブジェクトを３次元空間上で移動させ
たり回転させたりするため、多自由度又は多次元の入力
操作が必要となる。配色に関しても、ＲＧＢ（すなわ
ち、赤、緑、青）という３次元的な色空間で構成される
ので、３次元的若しくは多次元な１回の入力操作によっ
てツール・パレット上で色選択を行うことができれば、
非常に便利であ李、編集作業が効率化するであろう。

【００１６】"ＴｏｏｌＧｌａｓｓ" ^[2]と呼ばれる既存
技術では、左手でツール・パレットを、右手でポインテ
ィング・デバイスを、それぞれ操作するようになってい
る（左手では、例えばマウスやトラック・ボールを扱
う）。これは、両手を使った効果的なユーザ・インター
フェース手法ではあるが、上述したパレット選択の問題
点を解決することはできない。

【００１７】また、"ＴａｎｇｉｂｌｅＵＩ"（Ｐｈｉｃ
ｏｎ）^[3]は、実世界上の物理的なオブジェクトをアイ
コンとして用いるユーザ・インターフェース手法であ
る。但し、１つのアイコンが複数のオブジェクトに対応
しているので、単一のユーザ入力装置としての物理オブ
ジェクトが持つ入力自由度は低い。

【００１８】

【発明が解決しようとする課題】本発明の目的は、コン
ピュータに対してユーザが直感的で分かり易くオブジェ
クト操作やコマンド入力を行うことができる、優れたユ
ーザ・インターフェース環境を提供することにある。

【００１９】本発明の更なる目的は、入力の自由度が多
く且つ容易に操作することができる簡便なユーザ入力装
置を導入することによって、直感的で分かり易く表現す
ることができる、優れたユーザ・インターフェース環境
を提供することにある。

【００２０】本発明の更なる目的は、入力の自由度が多
く且つ容易に操作することができる簡便なユーザ入力装
置を導入することによって、メニュー選択に応答して順
次プルダウン表示されてくるサブメニュー・ウインドウ
上で繰り返し詳細な指定を行ったり、メニュー選択した
機能や項目のプロパティをさらに指定したり、ツール・
パレット上での選択操作などの、複数回の指示動作を含
む煩雑なユーザ入力作業を直感的で分かり易く表現する
ことができる、優れたユーザ・インターフェース環境を
提供することにある。

【００２１】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、操作面
と、物理オブジェクトと、前記操作面上に載置された前
記物理オブジェクトを介した指示を検出する検出部と、
該検出結果に応じた処理を実行するデータ処理部と、を
具備することを特徴とする情報入出力システムである。

【００２２】ここで、前記検出部は、例えば、前記操作
面表面上を撮像する撮像手段と、前記撮像手段による撮
像画像に基づいて前記操作面表面上に載置された物理オ
ブジェクトを画像認識する画像処理手段とで構成するこ
とができる。

【００２３】あるいは、前記検出部は、前記操作面表面
上に積層され、前記物理オブジェクトと電磁的に結合し
て検出するようにしてもよい。このような検出部とし
て、例えば、ディスプレイ一帯型のタブレット（又はデ
ジタイザ）を挙げることができる。

【００２４】また、複数の物理オブジェクトを使用して
もよい。この場合、各物理オブジェクト毎に固有の機能
が割り付けることができる。また、前記データ処理部
は、前記操作面上に載置された物理オブジェクトに割り
付けられた機能を実行することができる。

【００２５】また、物理オブジェクトは、複数の構成面
からなる多面体であってもよい。この場合、多面体の構
成面毎に固有の機能を割り付けることができる。また、
前記データ処理部は、前記操作面上に載置された物理オ
ブジェクトのアクティブ面に割り付けられた機能を実行
することができる。

【００２６】また、前記物理オブジェクトは前記操作面
上に載置されたときの各方向毎に固有の機能が割り付け
られていてもよい。この場合、前記検出部が前記ディス
プレイ上に載置された物理オブジェクトの方向を検出し
て、前記データ処理部は、前記操作面上に載置された物
理オブジェクトの方向に割り付けられた機能を実行する
ことができる。

【００２７】また、物理オブジェクトは、前記操作面上
に載置された場所毎に固有の機能が割り付けられていて
もよい。この場合、前記検出部が前記操作面上での物理
オブジェクトの接地場所を検出して、前記データ処理部
は、前記操作面上に物理オブジェクトに接地した場所、
及び／又は、前記操作面上における物理オブジェクトの
接地場所の移動操作に応答して該当する機能を実行する
ことができる。

【００２８】また、本発明の第１の側面に係る情報入出
力システムは、ディスプレイを備えていてもよい。この
ような場合、前記データ処理部は、前記物理オブジェク
トを介した指示に対応するツール・パレットを前記ディ
スプレイの画面上に表示することができる。

【００２９】また、前記検出部は、さらに前記物理オブ
ジェクト以外の指示手段からの指示を検出してもよい。
このような場合、ユーザは、物理オブジェクトを持つ手
とは反対の手で、他の指示手段、例えば入力ペンやスタ
イラスを操作して、ディスプレイに表示されたツール・
パレット上で選択作業を行うことができる。

【００３０】情報処理システムは、一般に、デジタル・
オブジェクトが散在するデジタル空間を有している。こ
れらデジタル・オブジェクトのエンティティは、データ・
ファイルやプログラム・ファイルなどであり、システム
のローカル・ディスクなどに蓄積されている。前記物理
オブジェクトの少なくとも１つの構成面に、該デジタル
空間上のデジタル・オブジェクトを複製したり移動する
ためのコピー・バッファ機能が割り付けることもでき
る。

【００３１】このような場合、前記データ処理部は、該
コピー・バッファ機能が割り付けられた構成面をアクテ
ィブ面として前記物理オブジェクトが前記ディスプレイ
上に載置されたことに応答して、バッファリングされた
デジタル・オブジェクトを囲むためのコピー・バッファ枠
を前記ディスプレイ上に表示するようにしてもよい。

【００３２】また、前記検出部は、さらに前記物理オブ
ジェクト以外の指示手段からの指示を検出し、前記デー
タ処理部は、前記指示手段を用いた前記コピー・バッフ
ァ枠の内外間でのデジタル・オブジェクトのドラッグ及
び／又はドロップ操作を受容するようにしてもよい。こ
の結果、ユーザは複数のコンピュータ間で作業環境を瞬
間的に切り替えることが可能となる。また、データやオ
ブジェクトのデジタル的な移動に対して実際に「物を運
ぶ」というメタファを与えることができる。

【００３３】また、前記物理オブジェクトは複数の構成
面からなる多面体である場合には、各構成面毎に異なる
触感を与えてもよい。例えば、ブロックの各辺の長さを
変えたり、直方体ではなくテーパがかかった楔形形状に
したり、辺の面取りの幅や角の形状を変えたり、表面の
粗さを変えたりする（ザラザラ又は凸凹にしたり、筋を
刻設したりする）などの表面加工を施せばよい。このよ
うな構造に形成することにより、ユーザは、アクティブ
面を指定する際などに、指先の感覚だけに頼った「ブラ
インド」操作が可能になる。

【００３４】また、本発明の第２の側面は、操作面と、
固有の機能が割り付けられた１以上の物理オブジェクト
と、前記操作面上に載置された前記物理オブジェクトを
介した指示を検出する検出部とを備えた、所定のデータ
処理を実行する情報処理システム上において、ユーザ操
作に応じた情報の入出力を行うための情報入出力方法で
あって、（ａ）前記操作面上に物理オブジェクトが載置
されたことを検出するステップと、（ｂ）該検出結果に
応答して、該物理オブジェクトに割り付けられた処理を
実行するステップと、を具備することを特徴とする情報
入出力方法である。

【００３５】ここで、前記検出部は、例えば、前記操作
面表面上を撮像する撮像手段と、前記撮像手段による撮
像画像に基づいて前記操作面表面上に載置された物理オ
ブジェクトを画像認識する画像処理手段とで構成するこ
とができる。

【００３６】あるいは、前記検出部は、前記操作面表面
上に積層され、前記物理オブジェクトと電磁的に結合し
て検出するようにしてもよい。このような検出部とし
て、例えば、ディスプレイ一帯型のタブレット（又はデ
ジタイザ）を挙げることができる。

【００３７】また、前記物理オブジェクトは複数の構成
面からなる多面体であり、且つ、該多面体の構成面毎に
固有の機能が割り付けられていてもよい。この場合、前
記ステップ（ａ）では、前記検出部は前記操作面上に載
置された物理オブジェクトのアクティブ面を判別するこ
とによって、前記ステップ（ｂ）では、前記操作面上に
載置された物理オブジェクトのアクティブ面に割り付け
られた機能を実行することができる。

【００３８】また、前記物理オブジェクトは、前記操作
面上に載置されたときの各方向毎に固有の機能が割り付
けられていてもよい。この場合、前記ステップ（ａ）で
は、前記検出部は前記操作面上に載置された物理オブジ
ェクトの方向を検出することによって、前記ステップ
（ｂ）では、前記操作面上に載置された物理オブジェク
トの方向に割り付けられた機能を実行することができ
る。

【００３９】また、前記物理オブジェクトは、前記操作
面上に載置された場所毎に固有の機能が割り付けられて
いてもよい。この場合、前記ステップ（ａ）では、前記
検出部は前記操作面上での物理オブジェクトの接地場所
を検出することによって、前記ステップ（ｂ）では、前
記操作面上に物理オブジェクトを接地した場所、及び／
又は、前記操作面上における物理オブジェクトの接地場
所の移動操作に応答して該当する機能を実行することが
できる。

【００４０】また、このような場合、前記ステップ
（ｂ）では、前記物理オブジェクトを介した指示に対応
するツール・パレットを前記ディスプレイの画面上に表
示するようにしてもよい。

【００４１】また、前記情報処理システムはさらにディ
スプレイを備えていてもよい。前記ステップ（ａ）で
は、さらに前記物理オブジェクト以外の指示手段からの
指示を検出してもよい。この場合、前記ステップ（ｂ）
では、前記物理オブジェクトを介した指示に対応するツ
ール・パレットを前記ディスプレイの画面上に表示する
とともに、前記指示手段を介した指示に対応して該ツー
ル・パレット上の選択動作を実行することができる。

【００４２】情報処理システムは、一般に、デジタル・
オブジェクトが散在するデジタル空間を備えている。そ
こで、前記物理オブジェクトの少なくとも１つの構成面
に対して、該デジタル空間上のデジタル・オブジェクト
を複製するコピー・バッファ機能が割り付けてもよい。
このような場合、前記ステップ（ｂ）では、該コピー・
バッファ機能が割り付けられた構成面をアクティブ面と
して前記物理オブジェクトが前記ディスプレイ上に載置
されたことに応答して、バッファリングされたデジタル
・オブジェクトを囲むためのコピー・バッファ枠を前記デ
ィスプレイ上に表示するようにしてもよい。

【００４３】前記ステップ（ａ）でさらに前記物理オブ
ジェクト以外の指示手段からの指示を検出するような場
合には、前記ステップ（ｂ）では、前記指示手段を用い
た前記コピー・バッファ枠の内外間での前記指示手段を
用いたデジタル・オブジェクトのドラッグ及び／又はド
ロップ操作を受容するようにしてもよい。この結果、ユ
ーザは複数のコンピュータ間で作業環境を瞬間的に切り
替えることが可能となる。また、データやオブジェクト
のデジタル的な移動に対して実際に「物を運ぶ」という
メタファを与えることができる。

【００４４】また、本発明の第３の側面は、ディスプレ
イと、固有の機能が割り付けられた１以上の物理オブジ
ェクトと、前記操作面上に載置された前記物理オブジェ
クトを介した指示を検出する検出部とを備えたコンピュ
ータ・システム上で、ユーザ操作に応じた情報の入出力
制御を行うためのコンピュータ・プログラムをコンピュ
ータ可読形式で記憶するプログラム記憶媒体であって、
前記コンピュータ・プログラムは、（ａ）前記操作面上
に物理オブジェクトが載置されたことを検出するステッ
プと、（ｂ）該検出結果に応答して、該物理オブジェク
トに割り付けられた処理を実行するステップと、を具備
することを特徴とするプログラム記憶媒体である。

【００４５】本発明の第３の側面に係るコンピュータ可
読記憶媒体は、例えば、様々なプログラム・コードを実
行可能な汎用コンピュータ・システムに対して、コンピ
ュータ・プログラムをコンピュータ可読な形式で提供す
る媒体である。このような媒体は、例えば、ＣＤ（Comp
act Disc）やＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓ
ｃ）、ＭＯ（Magneto-Optical disc）などの着脱自在で
可搬性の記憶媒体である。あるいは、ネットワーク（ネ
ットワークは無線、有線の区別を問わない）などの伝送
媒体などを経由してコンピュータ・プログラムを特定の
コンピュータ・システムに提供することも技術的に可能
である。

【００４６】このようなプログラム記憶媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記憶媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、本発明の第３の側面に係るプ
ログラム記憶媒体を介して所定のコンピュータ・プログ
ラムをコンピュータ・システムにインストールすること
によって、コンピュータ・システム上では協働的作用が
発揮され、本発明の第１及び第２の各側面に係る情報入
出力システム及び情報入出力方法と同様の作用効果を得
ることができる。

【００４７】

【作用】本発明では、マウスなどの座標指示装置に代替
されるユーザ入力装置として、立方体を始めとする多面
体形状の物体を採用する。

【００４８】例えば物体を所定の操作面上に置くことに
よって、以下に示すような入力自由度を備えている。

【００４９】（１）操作面上に物体を置いた位置による
指定 本発明に係るユーザ入力装置としての物体を所定の操作
面上に置いた位置を座標指示情報として、コンピュータ
入力することができる。例えば、本発明に係る情報入力
装置がカメラ認識をベースとして構成される場合には、
物体表面上に「サイバーコード」^[1]などのビジュアル
・マーカを貼設することによって、カメラの撮像画像を
基にして位置情報を認識・特定することができる。ま
た、操作面と物体との間で働く電磁誘導などの電磁気学
的作用を利用して、操作面上に載置された位置を認識・
特定することもできる。

【００５０】（２）物体の選択による指定 例えば、操作面上に置くべき物体を複数の候補の中から
選択することによって、メニュー選択することができ
る。例えば、第１の物体（立方体）を「ファイル」メニ
ュー、第２の物体（円柱）を「編集」メニューといった
具合に、各物体毎にメニューや機能を割り付けることが
できる。本発明に係る情報入出力システムがカメラ認識
をベースとして構成される場合には、物体の輪郭や形状
などを基にして、操作面上に載置された物体を特定する
ことができる。あるいは、物体表面上に「サイバーコー
ド」^[1]などのビジュアル・マーカを貼設することによ
って、カメラの撮像画像を基にして物体を特定すること
ができる。また、操作面と物体との間で働く電磁誘導な
どの電磁気学的作用を利用して、操作面上に載置された
物体を特定することもできる。

【００５１】（３）アクティブ面による指定 ユーザ入力装置としての物体を構成するそれぞれの面に
対して、ユーザ・コマンド、機能、処理などを割り付け
ることができる。例えば、ユーザ入力操作に用いる物体
が６面で構成される立方体であれば、６個の入力自由度
を備えることになる。さらに、所定の操作面に立方体を
載置したときの上面又は底面などをアクティブ面として
定義することができる。このような場合、所望の面を上
又は下に向けて操作面上に置くだけで、ユーザはコンピ
ュータへの入力を果たすことができる。本発明に係る情
報入出力システムがカメラ認識をベースとして構成され
る場合には、物体の各々の構成面上に「サイバーコー
ド」^[1]などのビジュアル・マーカを貼設することによ
って、カメラの撮像画像を基にして、物体のアクティブ
面を特定することができる。また、操作面と物体との間
で働く電磁誘導などの電磁気学的作用を利用して、操作
面上に載置された物体を特定することもできる。

【００５２】（４）物体の向きによる指定 ユーザ入力装置としての物体を、所定の操作面上に置い
た向きをユーザ入力情報として扱うことができる。例え
ば、ある立方体を所定のアクティブ面を以って操作面上
に載置したことが、「色」メニューの選択に割り付けら
れている場合、操作面上の座標軸に対する立方体の傾き
０゜，９０゜，１８０゜…の各々に対して、「赤」、
「青」、「黄色」…などのサブメニューを割り付けるこ
とができる。本発明に係る情報入出力システムがカメラ
認識をベースとして構成される場合には、撮像画像上の
物体の輪郭に基づいて、物体の向きを特定することがで
きる（例えば、立方体であれば、上下及び左右の４方向
を容易に認識することができる）。あるいは、物体の各
々の構成面上に「サイバーコード」^[1]などのビジュア
ル・マーカを貼設することによって、カメラの撮像画像
を基にして、物体の向きを特定することができる。ま
た、操作面と物体との間で働く電磁誘導などの電磁気学
的作用を利用して、操作面上に載置された物体の向きを
特定することもできる。

【００５３】本発明にユーザ入手力方式によれば、例え
ば、左手にブロックを持ち、このブロックをタブレット
上に置くという操作によってツールを選択することがで
きる。すなわち、ブロックの上下方向（すなわち、どの
構成面が上か）と回転方向（すなわち、タブレット上の
姿勢）によって、ツール・パレットを自在に且つ瞬時に
切り替えることができる。立方体などの所定の物体を操
作面上に載置したり操作面上で回転したり移動させたり
という作業は、一般のユーザであっても（すなわち、特
殊技能を持ち合わせていたり、格別器用でなくとも）、
片手のみで容易に行うことができるであろう。

【００５４】また、ユーザは、もう一方の手で、マウス
や入力ペンなどの旧来のユーザ入力装置を操作したり、
あるいは別の物体を操作したりすることができる。例え
ば右手にマウスやスタイラスなど他のユーザ入力装置を
持つことによって、左手で選択したツール・パレットや
メニューの中から右手を用いてさらに選択操作すること
ができる。

【００５５】例えば、本発明に係るユーザ入力装置とし
て、特定の立方体のみを使用した場合であっても、６通
りのアクティブ面の指定と、０゜，９０゜，１８０゜，
２７０゜という９０゜間隔すなわち４通りの立方体の向
きを利用するという簡素な入力形式であっても、１つの
アクティブ面につき６×４＝２４個の入力自由度を持つ
ことができる。あるいは、０゜，４５゜，９０゜…のよ
うに４５度間隔で立方体の向きを検出することができる
のであれば、１つのアクティブ面につき６×８＝４８個
の入力自由度を持つことができる。すなわち、単一のユ
ーザ入力装置としての立方体が持つ入力自由度は、マウ
ス等の旧来のユーザ入力装置に比し、はるかに多い。

【００５６】勿論、本発明に係るユーザ入力装置を、マ
ウスなどの旧来のユーザ入力装置と完全に置き換えてし
まうのではなく、旧来のユーザ入力装置と併用してもよ
い。併用することによって、入力の自由度が多く且つ容
易にユーザ操作と、マウスに代表される既に定着し慣れ
親しんだユーザ操作の双方の恩恵を享受することができ
る。

【００５７】なお、この［作用］の欄では、物体を操作
面上に置くという形式でユーザ入力を実現する情報入出
力システムに対して、４通りの入力方式を紹介した。但
し、この種の情報処理システムに適用可能な上記以外の
入力自由度若しくは入力形式の変形例を、当業者であれ
ば、容易に相当することができるであろう。

【００５８】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００５９】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００６０】図１には、本発明の実施例に係るユーザ・
インターフェース環境を搭載した情報処理システム１の
構成を模式的に示している。

【００６１】同図に示すように、テーブル１１上面にデ
ジタル・データを表示するためのＬＣＤ（Liquid Cryst
al Display）プロジェクタ１３が配設されている（但
し、ＬＣＤプロジェクタ１３の出力画像は反射面１３Ａ
を介してテーブル１１上に投影される）。ＬＣＤプロジ
ェクタ１３による投影画像は、情報処理システム１にお
けるユーザ出力装置、すなわちコンピュータ・デスクト
ップを拡張した「ディスプレイ」として機能する。

【００６２】ＬＣＤプロジェクタ１３が表示する内容
は、ネットワーク１５に接続されたコンピュータ・シス
テム１６によって制御される。ここで言うコンピュータ
・システムは、例えば米ＩＢＭ社のＰＣ／ＡＴ（Person
al Computer/Advanced Technology）互換機又はその後
継機でよく、ＯＡＤＧ（Open Architecture Developers
Group）仕様に準拠する。コンピュータ１６は、ＮＩＣ
（Network Interface Card：図示しない）経由でネット
ワーク１５に接続されている。あるいは、無線ＬＡＮ
（Local Area Network）などその他の手段によって接続
されていてもよい。

【００６３】ＬＣＤプロジェクタ１３によってテーブル
１１上面に投射されるデジタル・オブジェクトは、例え
ば、通常のデスクトップ画面上に配設される一般的な表
示オブジェクトであり、アイコンやウィンドウ、さらに
は所定のユーザ選択操作に従って呼び出されるツール・
パレットやダイアログ・ボックスなどが含まれる。

【００６４】テーブル１１におけるデジタル・データの
表示内容や、テーブル上に載置された物理的オブジェク
トを捕捉するために、固定カメラ１８及びパン／チルト
・カメラ１９が設置されている。カメラ１８及び１９
は、例えばＣＣＤ（Charge Coupled Device：電荷結合
素子）カメラでよい。

【００６５】画像処理サーバ２０は、各カメラ１８及び
１９の撮像画像を画像処理し、さらに、テーブル１１上
面に表示されたデジタル・オブジェクトや、テーブル１
１上に載置された物理オブジェクトの位置、各オブジェ
クトに対して適用されるユーザ操作などを画像認識す
る。

【００６６】画像処理サーバ２０は、ＬＣＤプロジェク
タ１３の表示を駆動制御するコンピュータ・システム１
６とはネットワーク１５経由で相互接続されている。し
たがって、画像処理サーバ２０において画像認識された
ユーザ操作が投影画像に反映されるので、テーブル１１
上の投影画像すなわち拡張ディスプレイを介したインタ
ラクティブな情報環境が実現する。

【００６７】テーブル１１上には、本実施例に係るユー
ザ入力装置としての物理オブジェクトが載置されてい
る。この物理オブジェクトは、拡張ディスプレイとして
のテーブル１１上に置かれた位置や、上下方向（すなわ
ち、どの構成面が上を向いているか）、姿勢（すなわ
ち、テーブル１１に対する傾き）などに基づいた多数の
入力自由度を備えている。本明細書中では、ユーザ入力
に用いる物理オブジェクトのことを"ＴｏｏｌＳｔｏｎ
ｅ"とも呼ぶ。

【００６８】図１に示す例では、ＴｏｏｌＳｔｏｎｅ自
体は、ユーザ入力情報をデジタル的若しくは電子的なシ
グナルとして外部出力する能力を持つ必要はなく、上述
の画像処理サーバ２０によって、ユーザ入力操作（すな
わち、どの場所にどの面を上にしてどの方角を向いて置
かれたかなど）を画像認識することができる。

【００６９】撮像画像を基にして立方体の各構成面やそ
の位置・姿勢を容易に解析できるようにするために、例
えば各構成面上にサイバー・コード^[1]のような視認情報
（図１には図示しない）をＴｏｏｌＳｔｏｎｅ表面に貼
設するようにしてもよい。あるいは、サイバー・コード
の代替案として、ＴｏｏｌＳｔｏｎｅ表面で発光する赤
外線発光ダイオード（但し、この場合はＴｏｏｌＳｔｏ
ｎｅに内蔵電池が必要になる）を埋設したり、光を反射
する再帰性反射材を貼設することも考えられる。再帰性
反射材は、光の入射方向に対して特に強い反射光を有す
る材質であり、例えば道路標識などに利用されている。
発光ダイオードを利用する場合、例えばＴｏｏｌＳｔｏ
ｎｅの各構成面毎に複数個の発光ダイオードを配設し、
１つの構成面内での各発光ダイオード間の配置関係を識
別情報とすることができる。また、再帰性反射材を利用
する場合には、各構成面毎に複数個の反射材を貼設し
て、１つの構成面内での各反射材間の配置関係を識別情
報とすることができる。例えば、赤外線カメラでＴｏｏ
ｌＳｔｏｎｅを捕捉することによって、ＴｏｏｌＳｔｏ
ｎｅのアクティブ面を認識することができる。

【００７０】図１に示す物理オブジェクトは立方体であ
るが、本発明の要旨は立方体には特定されず、例えば、
直方体その他の多面体、角柱、円柱などでもよい。

【００７１】なお、画像処理サーバ２０やコンピュータ
・システム１６は、本実施例に係る情報空間に予め導入
（pre-install）された「環境型コンピュータ」（envir
onmental computer）である。図１に示した例では、環
境型コンピュータは複数台のネットワーク接続されたコ
ンピュータ・システム１６及び２０で構成されるが、演
算能力が強化された１台のコンピュータとして構成され
ても、勿論構わない。

【００７２】ここで、カメラ１８及び１９を用いて情報
空間１における物理オブジェクト（及びオブジェクトに
対する操作）を認識及び識別する仕組みについて説明し
ておく。

【００７３】オブジェクトの認識センサとして用いられ
るカメラ１８及び１９は、一般に、解像度と視野とのト
レードオフ関係を持つ。物理オブジェクトに貼設された
ビジュアル・マーカーの極小パターンを識別するために
は、カメラ１８及び１９は充分高解像度でなければなら
ない。高解像度の撮像イメージは、テーブル１１の記録
を作成する上でも有用である。

【００７４】本発明者等は、２台のカメラの組み合わせ
によって上記のトレードオフ問題を解決することとし
た。第１のカメラ１９は、モータ制御型のビデオ・カメ
ラ（例えばソニー(株)製のＥＶＩ−Ｄ３０）であり、外
部コンピュータ・システムからのコマンドに従って、パ
ン、チルト、ズームなどを遠隔操作することができる。
この第１のカメラ１９によれば、テーブル１１全体を撮
像できるだけでなく、ズームすることによって一部の領
域のみを高解像度（最大１２０ｄｐｉ）で撮像すること
ができる。通常は、パン／チルト・カメラ１９のヘッド
の向きや方向を周期的に変更することによって、テーブ
ル１１表面全体をスキャンする。例えば、テーブル１１
表面を６×６のブロックに分割して、パン／チルト・カ
メラ１９が３６個全ての領域を規則正しく訪れる（すな
わち撮像する）ように制御する。本発明者等は、このよ
うなカメラ動作のことを、Ｌａｎｄｓａｔ（land-satel
lite）に喩えて"Ｄｅｓｋｓａｔ"と呼ぶ。全ての領域を
訪れる所要時間は、カメラ制御やイメージ処理時間を含
んで３０秒程度である。

【００７５】他方、第２のカメラ１８は、テーブル１１
表面全体を常時見渡すための固定カメラである。このカ
メラ１８による現在及び過去の撮像画像間の差分によっ
てテーブル１１上の変化を解析する。次いで、３６個の
ブロックのうちどのブロックに変化が起こったかを判断
して、「領域変化」（area changed）というイベントを
パン／チルト・カメラ１９に送信する。パン／チルト・
カメラ１９側では、このようなイベント情報を用いて、
変化が起こった領域を瞬時に再探索して、撮像画像を更
新することができる。但し、固定カメラ１８による検出
が投影イメージの変動の影響を受けないようにするため
に、差分検出には所定の閾値を設定する必要がある。

【００７６】図１を参照しながら説明した例では、テー
ブル１１に対して、カメラ１８及び１９と物理オブジェ
クト１０が同じ側（すなわちテーブルの上面側）に配設
されているが、本発明は必ずしもこのような構成には限
定されない。例えば、透明な（あるいは赤外線のような
少なくとも特定の波長の光のみを透過することができ
る）材質からなるテーブル１１を利用することにより、
テーブル１１の下方に配設したカメラを利用してテーブ
ル１１上の物理オブジェクト１０の認識を行うこように
してもよい。また、このような場合には、コンピュータ
・システム１６からの出力をＬＣＤプロジェクタ１３を
利用してテーブル１１上に映像を投影するのではなく、
ディスプレイ２１に出力を表示するようにすればよい。

【００７７】また、図２には、本発明の他の実施例に係
るユーザ・インターフェース環境を搭載した情報処理シ
ステム１−２の構成を模式的に示している。

【００７８】同図に示すように、情報処理システム１−
２は、ＴｏｏｌＳｔｏｎｅすなわちユーザ入力装置とし
て機能する立方体と、ＴｏｏｌＳｔｏｎｅを介したユー
ザ入力操作（すなわち、どの場所にどの面を上にして置
かれたかなど）を電子的なシグナルとして取り込むため
のタブレット（「デジタイザ」とも言う）５１と、Ｔｏ
ｏｌＳｔｏｎｅ及びタブレット５１を介したユーザ入力
情報を処理するコンピュータ５２とで構成される。但
し、本実施例では、タブレット５１はディスプレイ一体
型の入力タブレットである（後述）。

【００７９】ＴｏｏｌＳｔｏｎｅは、図２の例では立方
体であるが、本発明の要旨は立方体には特定されず、例
えば、直方体その他の多面体、角柱、円柱などでもよ
い。

【００８０】ＴｏｏｌＳｔｏｎｅ及びタブレット５１を
介したユーザ操作を電子化するメカニズムとしては、例
えば、電磁誘導方式の検出メカニズムを適用することが
できる。

【００８１】この場合、タブレット５１側は、複数のル
ープ・コイルが平面状に配列された構造体であり、選択
回路により各ループ・コイルを順次選択して、切り替え
回路を介して選択したループ・コイルを送信回路と受信
回路に交互に接続する。他方のＴｏｏｌＳｔｏｎｅ側に
は、コンデンサとコイルが含まれた同調回路が内蔵され
ており、外部からの電波に対して同調することができ
る。

【００８２】タブレット５１側では、送信回路が各ルー
プ・コイルに対して所定周波数の交流信号を順次供給す
ることによって、電波が発生する。これに対し、Ｔｏｏ
ｌＳｔｏｎｅ側では、同調回路の同調作用によりコイル
から電波が送出される。送信回路から受信回路に切り替
えられた時点で、ループ・コイルにはＴｏｏｌＳｔｏｎ
ｅからの送出電波によって誘導電圧が誘起されるので、
受信回路にて該電圧を検出することによって、Ｔｏｏｌ
Ｓｔｏｎｅが置かれている位置を判別することができ
る。さらに、接地する構成面やタブレット５１に対する
角度や姿勢に応じて電波の出力レベルが異なるように、
ＴｏｏｌＳｔｏｎｅ内の同調回路を構成することによっ
て、ＴｏｏｌＳｔｏｎｅが上下方向（すなわち、どの構
成面が上を向いているか）、姿勢（すなわち、テーブル
１１に対する傾き）などに基づいた多数の入力自由度を
備えることができる。

【００８３】例えば、ＴｏｏｌＳｔｏｎｅの底面若しく
は接地面が長方形であり、図９に示すように、コイルが
自身を挟む両構成面Ａ及びＢに対しそれぞれ角度α及び
βをなすように配設した場合（但し、α＋β＝９０゜，
α≠βとする）、同図に示すように、タブレット５１表
面からの傾斜角α又はβの相違を利用して、検出された
コイルの方角を基にして構成面Ａ又はＢのいずれが接地
しているか（言い換えれば、どの構成面がアクティブ面
か）を判別することができる。

【００８４】また、電磁誘導方式の検出メカニズムを採
用した場合には、位置検出器側としてのタブレット５１
が発振周波数を変化させることにより、共振周波数が異
なる複数のコイルを検出することができる。例えば、図
１１に示すように、固有共振周波数が相違する複数個
（図示の例では３個）のコイルをＴｏｏｌＳｔｏｎｅの
中に配設しておく。このような構成によれば、Ｔｏｏｌ
Ｓｔｏｎｅの特定の構成面をタブレット５１に接触させ
ると、最も接近したコイルのみが識別可能であることか
ら、ＴｏｏｌＳｔｏｎｅのアクティブ面を識別すること
ができる。

【００８５】図１１には、図１０に示すＴｏｏｌＳｔｏ
ｎｅをタブレット５１上に載置したときの接地面を判定
するための処理手順をフローチャートの形式で示してい
る。但し、接地面と対向する構成面がＴｏｏｌＳｔｏｎ
ｅのアクティブ面であると理解されたい。以下、各ステ
ップについて説明する。

【００８６】ステップＳ１１では、タブレット５１側が
共振周波数を次第に変化させていくことで、どのコイル
が最も接地面に近いかを判定することができる。

【００８７】最短のコイルを特定すると、次いで、ステ
ップＳ１２では、このコイルと接地面すなわちタブレッ
ト５１の傾斜角を計測する。この結果、どの構成面が現
在タブレット５１に接地しているかを特定することがで
きる。

【００８８】本実施例では、タブレット５１は、液晶表
示ディスプレイ（ＬＣＤ）のような薄型平面状のディス
プレイ上に積層されたディスプレイ一体型タブレットで
あることが好ましい。このような構成により、タブレッ
ト５１上でのＴｏｏｌＳｔｏｎｅの操作に応答して、そ
の下方のディスプレイでツール・パレットやダイアログ・
ボックスをオープンするなどのアクションを直接的に表
現することができ、インタラクティブな情報環境が実現
する。（勿論、ディスプレイ一体型タブレットを用いる
場合に必ずしも限定されず、タブレット５１又はＴｏｏ
ｌＳｔｏｎｅの操作面とは別の場所にディスプレイ・ス
クリーンを配設した場合であっても、同様に、アクショ
ンを直接的に表現して、インタラクティブな情報環境が
実現することは可能である。）

【００８９】さらに、本発明の変形例としては、Ｔｏｏ
ｌＳｔｏｎｅ自身が２次元平面若しくは３次元空間上の
座標位置や移動速度などの検出信号を出力することがで
きる場合には、図１に示すようなカメラ認識をベースと
したＴｏｏｌＳｔｏｎｅの追跡システムや、図２に示す
ような入力タブレットを必要としない。

【００９０】例えば、本出願人に既に譲渡されている特
開平１０−４９４９０号公報には、３軸ジャイロ・セン
サを内蔵した入力装置について開示されている。該入力
装置は、所定の大きさの筐体に格納されて構成される構
造体であり、情報を表示する表示手段と、筐体全体の回
転による筐体の姿勢の変位を検出する検出手段と、所定
の指示を行う指示手段と、指示手段による指示や検出手
段によって検出された変位に応答した処理を行う処理手
段を備えており、筐体の回転によって情報を入力するこ
とができる。図２２にはこの入力装置の外観構成を、ま
た、図２３にはこの入力装置の内部ハードウェア構成を
模式的に図解している。例えば、操作ボタンを押すと、
画面上にメニューが表示される。また、操作ボタンを押
したままＸ軸回り、Ｙ軸回り、あるいはＺ軸回りに入力
装置（ＰＤＡ）を回転させると、このようなユーザ操作
が３軸ジャイロ・センサによって検出され、該検出結果
に従って画面表示されたメニュー上をカーソルが移動す
る。そして、所望のメニュー項目をカーソルが指示して
いるときに操作ボタンを解放することによって目に項目
の選択が確定されるとともに、メニュー項目に対応した
処理が開始する。

【００９１】同公報に記載の入力装置をＴｏｏｌＳｔｏ
ｎｅとして利用することにより、カメラ認識システムや
入力タブレットは不要になる。さらに、このタイプの入
力装置によれば、特定の操作面上でのユーザ操作に限定
されず、３次元空間上におけるＴｏｏｌＳｔｏｎｅの任
意の回転・移動などの操作をユーザ入力として情報処理
システムに取り込むことができるので、入力自由度は大
幅に向上する。

【００９２】タブレット５１が出力するＴｏｏｌＳｔｏ
ｎｅの検出信号は、例えば、シリアル・ポート（図示し
ない）経由でコンピュータ５２に入力される。また、タ
ブレット５１とは一体的なディスプレイ（上述）の表示
制御信号は、コンピュータ５２のビデオ・ポートから供
給される。

【００９３】図１又は図２を参照しながら説明したユー
ザ・インターフェース環境下では、例えば、左手にブロ
ックを持ち、このブロックをタブレット上に置くという
操作によってツールを選択することができる。すなわ
ち、ブロックの上下方向（すなわち、どの構成面が上
か）と回転方向（すなわち、タブレット上の姿勢）によ
って、ツール・パレットを自在に且つ瞬時に切り替える
ことができる。立方体などの所定の物体を操作面上に載
置したり操作面上で回転したり移動させたりという作業
は、一般のユーザであっても（すなわち、特殊技能を持
ち合わせていたり、格別器用でなくとも）、片手のみで
容易に行うことができるであろう。

【００９４】また、ユーザは、もう一方の片手で、マウ
スや入力ペンなどの旧来のユーザ入力装置を操作した
り、あるいは別の物体を操作したりすることができる。
例えば右手にマウスやスタイラスなど他のユーザ入力装
置を持つことによって、左手で選択したツール・パレッ
トやメニューの中から右手を用いてさらに選択操作する
ことができる。

【００９５】次いで、本実施例に係るユーザ・インター
フェース環境下で可能となるユーザ入力操作方法やその
処理手順について具体的に説明する。

【００９６】図３には、ユーザの作業空間内に、作業場
としてのテーブルと、ＴｏｏｌＳｔｏｎｅとしての複数
の多面体が用意されている様子を描いている。同図中の
テーブルは、図１に示すようにＬＣＤプロジェクタによ
ってデジタル・オブジェクトを表示可能であるとともに
カメラによってテーブル上でのＴｏｏｌＳｔｏｎｅの操
作を画像認識することができるか、あるいは、図２に示
すようにディスプレイ一体型のタブレットであり、テー
ブル上でのＴｏｏｌＳｔｏｎｅの操作を検出可能であ
る。

【００９７】各ＴｏｏｌＳｔｏｎｅに対してメニュー機
能やツール・パレットを割り付けることができる。例え
ば、第１の物体（立方体）を「ファイル」メニュー、第
２の物体（円柱）を「編集」メニューに割り付けること
ができる。このような場合、所望のＴｏｏｌＳｔｏｎｅ
をテーブル上に置くだけで、該当するメニューを選択し
たことになる。

【００９８】また、ＴｏｏｌＳｔｏｎｅが立方体のよう
な多面体であり、置き方の上下方向（すなわち、どの構
成面が上すなわちアクティブ面か）を指定することがで
きるような場合には、各構成面毎にツール・パレットを
割り当てることができる。ＴｏｏｌＳｔｏｎｅが立方体
であれば、６個の入力自由度を備えることになる。

【００９９】したがって、所望のＴｏｏｌＳｔｏｎｅ
を、所望の構成面を上にして（すなわちアクティブにし
て）テーブル上に置くだけで、該当する機能が呼び出さ
れ、ツール・パレットがテーブル上に表示される（図４
を参照のこと）。

【０１００】ＴｏｏｌＳｔｏｎｅのどの構成面がどのツ
ールに相当するかを視覚的にフィードバックするため
に、各構成面上に該当するメニューやツールの名前若し
くはアイコンを表示又は記入・印刷していてもよい。

【０１０１】また、ＴｏｏｌＳｔｏｎｅの各構成面に対
して、指先の触覚だけでどの面に触れているか、あるい
はどの構成面をアクティブ面にしているかを判別できる
ような構造にすることで、ＴｏｏｌＳｔｏｎｅの操作性
をさらに向上させることができる。例えば、図２４に示
すように、直方体をなすＴｏｏｌＳｔｏｎｅの１つの構
成面の側縁に沿って線条突起を形設したり、１つの構成
面上にテクスチャや微細な凹凸形状を彫設することによ
って、ユーザはＴｏｏｌＳｔｏｎｅを手に持っただけ
（すなわちブラインド操作）で、ＴｏｏｌＳｔｏｎｅの
どの面でどの方向に向けて操作しているかを正確に把握
することができる。あるいは、図２５に示すように、直
方体をなすＴｏｏｌＳｔｏｎｅの１つの角に切り欠きを
形設したり、１つの構成面上に凹みを凹設するようにし
ても、図２４の場合と同様のブラインド操作が可能であ
る。あるいは、図２６に示すように、ブロックの各辺の
長さを変えたり、直方体ではなくテーパがかかった楔形
形状にしたりしてもよい。

【０１０２】また、ユーザは、左手でＴｏｏｌＳｔｏｎ
ｅを持って操作して、右手にはマウスや入力ペンなどの
旧来のユーザ入力装置を操作したり、あるいは別の物体
を操作したりすることができる。例えば、右手にマウス
やスタイラスなど他のユーザ入力装置を持つことによっ
て、左手で選択したツール・パレットやメニューの中か
ら右手を用いてさらに選択操作することができる（図５
を参照のこと）。

【０１０３】さらに、テーブル上にＴｏｏｌＳｔｏｎｅ
を置いた位置や向きに対して、既に選択されたメニュー
項目に対する各サブ・メニュー、あるいは、ツール・パレ
ット上の各入力項目を割り付けることもできる。

【０１０４】例えば、図６に示すように、テーブル上で
ＴｏｏｌＳｔｏｎｅをテーブル上で前後方向にスライド
させることに応答して、ツール・パレットの機能を次第
に変化させたり、あるいはメニュー・バーをスクロール
させることができる（この処理手順については後に詳解
する）。

【０１０５】また、立方体のようにテーブルとの接地面
が長方形であれば、少なくとも、０゜，９０゜，１８０
゜…という９０゜間隔の分解能を容易に持つことができ
る。例えば、ＴｏｏｌＳｔｏｎｅをテーブル上で回転又
は反転させることで（図７を参照のこと）、その操作角
度に応じたツール・パレットに切り替えることができ
る。あるいは、現在テーブル上に置かれている立方体若
しくはそのアクティブ面に「色」メニューが割り付けら
れている場合には、テーブル上の座標軸（あるいは世界
座標系）に対する立方体の傾き０゜，９０゜，１８０゜
…の各々に対して、「赤」、「青」、「黄色」…などの
サブメニューを割り付けることができる。

【０１０６】図８には、本実施例に係るユーザ・インタ
ーフェース環境下における基本的な操作手順をフローチ
ャートの形式で示している。以下、このフローチャート
の各ステップについて説明する。

【０１０７】まず、所望のＴｏｏｌＳｔｏｎｅをテーブ
ル上に置くと（ステップＳ１）、図４に示すように、Ｔ
ｏｏｌＳｔｏｎｅのアクティブ面とテーブルに対する方
向に応じたツール・パレットがディスプレイ画面上に表
示される（ステップＳ２）。

【０１０８】ユーザは、左手でＴｏｏｌＳｔｏｎｅを持
って操作して、右手にはマウスや入力ペンなどの旧来の
ユーザ入力装置を操作したり、あるいは別の物体を操作
したりすることができる。例えば、図５に示すように、
右手にマウスやスタイラスなど他のユーザ入力装置を持
つことによって、左手で選択したツール・パレットやメ
ニューの中から右手を用いてさらに選択操作することが
できる（ステップＳ３）。

【０１０９】さらに、テーブル上にＴｏｏｌＳｔｏｎｅ
を置いた位置や向きに対して、既に選択されたメニュー
項目に対する各サブ・メニュー、あるいは、ツール・パレ
ット上の各入力項目が割り付けられる。

【０１１０】したがって、図７に示すように、Ｔｏｏｌ
Ｓｔｏｎｅをテーブル上で回転又は反転させることで、
その操作角度に応じたツール・パレットに切り替わる。
（ステップＳ４）。

【０１１１】また、図６に示すように、テーブル上でＴ
ｏｏｌＳｔｏｎｅをテーブル上で前後方向にスライドさ
せることに応答して、ツール・パレットの機能を次第に
変化させたり、あるいはメニュー・バーを徐々にスクロ
ールさせることができる（ステップＳ５）。

【０１１２】次いで、本実施例に係るユーザ・インター
フェース環境を利用して、色選択パレット上で色選択を
行う処理手順について説明する。図１２には、該処理手
順をフローチャートの形式で示している。

【０１１３】まず、色選択ツールに相当する機能が割り
付けられた構成面を持つＴｏｏｌＳｔｏｎｅを選択し
て、該構成面をアクティブ面すなわち上に向けて、タブ
レット５１上に載置する（ステップＳ２１）。

【０１１４】このユーザ操作に応答して、タブレット５
１のディスプレイ画面上には、図１３に示すような色選
択ツール・パレットが出現する（ステップＳ２２）。該
ツール・パレットは、右側の色見本パレット本体と、左
側の明度指定バーとで構成される。

【０１１５】ユーザは、例えば左手だけでＴｏｏｌＳｔ
ｏｎｅを操作することができる。ここで、図６に示した
ように、ＴｏｏｌＳｔｏｎｅをタブレット５１上で前後
方向に徐々にスライドすることができる（ステップＳ２
３）。

【０１１６】ディスプレイ画面上では、このようなＴｏ
ｏｌＳｔｏｎｅに印加されたスライド操作に従い明度指
定バーが前後方向に徐々に移動するので、色見本パレッ
トの明度を直接的な操作で指示することができる（ステ
ップＳ２４）。図１４には、ＴｏｏｌＳｔｏｎｅの前後
方向操作に応じて明るい明度が指定されて、図１３に示
す色見本パレットの表示が切り替わった様子を示してい
る。

【０１１７】ここで、さらに、入力ペン又はスタイラス
を右手に持ち（図５を参照のこと）、色見本パレットを
テーブル上で直接指示することで所望の色をピックすな
わち選択することができる（ステップＳ２５）。

【０１１８】以上の説明では、ディスプレイ一体型の入
力タブレットを使用する場合を例に取ったが、勿論、本
発明の適用範囲はディスプレイ一体型タブレットには限
定されない。タブレット５１が表示機能を持たず、ま
た、タブレット５１又はＴｏｏｌＳｔｏｎｅの操作面と
は別の場所にディスプレイ・スクリーンを配設した場合
であっても、同様に、アクションを直接的に表現して、
インタラクティブな情報環境が実現することは可能であ
る。

【０１１９】例えば、タブレット５１のような操作面上
に特定のＴｏｏｌＳｔｏｎｅを接地することに応答して
該当する図形作成ツールが呼び出されて、図２７に示す
ように、ディスプレイ２１上に図形作成メニューが画面
表示されるようにしてもよい。さらに、操作面上でスタ
イラス又は入力ペンを座標指示する動作に従って、画面
上でカーソルが移動して、所望の図形ツール・ボタンを
選択することができる。

【０１２０】また、タブレット５１のような操作面上に
特定のＴｏｏｌＳｔｏｎｅを接地することに応答して該
当する色パレット機能が呼び出されて、図２８に示すよ
うに、ディスプレイ２１上に色パレットが画面表示され
るようにしてもよい。さらに、操作面上でスタイラス又
は入力ペンを座標指示する動作に従って、画面上でカー
ソルが移動して、色パレット上から所望の色を選択する
ことができる。

【０１２１】また、タブレット５１のような操作面上に
特定のＴｏｏｌＳｔｏｎｅを接地することに応答して該
当する編集機能が呼び出されて、図２７に示すように、
ディスプレイ２１上に編集メニューが画面表示されるよ
うにしてもよい。さらに、操作面上でスタイラス又は入
力ペンを座標指示する動作に従って、画面上でカーソル
が移動して、所望の編集ツール・ボタンを選択すること
ができる。

【０１２２】これまでは、単一の情報処理システム１が
持つ閉じたデジタル空間内に対して、本実施例に係るユ
ーザ・インターフェース環境を適用した例について説明
してきた。しかしながら、複数の情報処理システム、す
なわち異なるデジタル空間の間でデータやオブジェクト
の転送や交換を行う場合においても、本発明に係るユー
ザ・インターフェース環境は好適に動作する。

【０１２３】本発明者は、一般的なＧＵＩ（Graphical
User Interface）環境下で既に定着しているユーザ操作
「ドラッグ・アンド・ドロップ」を実世界上に拡張して、
複数のコンピュータ間でのデータやオブジェクトの移動
操作を直感的に行う対話入力手法として、" Ｐｉｃｋ−
ａｎｄ−Ｄｒｏｐ"を既に提唱している^[4]。

【０１２４】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、２以上の
コンピュータの各々が持つネイティブなデスクトップ間
で連携を図り、オブジェクトについてのシームレスなド
ラッグ・アンド・ドロップ操作を提供することができ
る。例えば、トラックボールやスティックなどをユーザ
入力装置とするコンピュータのデスクトップ上におい
て、あるオブジェクトのドラッグ操作した結果、ポイン
タが画面の端に到達し、さらに画面を越えてしまった場
合には、隣接する他のコンピュータのデスクトップ上ま
でドラッグ操作が継承され、該オブジェクトをドラッグ
したままのポインタが出現する。

【０１２５】一方のコンピュータ・デスクトップ上で
は、ポインタが画面の端に到達した時点で、オブジェク
トをドラッグしたままポインタは消滅するが、この処理
をオブジェクトの"Ｐｉｃｋ"（デジタル・オブジェクト
の拾い上げ）と呼ぶ。また、他方のコンピュータ・デス
クトップ上において、該オブジェクトのドラッグ状態を
継承したポインタが出現する処理のことを、オブジェク
トの"Ｄｒｏｐ"と呼ぶ。Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐを
実行する両コンピュータ間では、バックグラウンドにお
いてオブジェクトのエンティティ（例えばデータ・ファ
イルなど）がネットワーク転送されるので、ドラッグ操
作の継承はオブジェクトの実体の移動を伴なう。図１５
には、隣接するノートブック・コンピュータ間でデジタ
ル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様
子を描写している。

【０１２６】これに対し、本実施例では、ある特定のＴ
ｏｏｌＳｔｏｎｅ、あるいはＴｏｏｌＳｔｏｎｅの特定
の構成面に対して「コピー・バッファ」機能を割り付け
ることで実現される。

【０１２７】すなわち、図１６（ａ）に示すように、一
方のコンピュータのタブレット上に「コピー・バッフ
ァ」機能を持つＴｏｏｌＳｔｏｎｅを載置する、若しく
は該機能をアクティブ面として載置することで、システ
ムに対してコピー・バッファを起動させる。そして、タ
ブレット上の所定領域にあるデータやオブジェクトがバ
ッファリングの対象として選択される。かかるユーザ操
作のバックグラウンドでは、ＴｏｏｌＳｔｏｎｅ若しく
はそのアクティブ面と、バッファリングされたデータと
が関連付けられた形式で一旦保存される。また、保存さ
れたデータやオブジェクトを、タブレット上の表示画面
から消滅させてもよい。ＴｏｏｌＳｔｏｎｅのコピー・
バッファ機能は、データやオブジェクトのデジタル的な
移動に対して、実際に「物を運ぶ」というメタファを与
えるものである。

【０１２８】次いで、このＴｏｏｌＳｔｏｎｅを別のコ
ンピュータのタブレット上に投下する。かかるユーザ操
作のバックグラウンドでは、例えばネットワークなどの
伝送路経由で、先にバッファリングされたデータが一方
のコンピュータから他方のコンピュータへと転送され
る。この結果、図１６（ｂ）に示すように、タブレット
上の表示画面には、保存されたデータやオブジェクトの
表示が元の状態のままで再現される。

【０１２９】図１７には、コピー・バッファ機能を実行
する際の、元のタブレット上からデータやオブジェクト
をＴｏｏｌＳｔｏｎｅで取得する処理手順をフローチャ
ートの形式で示している。また、図１８には、取得した
データやオブジェクトを別のタブレット上にコピーすな
わち再現する処理手順を示している。以下、これらのフ
ローチャートを参照しながら、コピー・バッファ機能に
ついて説明する。

【０１３０】まず、データ・コピー元となるコンピュー
タ側において、コピー・バッファ機能に対応する構成面
を上に向けて（すなわちアクティブ面として）、Ｔｏｏ
ｌＳｔｏｎｅをタブレット上に載せる（ステップＳ３
１）。

【０１３１】かかるユーザ操作に応答して、タブレット
上には、コピー・バッファ枠が表示される（ステップＳ
３２）。

【０１３２】ユーザは、ＴｏｏｌＳｔｏｎｅを持たない
反対側の手で入力ペン又はスタイラスなどのポインティ
ング・デバイスを操作することができる。そして、図１
９に示すように、タブレット上に表示されたデジタル・
オブジェクトのうちコピーしたいものを、コピー・バッ
ファ枠内にドラッグする（ステップＳ３３）。

【０１３３】かかるユーザ操作のバックグラウンドで
は、ＴｏｏｌＳｔｏｎｅのアクティブ面と、バッファリ
ングされたデータとが関連付けられた形式で一旦保存さ
れる。

【０１３４】他方、データ・コピー先となるコンピュー
タ側において、コピー・バッファ機能に対応する構成面
を上に向けて（すなわちアクティブ面として）、Ｔｏｏ
ｌＳｔｏｎｅをタブレット上に載せる（ステップＳ４
１）。

【０１３５】かかるユーザ操作に応答して、タブレット
上には、コピー・バッファ枠が表示される（ステップＳ
４２）。このコピー・バッファ枠内には、既にバッファ
リングされているデジタル・オブジェクトが表示され
る。

【０１３６】ユーザは、ＴｏｏｌＳｔｏｎｅを持たない
反対側の手で入力ペン又はスタイラスなどのポインティ
ング・デバイスを操作することができる。そして、図２
０に示すように、コピー・バッファ枠内に表示されたデ
ジタル・オブジェクトのうちコピーしたいものを、コピ
ー・バッファ枠外にドラッグする（ステップＳ４３）。

【０１３７】かかるユーザ操作のバックグラウンドで
は、デジタル・オブジェクトのエンティティすなわちバ
ッファリングされているデータが、ネットワークなどの
所定の伝送路経由で、データ・コピー先のコンピュータ
のローカル・ディスクなどに転送される。

【０１３８】ＴｏｏｌＳｔｏｎｅが立方体のように複数
の構成面からなる多面体であり、且つ、各構成面に対し
てそれぞれコピー・バッファ機能を割り付けることで、
各構成面毎にコピー・バッファ領域を用意することがで
きる。このような場合、データ・コピー先のタブレット
上では、コピーしたいデータを含んだ構成面をアクティ
ブ面としてＴｏｏｌＳｔｏｎｅを載せればよい。

【０１３９】ＴｏｏｌＳｔｏｎｅを用いたコピー・バッ
ファ機能を利用することにより、ユーザは複数のコンピ
ュータ間で作業環境を瞬間的に切り替えることが可能と
なる。

【０１４０】また、作業環境毎に（あるいはユーザ毎
に）異なるＴｏｏｌＳｔｏｎｅを使い分けるようにする
こともできる。すなわち、コンピュータ上で同じアプリ
ケーションを実行する場合であっても、タブレット上に
置かれたＴｏｏｌＳｔｏｎｅの種別に応じて、ディスプ
レイ画面上に表示されるウィンドウあるいはデスクトッ
プ自体を切り替えるようにしてもよい。例えば、「子供
用」のＴｏｏｌＳｔｏｎｅが使用されている期間中は、
メニュー・ウィンドウやツール・パレットの表示内容を簡
略化して操作を容易にしたり、子供向けのメッセージを
出力するような状態にシステムを遷移させることができ
る。

【０１４１】また、ＴｏｏｌＳｔｏｎｅの各構成面に対
して、指先の触覚だけでどの面に触れているか、あるい
はどの構成面をアクティブ面にしているかを判別できる
ような構造にすることで、ＴｏｏｌＳｔｏｎｅの操作性
がさらに増すであろう。例えば、ブロックの各辺の長さ
を変えたり、直方体ではなくテーパがかかった楔形形状
にしたり、辺の面取りの幅や角の形状を変えたり、表面
の粗さを変えたりする（ザラザラ又は凸凹にしたり、筋
を刻設したりする）ような表面加工を施すことで、ユー
ザは、アクティブ面を指定する際などに、指先の感覚だ
けに頼った「ブラインド」操作が可能になる（上述、並
びに図２４〜図２５を参照のこと）。

【０１４２】また、上述の説明では、ＴｏｏｌＳｔｏｎ
ｅをタブレット上に載置するすなわち接地することを前
提としてユーザ操作を行っていたが、タブレット面に接
触しているか否かを判定することにより、さらに高度の
操作機能を提供することができる。例えば、ＴｏｏｌＳ
ｔｏｎｅを空中に持ち上げたことに応答してシステムの
状態を切り替えて別の操作環境に移行させることができ
る。また、空中でのＴｏｏｌＳｔｏｎｅのユーザ操作に
応じて、ディスプレイ画面上の表示オブジェクトを３次
元的に回転・移動させることが可能である。

【０１４３】《注釈》 ［１］サイバーコード：サイバーコードとは、２次元バ
ーコードの一種であり、図２１に示すように、サイバー
コードの所在を表すための「ガイド・バー表示領域」
と、２次元状のコード・パターンを表示する「コード・
パターン表示領域」とで構成される。コード・パターン
表示領域内は、ｎ×ｍマトリックス（同図では７×７）
に配列されたセルで構成され、各セルを白又は黒の２値
表現することで識別情報を付与することができる。但
し、コード・パターン表示領域の４隅のコーナー・セル
は、識別情報としてではなく位置合わせ（registratio
n）パターンとして常に黒パターンとなっている。サイ
バーコードの認識手順は、撮像画像を２値化するステッ
プと、２値画像中からガイド・バーの候補を発見するス
テップと、ガイド・バーの位置や方向に基づいてコーナ
ー・セルを探索するステップと、ガイド・バー及びコー
ナー・セルを検出したことに応答して画像ビットマップ
・パターンを復号化するステップとに大別される。さら
に、エラービットの検査を行うことで、撮像画像中に正
しいサイバー・コードが含まれていることを確認して、
該コードの識別情報や位置情報を導出することができ
る。また、コーナー・セルの位置に基づいて、カメラや
オブジェクトの傾きによって生じる歪みを算出して補償
することができる。サイバーコードの詳細については、
例えば、本出願人に既に譲渡されている特願平１０−１
８４３５０号明細書（「画像処理装置および方法、並び
に提供媒体」）にも開示されている。

【０１４４】［２］ＴｏｏｌＧｌａｓｓ：Eric Bier "T
oolGlass and Magiclenses" ACM SIGGRAPH93

【０１４５】［３］ＴａｎｇｉｂｌｅＵＩ：Ishii, Ull
mer, "Tangible bits", ACM SIGGRAPH1997

【０１４６】［４］Pick-and-Drop：J. Rekimoto. "Pic
k-and-Drop: A Direct ManipulationTechnique for Mul
tiple Computer Environmants. InUIST '97, pp.31-39,
October 1997.（Pick-and-Drop操作に関しては、本出
願人に既に譲渡されている特開平１１−５３２３６号公
報にも開示されている。より詳しくは、同明細書の［０
０５２］〜［００５９］、及び、同出願に添付された図
６〜図９を参照されたい。）

【０１４７】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【０１４８】

【発明の効果】以上詳記したように、本発明によれば、
コンピュータに対してユーザが直感的で分かり易くオブ
ジェクト操作やコマンド入力を行うことができる、優れ
たユーザ・インターフェース環境を提供することができ
る。

【０１４９】また、本発明によれば、入力の自由度が多
く且つ容易に操作することができる簡便なユーザ入力装
置を導入することによって、直感的で分かり易く表現す
ることができる。

【０１５０】また、本発明によれば、入力の自由度が多
く且つ容易に操作することができる簡便なユーザ入力装
置を導入することによって、複数回の指示動作を含む煩
雑なユーザ入力作業を直感的で分かり易く表現すること
ができる。

【図面の簡単な説明】

【図１】本発明を本発明の実施例に係るユーザ・インタ
ーフェース環境を搭載した情報処理システム１の構成を
模式的にに示した図である。

【図２】本発明の他の実施例に係るユーザ・インターフ
ェース環境を搭載した情報処理システム１−２の構成を
模式的に示した図である。

【図３】本実施例に係るユーザ・インタフェースが提供
するユーザの作業空間を描写した図である。

【図４】本実施例に係るユーザ・インターフェース環境
下で行われるインタラクティブなユーザ入力操作の様子
を描写した図である。

【図５】本実施例に係るユーザ・インターフェース環境
下で行われるインタラクティブなユーザ入力操作の様子
を描写した図である。

【図６】本実施例に係るユーザ・インターフェース環境
下で行われるインタラクティブなユーザ入力操作の様子
を描写した図である。

【図７】本実施例に係るユーザ・インターフェース環境
下で行われるインタラクティブなユーザ入力操作の様子
を描写した図である。

【図８】本実施例に係るユーザ・インターフェース環境
下における基本的な操作手順を示したフローチャートで
ある。

【図９】ＴｏｏｌＳｔｏｎｅの構成を模式的に示した図
である。

【図１０】ＴｏｏｌＳｔｏｎｅの構成を模式的に示した
図である。

【図１１】ＴｏｏｌＳｔｏｎｅの接地面を判定するため
の処理手順を示したフローチャートである。

【図１２】本実施例に係るユーザ・インターフェース環
境を利用して、色選択パレット上で色選択を行う処理手
順を示したフローチャートである。

【図１３】色選択ツール・パレットを描写した図であ
る。

【図１４】色選択ツール・パレットを描写した図であ
る。

【図１５】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明する
ための図であり、より具体的には、隣接するノートブッ
ク・コンピュータのディスプレイ・スクリーンの間でＧＵ
Ｉ操作が継承され、一方のディスプレイ上のデジタル・
オブジェクトが実空間経由で他方のディスプレイ上にド
ロップされる様子を描写した図である。

【図１６】本実施例に係るユーザ・インターフェース環
境下で提供される「コピー・バッファ」機能の動作を描
写した図である。

【図１７】本実施例に係るユーザ・インターフェース環
境下で提供される「コピー・バッファ」機能の処理手順
を示したフローチャートである。

【図１８】本実施例に係るユーザ・インターフェース環
境下で提供される「コピー・バッファ」機能の処理手順
を示したフローチャートである。

【図１９】本実施例に係るユーザ・インターフェース環
境下で提供される「コピー・バッファ」機能の動作例を
描写した図である。

【図２０】本実施例に係るユーザ・インターフェース環
境下で提供される「コピー・バッファ」機能の動作例を
描写した図である。

【図２１】サイバーコードの構造を模式的に示した図で
ある。

【図２２】入力装置の外観構成を示した図である。

【図２３】入力装置の内部ハードウェア構成を模式的に
示した図である。

【図２４】ＴｏｏｌＳｔｏｎｅの変形例を描写した図で
ある。

【図２５】ＴｏｏｌＳｔｏｎｅの変形例を描写した図で
ある。

【図２６】ＴｏｏｌＳｔｏｎｅの変形例を描写した図で
ある。

【図２７】本実施例に係るユーザ・インターフェース環
境下で行われるインタラクティブなユーザ入力操作の様
子を描写した図である。

【図２８】本実施例に係るユーザ・インターフェース環
境下で行われるインタラクティブなユーザ入力操作の様
子を描写した図である。

【図２９】本実施例に係るユーザ・インターフェース環
境下で行われるインタラクティブなユーザ入力操作の様
子を描写した図である。

【符号の説明】

１…情報処理システム １０…ＴｏｏｌＳｔｏｎｅ １１…テーブル １３…ＬＣＤプロジェクタ １５…ネットワーク １６…コンピュータ・システム １８…固定カメラ １９…チルト／パン・カメラ ２０…画像処理サーバ ２１…ディスプレイ ５１…タブレット（ディスプレイ一体型） ５２…コンピュータ・システム

フロントページの続き Ｆターム(参考） 5B068 AA05 AA14 AA24 BB00 BB14 BD04 BD20 BD25 BE08 CC12 CD01 CD02 CD06 5B087 AA09 AB02 BC12 BC13 BC26 BC32 BC34 DD03 DD12 DE02 5E501 AA02 AC09 BA05 CA03 CB07 EA07 EA11 EB01 EB05 FA04 FA14 FA23 FA42

Claims (26)

【特許請求の範囲】
1. 【請求項１】操作面と、 物理オブジェクトと、 前記操作面上に載置された前記物理オブジェクトを介し
   た指示を検出する検出部と、 該検出結果に応じた処理を実行するデータ処理部と、を
   具備することを特徴とする情報入出力システム。
2. 【請求項２】前記検出部は、 前記操作面表面上を撮像する撮像手段と、 前記撮像手段による撮像画像に基づいて前記操作面表面
   上に載置された物理オブジェクトを画像認識する画像処
   理手段と、で構成されることを特徴とする請求項１に記
   載の情報入出力システム。
3. 【請求項３】前記検出部は、前記操作面表面上に積層さ
   れ、前記物理オブジェクトと電磁的に結合してその指示
   を検出することを特徴とする請求項１に記載の情報入出
   力システム。
4. 【請求項４】前記物理オブジェクトは複数あり、各物理
   オブジェクト毎に固有の機能が割り付けられており、 前記データ処理部は、前記操作面上に載置された物理オ
   ブジェクトに割り付けられた機能を実行する、 ことを特徴とする請求項１に記載の情報入出力システ
   ム。
5. 【請求項５】前記物理オブジェクトは複数の構成面から
   なる多面体であり、該多面体の構成面毎に固有の機能が
   割り付けられているとともに、前記検出部は前記操作面
   上に載置された物理オブジェクトのアクティブ面を判別
   することができ、 前記データ処理部は、前記操作面上に載置された物理オ
   ブジェクトのアクティブ面に割り付けられた機能を実行
   する、ことを特徴とする請求項１に記載の情報入出力シ
   ステム。
6. 【請求項６】前記物理オブジェクトは前記操作面上に載
   置されたときの各方向毎に固有の機能が割り付けられて
   いるとともに、前記検出部は前記操作面上に載置された
   物理オブジェクトの方向を検出することができ、 前記データ処理部は、前記操作面上に載置された物理オ
   ブジェクトの方向に割り付けられた機能を実行する、こ
   とを特徴とする請求項１に記載の情報入出力システム。
7. 【請求項７】前記物理オブジェクトは前記操作面上に載
   置された場所毎に固有の機能が割り付けられているとと
   もに、前記検出部は前記操作面上での物理オブジェクト
   の接地場所を検出することができ、 前記データ処理部は、前記操作面上における物理オブジ
   ェクトの接地場所、及び／又は、前記操作面上における
   物理オブジェクトの接地場所の移動操作に応答して該当
   する機能を実行する、ことを特徴とする請求項１に記載
   の情報入出力システム。
8. 【請求項８】さらにディスプレイを有し、 前記データ処理部は、前記物理オブジェクトを介した指
   示に対応するツール・パレットを前記ディスプレイの画
   面上に表示する、ことを特徴とする請求項１に記載の情
   報入出力システム。
9. 【請求項９】さらに、ディスプレイを有し、 前記検出部は、さらに前記物理オブジェクト以外の指示
   手段からの指示を検出し、 前記データ処理部は、前記物理オブジェクトを介した指
   示に対応するツール・パレットを前記ディスプレイの画
   面上に表示するとともに、前記指示手段を介した指示に
   対応して該ツール・パレット上の選択動作を実行する、
   ことを特徴とする請求項１に記載の情報入出力システ
   ム。
10. 【請求項１０】さらに、デジタル・オブジェクトが散在
    するデジタル空間を有し、 前記物理オブジェクトの少なくとも１つの構成面は、該
    デジタル空間上のデジタル・オブジェクトを複製するコ
    ピー・バッファ機能が割り付けられている、ことを特徴
    とする請求項１に記載の情報入出力システム。
11. 【請求項１１】さらに、デジタル・オブジェクトが散在
    するデジタル空間を有し、 前記物理オブジェクトの少なくとも１つの構成面は、該
    デジタル空間上のデジタル・オブジェクトを複製するコ
    ピー・バッファ機能が割り付けられており、 前記データ処理部は、該コピー・バッファ機能が割り付
    けられた構成面をアクティブ面として前記物理オブジェ
    クトが前記ディスプレイ上に載置されたことに応答し
    て、バッファリングされたデジタル・オブジェクトを囲
    むためのコピー・バッファ枠を前記ディスプレイ上に表
    示する、ことを特徴とする請求項１に記載の情報入出力
    システム。
12. 【請求項１２】前記検出部は、さらに前記物理オブジェ
    クト以外の指示手段からの指示を検出し、 前記データ処理部は、前記指示手段を用いた前記コピー
    ・バッファ枠の内外間でのデジタル・オブジェクトのド
    ラッグ及び／又はドロップ操作を受容する、ことを特徴
    とする請求項１１に記載の情報入出力システム。
13. 【請求項１３】前記物理オブジェクトは複数の構成面か
    らなる多面体であり、且つ、各構成面毎に触感が相違す
    ることを特徴とする請求項１に記載の情報入出力システ
    ム。
14. 【請求項１４】操作面と、固有の機能が割り付けられた
    １以上の物理オブジェクトと、前記操作面上に載置され
    た前記物理オブジェクトを介した指示を検出する検出部
    とを備えた、所定のデータ処理を実行する情報処理シス
    テム上において、ユーザ操作に応じた情報の入出力を行
    うための情報入出力方法であって、（ａ）前記操作面上
    に物理オブジェクトが載置されたことを検出するステッ
    プと、（ｂ）該検出結果に応答して、該物理オブジェク
    トに割り付けられた処理を実行するステップと、を具備
    することを特徴とする情報入出力方法。
15. 【請求項１５】前記検出部は、 前記操作面表面上を撮像する撮像手段と、 前記撮像手段による撮像画像に基づいて前記操作面表面
    上に載置された物理オブジェクトを画像認識する画像処
    理手段と、で構成されることを特徴とする請求項１４に
    記載の情報入出力方法。
16. 【請求項１６】前記検出部は、前記操作面表面上に積層
    され、前記物理オブジェクトと電磁的に結合してその指
    示を検出することを特徴とする請求項１４に記載の情報
    入出力方法。
17. 【請求項１７】前記物理オブジェクトは複数の構成面か
    らなる多面体であり、且つ、該多面体の構成面毎に固有
    の機能が割り付けられており、 前記ステップ（ａ）では、前記検出部は前記操作面上に
    載置された物理オブジェクトのアクティブ面を判別する
    ことができ、 前記ステップ（ｂ）では、前記操作面上に載置された物
    理オブジェクトのアクティブ面に割り付けられた機能を
    実行する、ことを特徴とする請求項１４に記載の情報入
    出力方法。
18. 【請求項１８】前記物理オブジェクトは前記操作面上に
    載置されたときの各方向毎に固有の機能が割り付けられ
    ており、 前記ステップ（ａ）では、前記検出部は前記操作面上に
    載置された物理オブジェクトの方向を検出することがで
    き、 前記ステップ（ｂ）では、前記操作面上に載置された物
    理オブジェクトの方向に割り付けられた機能を実行す
    る、ことを特徴とする請求項１４に記載の情報入出力方
    法。
19. 【請求項１９】前記物理オブジェクトは前記操作面上に
    載置された場所毎に固有の機能が割り付けられており、 前記ステップ（ａ）では、前記検出部は前記操作面上で
    の物理オブジェクトの接地場所を検出することができ、 前記ステップ（ｂ）では、前記操作面上における物理オ
    ブジェクトの接地場所、及び／又は、前記操作面上にお
    ける物理オブジェクトの接地場所の移動操作に応答して
    該当する機能を実行する、ことを特徴とする請求項１４
    に記載の情報入出力方法。
20. 【請求項２０】前記情報処理システムはさらにディスプ
    レイを備え、 前記ステップ（ｂ）では、前記物理オブジェクトを介し
    た指示に対応するツール・パレットを前記ディスプレイ
    の画面上に表示することを特徴とする請求項１４に記載
    の情報入出力方法。
21. 【請求項２１】前記情報処理システムはさらにディスプ
    レイを備え、 前記ステップ（ａ）では、さらに前記物理オブジェクト
    以外の指示手段からの指示を検出し、 前記ステップ（ｂ）では、前記物理オブジェクトを介し
    た指示に対応するツール・パレットを前記ディスプレイ
    の画面上に表示するとともに、前記指示手段を介した指
    示に対応して該ツール・パレット上の選択動作を実行す
    る、ことを特徴とする請求項１４に記載の情報入出力方
    法。
22. 【請求項２２】前記情報処理システムは、さらにディス
    プレイを備えるとともに、デジタル・オブジェクトが散
    在するデジタル空間を有し、 前記物理オブジェクトの少なくとも１つの構成面は、該
    デジタル空間上のデジタル・オブジェクトを複製するコ
    ピー・バッファ機能が割り付けられている、ことを特徴
    とする請求項１４に記載の情報入出力方法。
23. 【請求項２３】前記情報処理システムは、さらに、デジ
    タル・オブジェクトが散在するデジタル空間を有し、 前記物理オブジェクトの少なくとも１つの構成面は、該
    デジタル空間上のデジタル・オブジェクトを複製するコ
    ピー・バッファ機能が割り付けられており、 前記ステップ（ｂ）では、該コピー・バッファ機能が割
    り付けられた構成面をアクティブ面として前記物理オブ
    ジェクトが前記ディスプレイ上に載置されたことに応答
    して、バッファリングされたデジタル・オブジェクトを
    囲むためのコピー・バッファ枠を前記ディスプレイ上に
    表示する、ことを特徴とする請求項１４に記載の情報入
    出力方法。
24. 【請求項２４】前記ステップ（ａ）では、さらに前記物
    理オブジェクト以外の指示手段からの指示を検出し、 前記ステップ（ｂ）では、前記指示手段を用いた前記コ
    ピー・バッファ枠の内外間でのデジタル・オブジェクト
    のドラッグ及び／又はドロップ操作を受容する、ことを
    特徴とする請求項２３に記載の情報入出力方法。
25. 【請求項２５】前記物理オブジェクトは複数の構成面か
    らなる多面体であり、且つ、各構成面毎に触感が相違す
    ることを特徴とする請求項１４に記載の情報入出力方
    法。
26. 【請求項２６】操作面と、固有の機能が割り付けられた
    １以上の物理オブジェクトと、前記操作面上に載置され
    た前記物理オブジェクトを介した指示を検出する検出部
    とを備えたコンピュータ・システム上で、ユーザ操作に
    応じた情報の入出力制御を行うためのコンピュータ・プ
    ログラムをコンピュータ可読形式で記憶するプログラム
    記憶媒体であって、前記コンピュータ・プログラムは、
    （ａ）前記操作面上に物理オブジェクトが載置されたこ
    とを検出するステップと、（ｂ）該検出結果に応答し
    て、該物理オブジェクトに割り付けられた処理を実行す
    るステップと、を具備することを特徴とするプログラム
    記憶媒体。