JP2001142825A - 携帯型情報処理端末、情報入出力システム及び情報入出力方法 - Google Patents

Abstract

(57)【要約】 【課題】 情報空間内に配設された各機器とコンピュー
タとを持続的に接続し、且つ、接続状態をコンピュータ
・ディスプレイ上で視認する。 【解決手段】 カメラで見ているものとの接続を確立す
るという、”ｇａｚｅ−ｌｉｎｋ”メタファを提供す
る。接続の対象物にビジュアル・マーカを貼設して、カ
メラで撮像することにより、対象物を識別して、接続を
確立する。また、識別された機器との間で持続的な接続
を実現する結果として、多くの機器が相互接続されたネ
ットワーク環境下において、ユーザは各機器の名前等を
気にすることなく、操作の対象を直感的に又は直接的に
指定することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータに対
してコマンド等の入力を行うためのユーザ・インターフ
ェース環境の提案に係り、特に、コンピュータに対して
ユーザが直感的で分かり易くコマンドを入力することが
できるユーザ・インターフェース環境の提案に関する。

【０００２】更に詳しくは、本発明は、情報空間内の各
機器に対する操作をユーザのコンピュータ上で統合的に
且つ直感的で分かり易く行うことができるユーザ・イン
ターフェース環境の提案に係り、特に、情報空間内の各
機器をコンピュータ・ディスプレイ上で直感的で分かり
易く制御若しくは操作することができるユーザ・インタ
ーフェース環境の提案に関する。

【０００３】

【従来の技術】昨今の技術革新に伴い、ワークステーシ
ョンやパーソナル・コンピュータ（ＰＣ）と呼ばれる、
比較的小型且つ低価格で、高付加価値化・高機能化され
た汎用コンピュータ・システムが開発・市販され、大学
その他の研究機関や企業その他のオフィス、さらには一
般家庭内の日常生活にも深く浸透している。

【０００４】コンピュータ技術における最近の傾向の１
つは、小型化である。特に最近では、半導体技術の向上
に伴なうＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇ
ｒａｔｉｏｎ）チップの小型化や、プロセッサの処理能
力の目覚しい向上などとも相俟って、小型且つ軽量で可
搬性に富むポータブル（携帯型）・コンピュータ（若し
くはモバイル・コンピュータ）が広汎に普及してきてい
る。

【０００５】携帯型コンピュータの一例は、いわゆる
「ノートブックＰＣ」であり、他の例は「ＰＤＡ（Ｐｅ
ｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ
ｓ）」と呼ばれるさらに小型でほとんど掌（パームトッ
プ）サイズのコンピュータである。これら携帯型のコン
ピュータは、モバイル環境、すなわち屋外や移動先での
携帯的・可搬的なシステム稼動が可能である。

【０００６】コンピュータ・システムは、一般に、ユー
ザ入力コマンドに応答して駆動し、処理結果をディスプ
レイ・スクリーン上に表示することによって、インタラ
クティブ、すなわち対話的な処理環境を提供している。
最近では、ＤＯＳ（ＤｉｓｋＯｐｅｒａｔｉｎｇ Ｓｙ
ｓｔｅｍ）シェル画面を代表とする従来のキャラクタ・
ベースのユーザ入力環境すなわち「ＣＵＩ（Ｃｈａｒａ
ｃｔｅｒ ＵｓｅｒＩｎｔｅｒｆａｃｅ）」から、グラ
フィック・ベースのユーザ入力を実現した「ＧＵＩ（Ｇ
ｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」
への移行が挙げられる。ＧＵＩ環境下では、コンピュー
タ・システムがシミュレートされたデスクトップと無数
のアイコンがディスプレイ・スクリーンに用意される。

【０００７】ＧＵＩが提供されたデスクトップ上では、
ファイル等のコンピュータ・システム上で取り扱われる
全ての資源オブジェクトはアイコンとして表現される。
また、ユーザは、ディスプレイ・スクリーン上のプログ
ラム、データ、フォルダ、デバイスなどを象徴するアイ
コンに対してマウスなどを介して直接操作を印加する
（例えば、クリックやドラッグ・アンド・ドロップ）こ
とで、直感的なコマンド入力を行うことができる。もは
やユーザは、特定のコマンドの名称やコマンド操作方法
等を特に習得したり、煩雑なキー入力を行わなくとも、
コンピュータを充分に操作することができる。

【０００８】また、コンピュータ技術における他の傾向
は相互接続である。コンピュータ間の相互接続は、例え
ば、シリアル・ポートやパラレル・ポートなどのローカ
ルなインターフェース経由で行う以外に、ネットワーク
・インターフェース・カード（ＮＩＣ）経由でネットワ
ーク接続することで実現する。ネットワークは、単一の
構内に限定的に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅ
ａ Ｎｅｔｗｏｒｋ）や、ＬＡＮ同士を専用線等で相互
接続してなるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏ
ｒｋ）、ネットワーク同士が相互接続を繰り返し世界規
模の巨大ネットワークに成長したインターネットなどさ
まざまである。

【０００９】コンピュータ同士を相互接続する意義は、
お互いが持つ情報の共有や流通・配布の効率化、コンピ
ュータ資源の共有、複数のコンピュータに跨った協働的
な作業の実現などにある。例えば、あるデジタル・オブ
ジェクトに対する処理を、複数のコンピュータ間での連
携的若しくは強調的な動作によって、効率的に実行する
こともできよう。

【００１０】特に最近では、Ｅｔｈｅｒｎｅｔを無線化
した無線ＬＡＮやＢｌｕｅＴｏｏｔｈ^[1]などの近接通
信システムの登場により、ユーザは比較的容易にコンピ
ュータをネットワーク接続できるようになってきた。建
物内に備えつけられた種々のコンピュータやその周辺機
器類（プリンタなど）のほとんどは、当然の如くネット
ワーク接続され、複数のユーザ間で共用される。また、
各ユーザは自分の携帯型コンピュータを携行し、行く先
々の場所で気軽にネットワーク接続することも可能にな
ってきている。

【００１１】分散コンピューティング環境においては、
ネットワーク接続された各コンピュータはトランスペア
レントな状態であり、アプリケーションからはローカル
・ディスクとリモート・ディスクを区別せずにコンピュ
ータ操作を行うことができる。すなわち、ユーザはプロ
グラムやデータ等の資源オブジェクトの所在を意識する
必要はなくなり、コンピュータ間でシームレスにデータ
交換などのやりとりを行うことができる。

【００１２】ユーザは、コンピュータをネットワーク接
続するまではあまり意識せず（すなわち簡易に）に行う
ことができる。ところが、ネットワーク上でデータ転送
先となるコンピュータや周辺機器（すなわちターゲッ
ト）を指定しようとすると、すぐ目の前にある相手であ
っても、その名前（若しくはＩＤやアドレスなど）を知
る必要がある。言い換えれば、トランスペアレントな分
散コンピューティング環境下であっても、ユーザ操作に
関して言えば、間接的な形式でしかコンピュータ間の連
携がなされておらず、直感性にやや欠ける。

【００１３】例えば、隣り合った２以上のコンピュータ
間でオブジェクトを移動させたい場合、現状のＧＵＩ環
境下では、ネットワーク接続された機器の一覧をエクス
プローラ画面上で表示し、該当するコンピュータを模し
たアイコンを探し出してから「ドラッグ・アンド・ドロ
ップ」操作を行う必要がある。

【００１４】このようなユーザ入力作業上の問題を解決
するための１つの手法として、実世界指向のユーザ・イ
ンターフェースが挙げられる。これは、本来はコンピュ
ータのディスプレイ・スクリーン上に体現された「デジ
タル空間」に限定されていたユーザ操作範囲を、実世界
の空間にまで連続的に拡張する技術のことを意味する。
実世界指向インターフェースによれば、コンピュータ・
スクリーンだけでなく、コンピュータが設置されたテー
ブル表面や、部屋の壁面なども拡張されたディスプレイ
として機能する。情報空間は、スタンドアロン・コンピ
ュータのデジタル空間という垣根を越えて、部屋全体に
拡張され、デジタル・オブジェクトと実世界上の物理オ
ブジェクトとを統合的に取り扱うことができる。

【００１５】例えば、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ^[2]
は、ＧＵＩ環境下で定着しているユーザ操作「ドラッグ
・アンド・ドロップ」を拡張したものであり、複数のコ
ンピュータ間におけるデータ等のオブジェクトの移動を
実世界での直感的な動作にマッピングした、先進的なイ
ンタラクション・テクニックである。

【００１６】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、２以上の
コンピュータの各々が持つネイティブなデスクトップ間
で連携を図り、オブジェクトについてのシームレスなド
ラッグ・アンド・ドロップ操作を提供することができ
る。例えば、トラックボールやスティックなどをユーザ
入力装置とするコンピュータのデスクトップ上におい
て、あるオブジェクトのドラッグ操作した結果、ポイン
タが画面の端に到達し、さらに画面を越えてしまった場
合には、隣接する他のコンピュータのデスクトップ上で
ドラッグ操作が継承され、該オブジェクトをドラッグし
たままのポインタが出現する。

【００１７】一方のコンピュータ・デスクトップ上で
は、ポインタが画面の端に到達した時点で、オブジェク
トをドラッグしたままポインタは消滅するが、この処理
をオブジェクトの”Ｐｉｃｋ”と呼ぶ。また、他方のコ
ンピュータ・デスクトップ上において、該オブジェクト
のドラッグ状態を継承したポインタが出現する処理のこ
とを、オブジェクトの”Ｄｒｏｐ”と呼ぶ。両コンピュ
ータ間では、バックグラウンドにおいてオブジェクトの
エンティティ（例えばデータ・ファイルなど）がネット
ワーク転送されるので、ドラッグ操作の継承はオブジェ
クトの実体の移動を伴なう。図２１には、隣接するノー
トブック・コンピュータ間でデジタル・オブジェクトを
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。

【００１８】なお、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作に
関しては、本出願人に既に譲渡されている特開平１１−
５３２３６号公報にも開示されている。より詳しくは、
同公報の［００５２］〜［００５９］、及び、図６〜図
９を参照されたい。

【００１９】また、ＭｅｄｉａＢｌｏｃｋ^[3]は、識別
子を付けた物体（ブロック）に画像などのデータを割り
当てて、ユーザが持ち運ぶことによりデータを移動した
り、複数のブロックを物理的に並べ替えることによっ
て、データの並べ方を変えたりすることが可能である。
備え付けの計算機の専用スロットやレールにブロックを
置き、ブロックの内容をブロックと計算機との間のデー
タの移動や、並べ替えの操作を行うことができる。

【００２０】また、「ハイパードラッグ」（Ｈｙｐｅｒ
ｄｒａｇｇｉｎｇ）^[4]は、机や壁をディスプレイとす
る備え付けの共有のコンピュータと、各ユーザ個人が所
有する携帯型コンピュータとが連携するユーザ・インタ
ーフェース環境を提供するものである。例えば、情報環
境にカメラ・ベースのオブジェクト認識システムを導入
することで、ハイパードラッグ操作がサポートされる。
コンピュータ・ディスプレイ画面を、投影機によってテ
ーブルや壁面などの表面に投影する。さらに、投影画像
すなわちコンピュータの論理空間上のオブジェクトと、
実世界（すなわちテーブル上などに実在する）オブジェ
クトの双方を、カメラの撮像画像を基に認識し、且つ、
これらオブジェクトの動きを追跡することで、テーブル
や壁面など実空間に拡張されたディスプレイ上でインタ
ラクティブなユーザ操作が可能となる。

【００２１】ハイパードラッグによれば、コンピュータ
上のデジタル空間がコンピュータ外すなわち実世界上の
空間に拡張される。すなわち、あるユーザのコンピュー
タ上のドラッグ操作を、そのまま、そのコンピュータが
設置されている平面（例えばテーブル表面）で継承し
（図２２を参照のこと）、さらには、ドラッグ可能な平
面若しくは空間をその作業場の壁へと拡張させることが
できる（図２３を参照のこと）。言い換えれば、コンピ
ュータが設置された作業場空間を、あたかもコンピュー
タ上のデスクトップであるかのように、オブジェクトの
操作を行うことができる。

【００２２】なお、ハイパードラッグに関しては、本出
願人に既に譲渡されている特願平１１−３１６４６１号
明細書にも開示されている。

【００２３】上述した各先行技術は、コンピュータのデ
ジタル空間を実世界上の空間に拡張して、コンピュータ
間でのオブジェクト操作などの連携作業を容易且つ直感
的に行うことを可能にする。

【００２４】しかしながら、これらの先行技術は総じ
て、１回若しくは一塊のデータ転送のみを目的としたも
ので、ユーザ操作によってのみ接続が確立するに過ぎ
ず、且つ、持続的な接続は想定されていない。すなわ
ち、データ転送を行う度毎に、ユーザはデジタル空間若
しくは実空間上でオブジェクト操作を行うという行わな
ければならないし、オブジェクト操作すなわちデータ転
送が完了すると、コンピュータと機器間の接続関係は逐
次途切れてしまう。

【００２５】あるユーザは、外部機器に対してデータや
コマンドを送信した後も、該機器に対して関心を持ち続
けることもある。例えば、コマンドを送信した後の機器
の動作状態をモニタしたり、コマンドや操作を追加した
いしたいという場合である。ところが、機器との接続関
係は逐次的に接続が途切れてしまうので、機器との間で
継続的なメッセージ交換を行うにはユーザは絶えずコン
ピュータ操作しなければならない。すなわち、接続状態
のまま機器が所定状態になるまで待機する、ということ
ができない。

【００２６】例えば、先述のＰｉｃｋ−ａｎｄ−Ｄｒｏ
ｐのようなテクニックを用いて接続する対象を指定する
ことは勿論可能であるが、「繋がっている」という状
態、及び、何に繋がっているかを提示する方法を備えて
いないので、つなぐという動作の瞬間以外は接続対象を
その名前でしか参照することができない。持続的な接続
をＰｉｃｋ−ａｎｄ−Ｄｒｏｐなどと同じように物理的
な操作によって確立する場合には、接続状態が何らかの
形でユーザの目に見えている必要がある。

【００２７】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、表示オブ
ジェクトを一方のスクリーンから拾って他方のスクリー
ンに投下する際に、デジタイザのスタイラスを使用す
る。Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、物理オブジェクト
を拾い上げるという動作に類似しているという点では物
理的なメタファは直接的である。しかしながら、スタイ
ラスが手に届かない場所に操作を直接及ぼすことはでき
ず、言い換えれば、遠方にある情報機器に対してリモー
ト・コントロールを行うことができない。

【００２８】また、ハイパードラッグは、情報空間をコ
ンピュータ内のデジタル空間から実世界上の作業空間に
まで拡張し、情報操作の空間的連続性が実現される結果
として、デジタル・オブジェクトと物理オブジェクトと
の連携が可能となる。すなわち、物理オブジェクト上に
デジタル・オブジェクトをドラッグ・アンド・ドロップ
することで、新たに物理オブジェクト及びデジタル・オ
ブジェクト間でリンクを形成したり、物理オブジェクト
に添付してデジタル・オブジェクトを実空間上で移動さ
せたり、物理オブジェクトからデジタル・オブジェクト
を引き出すことができる。

【００２９】しかしながら、ハイパードラッグは、デジ
タル・オブジェクトを操作するための情報環境が実世界
上で空間的に連続しているというメタファを与えるもの
ではあるが、物理オブジェクトをコンピュータ・ディス
プレイ上でデジタル操作若しくはコマンド操作するもの
ではない。例えば、ビデオ再生装置のような物理オブジ
ェクトは、デジタル・オブジェクトの添付先や転送先で
はあっても、ビデオ再生装置自体の記録や再生などオペ
レーションはコンピュータ上のコマンド操作の対象には
ならない。

【００３０】実世界指向インターフェースの分野では、
上記以外にも、物や場所に物理的（すなわち可視の）識
別子を付けて、コンピュータ資源を用いてこれを判別す
ることによって、情報を表示したり、データの転送を行
ったりするシステムに関する研究が数多存在する。例え
ば、Ｃｈａｍｅｌｅｏｎ^[5]、ＮａｖｉＣａｍ^[6]、Ｃｙ
ｂｅｒＧｕｉｄｅ^[7]、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋ
ｓ^[8]や、文献［９］で提案されているシステムは、物
や場所から一塊のデータを取り出すというようなメタフ
ァを持つインターフェースとみなすこともできる。

【００３１】Ｃｈａｍｅｌｅｏｎは、磁気センサを用
い、手に持ったディスプレイの位置や姿勢に応じて情報
を表示するシステムであり、ディスプレイを動かすこと
によりコマンドの入力も行える。

【００３２】また、ＮａｖｉＣａｍは、画像認識により
識別可能なＩＤを用いて、ＩＤに応じた情報を出すこと
ができる。ジャイロや音声認識とＮａｖｉＣａｍを組み
合わせることも可能である。

【００３３】また、ＣｙｂｅｒＧｕｉｄｅは、赤外線を
用いたＩＤにより、ユーザが存在する位置に応じた案内
をＰＤＡ上に表示することができる。但し、表示データ
は予めＰＤＡが持っているものとする。

【００３４】また、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓ
は、ＩＤタグや赤外線ＩＤにより、物や場所からＷＷＷ
（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上の資源オブジェク
トへのリンクを構築するシステムである。該システムに
よれば、データの転送のような動作や、ＩＤを認識した
順番によりリンク先を変えるなどの動作もできる。

【００３５】また、文献［９］は、物にＩＤタグを付け
ることで物からＷＷＷなどの電子情報へのリンクを張る
ことができる、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓと類似
のシステムについて提案している。

【００３６】また、”Ｉｎｆｏｓｐｕｉｔ”^[10]や「拡
張デスクトップ環境」^[11]、文献［１２］などで提案さ
れるシステムでは、物からデータを取り出すことに加え
て、物にデータを転送したり、割り当てたりすることが
でき、さらに双方向のやり取りが可能になっている。

【００３７】Ｉｎｆｏｓｐｕｉｔは、二次元コードを認
識するリモコンのようなデバイスを介して、実世界上の
物と計算機との間でのデータのやり取りを行うことがで
きる。また、データを転送先によって動作を切り換える
などの機能も備えている。

【００３８】また、拡張デスクトップ環境は、カメラ画
像を認識することにより、空間内に仮想的にアイコンを
配置することができるシステムである。また、画像中の
プリンタを予め登録しておいて、そこにアイコンをドロ
ップして印刷することもできる。

【００３９】また、文献［１２］は、二次元マトリクス
や赤外線のＩＤにより場所や物を認識し、場所や物に写
真や音声のメモを見たり張り付けたりすることができる
システムについて提案している。張り付けたメモを、例
えばＷＷＷ経由で閲覧することもできる。

【００４０】しかしながら、上述した実世界指向インタ
ーフェースのいずれも、機器間の持続的な接続を想定す
るものではない。

【００４１】他方、最近ではコンピュータ間を結ぶネッ
トワーク環境が充実し、コンピュータをネットワーク接
続するためにユーザは各段の意識や労力を追うことがな
くなってきている（前述）。さらに、日常生活で使用す
る多くの機器も情報化され、ネットワーク環境に受容さ
れるようになってきている。例えば、ビデオ・デッキや
テレビ映像機、冷蔵庫、電動湯沸し器（ポット）なども
情報家電化し、ネットワーク上のコンピュータがリモー
ト・コントロールすることも可能であろう。

【００４２】しかしながら、家電機器をネットワーク上
で指定しようとすると、すぐ目の前にある相手であって
も、その名前（若しくはＩＤやアドレスなど）や操作上
のコマンド入力方法などを知る必要がある。すなわち、
ネットワーク経由でのコマンド操作は間接的なものとな
り、直感性に欠ける。

【００４３】家電製品は、総じて、コントロール・パネ
ル／ボタンなどの優れたユーザ・インターフェースを備
えており、複雑なコンピュータの操作を知らない一般消
費者であっても、何らの技術の習得なしに容易にコマン
ド操作することができる。ところが、ネットワークを介
したリモート・コントロールにおいては、このような優
れた操作性は全く活かされない。

【００４４】

【発明が解決しようとする課題】本発明の目的は、コン
ピュータに対してユーザが直感的で分かり易くコマンド
を入力することができる、優れたユーザ・インターフェ
ース環境を提供することにある。

【００４５】本発明の更なる目的は、情報空間内の各機
器に対する操作をユーザのコンピュータ上で統合的に且
つ直感的で分かり易く行うことができる、優れたユーザ
・インターフェース環境を提供することにある。

【００４６】本発明の更なる目的は、情報空間内の各機
器をコンピュータ・ディスプレイ上で直感的で分かり易
く制御若しくは操作することができる、優れたユーザ・
インターフェース環境を提供することにある。

【００４７】本発明の更なる目的は、情報空間内に配設
された各機器とコンピュータとを持続的に接続すること
ができる、優れたユーザ・インターフェース環境を提供
することにある。

【００４８】本発明の更なる目的は、情報空間内に配設
された各機器とコンピュータとを持続的に接続し、且
つ、接続状態をコンピュータ・ディスプレイ上で視認す
ることができる、優れたユーザ・インターフェース環境
を提供することにある。

【００４９】本発明の更なる目的は、情報空間内に配設
された各機器とコンピュータとを持続的に接続して、且
つ、機器との間でコマンドやデータの交換を持続的に可
能にすることができる、優れたユーザ・インターフェー
ス環境を提供することにある。

【００５０】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、ネット
ワーク経由で１以上のターゲットと接続可能な携帯型情
報処理端末であって、前記ターゲットが有する可視的な
識別情報を撮像する撮像手段と、前記撮像手段が撮像し
た識別情報を基に、ターゲットを識別する識別手段と、
前記識別手段により識別されたターゲットとの接続を確
立する接続手段と、を具備することを特徴とする携帯型
情報処理端末である。

【００５１】本発明の第１の側面に係る携帯型情報処理
端末は、さらに、前記識別情報を含むターゲットの画像
を確認する画像確認手段を備えていてもよい。

【００５２】また、本発明の第２の側面は、ユーザの使
用に供されるユーザ端末と、前記ユーザ端末とはデータ
転送可能な形式で接続され、且つ、可視的な識別情報を
含んだ１以上のターゲットと、前記可視的な識別情報を
撮像する撮像手段と、前記撮像手段が撮像した識別情報
を基に、ターゲットを識別する識別手段と、前記識別手
段により識別されたターゲットと前記ユーザ端末との接
続を確立する接続手段と、を具備することを特徴とする
情報入出力システムである。

【００５３】本発明の第２の側面に係る情報入出力シス
テムは、さらに、前記識別情報を含むターゲットの画像
を確認する画像確認手段を備えていてもよい。

【００５４】また、本発明の第２の側面に係る情報入出
力システムにおいて、前記撮像手段は、前記ユーザ端末
に一体的に装備されていても、前記ユーザ端末にケーブ
ル接続されていても、あるいは、前記ユーザ端末にネッ
トワーク接続されていてもよい。

【００５５】また、前記ユーザ端末と前記ターゲットと
はネットワーク接続され、前記ターゲットはネットワー
ク・アドレスを有し、前記情報入出力システムは各ター
ゲットに関する識別情報とネットワーク・アドレスとの
対応関係を管理するデータベース手段をさらに備えてい
てもよい。このような場合、前記接続手段は、識別情報
に該当するネットワーク・アドレスを前記データベース
手段に問い合わせることでターゲットとの接続を実現す
ることができる。

【００５６】また、前記接続手段は、撮像手段がターゲ
ット若しくはその識別情報を撮像し続けている期間中
は、ターゲットと前記ユーザ端末との接続関係を持続す
るようにしてもよい。

【００５７】また、前記ユーザ端末はディスプレイ・ス
クリーンを含み、前記撮像手段の撮像画像を前記ディス
プレイ・スクリーン上に表示するようにしてもよい。こ
のような場合、前記接続手段は、前記識別手段により識
別されたターゲットがディスプレイ・スクリーン上に表
示されている期間中は該ターゲットと前記ユーザ端末と
の接続関係を持続するようにしてもよい。あるいは、前
記接続手段が前記ユーザ端末とターゲットとの接続関係
を持続している期間中は、該ターゲットを撮像した画像
を前記ディスプレイ・スクリーン上に維持するようにし
てもよい。

【００５８】また、前記ユーザ端末は、前記識別手段に
よって識別されたターゲットの撮像画像を蓄積する格納
手段を備えていてもよい。このような場合、前記格納手
段から取り出された撮像画像が前記ディスプレイ・スク
リーン上に表示されたことに応答して、前記接続手段は
前記ユーザ端末と該当するターゲットとの接続を確立す
るようにしてもよい。あるいは、前記格納手段から撮像
画像を取り出された前記ディスプレイ・スクリーン上に
一覧表示し、該一覧表示から１つの撮像画像が選択され
たことに応答して、前記接続手段は前記ユーザ端末と該
当するターゲットとの接続を確立するようにしてもよ
い。

【００５９】また、情報入出力システムは、さらに、接
続関係にあるユーザ端末とターゲット間で所定のデータ
及び／又はコマンドの転送を実現するアプリケーション
手段を備えてもよい。

【００６０】前記アプリケーション手段は、前記接続手
段がターゲットとしてのプロジェクタとの接続関係を持
続している期間中において、ディスプレイ・スクリーン
上に表示されているページを該プロジェクタに対して投
影画像として転送することができる。

【００６１】また、前記ユーザ端末がキーボード又はそ
の他のユーザ入力手段を備えているような場合、前記ア
プリケーション手段は、前記接続手段がターゲットとし
てのコンピュータ・システムとの接続関係を持続してい
る期間中において、前記ユーザ入力手段を介したユーザ
入力を該コンピュータ・システム上におけるユーザ入力
データとして転送することができる。

【００６２】また、前記アプリケーション手段は、前記
接続手段が定期的若しくは不定期的に掲示内容が更新さ
れる掲示データを含むターゲットとの接続関係を持続し
ている期間中において、該ターゲットから掲示データを
取得してディスプレイ・スクリーン上に表示することが
できる。

【００６３】また、前記アプリケーション手段は、前記
接続手段がターゲットとしてアラーム機能を有する機器
との接続関係を持続している期間中において、該ターゲ
ットからのアラームの通知を受け取って、前記ユーザ端
末上でアラームを実行することができる。

【００６４】また、前記アプリケーション手段は、前記
接続手段がターゲットとしてビデオ予約機能を有するビ
デオ録画再生装置との接続関係を持続している期間中に
おいて、前記ユーザ端末上で入力されたビデオ予約情報
を該ターゲットに送信することができる。

【００６５】また、前記アプリケーション手段は、前記
接続手段が遠隔的な制御が可能なターゲットとの接続関
係を持続している期間中において、該ターゲットを制御
するための操作画面をディスプレイ・スクリーン上に表
示するとともに、該操作画面上でのユーザ操作を該ター
ゲットに送信することができる。

【００６６】また、本発明の第３の側面は、ユーザの使
用に供されるユーザ端末と、前記ユーザ端末とはデータ
転送可能な形式で接続され且つ可視的な識別情報を含ん
だ１以上のターゲットと、前記可視的な識別情報を撮像
する撮像手段とで構成される情報空間において、ユーザ
の入出力を処理するための情報入出力方法であって、
（ａ）前記撮像手段が撮像した識別情報を基に、ターゲ
ットを識別するステップと、（ｂ）前記識別手段により
識別されたターゲットと前記ユーザ端末との接続を確立
するステップと、を具備することを特徴とする情報入出
力方法である。

【００６７】情報空間において、前記ユーザ端末と前記
ターゲットとをネットワーク接続すし、各ターゲットに
対して固有のネットワーク・アドレスを割り振ることが
できる。前記情報空間には各ターゲットに関する識別情
報とネットワーク・アドレスとの対応関係を管理するデ
ータベース手段がさらに装備されていてもよい。このよ
うな場合、前記接続を確立するステップ（ｂ）では、識
別情報に該当するネットワーク・アドレスを前記データ
ベース手段に問い合わせることでターゲットとの接続を
実現することができる。

【００６８】また、情報空間はさらに前記識別情報を含
むターゲットの画像を確認する画像確認手段を備えてい
てもよい。

【００６９】また、前記接続を確立するステップ（ｂ）
では、撮像手段がターゲット若しくはその識別情報を撮
像し続けている期間中は、ターゲットと前記ユーザ端末
との接続関係を持続するようにしてもよい。

【００７０】また、前記接続を確立するステップ（ｂ）
では、前記識別手段により識別されたターゲットがディ
スプレイ・スクリーン上に表示されている期間中は該タ
ーゲットと前記ユーザ端末との接続関係を持続するよう
にしてもよい。あるいは、前記ユーザ端末とターゲット
との接続関係を持続している期間中は、該ターゲットを
撮像した画像をディスプレイ・スクリーン上に維持する
ようにしてもよい。

【００７１】また、前記ユーザ端末は、ディスプレイ・
スクリーンと、前記識別手段によって識別されたターゲ
ットの撮像画像を蓄積する格納手段とを備えていてもよ
い。このような場合、前記格納手段から取り出された撮
像画像が前記ディスプレイ・スクリーン上に表示された
ことに応答して、前記接続を確立するステップ（ｂ）が
起動されて、前記ユーザ端末と該当するターゲットとの
接続を確立するようにしてもよい。

【００７２】あるいは、さらに、（ｃ）前記格納手段か
ら撮像画像を取り出された前記ディスプレイ・スクリー
ン上に一覧表示するステップを備え、該一覧表示から１
つの撮像画像が選択されたことに応答して前記接続を確
立するステップ（ｂ）が起動されて、前記ユーザ端末と
該当するターゲットとの接続を確立するようにしてもよ
い。

【００７３】また、情報入出力方法は、さらに、（ｄ）
接続関係にあるユーザ端末とターゲット間で所定のデー
タ及び／又はコマンドの転送を実現するアプリケーショ
ン・ステップを備えることができる。

【００７４】アプリケーション・ステップ（ｄ）は、タ
ーゲットとしてのプロジェクタとの接続関係を持続して
いる期間中、前記ディスプレイ・スクリーン上に表示さ
れているページを該プロジェクタに対して投影画像とし
て転送することができる。

【００７５】また、アプリケーション・ステップ（ｄ）
は、ターゲットとしてのコンピュータ・システムとの接
続関係を持続している期間中、前記ユーザ入力手段を介
したユーザ入力を該コンピュータ・システム上における
ユーザ入力データとして転送することができる。

【００７６】また、アプリケーション・ステップ（ｄ）
は、定期的若しくは不定期的に掲示内容が更新される掲
示データを含むターゲットとの接続関係を持続している
期間中、該ターゲットから掲示データを取得して前記デ
ィスプレイ・スクリーン上に表示することができる。

【００７７】また、アプリケーション・ステップ（ｄ）
は、ターゲットとしてアラーム機能を有する機器との接
続関係を持続している期間中、該ターゲットからのアラ
ームの通知を受け取って、前記ユーザ端末上でアラーム
を実行することができる。

【００７８】また、アプリケーション・ステップ（ｄ）
は、ターゲットとしてビデオ予約機能を有するビデオ録
画再生装置との接続関係を持続している期間中、前記ユ
ーザ端末上で入力されたビデオ予約情報を該ターゲット
に送信することができる。

【００７９】また、アプリケーション・ステップ（ｄ）
は、遠隔的な制御が可能なターゲットとの接続関係を持
続している期間中、該ターゲットを制御するための操作
画面を前記ディスプレイ・スクリーン上に表示するとと
もに、該操作画面上でのユーザ操作を該ターゲットに送
信することができる。

【００８０】

【作用】本発明は、実空間すなわち所定の作業空間上に
おいてコンピュータとその他の情報機器とを持続的に接
続することができる実世界指向のユーザ・インターフェ
ースを提供するものである。ここで言う持続的な接続と
は、以下に示す特徴を有する。すなわち、

【００８１】（１）双方向のデータ転送が可能である。 （２）操作の瞬間（例えば接続が確立した瞬間）に必ず
しもデータが転送されるとは限らない（データ転送する
必要がない）。 （３）転送したデータを転送元から制御するような、イ
ンタラクティブな操作が可能である。

【００８２】このような持続的な接続が有益である例と
しては、ユーザが作業空間に持ち込んだノートブックＰ
Ｃを、該作業空間に備え付けのコンピュータのキーボー
ド替わりにすることが挙げられる。備え付けコンピュー
タのキー配置が自分のＰＣとは相違する場合などには便
利である。また、他の例として、プリンタなど、限られ
たコンソール・パネルしか持たない機器をメンテナンス
する際のコンソールとして利用することが挙げられる。
さらには、複数のプロジェクタを用いるプレゼンテーシ
ョンにおいて、手許のコンピュータから各プロジェクタ
にスライド・データを転送したり、スライドの切替えな
ど表示制御を行うことに応用することができる。

【００８３】従来の、情報提示やデータ転送を行うため
のインターフェースは、（ａ）赤外線や電波、磁気を受
信するセンサにより、接触又は接近したオブジェクトを
識別する方式を採用するものと、（ｂ）カメラによって
撮像された可視的な識別情報によりオブジェクトを識別
する方式を採用するものとに大別されよう。

【００８４】前者（ａ）の場合、接続が確立した瞬間以
後にもデータの転送が起こり得ることを考慮すると、触
れ続ける以外の状況下で接続を維持することは難しい。

【００８５】これに対し、後者（ｂ）であれば、接続を
確立したときの撮像画像を静止画などで残しておくこと
により、接続を持続させることができる。また、過去に
接続したオブジェクトを選択する場合にも、接続確立時
の画像を取り出すことによって、新たなオブジェクトに
接続する場合と同様に、見た目すなわち実物の映像によ
ってオブジェクトを選択することができる。

【００８６】本発明は、ノートブックＰＣなどのコンピ
ュータがカメラを通して見ているオブジェクト（若しく
は過去に見た）オブジェクトとの接続を確立する実世界
指向インターフェースを提供する。このインターフェー
スは、「見たものと接続する」というメタファを有する
が、本発明者等はこれを”ｇａｚｅ−ｌｉｎｋ”メタフ
ァと読んでいる。

【００８７】図１には、”ｇａｚｅ−ｌｉｎｋ”メタフ
ァによるオペレーションを模式的に図解している。同図
に示すように、携帯型コンピュータに標準装備されたカ
メラによって、例えばビデオ録画再生装置の前面のコン
トロール・パネルを見ると、撮像されたコントロール・
パネルがコンピュータ・ディスプレイ上に表示すること
によって、コンピュータとビデオ録画再生装置の間で接
続が確立され、該接続状態はコントロール・パネルが表
示されている期間中は持続される。

【００８８】このような接続状態では、双方向のデータ
転送やインタラクティブな操作が可能である。ビデオ録
画再生装置はコンピュータによって識別されており、撮
像されたコントロール・パネルに相当する機能をディス
プレイ上で呼び出すことができる。より具体的には、デ
ィスプレイ・スクリーン上に表示されたコントロール・
パネル上の記録、再生、停止、一時停止、早送り、巻戻
しなどの各操作ボタンを用いて、実際のコントロール・
パネル上におけると同様のユーザ操作を行うことができ
る。ユーザは、ディスプレイ上の表示内容だけを頼っ
て、機器をリモート・コントロールすることもできる訳
である。

【００８９】”ｇａｚｅ−ｌｉｎｋ”メタファは、Ｎａ
ｖｉＣａｍ（前述）で用いられる「見たものの情報を引
き出す」というメタファの拡張として位置付けることも
できる。「見たものの情報を引き出す」メタファは、文
献［１３］では「虫眼鏡メタファ」と呼ばれている。
「虫眼鏡メタファ」では、「見ている」対象から固定さ
れた情報を引き出すだけであった。これに対して、本発
明に係る”ｇａｚｅ−ｌｉｎｋ”メタファでは、双方向
の自由なデータ転送が可能である。

【００９０】双方向であることと、転送データが固定的
でないことを除けば、”ｇａｚｅ−ｌｉｎｋ”メタファ
細かな単発のデータの転送が何度も繰り返されると見做
すこともできる。これに対し、文献［４］では、固定さ
れていない情報を双方向で転送することができるシステ
ムについて提案している（前述）。しかしながら、該文
献に記載されているシステムでは、あくまで一塊のデー
タを単発的に転送するものであり、データの交換を細か
く何度も行うものではない。

【００９１】そもそも人間が「見る」という動作は、接
続の概念と親和性が高い。例えば、多人数の間で会話を
行う場合、ある瞬間に話をしている者同士がお互いを
「見て」いるのはごく自然な振舞いである。遠隔地との
通信の場合であっても、音声だけの通信よりも、相手が
「見えて」いる方が臨場感を増す。勿論、単に接続先を
確認するだけであっても、「見えて」いることがより好
ましい。

【００９２】「見えている」という概念は、実世界に存
在する物理オブジェクトを直接に見る以外にも拡張する
ことができる。例えば、前述したように、「見た」オブ
ジェクトの静止画を記録しておき（例えば、コンピュー
タのローカル・ディスクに保存しておき）、後に、オブ
ジェクトが「見える」場所にいなくなったとしても、そ
の静止画を選択する（すなわち、ローカル・ディスクか
ら取り出す）ことによって、現実に「見ている」ときと
同じようにオブジェクトとの接続を確立することが可能
である。

【００９３】また、「見ている」ものがさらにビデオ映
像であり、間接的に「見て」接続するというメタファも
可能である。例えば、図２に示すように、テレビ会議な
どの状況で、映像越しの遠隔地のディスプレイに接続
し、操作するというようなことも同じメタファで実現す
ることができる。さらには、リアルタイムの姿ではな
い、写真越しの接続を行うことも可能である。

【００９４】一方、本発明に係る”ｇａｚｅ−ｌｉｎ
ｋ”メタファを「接続する」という概念を活かした応用
例としては、ある電話機を「見て」おく（すなわち電話
の撮像画像の表示をコンピュータ・ディスプレイ上に残
しておく）ことにより、その電話機に掛かってきた電話
を自分の居場所すなわち自席のコンピュータまで転送す
ることができる。

【００９５】例えば、”ＡｃｔｉｖｅＢａｄｇｅ”^[14]
を用いて、個人に掛かってきた電話をその人の居場所へ
転送するシステムも開発させている。これに対し、本発
明に係る”ｇａｚｅ−ｌｉｎｋ”メタファを用いれば、
一時的に転送先を変更するなどの指定を簡単に行うこと
ができる。また、ファクシミリ装置を「見て」おくこと
により、ファックス受信を知らせたり、電動湯沸し器を
「見て」おくことにより、お湯が沸いた、あるいはお湯
がなくなったなどのイベントを通知させることも可能で
ある（但し、電動湯沸し器をネットワーク経由で監視可
能であることを前提とする。詳しくは、後述の”Ｐｏｔ
ｂｉｆｆ”を参照されたい）。

【００９６】接続状態が持続されていれば、インタラク
ションも可能である。したがって、「見て」いるオブジ
ェクトを制御するという一種の万能リモコンを実現する
ことも可能である。ビデオ画像上でＧＵＩ（Ｇｒａｐｈ
ｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の直接的な
操作手法を用いて、「見て」いる機器を制御する、とい
うアプリケーションも考えられる。

【００９７】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００９８】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００９９】図３には、本発明に係る実世界指向インタ
ーフェース、すなわち”ｇａｚｅ−ｌｉｎｋ”メタファ
を提供することができる、コンピュータライズされたシ
ステム１００の構成を模式的に示している。同図に示す
ように、”ｇａｚｅ−ｌｉｎｋ”メタファのためのシス
テム１００は、１以上のユーザ端末１０と、ユーザ端末
の接続対象となる１以上の機器すなわちターゲット５０
で構成される。図３には、説明の便宜上、ユーザ端末１
０及びターゲット５０を各１台ずつしか描いていない
が、実際には、ネットワーク７０が敷設された単一の作
業空間上に多数のユーザ端末及びターゲットが存在する
こともある点を理解されたい。

【０１００】システム１００上で稼動する実世界指向イ
ンターフェースは、ユーザ端末とターゲット間におい
て、「見る」ことによって接続するというメタファを与
える。該メタファの実現と並行して（若しくはそのバッ
クグラウンドで）データやコマンドの交換を行うため
に、ユーザ端末１０とターゲット５０の間は、ＬＡＮ
（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネッ
トワーク７０経由で相互接続されている。但し、ユーザ
端末１０とターゲット５０は、相互接続が可能であれば
充分であり、同じ室内など至近距離に設置されている必
要はない。例えば、ネットワーク接続された他の部屋、
他のフロア、他の建物など、直接「見る」ことができな
いリモート環境にそれぞれ設置されていてもよい。

【０１０１】なお、本発明を実現する上で、ネットワー
ク・プロトコルは特に限定されない。例えば、ＬＡＮは
Ｅｔｈｅｒｎｅｔ（有線及び無線を含む）やＢｌｕｅＴ
ｏｏｔｈ^[1]であってもよい。

【０１０２】ユーザ端末１０は、ターゲット５０を「見
る」ことにより接続するという実世界指向インターフェ
ースを提供するコンピュータ・システムである。本発明
を実現する上で、コンピュータのシステム・アーキテク
チャは特に限定されない。ユーザ端末１０は、例えば、
米ＩＢＭ社のＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐ
ｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）
互換機又はその後継機であり、ＯＡＤＧ（Ｏｐｅｎ Ａ
ｒｃｈｉｔｅｃｔｕｒｅ Ｄｅｖｅｌｏｐｅｒｓ Ｇｒ
ｏｕｐ）仕様に準拠する。但し、ターゲット５０との相
互接続を実現するために、ネットワーク・インターフェ
ース・カード（ＮＩＣ）などを装備する必要がある。

【０１０３】本実施例では、オブジェクトを「見る」と
は、実世界上の物理オブジェクトをカメラで撮像する
（さらには、撮像したオブジェクトを認識・識別する）
ことに相当し、また、「見る」ことによって接続するこ
とは、オブジェクトの撮像画像をコンピュータ・ディス
プレイ上に表示することによって接続状態を表すことに
相当する。

【０１０４】ユーザ端末１０は、「見た」すなわち撮像
したターゲット５０と接続を確立する前提として、ター
ゲット５０を認識する必要がある。このため、本実施例
では、全てのターゲット５０は、視覚的に識別可能なＩ
Ｄコードのようなビジュアル・マーカーをその表面に含
んでいるものとする。ＩＤコードの一例は、サイバーコ
ード^/*/のような２次元マトリックス状のバーコードで
ある。ターゲット５０は、ネットワーク接続可能な情報
機器や情報家電であれば足り、特に限定されない。例え
ば、ビデオ録画再生装置や電気湯沸し器、プロジェクタ
などでよい。

【０１０５】また、ユーザ端末１０は、オブジェクトを
「見る」ためには、撮像手段としてのカメラを装備しな
ければならない。但し、カメラの装備形態は、内蔵方式
（図４を参照のこと）、若しくは、外付け方式（図５を
参照のこと）のいずれであっても構わない。前者のユー
ザ端末１０の一例は、ソニー（株）製のカメラ一体型の
ノートブック・コンピュータ”Ｓｏｎｙ ＶＡＩＯ−Ｃ
１Ｒ”である。また、後者の場合、シリアル（ＲＳ−２
３２Ｃ）・ポートやＩＥＥＥ１３９４（ｉ−Ｌｉｎｋ）
ポートなどを用いて、外付けカメラをユーザ端末１０に
ケーブル接続することができる。あるいはカメラを無線
で接続してもよい。

【０１０６】さらには、ユーザ端末１０は、Ｅｔｈｅｒ
ｎｅｔ（有線及び無線を含む）やＢｌｕｅＴｏｏｔｈ
^[1]のようなネットワーク、電話線などを介して遠隔地
に設置されたカメラを利用してもよい（図６を参照のこ
と）。あるいは、カメラを装備せず、ユーザ端末１０の
ローカル・ディスクに予め格納されたターゲットの静止
画を取り出してディスプレイ上に表示することで、「見
て」いるすなわち接続状態を表してもよい。

【０１０７】図３に示すように、ユーザ端末１０は、ア
プリケーション部１１と、接続部１２と、データベース
部１３とで構成される。

【０１０８】アプリケーション部１１は、以下の各モジ
ュールで構成される。

【０１０９】（１）ターゲット５０を撮像した画像中に
あるＩＤコードを基に、ターゲットのＩＤを認識・識別
するモジュール。 （２）認識・識別されたターゲット５０を「見た」とき
のスナップショットをディスプレイ・スクリーン上で保
持して、これをポインティング・デバイスでクリックす
ることによって選択を行うモジュール。 （３）選択されたターゲット、若しくは、「見て」いる
ターゲットとのデータ交換を行うモジュール。

【０１１０】データベース部１３は、ターゲット５０の
ＩＤとそのネットワーク・アドレスとの変換を行なうモ
ジュールである。アプリケーション部１１は、ターゲッ
ト５０の撮像画像中のＩＤコードを基にそのＩＤを識別
すると、データベース部１３に対してＩＤを問い合わせ
る。これに対し、データベース部１３からはＩＤに該当
するネットワーク・アドレスが戻される。さらに、アプ
リケーション部１１は、接続部１２に対してネットワー
ク・アドレスを指定して、所望のターゲット５０との接
続を確立することができる。

【０１１１】ターゲットのＩＤとネットワーク・アドレ
スの対応関係を記述したデータベース全体を単一のユー
ザ端末１０上で管理してもよい。あるいは、他のユーザ
端末１０との間でデータベースを共有しなければならな
い場合や、ネットワーク７０上に多数のターゲットが存
在してデータベースのサイズが膨大である場合などに
は、ネットワーク７０上の専用のデータベース・サーバ
３０にデータベース管理の一部又は全部を委譲してもよ
い。このような場合、ユーザ端末５０は、データベース
・サーバ３０に対してターゲット５０のＩＤを問い合わ
せ、これに対して、データベース・サーバ３０からはタ
ーゲット５０のネットワーク・アドレスが戻される。

【０１１２】ユーザ端末１０、ターゲット５０、データ
ベース・サーバ３０など、ネットワーク７０上の各機器
間では、例えばＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏ
ｎＣｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅ
ｔ Ｐｒｏｔｏｃｏｌ）プロトコルに従ってメッセージ
交換を行うことができる。画像などのサイズが比較的大
きなデータを転送しなければならない場合には、ファイ
ル共有の機能を利用してもよい。また、アプリケーショ
ンやサーバなどの機能モジュールをＪａｖａプログラミ
ング言語（Ｊａｖａは、米サン・マイクロシステムズ社
が開発した、オブジェクト指向プログラミング言語であ
る）で記述することができる。

【０１１３】図７には、アプリケーション部１１が提供
する画面表示の一例を示している。

【０１１４】この画面中央の領域はアプリケーション本
体が用いる領域である。

【０１１５】また、画面の左上方の表示ブロックは、現
在のカメラが撮像している映像である。また、同左下方
の表示ブロックは、現在の接続先の表示である。現在の
接続先は、現在「見て」いる、すなわちカメラが現在撮
像しているターゲット機器、あるいは、カメラ以外の手
段によって選択されたターゲット機器である。同図に示
す例では、現在カメラが捕捉しているディスプレイ・モ
ニタが接続先として表示されている。接続先のターゲッ
トが名前を持つ場合には、ウィンドウ・フレームの下端
縁（例えばステータス・バー）に名前を表示するように
してもよい。

【０１１６】また、画面の右端には接続先リストが表示
されている。接続先リストには、今までに「見た」すな
わち接続されたことのある各ターゲット機器に関するカ
メラ映像（静止画）をボタン化して、時系列に従って並
べられている。接続先リスト中の所望のボタンを選択
（クリック）することによって、該当するターゲット機
器との接続手続を呼び出すことができる。

【０１１７】図８には、接続部１２において行われる、
ターゲット５０との接続処理手順の一例を、フローチャ
ートの形式で示している。同図に示す手順は、同時にた
だ１つのターゲットしか接続できない場合の例である。
以下、このフローチャートの各ステップについて説明す
る。

【０１１８】初期状態では、接続対象がない状態で待機
している（ステップＳ１１）。

【０１１９】カメラがターゲットを撮像すると、アプリ
ケーション部１１は、カメラ画像を取得して（ステップ
Ｓ１２）、所定の認識・識別処理を実行して、そのカメ
ラ画像内にサイバーコードのようなＩＤコードが存在す
るか否かを判断する（ステップＳ１３）。

【０１２０】カメラ画像内にＩＤコードが存在する場合
には、アプリケーション部１１は、さらに、識別された
ＩＤコードが現在接続中のターゲットと同じＩＤコード
か否かを判別する（ステップＳ１４）。ＩＤコードが一
致する場合には、接続対象を切り替える必要がないの
で、ステップＳ１２に戻って上記と同様の処理を繰り返
し実行する。

【０１２１】ステップＳ１４において、新たに認識され
たＩＤコードが現在の接続対象とは異なると判断された
場合には、さらに現在接続中のターゲットが存在するか
否かを判断する（ステップＳ１５）。接続中のターゲッ
トが存在する場合には、その接続状態を一旦解除してか
ら（ステップＳ１６）、次ステップＳ１７に進む。

【０１２２】ステップＳ１７では、カメラ画像内にある
のは過去に認識したことのあるＩＤコードか否かを判別
する。過去に認識したことのあるＩＤコードであれば、
これとペアになっている画像を、ローカル・ディスクな
どから呼び出してディスプレイ上に表示する（ステップ
Ｓ１８）。また、過去に認識したことのないＩＤコード
であれば、ＩＤコードと現在のカメラ画像とをペアにし
て、過去に見たものすなわち「接続先リスト」の中に追
加する（ステップＳ１９）。そして、ステップＳ２０で
は、ＩＤコードとペアとなった画像をディスプレイ上に
表示する。

【０１２３】次いで、ステップＳ２１では、データベー
ス・サーバ３０に問い合わせて、ＩＤコードに対応する
ターゲットのネットワーク・アドレスを取得する。そし
て、ステップＳ２２では、取得されたネットワーク・ア
ドレスを用いて、該当するターゲットとの間で接続状態
を形成する。

【０１２４】”Ｇａｚｅ−ｌｉｎｋ”メタファを導入し
た場合、ターゲットと接続するためには、ユーザは、タ
ーゲットをカメラで撮像するだけでよいという点を理解
されたい。ユーザ端末１０内では、カメラの撮像画像を
基にして、ターゲットに添付されたＩＤコードを認識
し、ＩＤコードに対応するネットワーク・アドレスが自
動的に読み出されるからである。

【０１２５】上記のステップＳ１３において、カメラ画
像内にＩＤコードが存在しないと判断された場合には、
ステップＳ２５に進み、過去に見たリストすなわち「接
続先リスト」の中からユーザが画像を選んだか否かを判
断する。

【０１２６】ユーザが接続先リストから画像を選んだ場
合には、ステップＳ２６に進んで、現在ユーザ端末に接
続されているターゲットがあるか否かを判断する。接続
中のターゲットがない場合には、選択された画像とペア
になっているＩＤコードを呼び出してから（ステップＳ
２７）、ステップＳ２１に進み、接続先リスト中から選
択された画像に該当するターゲットと接続を確立するた
めの処理を行う（同上）。

【０１２７】また、ステップＳ２６において、現在接続
中のターゲットがあると判定された場合には、さらにス
テップＳ２８に進み、選んだ画像に対応するＩＤコード
が接続中のターゲットのそれと一致するか否かを判断す
る。一致する場合には、接続状態を維持するだけでよい
ので、ステップＳ１２に戻って上記と同様の処理を繰り
返し実行する。他方、一致しない場合には、接続中のタ
ーゲットとの接続を一旦解除してから（ステップＳ２
９）、ステップＳ２７に進み、接続先リスト中から選択
された画像に該当するターゲットと接続を確立するため
の処理を行う（同上）。

【０１２８】また、ステップＳ２５において、ユーザが
接続先リストの中から画像を選ばない場合には、ステッ
プＳ３０に進み、現在ユーザ端末に接続しているターゲ
ットがあるか否かを判断する。

【０１２９】接続中のターゲットがない場合には、ステ
ップＳ１２に戻って上記と同様の処理を繰り返し実行す
る。

【０１３０】接続中のターゲットがある場合には、ステ
ップＳ３１に進み、ユーザが接続解除を選択したか否か
を判定する。接続解除を選択しない場合にはそのままス
テップＳ１２に復帰し、接続解除を選択した場合には、
ステップＳ３２にて接続を一旦解除してからステップＳ
１２に復帰して、上述と同様の処理を繰り返し実行す
る。

【０１３１】また、図９には、接続部１２において行わ
れる、ターゲット５０との接続処理手順の他の例を、フ
ローチャートの形式で示している。同図に示す手順は、
同時に複数のターゲットと接続することができる場合の
例である。以下、このフローチャートの各ステップにつ
いて説明する。

【０１３２】初期状態では、接続対象がない状態で待機
している（ステップＳ４１）。

【０１３３】カメラがターゲットを撮像すると、アプリ
ケーション部１１は、カメラ画像を取得して（ステップ
Ｓ４２）、所定の認識・識別処理を実行して、そのカメ
ラ画像内にサイバーコードのようなＩＤコードが存在す
るか否かを判断する（ステップＳ４３）。

【０１３４】カメラ画像内にＩＤコードが存在する場合
には、アプリケーション部１１は、さらに、識別された
ＩＤコードが現在接続中のターゲットと同じＩＤコード
か否かを判別する（ステップＳ４４）。ＩＤコードが一
致する場合には、接続対象を切替える必要がないので、
ステップＳ４２に戻って上記と同様の処理を繰り返し実
行する。

【０１３５】ステップＳ４４において、新たに認識され
たＩＤコードが現在の接続対象とは異なると判断された
場合には、さらに、ステップＳ４５において、カメラ画
像内にあるのは過去に認識したことのあるＩＤコードか
否かを判別する。過去に認識したことのあるＩＤコード
であれば、これとペアになっている画像を、ローカル・
ディスクなどから呼び出してディスプレイ上に表示する
（ステップＳ４６）。また、過去に認識したことのない
ＩＤコードであれば、ＩＤコードと現在のカメラ画像と
をペアにして、過去に見たものすなわち「接続先リス
ト」の中に追加する（ステップＳ４７）。そして、ステ
ップＳ４８では、ＩＤコードとペアとなった画像をディ
スプレイ上に表示する。

【０１３６】次いで、ステップＳ４９では、データベー
ス・サーバ３０に問い合わせて、ＩＤコードに対応する
ターゲットのネットワーク・アドレスを取得する。そし
て、ステップＳ５０では、取得されたネットワーク・ア
ドレスを用いて、該当するターゲットとの間で接続状態
を形成する。

【０１３７】”Ｇａｚｅ−ｌｉｎｋ”メタファを導入す
ることにより、ターゲットと接続するためには、ユーザ
は、ターゲットをカメラで撮像するだけでよいという点
を理解されたい。ユーザ端末１０内では、カメラの撮像
画像を基にして、ターゲットに添付されたＩＤコードを
認識し、ＩＤコードに対応するネットワーク・アドレス
が自動的に読み出されるからである。

【０１３８】上記のステップＳ４３において、カメラ画
像内にＩＤコードが存在しないと判断された場合には、
ステップＳ５１に進み、過去に見たリストすなわち「接
続先リスト」の中からユーザが画像を選んだか否かを判
断する。

【０１３９】ユーザが接続先リストから画像を選んだ場
合には、ステップＳ５２に進んで、現在接続されている
ターゲットがあるか否かを判断する。接続中のターゲッ
トがない場合には、選択された画像とペアになっている
ＩＤコードを呼び出してから（ステップＳ５３）、ステ
ップＳ４９に進み、接続先リスト中から選択された画像
に該当するターゲットと接続を確立するための処理を行
う（同上）。

【０１４０】また、ステップＳ５２において、現在接続
中のターゲットがあると判定された場合には、さらにス
テップＳ５４に進み、選んだ画像に対応するＩＤコード
が接続中のターゲットのそれと一致するか否かを判断す
る。一致する場合には、接続状態を維持するだけでよい
ので、ステップＳ４２に戻って上記と同様の処理を繰り
返し実行する。他方、一致しない場合には、ステップＳ
５３に進み、接続先リスト中から選択された画像に該当
するターゲットと接続を確立するための処理を行う（同
上）。

【０１４１】また、ステップＳ５１において、ユーザが
接続先リストの中から画像を選ばない場合には、ステッ
プＳ５５に進み、現在ユーザ端末に接続しているターゲ
ットがあるか否かを判断する。

【０１４２】接続中のターゲットがない場合には、ステ
ップＳ４２に戻って上記と同様の処理を繰り返し実行す
る。

【０１４３】接続中のターゲットがある場合には、ステ
ップＳ５６に進み、ユーザが接続解除を選択したか否か
を判定する。接続解除を選択しない場合にはそのままス
テップＳ４２に復帰し、接続解除を選択した場合には、
ステップＳ５７にて接続を一旦解除してからステップＳ
４２に復帰して、上述と同様の処理を繰り返し実行す
る。

【０１４４】上述したように、図８に示したフローチャ
ートのステップＳ２１、及び、図９に示したフローチャ
ートのステップＳ４９では、データベース部１３若しく
はデータベース・サーバ３０は、ターゲットが持つＩＤ
コードに関する問い合わせを受け、これに対して該当す
るネットワーク・アドレスを返すようになっている。以
下では、データベース・サーバ３０による問い合わせ応
答処理について説明する。

【０１４５】図１０には、問い合わせ応答処理手順の一
例をフローチャートの形式で図解している。同図に示す
例では、データベース部１３若しくはデータベース・サ
ーバ３０は、問い合わされたＩＤコードに該当するエン
トリを持たない場合には、ネットワーク上の所在が分か
っている他のデータベース・サーバに対してクライアン
ト・サーバ形式で問い合わせるようになっている。以
下、このフローチャートの各ステップについて説明す
る。

【０１４６】接続部１２や、他のデータベース・サーバ
などからＩＤコードの問い合わせを受けると（ステップ
Ｓ６１）、自分自身がローカルにデータベースを所有し
ているか否かを判断する（ステップＳ６２）。

【０１４７】データベースをローカルに所有している場
合、これを参照して（ステップＳ６３）、入力されたＩ
Ｄコードに該当するエントリがローカルのデータベース
中に存在するか否かを判断する（ステップＳ６４）。

【０１４８】ローカルなデータベース中に該当エントリ
がある場合には、ネットワーク・アドレスを取り出し
て、要求元に返す（ステップＳ６５）。その後、ステッ
プＳ６１に復帰して、次の問い合わせにそなえる。

【０１４９】ステップＳ６２において、データベース・
サーバ自身がローカルにデータベースを持たない場合に
は、他に問い合わせることができるデータベース・サー
バがネットワーク上に存在するか否かを判断する（ステ
ップＳ６６）。

【０１５０】ネットワーク上に他のデータベース・サー
バが見つかれば、ＩＤコードの問い合わせを転送して
（ステップＳ６７）、ネットワーク・アドレスを戻り値
として受け取る（ステップＳ６８）。

【０１５１】他のデータベース・サーバからのネットワ
ーク・アドレスの取得に成功した場合には（ステップＳ
６９）、ステップＳ６５に進み、要求元の接続部等に対
してネットワーク・アドレスを返す。また、ネットワー
ク・アドレスの取得に失敗した場合には、要求元の接続
部等に対してネットワーク・アドレスが不明である旨の
通知を返す（ステップＳ７０）。

【０１５２】また、ステップＳ６４において、データベ
ース・サーバ自身のローカルなデータベース上には問い
合わされたＩＤコードに該当するエントリがない場合に
も、他に問い合わせることができるデータベース・サー
バがネットワーク上に存在するか否かを判断する（ステ
ップＳ６６）。

【０１５３】ネットワーク上に他のデータベース・サー
バが見つかれば、ＩＤコードの問い合わせを転送して
（ステップＳ６７）、ネットワーク・アドレスを戻り値
として受け取る（ステップＳ６８）。

【０１５４】他のデータベース・サーバからのネットワ
ーク・アドレスの取得に成功した場合には（ステップＳ
６９）、ステップＳ６５に進み、要求元の接続部等に対
してネットワーク・アドレスを返す。また、ネットワー
ク・アドレスの取得に失敗した場合には、要求元の接続
部等に対してネットワーク・アドレスが不明である旨の
通知を返す（ステップＳ７０）。

【０１５５】図１１には、問い合わせ応答処理手順の他
の例をフローチャートの形式で図解している。同図に示
す例では、データベース部１３若しくはデータベース・
サーバ３０は、問い合わされたＩＤコードに該当するエ
ントリを持たない場合には、ネットワーク上の所在が分
からない他のデータベース・サーバに対してブロードキ
ャスト形式で問い合わせるようになっている。以下、こ
のフローチャートの各ステップについて説明する。

【０１５６】接続部１２や、他のデータベース・サーバ
などからＩＤコードの問い合わせを受けると（ステップ
Ｓ８１）、自分自身がローカルにデータベースを所有し
ているか否かを判断する（ステップＳ８２）。

【０１５７】データベースをローカルに所有している場
合、これを参照して（ステップＳ８３）、入力されたＩ
Ｄコードに該当するエントリがローカルのデータベース
中に存在するか否かを判断する（ステップＳ８４）。

【０１５８】ローカルなデータベース中に該当エントリ
がある場合には、ネットワーク・アドレスを取り出し
て、要求元に返す（ステップＳ８５）。その後、ステッ
プＳ８１に復帰して、次の問い合わせにそなえる。

【０１５９】ステップＳ８２において、データベース・
サーバ自身がローカルにデータベースを持たない場合に
は、ネットワーク上にＩＤコードの問い合わせをブロー
ドキャストする（ステップＳ８６）。

【０１６０】ブロードキャストした結果、他のデータベ
ース・サーバからネットワーク・アドレスが成功裡に返
された場合には（ステップＳ８７）、ステップＳ８５に
進み、要求元の接続部等に対してネットワーク・アドレ
スを返す。また、ネットワーク・アドレスの取得に失敗
した場合には、要求元の接続部等に対してネットワーク
・アドレスが不明である旨の通知を返す（ステップＳ８
８）。

【０１６１】また、ステップＳ８４において、データベ
ース・サーバ自身のローカルなデータベース上には問い
合わされたＩＤコードに該当するエントリがない場合に
も、ネットワーク上にＩＤコードの問い合わせをブロー
ドキャストとする（ステップＳ８６）。

【０１６２】ブロードキャストした結果、他のデータベ
ース・サーバからネットワーク・アドレスが成功裡に返
された場合には（ステップＳ８７）、ステップＳ８５に
進み、要求元の接続部等に対してネットワーク・アドレ
スを返す。また、ネットワーク・アドレスの取得に失敗
した場合には、要求元の接続部等に対してネットワーク
・アドレスが不明である旨の通知を返す（ステップＳ８
８）。

【０１６３】以下では、”ｇａｚｅ−ｌｉｎｋ”メタフ
ァを実現するシステム１００において提供されるアプリ
ケーションについて説明する。

【０１６４】（１）プレゼンテーション・ツール ”ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション
・ツールに応用することによって、ユーザ端末内に格納
されたスライドを、ディスプレイやプロジェクタなどの
１以上のターゲットに振り分けることができる（図１２
を参照のこと）。

【０１６５】ディスプレイやプロジェクタに転送したス
ライドも、そのまま手許のユーザ端末上で操作する（例
えば、列挙された項目を一つ一つ見せる、あるいは、動
画データを一時停止するなど）ことができる。

【０１６６】図１３には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファをプレゼンテーション・ツールに応用した処理を行
う手順をフローチャートの形式で図解している。以下、
このフローチャートの各ステップについて説明する。

【０１６７】本処理手順は、ユーザ端末１０上でスライ
ド・ページを表示するプレゼンテーションの実行中に行
われる。

【０１６８】ユーザが別のスライド・ページを要求した
ときには（ステップＳ１０１）、新しいスライド・ペー
ジをユーザ端末１０上に表示し（ステップＳ１０２）、
要求しない場合には元のスライド・ページのままとす
る。

【０１６９】ステップＳ１０３では、現在、ユーザ端末
１０に対して接続先のターゲットがあるか否かを接続部
１２に問い合わせる。接続先がない場合には、ステップ
Ｓ１０１に戻って上記と同様の処理を繰り返し実行す
る。

【０１７０】接続先がある場合には、該接続先のターゲ
ットがプロジェクタその他スライド・ページを表示可能
な装置であるか否かを判断する（ステップＳ１０４）。
スライド・ページを表示不能な装置であれば、ステップ
Ｓ１０１に戻って上記と同様の処理を繰り返し実行す
る。

【０１７１】接続先のターゲットがプロジェクタやその
他のスライド・ページを表示可能な装置であれば、ユー
ザ端末１０のユーザが現在のスライド・ページを該プロ
ジェクトに転送することを要求したことに応答して（ス
テップＳ１０６）、該スライド・ページを該プロジェク
タに転送する（ステップＳ１０７）。スライド・ページ
の転送要求は、例えば「ハイパードラッグ」（前述）な
どを用いることで、現存するＧＵＩ操作を実空間上に拡
張して、直感的に指示することもできる。また、スライ
ド・ページ等のデータ転送は、ネットワーク７０経由で
行われる。データ転送終了後は、ステップＳ１０１に戻
って上記と同様の処理を繰り返し実行する。

【０１７２】また、ユーザ端末１０のユーザが、現在接
続中のプロジェクタに表示されているスライド・ページ
を該ユーザ端末１０上でも表示することを要求した場合
には（ステップＳ１０８）、接続先のプロジェクタに対
して表示中のスライド・ページを問い合わせ（ステップ
Ｓ１０９）、該ページの表示を実現する（ステップＳ１
１０）。ページ表示のためのデータ転送はネットワーク
７０経由で自動的に行われる。また、スライド・ページ
の表示を終えた後は、ステップＳ１０１に戻って上記と
同様の処理を繰り返し実行する。

【０１７３】また、ユーザがスライド・ページ内で操作
を行ったとき（ステップＳ１１１）、接続先のプロジェ
クタも同じスライド・ページを表示している場合には
（ステップＳ１１２）、該ページ内の操作に関する情報
をプロジェクタに転送する（ステップＳ１１３）。この
結果、プロジェクタの投影スクリーン上でも、ユーザ端
末１０上と同じ操作が表示される。その後、ステップＳ
１０１に戻って上記と同様の処理を繰り返し実行する。

【０１７４】（２）キーボード ある限られた狭い空間内に複数のコンピュータが混在す
るような場合、複数のキーボードやディスプレイの対応
関係が錯綜するという事態は、多くの人が経験すること
であろう。あるディスプレイ・スクリーンのコマンド・
ライン上にキー入力しても、該当するキーボードが判ら
ず、ケーブルの接続先を確認するなど煩雑な作業を強い
られてしまう。

【０１７５】また、共有のコンピュータを使うときや、
他人のコンピュータをちょっと借用するような場合、キ
ー配置や日本語入力ソフト（かな漢字変換等のＦＥＰ
（Ｆｒｏｎｔ Ｅｎｄ Ｐｒｏｃｅｓｓｏｒ））等が自
分のコンピュータとは相違するために、苦労するという
ことも珍しくないであろう。

【０１７６】”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボ
ードに応用することによって、「見た」（すなわちカメ
ラで撮像することによって接続された）コンピュータの
キーボードとなることが可能となる。

【０１７７】例えば接続先となるコンピュータのウィン
ドウ・システムのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐ
ｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を使っ
て、全てのアプリケーションの入力を行うことも可能で
ある。

【０１７８】また、エコーバックも表示させるようにす
れば、ターゲットとして「見た」コンピュータのｔｅｌ
ｎｅｔ端末になる、というメタファが提供される。これ
は、普段はコンソールを必要としないサーバ・マシンや
組み込み型コンピュータでの作業や、限られたコンソー
ルしか持たない機器（例えばプリンタ）のメンテナンス
作業などにおいて、極めて有効である。

【０１７９】図１４には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファをキーボードに応用した様子を描写している。同図
に示すように、ユーザがあるコンピュータを「見る」
（すなわちカメラの撮像画像を介して識別する）と、こ
れに応答して、ユーザ端末に備え付けられたキーボード
は、このリモートのコンピュータのキーボードとして振
る舞うことができる。ユーザ端末のキーボードを、リモ
ート・コンピュータにキーボード・ポートなどに直接接
続する必要は全くない。

【０１８０】また、同図に示すように、ユーザ端末のデ
ィスプレイ・スクリーン上に、キー入力された各キャラ
クタが「見て」いるターゲットすなわちコンピュータの
設置場所に向かって飛んでいくようなアニメーションを
表示してもよい。このような演出は、接続されているタ
ーゲットと、ターゲットと接続状態にあるということ
を、ユーザに対して明確に提示することができるという
効果がある。

【０１８１】図１５には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファを遠隔的なコンピュータのためのキーボードに応用
した処理を行う手順をフローチャートの形式で図解して
いる。以下、このフローチャートの各ステップについて
説明する。

【０１８２】ステップＳ１２１及びＳ１２２では、ユー
ザ端末がターゲットに接続されるまで待機する。

【０１８３】ターゲットを「見る」、すなわちユーザ端
末がターゲットに接続されると、次いで、このターゲッ
トがキー入力を受け付けることができる装置か否かを判
断する（ステップＳ１２３）。判断結果が否定的であれ
ば、ステップＳ１２１に戻って、再び他のターゲットに
接続されるまで待機する。

【０１８４】キー入力を受け付けるターゲット、例えば
遠隔のコンピュータとの接続が果たされると、ユーザが
ユーザ端末上でキー入力を行う度に（ステップＳ１２
４）、逐次入力されたキャラクタが接続先のターゲット
に転送される（ステップＳ１２５）。

【０１８５】ステップＳ１２６では、接続先のターゲッ
トが変更されていないか否かを、接続部１２に対して問
い合わせる。既に述べたように、ユーザが「見て」いる
先を変えるだけで、接続先は容易に切り替わる。

【０１８６】接続先のターゲット変更してないと判断さ
れた場合には（ステップＳ１２７）、ステップＳ１２４
に戻り、ユーザ端末上でのキー入力と、入力されたキャ
ラクタのターゲットへの転送とを、繰り返し実行する。

【０１８７】他方、接続先のターゲットが変更してしま
った場合には（ステップＳ１２７）、現在接続されてい
るターゲットが存在するか否かを判断する（ステップＳ
１２８）。

【０１８８】いずれのターゲットとも接続されていない
ならば、ステップＳ１２１に戻って、次にターゲットと
接続されるまで待機する。

【０１８９】また、接続先のターゲットが存在する場合
には、接続先を切り替えて（ステップＳ１２９）、ステ
ップＳ１２４に戻り、ユーザ端末上でのキー入力を新た
な接続先のターゲットに送信する。

【０１９０】（３）案内板・掲示板（ブレティンボー
ド） 例えば、大きな学会などが開催される際には、現在どの
部屋でどのセッションが行われているかなどの情報を知
らせる案内板や掲示板が設置される。このような情報
が、コンピュータ・ネットワークなどを介して電子的に
もアクセスできるようになっていれば、いちいち案内板
のある場所まで見に行く必要がない。しかし、例えば
「建物の入り口にある案内板」の内容を知るために、そ
れをＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）のページ
から辿って探索するのでは手間がかかり過ぎる。

【０１９１】”Ｇａｚｅ−ｌｉｎｋ”メタファを案内板
や掲示板などのＢｕｌｌｅｔｉｎｅｂｏａｒｄに応用す
ることによって、ユーザは、物理的な案内板や掲示板を
１度だけ「見て」おけば、その後ユーザ端末上でその静
止画像を呼び出すだけで案内板等との接続を確立して、
常に最新の掲示内容を把握することができる。

【０１９２】各トピックが規則的な周期で入れ替わるよ
うな該当のニュースボードなどの場合に、特定のトピッ
クが表示されている瞬間を「見て」おくことにより、そ
のトピックのニュースのみを見ることができるようにす
ることも可能である。

【０１９３】興味のあるアイテムだけを選択的に「見
て」集めることで、実世界での行動によるインターネッ
ト・スクラップ^[15]の構築のようなことも可能である。

【０１９４】図１６には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファをＢｕｌｌｅｔｉｎｂｏａｒｄに応用した処理を行
う手順をフローチャートの形式で図解している。以下、
このフローチャートの各ステップについて説明する。

【０１９５】ステップＳ１３１及びＳ１３２では、ユー
ザ端末がターゲットに接続されるまで待機する。

【０１９６】ターゲットを「見る」、すなわちユーザ端
末がターゲットに接続されると、次いで、このターゲッ
トがＢｕｌｌｅｔｉｎｂｏａｒｄのようなすなわち掲示
データを含んだ装置か否かを判断する（ステップＳ１３
３）。判断結果が否定的であれば、ステップＳ１３１に
戻って、再び他のターゲットに接続されるまで待機す
る。

【０１９７】Ｂｕｌｌｅｔｉｎｅｂｏａｒｄへの接続が
果たされると、接続先に対して最新の掲示データを要求
する（ステップＳ１３４）。そして、接続先から掲示デ
ータを受け取ると、これをユーザ端末のディスプレイ・
スクリーン上に表示する（ステップＳ１３５）。

【０１９８】さらに、ステップＳ１３６では、他の接続
先があるかどうかを、接続部１２経由で問い合わせる。

【０１９９】他に接続先がなければ（ステップＳ１３
７）、ステップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉ
ｎｂｏａｒｄとの接続が確立するまで待機する。

【０２００】他に接続先がある場合には（ステップＳ１
３７）、該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒｄすな
わち掲示データを含んだ装置か否かを判断する（ステッ
プＳ１３８）。該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒ
ｄであれば、ステップＳ１３４に進んで、掲示データの
取得とディスプレイ・スクリーンへの表示を実行する。
また、Ｂｕｌｌｅｔｉｎｅｂｏａｒｄでなければ、ステ
ップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉｎｂｏａｒ
ｄとの接続が確立するまで待機する。

【０２０１】（４）Ｇａｚｅ−ｌｉｎｋのその他の応用 ”Ｇａｚｅ−ｌｉｎｋ”メタファによれば、カメラを備
え付けた携帯型コンピュータを用いて、カメラで見てい
るものとの接続を確立するという実世界指向インターフ
ェースを実現することができる、ということは既に述べ
た通りである。

【０２０２】例えば、”ｇａｚｅ−ｌｉｎｋ”メタファ
をオフィス内あるいは家庭内などの日常の住空間に採り
入れることにより、ユーザ端末を各種の情報機器、情報
家電機器などに接続し且つ接続状態を維持することがで
きる。この結果、「見る」というだけで、ファクシミリ
装置等のＯＡ機器や、冷蔵庫や電動湯沸し器（ポット）
などの情報家電とユーザ端末とを接続し、これらの機器
上での状態の変化を常に監視し、さらにはコマンド操作
を行うことができる。

【０２０３】”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家
電への応用例の１つはＰｏｔｂｉｆｆである。

【０２０４】図１７には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファを電動湯沸し器に応用した”Ｐｏｔｂｉｆｆ”が動
作する様子を描写している。

【０２０５】同図に示すように、ユーザが「見た」電動
湯沸し器の静止画像がユーザ端末のディスプレイ・スク
リーン上に表示されることで、ユーザ端末と電動湯沸し
器との接続が確立される。また、該静止画像がスクリー
ン上に表示されている期間中は、両者間の接続状態が持
続であることを意味する。このような接続状態では、ユ
ーザ端末側からは、電動湯沸し器でお湯が沸いたときの
通知を受け取ったり、お湯の残量の監視などを行うこと
が可能である。

【０２０６】オフィスなどで、お茶やコーヒーを入れる
ための電動湯沸し器がある場合、必ずしも各人の席から
見える場所に設置されているとは限らない。このため、
お茶を入れに行ってみたらお湯を沸かしている最中であ
ったり、お湯が残っていなかったりすることがしばしば
ある。Ｐｏｔｂｉｆｆによれば、あらかじめ電動湯沸し
器を「見て」、ユーザ端末との接続状態を維持しておく
ことによって、お湯が沸いたときに通知を受け取ること
や、お湯の残量の確認を自分の席すなわち遠隔的に監視
することが可能となる。

【０２０７】勿論、電動湯沸し器以外の情報家電に対し
ても、”ｇａｚｅ−ｌｉｎｋ”メタファを導入すること
は可能である。例えば、洗濯機や電子レンジのアラーム
音を大きくすることなく、離れた場所からも洗濯や料理
の温めの終了を検出することができる。コイン・ランド
リの洗濯機などには、Ｐｏｔｂｉｆｆは特に有効であ
る。

【０２０８】図１８には、Ｐｏｔｂｉｆｆを行うための
処理手順をフローチャートの形式で示している。以下、
このフローチャートの各ステップについて説明する。

【０２０９】ステップＳ１４１及びＳ１４２では、ユー
ザ端末がターゲットに接続されるまで待機する。

【０２１０】ターゲットを「見る」、すなわちユーザ端
末がターゲットに接続されると、次いで、このターゲッ
トがアラームを発する装置（例えば、お湯の沸騰に応答
してアラームを発する電動湯沸し器）であるか否かを判
断する（ステップＳ１４３）。判断結果が否定的であれ
ば、ステップＳ１４１に戻って、再び他のターゲットに
接続されるまで待機する。

【０２１１】アラームを発する装置への接続が果たされ
ると、接続状態をそのまま保持して（ステップＳ１４
４）、該装置に対する監視を行う。そして、該装置上で
アラームが発されたことを検出すると（ステップＳ１４
５）、ユーザ端末上でもアラームを発するとともに、ア
ラームの内容（例えば、「お湯が沸いた」など）を表示
する（ステップＳ１４６）。

【０２１２】また、”Ｇａｚｅ−ｌｉｎｋ”メタファの
情報家電への他の応用例はビデオ予約である。

【０２１３】最近では、テレビ・チューナとハード・デ
ィスク・レコーディング機能を備えたＰＣを用いて、Ｗ
ＷＷ上のテレビ番組表をクリックすることによって録画
予約を行うシステムも登場している^[16]。この情報と、
シリアル回線（例えばｉ−ｌｉｎｋ）などで制御可能な
ビデオ録画再生装置とを組み合わせて、ビデオ録画再生
装置を見ながらＷＷＷページ表示画面上の所望のテレビ
番組アンカーをクリックすることによって、録画予約を
行うことができる。

【０２１４】図１９には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファを用いてビデオ予約を行うための処理手順をフロー
チャートの形式で示している。ユーザ端末とビデオ録画
再生装置との間は、例えば、ＢｌｕｅＴｏｏｔｈ^[1]の
ようなネットワークで接続したり、あるいは、ＲＳ（Ｒ
ｅｃｏｍｍｅｎｄｅｄ Ｓｔａｎｄａｒｄ）−２３２Ｃ
やｉ−Ｌｉｎｋのようなシリアル・ケーブルでローカル
接続されており、データやコマンドの転送が可能となっ
ているものとする。以下、このフローチャートの各ステ
ップについて説明する。

【０２１５】ステップＳ１５１及びＳ１５２では、ユー
ザ端末がターゲットに接続されるまで待機する。

【０２１６】ターゲットを「見る」、すなわちユーザ端
末がターゲットに接続されると、次いで、このターゲッ
トがビデオ録画再生装置であるか否かを判断する（ステ
ップＳ１５３）。判断結果が否定的であれば、ステップ
Ｓ１５１に戻って、再び他のターゲットに接続されるま
で待機する。

【０２１７】ビデオ録画再生装置への接続が果たされる
と、ユーザ端末上でビデオの録画予約情報に関するユー
ザ入力があったか否かを判断する（ステップＳ１５
４）。ユーザ入力があれば、接続先のビデオ録画再生装
置に対して該予約情報を送信する（ステップＳ１５
５）。

【０２１８】ステップＳ１５６では、接続先のターゲッ
トが変更されていないか否かを、接続部１２に対して問
い合わせる。既に述べたように、ユーザが「見て」いる
先を変えるだけで、接続先は容易に切り替わる。

【０２１９】接続先のターゲット変更してないと判断さ
れた場合には（ステップＳ１５７）、ステップＳ１５４
に戻り、ユーザ端末上での録画予約情報の入力と、予約
情報のビデオ録画再生装置への送信とを、繰り返し実行
する。

【０２２０】他方、接続先のターゲットが変更してしま
った場合には（ステップＳ１５７）、現在接続されてい
るターゲットが存在するか否かを判断する（ステップＳ
１５８）。

【０２２１】いずれのターゲットとも接続されていない
ならば、ステップＳ１５１に戻って、次にターゲットと
接続されるまで待機する。

【０２２２】また、接続先のターゲットが存在する場合
には、接続先を切り替えて（ステップＳ１５９）、ステ
ップＳ１５４に戻り、ユーザ端末上での録画予約情報の
入力と、予約情報のビデオ録画再生装置への送信とを、
繰り返し実行する。

【０２２３】また、”Ｇａｚｅ−ｌｉｎｋ”メタファの
情報家電への他の応用例は「万能リモコン」若しくは
「遠隔メンテナンス」と呼ばれるものである。すなわ
ち、”ｇａｚｅ−ｌｉｎｋ”メタファを用いることによ
り、「見て」いるものを制御することができる。

【０２２４】ターゲットを「見る」ことによって、ユー
ザ端末はあらゆるターゲットに接続することができ、タ
ーゲットに対する制御その他の操作を行うことが可能と
なり、「万能リモコン」となる。また、必ずしも至近距
離から「見る」必要はなく、遠くから「見る」ことによ
ってもターゲットとの接続が確立される。さらに、ター
ゲットを直接「見て」いる必要はなく、過去に見たター
ゲットの静止画を呼び出すことによっても、ターゲット
との接続が確立される。この意味において、「遠隔メン
テナンス」が実現される。

【０２２５】図２０には、”ｇａｚｅ−ｌｉｎｋ”メタ
ファを用いて遠隔メンテナンスを行うための処理手順を
フローチャートの形式で示している。以下、このフロー
チャートの各ステップについて説明する。

【０２２６】ステップＳ１６１及びＳ１６２では、ユー
ザ端末がターゲットに接続されるまで待機する。

【０２２７】ターゲットを「見る」、すなわちユーザ端
末がターゲットに接続されると、次いで、このターゲッ
トが遠隔操作可能な装置であるか否かを判断する（ステ
ップＳ１６３）。判断結果が否定的であれば、ステップ
Ｓ１６１に戻って、再び他のターゲットに接続されるま
で待機する。

【０２２８】遠隔可能なターゲットへの接続が果たされ
ると、該ターゲットへの制御・操作用の画面をユーザ端
末のディスプレイ上に表示する（ステップＳ１６４）。
例えば、遠隔可能なターゲットがビデオ録画再生装置で
あれば、再生、記録、早送り、巻戻し、一時停止などの
主要な機能ボタンを含んだＧＵＩ画面をディスプレイ上
に表示する。あるいは、この代替として、ビデオ録画再
生装置の正面のコントロール・パネルを撮像した画像そ
のものの上に各操作ボタンをアイコン化してＧＵＩ画面
に組み込んでもよい。後者の場合、ユーザは、現実のビ
デオ録画再生装置と同じ操作様式に従って、ビデオ録画
再生装置を自然な感覚でリモート・コントロールするこ
とができる。

【０２２９】ユーザがユーザ端末のディスプレイ上で入
力すなわち機能ボタンの操作を行うと（ステップＳ１６
５）、該操作に相当する制御情報が接続先のターゲット
に転送される（ステップＳ１６６）。

【０２３０】ステップＳ１６７では、接続先のターゲッ
トが変更されていないか否かを、接続部１２に対して問
い合わせる。既に述べたように、ユーザが「見て」いる
先を変えるだけで、接続先は容易に切り替わる。

【０２３１】接続先のターゲット変更してないと判断さ
れた場合には（ステップＳ１６８）、ステップＳ１６５
に戻り、ユーザ端末のディスプレイ上での機能ボタンの
操作と、該操作に相当する制御情報のターゲットへの転
送とを、繰り返し実行する。

【０２３２】他方、接続先のターゲットが変更してしま
った場合には（ステップＳ１６８）、現在接続されてい
るターゲットが存在するか否かを判断する（ステップＳ
１６９）。

【０２３３】いずれのターゲットとも接続されていない
ならば、ステップＳ１６１に戻って、次にターゲットと
接続されるまで待機する。

【０２３４】また、接続先のターゲットが存在する場合
には、接続先を切り替えて（ステップＳ１７０）、ステ
ップＳ１６５に戻り、ユーザ端末のディスプレイ上での
機能ボタンの操作と、該操作に相当する制御情報のター
ゲットへの転送とを、繰り返し実行する。

【０２３５】カメラの撮像越しの操作も可能であること
を応用して、家庭電化製品が故障したときなどに、製造
元又は販売元のサポート・センタからビデオ映像越しに
「見て」製品に接続することによって、故障に関する情
報を転送することも可能である。また、簡単な設定の変
更等によって故障原因を解除することもできるであろ
う。

【０２３６】《注釈》 ＊：サイバーコードとは、２次元バーコードの一種であ
り、図２４に示すように、サイバーコードの所在を表す
ための「ガイド・バー表示領域」と、２次元状のコード
・パターンを表示する「コード・パターン表示領域」と
で構成される。コード・パターン表示領域内は、ｎ×ｍ
マトリックス（同図では７×７）に配列されたセルで構
成され、各セルを白又は黒の２値表現することで識別情
報を付与することができる。但し、コード・パターン表
示領域の４隅のコーナー・セルは、識別情報としてでは
なく位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）パターン
として常に黒パターンとなっている。サイバーコードに
よれば、印刷されたパターンの配列の組み合わせによっ
て２²⁴個のオブジェクトを識別することができる。サイ
バーコードの認識手順は、撮像画像を２値化するステッ
プと、２値画像中からガイド・バーの候補を発見するス
テップと、ガイド・バーの位置や方向に基づいてコーナ
ー・セルを探索するステップと、ガイド・バー及びコー
ナー・セルを検出したことに応答して画像ビットマップ
・パターンを復号化するステップとに大別される。さら
に、エラービットの検査を行うことで、撮像画像中に正
しいサイバー・コードが含まれていることを確認して、
該コードの識別情報や位置情報を導出することができ
る。また、コーナー・セルの位置に基づいて、カメラや
オブジェクトの傾きによって生じる歪みを算出して補償
することができる。サイバーコードの詳細については、
例えば、本出願人に既に譲渡されている特願平１０−１
８４３５０号明細書（「画像処理装置および方法、並び
に提供媒体」）にも開示されている。

【０２３７】《参考文献》 ［１］：ｈｔｔｐ：／／ｗｗｗ．ｂｌｕｅｔｏｏｔｈ．
ｃｏｍ ［２］：Ｊ．Ｒｅｋｉｍｏｔｏ． Ｐｉｃｋ−ａｎｄ−
Ｄｒｏｐ： Ａ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉ
ｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ
Ｃｏｍｐｕｔｅｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉ
ｎ ＵＩＳＴ ’９７， ｐｐ．３１−３９， Ｏｃｔ
ｏｂｅｒ １９９７． ［３］： Ｂ． Ｕｌｌｍａｅｒ， Ｈ， Ｉｓｈｉ
ｉ， ａｎｄ Ｄ． Ｇｌａｓ． ＭｅｄｉａＢｌｏｃ
ｋｓ： Ｐｈｙｓｉｃａｌ Ｃｏｎｔａｉｎｅｒｓ，
Ｔｒａｎｓｐｏｒｔｓ， ａｎｄ Ｃｏｎｔｒｏｌｓ
ｆｏｒ Ｏｎｌｉｎｅ Ｍｅｄｉａ． Ｉｎ ＳＩＧＧ
ＲＡＰＨ ’９８ Ｐｒｏｃｅｅｄｉｎｇｓ， ｐｐ．
３７９−３８６， １９９８． ［４］：Ｊ．Ｒｅｋｉｍｏｔｏ ａｎｄ Ｍ． Ｓａｉ
ｔｏｈ． Ａｕｇｍｅｎｔｅｄ Ｓｕｒｆａｃｅ： Ａ
Ｓｐａｔｉａｌｌｙ ＣｏｎｔｉｎｕｏｕｓＷｏｒｋ
ｓｐａｃｅ ｆｏｒ Ｈｙｂｒｉｄ Ｃｏｍｐｕｔｉｎ
ｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ Ｐｒｏｃｅｓ
ｓｉｎｇ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃ
ｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ Ｃｏｍ
ｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ．３７８−３８
５． ＡＣＭ， Ｍａｙ １９９９． ［５］： Ｇ． Ｗ． Ｆｉｔｚｍａｕｒｉｃｅ，
Ｓ． Ｚｈａｉ， ａｎｄＭ． Ｈ． Ｃｈｉｇｎｅｌ
ｌ． Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｆｏｒｐａｌ
ｍｔｏｐ ｃｏｍｐｕｔｅｒｓ． ＡＣＭ Ｔｒａｎ
ｓｃｃａｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ
Ｓｙｓｔｅｍｓ， Ｖｏｌ． １１，Ｎｏ．３， ｐ
ｐ． １９７−２１８， Ｊｕｌｙ １９９３． ［６］：Ｊ． Ｒｅｋｉｍｏｔｏ ａｎｄ Ｋ． Ｎａ
ｇａｏ． Ｔｈｅ ｗｏｒｌｄ ｔｈｒｏｕｇｈ ｔｈ
ｅ ｃｏｍｐｕｔｅｒ： Ｃｏｍｐｕｔｅｒ ａｕｇｍ
ｅｎｔｅｄ ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ ｒｅ
ａｌ ｗｏｒｌｄｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ
ＵＳＩＴ ’９５， ｐｐ． ２９−３６， Ｎｏｖｅ
ｍｂｅｒ １９９５． ［７］：Ｓ． Ｌｏｎｇ， Ｄ． Ａｕｓｔ， Ｇ．
Ａｂｏｗｄ， ａｎｄＣ． Ａｔｋｅｓｏｎ． Ｃｙｂ
ｅｒｇｕｉｄｅ： Ｐｒｏｔｏｔｙｐｉｎｇｃｏｎｔｅ
ｘｔ−ａｗａｒｅ ｍｏｂｉｌｅ ａｐｐｌｉｃａｔｉ
ｏｎｓ．ＩｎＣＨＩ’９６ Ｃｏｎｆｅｒｅｎｃｅ Ｃ
ｏｍｐａｎｉｏｎ， ｐｐ． ２９３−２９４， １９
９６． ［８］：綾塚祐二， 暦本純一， 松岡聡．Ｕｂｉｑｕ
ｉｔｏｕｓＬｉｎｋｓ：実世界環境に埋め込まれたハイ
パーメディアリンク． 情報処理学会研究会報告（９６
−ＨＩ−６７），ｐｐ． ２３−３０， Ｊｕｌｙ １
９９６． ［９］：Ｒ． Ｗａｎｔ， Ｋ． Ｐ． Ｆｉｓｈｋｉ
ｎ， Ａ． Ｇｕｊａｒ， ａｎｄ Ｂ． Ｌ． Ｈａ
ｒｒｉｓｏｎ． Ｂｒｉｄｇｉｎｇ Ｐｈｙｓｉｃａｌ
ａｎｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ ｗｉｔｈ Ｅ
ｌｅｃｔｒｏｎｉｃ Ｔａｇｓ． Ｉｎ Ｐｒｏｃｅｅ
ｄｉｎｇｓ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎ
ｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏ
ｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ． ３７０−
３７７． ＡＣＭ， Ｍａｙ １９９９． ［１０］：神武直彦， 暦本純一， 安西祐一郎．現実
世界での情報移動を支援する ＩｎｆｏＳｐｕｉｔ．
インタラクティブシステムとソフトウェアＶ（ＷＩＳＳ
‘９７），ｐｐ． ４９−５６．日本ソフトウェア科学
会，近代科学社，Ｄｅｃｅｍｂｅｒ １９９７． ［１１］：坂根裕， 柳沢豊， 塚本昌彦， 西尾章治
郎． カメラ画像を利用した拡張デスクトップ環境．
Ｉｎ ＳＰＡ’９８ （ＵＲＬ： ｈｔｔｐ：／／ｗｗ
ｗ．ｂｒｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｏｃ／ｓｐａ９８
／ｐｒｏｃｅｅｄｉｎｇｓ／ｉｎｄｅｘ．ｈｔｍｌ） ［１２］：Ｊ． Ｒｅｋｉｍｏｔｏ， Ｙ． Ａｙａｔ
ｓｕｋａ， ａｎｄ Ｋ． Ｈａｙａｓｈｉ． Ａｕｇ
ｍｅｎｔａｂｌｅ ｒｅａｌｉｔｙ： Ｓｉｔｕａｔｅ
ｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｈｒｏｕｇｈ ｄ
ｉｇｉｔａｌ ａｎｄ ｐｈｙｓｉｃａｌ ｓｐａｃｅ
ｓ．Ｉｎ ＩＳＷＣ ’９８， Ｏｃｔｏｂｅｒ １９
９８． ［１３］：暦本純一．簡易性とスケーラビリティを考慮
した拡張現実感システムの提案．インタラクティブシス
テムとソフトウェアＩＩＩ（ＷＩＳＳ‘９５），ｐｐ．
４９−５６．日本ソフトウェア科学会，近代科学社，Ｎ
ｏｖｅｍｂｅｒ１９９５ ［１４］：Ｒ． Ｗａｎｔ， Ａ． Ｈｏｐｐｅｒ，
Ｖ． Ｆａｌｃａｏ，ａｎｄ Ｊ．Ｇｉｂｂｏｎｓ．
Ｔｈｅ ａｃｔｉｖｅ ｂａｄｇｅ ｌｏｃａｔｉｏｎ
ｓｙｓｔｅｍ． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ
ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，
Ｖｏｌ． １０， Ｎｏ． １， ｐｐ． ９１−１０
２， Ｊａｎｕａｒｙ １９９２． ［１５］：Ａ． Ｓｕｇｉｕｒａ ａｎｄ Ｙ． Ｋｏ
ｓｅｋｉ． Ｉｎｔｅｒｎｅｔ Ｓｃｒａｐｂｏｏｋ：
Ａｕｔｏｍａｔｉｎｇ Ｗｅｂ Ｂｒｏｗｓｉｎｇ
Ｔａｓｋｓ ｂｙ Ｄｅｍｏｎｓｔｒａｔｉｏｎ． Ｉ
ｎ ＵＳＩＴ’９８， ｐｐ． ９−１８， Ｎｏｖｅ
ｎｂｅｒ １９９８． ［１６］：ｈｔｔｐ：／／ｗｗｗ．ｖａｉｏ．ｓｏｎ
ｙ．ｃｏ．ｊｐ／Ｓｔｙｌｅ／Ｇｕｉｄｅ／Ｇｉｇａｐ
ｏｃｋｅｔ／ｉｎｄｅｘ．ｈｔｍｌ

【０２３８】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【０２３９】

【発明の効果】以上詳記したように、本発明によれば、
情報空間内の各機器に対する操作をユーザのコンピュー
タ上で統合的に且つ直感的で分かり易く行うことができ
る、優れたユーザ・インターフェース環境を提供するこ
とができる。

【０２４０】また、本発明によれば、情報空間内の各機
器をコンピュータ・ディスプレイ上で直感的で分かり易
く制御若しくは操作することができる、優れたユーザ・
インターフェース環境を提供することができる。

【０２４１】また、本発明によれば、情報空間内に配設
された各機器とコンピュータとを持続的に接続すること
ができる、優れたユーザ・インターフェース環境を提供
することができる。

【０２４２】また、本発明によれば、情報空間内に配設
された各機器とコンピュータとを持続的に接続し、且
つ、接続状態をコンピュータ・ディスプレイ上で視認す
ることができる、優れたユーザ・インターフェース環境
を提供することができる。

【０２４３】また、本発明によれば、情報空間内に配設
された各機器とコンピュータとを持続的に接続して、且
つ、機器との間でコマンドやデータの交換を持続的に可
能にすることができる、優れたユーザ・インターフェー
ス環境を提供することができる。

【０２４４】本発明によれば、カメラを備え付けた携帯
型コンピュータを用いて、カメラで見ているものとの接
続を確立するという、”ｇａｚｅ−ｌｉｎｋ”メタファ
を提供することができる。例えば、接続の対象となり得
るものに「サイバーコード」（前述）のようなＩＤコー
ドを貼設しておこくとにより、カメラの撮像画像を基に
対象物を認識して、接続を確立することができる。

【０２４５】本発明によれば、従来の実世界指向インタ
ーフェースで扱われていた逐次的なデータ転送に対して
接続の「持続」という概念を導入することができる。こ
の結果、オフィス内あるいは家庭内などにおいて多くの
機器が相互接続されたネットワーク環境下において、”
ｇａｚｅ−ｌｉｎｋ”メタファを用いて、ユーザは各機
器の名前（ＩＤ）やネットワーク・アドレスを気にする
ことなく、操作の対象を直感的に又は直接的に指定する
ことができる。すなわち、ネットワーク上の各機器に対
して名前を付ける、把握するといった煩わしい作業から
ユーザを解放することができる。

【０２４６】また、「見る」という動作は、必ずしも直
接オブジェクトを見る必要はなく、ビデオや写真などを
通して間接的に見ることにより、遠隔地のオブジェクト
に対しても実世界指向的なインターフェース操作を行う
ことができる。さらに、カメラの撮像画像をコンピュー
タ内に保存しておくことにより、過去に「見て」接続し
たものの中から画像を選び出して、再び接続することが
できる。さらに、対象物そのものではなく画像を用いて
いるので、テレビ会議などの環境下であっても、遠隔地
の端末に対してテレビ映像越しで接続することができ
る。

【図面の簡単な説明】

【図１】”Ｇａｚｅ−ｌｉｎｋ”メタファによるオペレ
ーションを模式的に示した図である。

【図２】「見ている」のがさらに映像であり、間接的に
「見て」接続するというメタファを図解したものであ
り、より具体的には、テレビ会議などの状況で、映像越
しの遠隔地のディスプレイに接続し、操作するというメ
タファを描写した図である。

【図３】本発明に係る実世界指向インターフェース、す
なわち”ｇａｚｅ−ｌｉｎｋ”メタファを提供すること
ができる、コンピューティング・システムの構成を模式
的に示した図である。

【図４】ユーザ端末１０がカメラを装備する一形態を図
解したものであり、より具体的には、カメラ一体型のユ
ーザ端末１０を示した図である。

【図５】ユーザ端末１０がカメラを装備する一形態を図
解したものであり、より具体的には、カメラをユーザ端
末１０にケーブル接続した様子を示した図である。

【図６】ユーザ端末１０がカメラを装備する一形態を図
解したものであり、より具体的には、ネットワークや電
話線を用いて遠隔地に設置されたカメラをユーザ端末１
０に装備した様子を示した図である。

【図７】アプリケーション部１１が提供する画面表示の
一例を示した図である。

【図８】接続部１２において行われる、ターゲット５０
との接続処理手順の一例を示したフローチャートであ
り、より具体的には、同時にただ１つのターゲットしか
接続できない場合の処理手順を示したフローチャートで
ある。

【図９】接続部１２において行われる、ターゲット５０
との接続処理手順の他の例を示したフローチャートであ
り、より具体的には、同時に複数のターゲットと接続す
ることができる場合の処理手順を示したフローチャート
である。

【図１０】問い合わせ応答処理手順の一例を示したフロ
ーチャートである。

【図１１】問い合わせ応答処理手順の他の例を示したフ
ローチャートである。

【図１２】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼン
テーション・ツールに応用した様子を示した図であり、
より具体的には、ユーザ端末内に格納されたスライド
を、ディスプレイやプロジェクタなどの１以上のターゲ
ットに振り分ける様子を描写した図である。

【図１３】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼン
テーション・ツールに応用した処理手順を示したフロー
チャートである。

【図１４】”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボー
ドに応用した様子を示した図であり、より具体的には、
ユーザ端末のキーボードがユーザの「見た」コンピュー
タのキーボードとして振る舞う様子を描写した図であ
る。

【図１５】”Ｇａｚｅ−ｌｉｎｋ”メタファを遠隔的な
コンピュータのためのキーボードに応用した処理を行う
手順を示したフローチャートである。

【図１６】”Ｇａｚｅ−ｌｉｎｋ”メタファをＢｕｌｌ
ｅｔｉｎｂｏａｒｄに応用した処理を行う手順を示した
フローチャートである。

【図１７】”Ｇａｚｅ−ｌｉｎｋ”メタファを情報家電
に応用した様子を示した図であり、より具体的には、電
動湯沸し器の沸いたときの通知やお湯の残量の確認など
をユーザ端末のディスプレイ・スクリーン上で監視する
様子を描写した図である。

【図１８】”Ｇａｚｅ−ｌｉｎｋ”メタファを電動湯沸
し器に応用して、Ｐｏｔｂｉｆｆを行うための処理手順
を示したフローチャートである。

【図１９】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いてビ
デオ予約を行うための処理手順を示したフローチャート
である。

【図２０】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いて遠
隔メンテナンスを行うための処理手順をフローチャート
の形式で示した図である。

【図２１】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明する
ための図であり、より具体的には、隣接するノートブッ
ク・コンピュータのディスプレイ・スクリーンの間でＧ
ＵＩ操作が継承され、一方のディスプレイ上のデジタル
・オブジェクトが実空間を越えて他方のディスプレイ上
にドロップされる様子を描写した図である。

【図２２】ハイパードラッグ操作を説明するための図で
あり、より具体的には、コンピュータ・スクリーンの周
縁に到達したマウス・カーソルがコンピュータ・スクリ
ーンからテーブルへと移動する様子を描写した図であ
る。

【図２３】ハイパードラッグ操作を説明するための図で
あり、より具体的には、コンピュータ・スクリーンから
テーブル上に飛び出したデジタル・オブジェクトがさら
にハイパードラッグされて壁面に移動する様子を描写し
た図である。

【図２４】サイバーコードの構造を模式的に示した図で
ある。

【符号の説明】

１０…ユーザ端末 １１…アプリケーション部 １２…接続部 １３…データベース部 ３０…データベース・サーバ ５０…ターゲット ７０…ネットワーク １００…システム

フロントページの続き (72)発明者 暦本 純一 東京都品川区東五反田３丁目14番13号 株 式会社ソニーコンピュータサイエンス研究 所内 Ｆターム(参考） 5B089 GA25 GB01 JB03 KA01 KA02 KA04 KB06 KC22 KC59 KG05 KG07 LB04 LB10 LB14 LB15 5E501 AA04 AC15 AC25 BA03 BA05 CA02 CB02 CB14 EA03 EA13 FA14 FA23 FA43 FA46 5K033 AA09 BA04 CB01 CC04 DA19 EA06 EA07 EC03 5K048 BA03 DC04

Claims (37)

【特許請求の範囲】
1. 【請求項１】ネットワーク経由で１以上のターゲットと
   接続可能な携帯型情報処理端末であって、 前記ターゲットが有する可視的な識別情報を撮像する撮
   像手段と、 前記撮像手段が撮像した識別情報を基に、ターゲットを
   識別する識別手段と、 前記識別手段により識別されたターゲットとの接続を確
   立する接続手段と、を具備することを特徴とする携帯型
   情報処理端末。
2. 【請求項２】前記識別情報を含むターゲットの画像を確
   認する画像確認手段をさらに備えることを特徴とする請
   求項１に記載の携帯型情報処理端末。
3. 【請求項３】ユーザの使用に供されるユーザ端末と、 前記ユーザ端末とはデータ転送可能な形式で接続され、
   且つ、可視的な識別情報を含んだ１以上のターゲット
   と、 前記可視的な識別情報を撮像する撮像手段と、 前記撮像手段が撮像した識別情報を基に、ターゲットを
   識別する識別手段と、 前記識別手段により識別されたターゲットと前記ユーザ
   端末との接続を確立する接続手段と、を具備することを
   特徴とする情報入出力システム。
4. 【請求項４】前記識別情報を含むターゲットの画像を確
   認する画像確認手段をさらに備えることを特徴とする請
   求項３に記載の情報入出力システム。
5. 【請求項５】前記撮像手段は、前記ユーザ端末に一体的
   に装備されていることを特徴とする請求項３に記載の情
   報入出力システム。
6. 【請求項６】前記撮像手段は、前記ユーザ端末にケーブ
   ル接続されていることを特徴とする請求項３に記載の情
   報入出力システム。
7. 【請求項７】前記撮像手段は、前記ユーザ端末にネット
   ワーク接続されていることを特徴とする請求項３に記載
   の情報入出力システム。
8. 【請求項８】前記ユーザ端末と前記ターゲットとはネッ
   トワーク接続され、 前記ターゲットはネットワーク・アドレスを有し、 前記情報入出力システムは各ターゲットに関する識別情
   報とネットワーク・アドレスとの対応関係を管理するデ
   ータベース手段をさらに備え、 前記接続手段は、識別情報に該当するネットワーク・ア
   ドレスを前記データベース手段に問い合わせることでタ
   ーゲットとの接続を実現する、ことを特徴とする請求項
   ３に記載の情報入出力システム。
9. 【請求項９】前記接続手段は、撮像手段がターゲット若
   しくはその識別情報を撮像し続けている期間中は、ター
   ゲットと前記ユーザ端末との接続関係を持続することを
   特徴とする請求項３に記載の情報入出力システム。
10. 【請求項１０】前記ユーザ端末はディスプレイ・スクリ
    ーンを含み、 前記撮像手段の撮像画像を前記ディスプレイ・スクリー
    ン上に表示することを特徴とする請求項３に記載の情報
    入出力システム。
11. 【請求項１１】前記ユーザ端末はディスプレイ・スクリ
    ーンを含み、 前記撮像手段の撮像画像を前記ディスプレイ・スクリー
    ン上に表示し、 前記接続手段は、前記識別手段により識別されたターゲ
    ットがディスプレイ・スクリーン上に表示されている期
    間中は該ターゲットと前記ユーザ端末との接続関係を持
    続する、ことを特徴とする請求項３に記載の情報入出力
    システム。
12. 【請求項１２】前記ユーザ端末はディスプレイ・スクリ
    ーンを含み、 前記撮像手段の撮像画像を前記ディスプレイ・スクリー
    ン上に表示し、 前記接続手段が前記ユーザ端末とターゲットとの接続関
    係を持続している期間中は、該ターゲットを撮像した画
    像を前記ディスプレイ・スクリーン上に維持する、こと
    を特徴とする請求項３に記載の情報入出力システム。
13. 【請求項１３】前記ユーザ端末は、前記識別手段によっ
    て識別されたターゲットの撮像画像を蓄積する格納手段
    を備えることを特徴とする請求項３に記載の情報入出力
    システム。
14. 【請求項１４】前記ユーザ端末は、ディスプレイ・スク
    リーンと、前記識別手段によって識別されたターゲット
    の撮像画像を蓄積する格納手段とを備え、 前記格納手段から取り出された撮像画像が前記ディスプ
    レイ・スクリーン上に表示されたことに応答して、前記
    接続手段は前記ユーザ端末と該当するターゲットとの接
    続を確立する、ことを特徴とする請求項３に記載の情報
    入出力システム。
15. 【請求項１５】前記ユーザ端末は、ディスプレイ・スク
    リーンと、前記識別手段によって識別されたターゲット
    の撮像画像を蓄積する格納手段とを備え、 前記格納手段から撮像画像を取り出された前記ディスプ
    レイ・スクリーン上に一覧表示し、該一覧表示から１つ
    の撮像画像が選択されたことに応答して、前記接続手段
    は前記ユーザ端末と該当するターゲットとの接続を確立
    する、ことを特徴とする請求項３に記載の情報入出力シ
    ステム。
16. 【請求項１６】さらに、接続関係にあるユーザ端末とタ
    ーゲット間で所定のデータ及び／又はコマンドの転送を
    実現するアプリケーション手段を備えることを特徴とす
    る請求項３に記載の情報入出力システム。
17. 【請求項１７】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 前記接続手段がターゲットとしてのプロジェクタとの接
    続関係を持続している期間中、前記アプリケーション手
    段は、前記ディスプレイ・スクリーン上に表示されてい
    るページを該プロジェクタに対して投影画像として転送
    することを特徴とする請求項３に記載の情報入出力シス
    テム。
18. 【請求項１８】前記ユーザ端末は、キーボード又はその
    他のユーザ入力手段を備え、 前記接続手段がターゲットとしてのコンピュータ・シス
    テムとの接続関係を持続している期間中、前記アプリケ
    ーション手段は、前記ユーザ入力手段を介したユーザ入
    力を該コンピュータ・システム上におけるユーザ入力デ
    ータとして転送することを特徴とする請求項３に記載の
    情報入出力システム。
19. 【請求項１９】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 前記接続手段が定期的若しくは不定期的に掲示内容が更
    新される掲示データを含むターゲットとの接続関係を持
    続している期間中、前記アプリケーション手段は、該タ
    ーゲットから掲示データを取得して前記ディスプレイ・
    スクリーン上に表示することを特徴とする請求項３に記
    載の情報入出力システム。
20. 【請求項２０】前記接続手段がターゲットとしてアラー
    ム機能を有する機器との接続関係を持続している期間
    中、前記アプリケーション手段は、該ターゲットからの
    アラームの通知を受け取って、前記ユーザ端末上でアラ
    ームを実行することを特徴とする請求項３に記載の情報
    入出力システム。
21. 【請求項２１】前記接続手段がターゲットとしてビデオ
    予約機能を有するビデオ録画再生装置との接続関係を持
    続している期間中、前記アプリケーション手段は、前記
    ユーザ端末上で入力されたビデオ予約情報を該ターゲッ
    トに送信することを特徴とする請求項３に記載の情報入
    出力システム。
22. 【請求項２２】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 前記接続手段が遠隔的な制御が可能なターゲットとの接
    続関係を持続している期間中、前記アプリケーション手
    段は、該ターゲットを制御するための操作画面を前記デ
    ィスプレイ・スクリーン上に表示するとともに、該操作
    画面上でのユーザ操作を該ターゲットに送信することを
    特徴とする請求項３に記載の情報入出力システム。
23. 【請求項２３】ユーザの使用に供されるユーザ端末と、
    前記ユーザ端末とはデータ転送可能な形式で接続され且
    つ可視的な識別情報を含んだ１以上のターゲットと、前
    記可視的な識別情報を撮像する撮像手段とで構成される
    情報空間において、ユーザの入出力を処理するための情
    報入出力方法であって、（ａ）前記撮像手段が撮像した
    識別情報を基に、ターゲットを識別するステップと、
    （ｂ）前記識別手段により識別されたターゲットと前記
    ユーザ端末との接続を確立するステップと、を具備する
    ことを特徴とする情報入出力方法。
24. 【請求項２４】前記情報空間はさらに前記識別情報を含
    むターゲットの画像を確認する画像確認手段を備えるこ
    とを特徴とする請求項２３に記載の情報入出力方法。
25. 【請求項２５】前記ユーザ端末と前記ターゲットとはネ
    ットワーク接続され、 前記ターゲットはネットワーク・アドレスを有し、 前記情報空間には各ターゲットに関する識別情報とネッ
    トワーク・アドレスとの対応関係を管理するデータベー
    ス手段がさらに装備され、 前記接続を確立するステップ（ｂ）では、識別情報に該
    当するネットワーク・アドレスを前記データベース手段
    に問い合わせることでターゲットとの接続を実現する、
    ことを特徴とする請求項２３に記載の情報入出力方法。
26. 【請求項２６】前記接続を確立するステップ（ｂ）で
    は、撮像手段がターゲット若しくはその識別情報を撮像
    し続けている期間中は、ターゲットと前記ユーザ端末と
    の接続関係を持続することを特徴とする請求項２３に記
    載の情報入出力方法。
27. 【請求項２７】前記ユーザ端末はディスプレイ・スクリ
    ーンを含むとともに、前記撮像手段の撮像画像を前記デ
    ィスプレイ・スクリーン上に表示し、 前記接続を確立するステップ（ｂ）では、前記識別手段
    により識別されたターゲットがディスプレイ・スクリー
    ン上に表示されている期間中は該ターゲットと前記ユー
    ザ端末との接続関係を持続する、ことを特徴とする請求
    項２３に記載の情報入出力方法。
28. 【請求項２８】前記ユーザ端末はディスプレイ・スクリ
    ーンを含むとともに、前記撮像手段の撮像画像を前記デ
    ィスプレイ・スクリーン上に表示し、 前記ユーザ端末とターゲットとの接続関係を持続してい
    る期間中は、該ターゲットを撮像した画像を前記ディス
    プレイ・スクリーン上に維持する、ことを特徴とする請
    求項２３に記載の情報入出力方法。
29. 【請求項２９】前記ユーザ端末は、ディスプレイ・スク
    リーンと、前記識別手段によって識別されたターゲット
    の撮像画像を蓄積する格納手段とを備え、 前記格納手段から取り出された撮像画像が前記ディスプ
    レイ・スクリーン上に表示されたことに応答して、前記
    接続を確立するステップ（ｂ）が起動されて、前記ユー
    ザ端末と該当するターゲットとの接続を確立する、こと
    を特徴とする請求項２３に記載の情報入出力方法。
30. 【請求項３０】前記ユーザ端末は、ディスプレイ・スク
    リーンと、前記識別手段によって識別されたターゲット
    の撮像画像を蓄積する格納手段とを備え、 さらに、（ｃ）前記格納手段から撮像画像を取り出され
    た前記ディスプレイ・スクリーン上に一覧表示するステ
    ップを備え、 該一覧表示から１つの撮像画像が選択されたことに応答
    して前記接続を確立するステップ（ｂ）が起動されて、
    前記ユーザ端末と該当するターゲットとの接続を確立す
    る、ことを特徴とする請求項２３に記載の情報入出力方
    法。
31. 【請求項３１】さらに、（ｄ）接続関係にあるユーザ端
    末とターゲット間で所定のデータ及び／又はコマンドの
    転送を実現するアプリケーション・ステップを備えるこ
    とを特徴とする請求項２３に記載の情報入出力方法。
32. 【請求項３２】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 ターゲットとしてのプロジェクタとの接続関係を持続し
    ている期間中、前記アプリケーション・ステップ（ｄ）
    は、前記ディスプレイ・スクリーン上に表示されている
    ページを該プロジェクタに対して投影画像として転送す
    ることを特徴とする請求項２３に記載の情報入出力方
    法。
33. 【請求項３３】前記ユーザ端末はキーボード又はその他
    のユーザ入力手段を備え、 ターゲットとしてのコンピュータ・システムとの接続関
    係を持続している期間中、前記アプリケーション・ステ
    ップ（ｄ）は、前記ユーザ入力手段を介したユーザ入力
    を該コンピュータ・システム上におけるユーザ入力デー
    タとして転送することを特徴とする請求項２３に記載の
    情報入出力方法。
34. 【請求項３４】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 定期的若しくは不定期的に掲示内容が更新される掲示デ
    ータを含むターゲットとの接続関係を持続している期間
    中、前記アプリケーション・ステップ（ｄ）は、該ター
    ゲットから掲示データを取得して前記ディスプレイ・ス
    クリーン上に表示することを特徴とする請求項２３に記
    載の情報入出力方法。
35. 【請求項３５】ターゲットとしてアラーム機能を有する
    機器との接続関係を持続している期間中、前記アプリケ
    ーション・ステップ（ｄ）は、該ターゲットからのアラ
    ームの通知を受け取って、前記ユーザ端末上でアラーム
    を実行することを特徴とする請求項２３に記載の情報入
    出力方法。
36. 【請求項３６】ターゲットとしてビデオ予約機能を有す
    るビデオ録画再生装置との接続関係を持続している期間
    中、前記アプリケーション・ステップ（ｄ）は、前記ユ
    ーザ端末上で入力されたビデオ予約情報を該ターゲット
    に送信することを特徴とする請求項２３に記載の情報入
    出力方法。
37. 【請求項３７】前記ユーザ端末はディスプレイ・スクリ
    ーンを備え、 遠隔的な制御が可能なターゲットとの接続関係を持続し
    ている期間中、前記アプリケーション・ステップ（ｄ）
    は、該ターゲットを制御するための操作画面を前記ディ
    スプレイ・スクリーン上に表示するとともに、該操作画
    面上でのユーザ操作を該ターゲットに送信することを特
    徴とする請求項２３に記載の情報入出力方法。