JP2008217590A - 情報共有支援システム、情報処理装置及び制御プログラム - Google Patents

Abstract

【課題】 対象物（実物）と文書との対応関係をユーザに対して認識しやすい状態で提供する情報共有支援システム、情報処理装置及び制御プログラムを提供する。
【解決手段】 制御部３０１は、操作部３０３を介して、ビデオカメラにより撮影された、アノテーション３８の一部分であるアノテーション３８ｂを実物ビューウインドウに入力し、アノテーション３８のうちアノテーション３８ｂを除いたアノテーション３８ａをストローク描画レイヤーに入力し、文書を文書画像レイヤーに入力する。そして、制御部３０１は、アノテーション３８ｂをプロジェクタ１０に送信し、プロジェクタ１０によりアノテーション３８ｂが投影された投影領域を撮影した撮影画像をビデオカメラ１１から受信する。表示部３０５は、実物ビューウインドウに撮影画像を割り当て、アノテーション３８ａ及び文書を重ね合わせて表示する。
【選択図】 図６

Description

本発明は、対象物を撮影した実物情報及び文書等の電子情報を統合的に管理する情報共有支援システム、情報処理装置及び制御プログラムに関する。

従来より、対象物の任意の位置を遠隔地から容易かつ正確に指示する技術（例えば、特許文献１参照）、表示部の表示領域に注釈メッセージと議論の焦点を共有するために描画した透明ボードを直接かぶせる技術（例えば、特許文献２参照）、コンピュータ画面へ実物のイメージ画像を表示し、その作業箇所へ印を表示する技術（例えば、特許文献２参照）などが知られている。

上記特許文献１では、複数のＰＣ間で対象物の任意の位置を指示し、その情報は複数のＰＣ間で共有できる。但し、対象物の点（ポインティング）で指示する技術である。上記特許文献２は、いわゆるレイヤー構造を開示し、文書、図形等に書込情報を重ねたりして、複数のＰＣで情報の共有を図る。上記特許文献３は、ＰＣ上で実物のイメージと作業箇所の印の情報を融合している。
特許２００２−３１５０６５号公報 特許平０８−０３６５４６号公報 特許平１０−２６９２９２号公報

しかしながら、上記特許文献１〜３の技術では、実物の撮影画像を表示する第１レイヤーとそれ以外の第２レイヤーとをまたぐように記載されるアノテーションを分離することや、実物及び実物上に投影したアノテーションの一部を撮影し、第１レイヤーに表示することで、第１レイヤー上のアノテーションが透過的に表示され、第１レイヤー上のアノテーションと第２レイヤー上のアノテーションが連続的に表示されることが実現できなかった。

本発明は、かかる点に鑑みてなされたものであり、その目的は、対象物（実物）と文書との対応関係をユーザが容易に認識することができる情報共有支援システム、情報処理装置及び制御プログラムを提供することにある。

上記目的を達成するため、請求項１に記載の情報共有支援システムは、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される第１の情報処理装置と、第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、前記第２の注釈画像を前記投影装置に送信する送信手段と、前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備える第２の情報処理装置とを有することを特徴とする。

請求項２に記載の情報共有支援システムは、請求項１に記載の情報共有支援システムにおいて、前記第１の情報処理装置または前記第２の情報処理装置が、前記第２の注釈画像の座標情報を前記投影装置の投影領域の座標情報に変換する変換手段を備え、前記送信手段は、前記撮影画像上における前記第２の注釈画像の座標情報を前記変換手段に送信し、前記変換手段は、変換された座標情報を前記投影装置に送信することを特徴とする。

請求項３に記載の情報共有支援システムは、請求項１又は２に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記第４の層に描画される文書及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士を注釈画像で連結する連結手段とを備えることを特徴とする。

請求項４に記載の情報共有支援システムは、請求項１乃至３のいずれか１項に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記対象物の属性情報と、前記撮像装置及び前記投影装置の属性情報を取得する取得手段と、前記表示手段に表示されるデータ、前記第２の層の属性情報、前記文書の属性情報、前記対象物の属性情報、並びに前記撮像装置及び前記投影装置の属性情報を関連付けて記憶する記憶手段と、前記第２の層の属性情報、前記文書の属性情報、前記対象物の属性情報、並びに前記撮像装置及び前記投影装置の属性情報のうち、少なくともいずれか１つの属性情報に基づいて前記表示手段に表示されるデータを検索する検索手段とを備えることを特徴とする。

請求項５に記載の情報共有支援システムは、請求項１乃至４のいずれか１項に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記表示手段による第２の層の可視又は不可視を設定する設定手段を備えることを特徴とする。

請求項６に記載の情報共有支援システムは、請求項１乃至５のいずれか１項に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させる一致手段を備え、前記第１の情報処理装置は、前記対象物又は前記投影領域に書き込まれた書込情報を前記第３の注釈画像として検出する検出手段と、当該検出手段で検出された前記第３の注釈画像としての書込情報を前記第２の情報処理装置に出力する出力手段とを備え、前記一致手段により前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させた状態で、前記表示手段は前記書込情報を前記第３の層に表示することを特徴とする。

請求項７に記載の情報共有支援システムは、請求項６に記載の情報共有支援システムにおいて、前記検出手段は、前記撮影装置により撮影された、連続する撮影画像の差分を抽出し、当該抽出結果から前記連続する撮影画像に含まれる第２の注釈画像を除去することにより、前記対象物又は前記投影領域に書き込まれた書込情報を検出することを特徴とする。

請求項８に記載の情報共有支援システムは、請求項１に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させる一致手段を備え、前記一致手段により前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させた状態で、前記送信手段は、前記第３の層に描画された第３の注釈画像及び前記第４の層に描画された文書を前記投影装置に送信することを特徴とする。

請求項９に記載の情報共有支援システムは、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される第１の情報処理装置と、 第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段と、前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段とを備える第２の情報処理装置と有し、前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする。

請求項１０に記載の情報共有支援システムは、請求項９に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記投影装置により前記部分画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備えることを特徴とする。

請求項１１に記載の情報共有支援システムは、請求項９又は１０に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記部分画像及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士が重なりあうように、前記部分画像の位置を補正する補正手段とを備えることを特徴とする。

請求項１２に記載の情報共有支援システムは、請求項９又は１０に記載の情報共有支援システムにおいて、前記第２の情報処理装置は、前記部分画像及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士を注釈画像で連結する連結手段とを備え、前記送信手段は、前記部分画像、当該部分画像の座標情報及び当該注釈画像の座標情報を前記投影装置に送信し、前記投影装置は、前記部分画像及び注釈画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像及び前記注釈画像を投影することを特徴とする。

請求項１３に記載の情報処理装置は、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続される情報処理装置であって、 第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、前記第２の注釈画像を前記投影装置に送信する送信手段と、前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備えることを特徴とする。

請求項１４に記載の情報処理装置は、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続される情報処理装置であって、 第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段と、前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段とを備え、前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする。

請求項１５に記載の制御プログラムは、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続されるコンピュータを、第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段、前記第２の注釈画像を前記投影装置に送信する送信手段、前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段、及び前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段として機能させることを特徴とする。

請求項１６に記載の制御プログラムは、対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続されるコンピュータを、第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段、前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段、及び前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段として機能させ、前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする。

請求項１，１３，１５の発明によれば、第２の層〜第４の層が重ね合わせて表示されるので、第２の情報処理装置のユーザは、対象物と文書とを繋ぐ注釈画像が連続かつ透過的に表示され、対象物と文書との対応関係を容易に認識することができる。

請求項２の発明によれば、第２の注釈画像を、対象物を含む投影領域に正確な位置で投影することができる。

請求項３の発明によれば、表示手段を観るユーザが、撮影画像として表示される実際の対象物と文書との対応関係を容易に判断することができる。

請求項４の発明によれば、各種の属性情報に基づいて表示手段に表示されるデータの検索を実行することができる。

請求項５の発明によれば、第２の層を不可視に設定することができ、第２の情報処理装置のユーザは、撮影画像を表示する第２の層の存在を意識せずに、第２の層に書き込んだ第２の注釈画像を、対象物を含む投影領域に自動的に投影することができる。

請求項６の発明によれば、対象物又は投影領域に書き込まれた書込情報を表示手段の該当箇所に反映することができる。

請求項７の発明によれば、対象物又は投影領域に書き込まれた書込情報を精度良く検出することができる。

請求項８の発明によれば、投影領域と表示手段における表示領域で共通の情報（第３の注釈画像及び文書）を表示できる。

請求項９，１４，１６の発明によれば、投影領域側にいるユーザは、部分画像を閲覧することができ、対象物と文書との対応関係を容易に認識することができる。

請求項１０の発明によれば、第２の情報処理装置のユーザは、対象物を含む投影領域に部分画像がどのように投影されているかを確認することができる。

請求項１１の発明によれば、投影領域側にいるユーザは、部分画像と対象物と重ね合わせて観ることができ、これらの差違を認識することができる。

請求項１２の発明によれば、投影領域側にいるユーザは、実際の対象物と文書との対応関係を容易に判断することができる。

以下、図面を参照しながら本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る情報共有支援システムの構成を示すブロック図である。

図１の情報共有支援システム１００は、遠隔指示システム１５０及び電子情報共有システム１５１を備え、ネットワーク５を介して互いに接続されている。

遠隔指示システム１５０は、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（第１の情報処理装置、外部装置）、クライアントとして機能するＰＣ２を備えており、これらは、ネットワーク５を介して互いに接続されている。ＰＣ１には、プロジェクタ１０（投影装置）及びビデオカメラ１１（撮影装置）が接続されている。プロジェクタ１０は、ＰＣ１からの制御コマンドに基づいて、テーブル１５上に載置された対象物１４に対して、ハーフミラー１２を介して単なる光線を照射する又はアノテーション画像等を投影する。ビデオカメラ１１は、対象物１４を含むテーブル１５の反射画像をハーフミラー１２を介して撮影し、撮影画像をＰＣ１に出力する。

ＰＣ１は、撮影画像をＰＣ２に出力すると共に、ネットワーク５を介して電子情報共有システム１５１に出力する。ＰＣ２は、表示部２０５に接続されており、表示部２０５は、表示領域２１０及びユーザインターフェース（ＵＩ）１６を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。

ＵＩ１６は、ペン、テキスト、及び消去などのボタン群と、線種などを含む。表示領域２１０は、ビデオカメラ１１で撮影された撮影画像が表示される。同図においては、表示領域２１０に対象物１４を含むテーブル１５を上方から撮影した画像が表示されている。また、例えば、ＵＩ１６のペンボタンが押下されて、表示領域２１０内の対象物１４上に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ１０に出力される。プロジェクタ１０は当該図形の情報に基づいて対象物１４上に図形を描く。

また、ＰＣ２では、例えば表示領域２１０内に表示される対象物１４の一部の範囲を選択する、即ち、対象物１４の全体図から一部の範囲を選択すると、後述するＰＣ２の制御部２０１は、少なくとも１つの対象物１４の部分拡大図を自動的に作成し、全体図内の選択された一部の範囲と自動作成された部分拡大図とをアノテーションで連結する。ＰＣ２が、アノテーションで連結された全体図及び部分拡大図の情報をプロジェクタ１０に送信すると、テーブル１５上に全体図、部分拡大図及び両者を連結するアノテーションを投影することができる。

また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ１０及びビデオカメラ１１の動作（例えば、ビデオカメラ１１の撮影角度やプロジェクタ１０の明るさなど）を制御することができる。

電子情報共有システム１５１は、ＰＣ３（第２の情報処理装置）及びＰＣ４を備え、ネットワーク５を介して互いに接続されている。ＰＣ３は、表示部３０５（表示手段）に接続されている。表示部３０５の表示領域３１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウインドウ３１１及び文字、図形、静止画像などを表示する文書領域３１２を含む。ＰＣ３は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部３０５の実物ビューウインドウ３１１に出力する。ＰＣ４は、表示部４０５に接続されている。表示部４０５の表示領域４１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウインドウ４１１及び文字、図形、又は静止画像などを含む文書を表示する文書領域４１２を含む。ＰＣ４は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部４０５の実物ビューウインドウ４１１に出力する。実物ビューウインドウ３１１、４１１は、後述するように表示領域３１０，４１０に表示されるデータを構成するレイヤーとしての機能を有する。

ＰＣ３及びＰＣ４は、互いに情報を共有する機能を備え、リアルタイムで同一の情報をそれぞれの表示部に表示することができる。

尚、ＰＣ３，４も、それぞれ表示部３０５，４０５を備える一体型のパーソナルコンピュータで構成してもよい。

図２は、ＰＣ１〜４の機能構成を示す図である。

ＰＣ１は、装置全体を制御すると共にプロジェクタ１０及びビデオカメラ１１の動作を制御する制御部１０１（出力手段）と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部１０２（出力手段）と、制御プログラム、データ及び情報等を記憶する記憶部１０４と、バーコードリーダ又はＲＦＩＤタグリーダなどで構成される入力部１０５とを備えている。入力部１０５は、対象物１４に付されたバーコード又はＲＦＩＤタグから対象物１４の識別情報（例えばＩＤ）を読み取るために使用される。制御部１０１は、プロジェクタ１０、ビデオカメラ１１、送受信部１０２、記憶部１０４及び入力部１０５に接続されている。

ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部２０２と、マウスやキーボードなどで構成される操作部２０３と、制御プログラム、データ及び情報等を記憶する記憶部２０４と、表示部２０５とを備えている。制御部２０１は、送受信部２０２、操作部２０３、記憶部２０４及び表示部２０５に接続されている。

ＰＣ３，４は、ＰＣと同様に、それぞれ、制御部３０１，４０１（入力手段、送信手段、受信手段、変換手段、抽出手段、マッチング手段、連結手段、取得手段、検索手段、設定手段、一致手段、貼付手段）、送受信部３０２，４０２（送信手段、受信手段、取得手段）、操作部３０３，４０３（入力手段、貼付手段）、記憶部３０４，４０４（記憶手段）、及び表示部３０５，４０５（表示手段）を備えている。制御部３０１は、送受信部３０２、操作部３０３、記憶部３０４及び表示部３０５に接続され、制御部４０１は、送受信部４０２、操作部４０３、記憶部４０４及び表示部４０５に接続されている。

ＰＣ１〜４は、各々が備える送受信部及びネットワーク５を介して互いに接続されている。

図３は、ＰＣ３のハードウエア構成を示すブロック図である。

ＰＣ３は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、他のコンピュータと接続するためのネットワークインタフェース２６、及び液晶モニタ又はＣＲＴで構成されるディスプレイ２７を備えている。ＣＰＵ２１はシステムバス２８を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインタフェース２６、及びディスプレイ２７と接続されている。

尚、ＰＣ２，４は、ＰＣ３と同様の構成を備えるので、その説明は省略する。ＰＣ１は、ＰＣ３の構成から、マウス及びキーボード２５、並びにディスプレイ２７を除外し、バーコードリーダ又はＲＦＩＤタグリーダを備える構成であるが、マウス及びキーボード２５、並びにディスプレイ２７を備えていてもよい。

制御部３０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部３０２は、ネットワークインタフェース２６に相当し、操作部３０３は、マウス及びキーボード２５に相当する。記憶部３０４は、ハードディスクドライブ（ＨＤＤ）２４に相当し、表示部３０５は、ディスプレイ２７に相当する。

図４は、表示部３０５の表示領域３１０に表示されるデータの構造を模式的に示す図である。

ＰＣ３の制御部３０１は、送受信部３０２及びネットワーク５を介してＰＣ１からビデオカメラ１１で撮影された撮影画像３０を取得し、レイヤーとしての機能を有する実物ビューウインドウ３１１（第２の層）に当該撮影画像３０の一部を表示する。実物ビューウインドウ３１１は、そのサイズや位置（表示領域３１０内での位置）を操作部３０３（例えばマウス）の操作により変更することができる。また、制御部３０１は、実物ビューウインドウ３１１に表示されている画像の撮影画像３０上における位置及び当該実物ビューウインドウ３１１に表示されている画像の大きさに関する情報を記憶部３０４に保存する。より具体的には、制御部３０１は、撮影画像３０の座標情報を基準とした、実物ビューウインドウ３１１に表示されている画像の座標情報及び当該座標情報から求まる画像の大きさの情報を記憶部３０４に保存する。また、制御部３０１は、実物ビューウインドウ３１１に表示されている画像のスケール（縮尺）も変更可能である。

制御部３０１は、イベント受信用ウインドウ３５（第１の層）、ストローク描画レイヤー３６（第３の層）、実物ビューウインドウ３１１及び文書画像レイヤー３７（第４の層）を重ね合わせて、表示部３０５の表示領域３１０に表示されるデータを作成し、表示部３０５に出力する。尚、イベント受信用ウインドウ３５、ストローク描画レイヤー３６、及び文書画像レイヤー３７は、通常透明に設定されているが、操作部３０３の操作によりレイヤーに色付けをすることも可能である。

制御部３０１は、操作部３０３を介してアノテーションや文書などを記載するイベントが生じたときに、イベント受信用ウインドウ３５に当該イベントを入力する。イベント受信用ウインドウ３５は、当該イベントを受信する。同図において、イベント受信用ウインドウ３５は、アノテーション３８（第１の注釈画像）のイベントを受信している。

制御部３０１は、操作部３０３を介して実物ビューウインドウ３１１以外の範囲に記載されたアノテーションをストローク描画レイヤー３６に入力する。ストローク描画レイヤー３６は、実物ビューウインドウ３１１以外の範囲に記載されたアノテーションを描画する。同図において、ストローク描画レイヤー３６は、アノテーション３８の一部であり、実物ビューウインドウ３１１以外の範囲に記載されたアノテーション３８ａ（第３の注釈画像）を描画する。

制御部３０１は、操作部３０３を介して実物ビューウインドウ３１１の範囲に記載されたアノテーションを実物ビューウインドウ３１１に入力する。実物ビューウインドウ３１１は、実物ビューウインドウ３１１の範囲に記載されたアノテーションを描画すると共に、撮影画像３０の一部を表示する。同図において、実物ビューウインドウ３１１は、アノテーション３８の一部であり、実物ビューウインドウ３１１の範囲に記載されたアノテーション３８ｂ（第２の注釈画像）を描画する。

アノテーション３８ｂが実物ビューウインドウ３１１の範囲に記載されると、制御部３０１は、撮影画像３０上におけるアノテーション３８ｂの座標情報をＰＣ１に送信する。ＰＣ１は、当該座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上にアノテーション３８ｂを投影する。尚、ＰＣ１の制御部１０１は、撮影画像３０上におけるアノテーション３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション３８ｂの座標情報をプロジェクタ１０に送信する。これは、撮影画像３０上におけるアノテーション３８ｂをプロジェクタ１０で正確な位置に投影させるためである。

尚、ＰＣ３の制御部３０１が、撮影画像３０上におけるアノテーション３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション３８ｂの座標情報をＰＣ１を介してプロジェクタ１０に送信するようにしてもよい。

ビデオカメラ１１は、このアノテーション３８ｂが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１及びナットワーク５を介してＰＣ３の制御部３０１に逐次出力する（例えば、０．５秒毎に出力する）。制御部３０１がこの撮影画像を受信することで、実物ビューウインドウ３１１にアノテーション３８ｂが描画される。

制御部３０１は、操作部３０３を介して文書を文書画像レイヤー３７に入力する。文書画像レイヤー３７は、操作部３０３を介して記載された文書を描画する。

このように、表示部３０５の表示領域３１０に表示されるデータは、個別にアノテーションの範囲を指定可能なレイヤーを複数重ね合わす構造を持つことにより、連続かつ透過的なアノテーションを実現している。

図５は、実際に表示部３０５の表示領域３１０に表示されるデータの例を示す図である。

同図において、文書領域３１２には、複合機の設計図、複合機の操作ボタン等の説明及びアノテーション３８の一部であるアノテーション３８ａが表示されており、実物ビューウインドウ３１１には、実際にアノテーション３８ｂが投影された複合機の撮影画像が表示されている。

図６は、表示部３０５の表示領域３１０に表示されるデータの作成処理を示すフローチャートである。

まず、ＰＣ３の制御部３０１は、初期化処理を実行する（ステップＳ１）。この初期化処理は、（１）文書画像レイヤー３７を全画面表示する（即ち、文書領域３１２に文書を表示する）、（２）実物ビューウインドウ３１１を表示する、（３）ストローク描画レイヤー３６を全画面表示する、（４）イベント受信用ウインドウ３５を全画面表示する、の４つの処理を含む。

次に、制御部３０１は、操作部３０３からのイベント（操作）の入力を受け付ける（ステップＳ２）。制御部３０１は、本データの作成処理が開始されると、操作部３０３からの指示や書き込みなどのイベント（操作）の入力を常時受け付ける（ステップＳ３）。

次いで、制御部３０１は、操作部３０３からのイベント（操作）の入力が終了したか否かを判別する（ステップＳ４）。ステップＳ４でＹＥＳの場合には、本データの作成処理を終了する。一方、ステップＳ４でＮＯの場合には、制御部３０１は、アノテーションが実物ビューウインドウ３１１の範囲内に記載されたか否かを判別する（ステップＳ５）。具体的には、制御部３０１は、実物ビューウインドウ３１１の４角の座標情報で規定される領域にアノテーションの座標情報が含まれる場合に、アノテーションが実物ビューウインドウ３１１の範囲内に記載されたと判別する。

ステップＳ５でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６にアノテーションを描画し（ステップＳ６）、ステップＳ２に戻る。これにより、ストローク描画レイヤー３６は、実物ビューウインドウ３１１以外の範囲に記載されたアノテーションを描画する。

一方、ステップＳ５でＹＥＳの場合には、制御部３０１は、送受信部３０２を介して、実物ビューウインドウ３１１の範囲に記載されたアノテーションの、撮影画像３０上における座標情報をＰＣ１に送信し（ステップＳ７）、ステップＳ２に戻る。

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ８）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ８の処理は、ＰＣ３側の処理とは独立して実行される。

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３からアノテーションの、撮影画像３０上における座標情報の入力を受け付ける（ステップＳ９）。制御部１０１は、本データの作成処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ１０）。

次に、制御部１０１は、アノテーションの、撮影画像３０上における座標情報の入力が終了したか否かを判別する（ステップＳ１１）。

ステップＳ１１でＹＥＳの場合には、データの作成処理を終了する。一方、ステップＳ１１でＮＯの場合には、制御部１０１は、当該座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応するアノテーションを投影する（ステップＳ１２）。ビデオカメラ１１は、このアノテーションが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ１３）。

制御部３０１は、この撮影画像を受信し、実物ビューウインドウ３１１の表示を更新する（ステップＳ１４）。これにより、実物ビューウインドウ３１１に対象物１４を含むテーブル１５と共にアノテーションが表示される。尚、ステップＳ１４の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ１５）。

本実施の形態において、制御部３０１は、文書画像レイヤー３７に記載された文書（文字、図形、静止画像を含む）及び実物ビューウインドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するようにしてもよい。この連結されたアノテーションのうち、実物ビューウインドウ３１１以外の範囲に記載されるアノテーションの部分は、ストローク描画レイヤー３６に描画され、実物ビューウインドウ３１１の範囲に記載されるアノテーションの部分は、上述した図６のフローチャートに従って、プロジェクタ１０の投影処理及びビデオカメラ１１の撮影処理を介して実物ビューウインドウ３１１に描画される。

これにより、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物１４と文書との対応関係を容易に判断することができる。

また、制御部３０１は、ビデオカメラ１１から撮影画像を受信する際に、ＰＣ１からプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）を受信して記憶部３０４に記憶するようにしてもよい。

制御部３０１は、表示部３０５の表示領域３１０に表示されるデータを記憶部３０４に保存する際には、記憶部３０４は、アノテーション（座標情報を含む）、実物ビューウインドウ３１１内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウインドウ３１１の属性情報（位置、範囲）、文書の属性情報（該当する文書ＩＤ、ページ番号、文書の表示範囲、文書の表示位置を含む）、対象物の属性情報（対象物の識別情報（ＩＤ））、及びプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）をメイン情報に関連付けて記憶するようにしてもよい。

これにより、制御部３０１は、対象物の識別情報等の属性情報に基づいて表示部３０５の表示領域３１０に表示されるデータの検索を実行することができる。また、制御部３０１は、記憶部３０４に保存された当該データを表示部３０５の表示領域３１０に表示させることができる。

以上詳細に説明したように、本実施の形態によれば、制御部３０１が、操作部３０３を介して、アノテーション３８の描画操作をイベント受信用ウインドウ３５に入力し、ビデオカメラ１１により撮影された、アノテーション３８の一部分であるアノテーション３８ｂを実物ビューウインドウ３１１に入力し、アノテーション３８のうちアノテーション３８ｂを除いたアノテーション３８ａをストローク描画レイヤー３６に入力し、文書を文書画像レイヤー３７に入力する。そして、制御部３０１は送受信部３０２を介してアノテーション３８ｂをプロジェクタ１０に送信し、プロジェクタ１０によりアノテーション３８ｂが投影された投影領域を撮影した撮影画像をビデオカメラ１１から送受信部３０２を介して受信し、表示部３０５は、実物ビューウインドウ３１１に制御部３０１で受信された撮影画像を割り当て、ストローク描画レイヤー３６におけるアノテーション３８ａ及び文書画像レイヤー３７における文書を重ね合わせて表示する。

このように、表示部３０５では、実物ビューウインドウ３１１、ストローク描画レイヤー３６、及び文書画像レイヤー３７が重ね合わせて表示されるので、ＰＣ３のユーザは、対象物と文書とを繋ぐアノテーションが連続かつ透過的に表示され、対象物と文書との対応関係を容易に認識することができる。また、アノテーション３８ｂ及びアノテーション３８ａにより連続かつ透過的なアノテーション３８を実現することができる。

また、制御部３０１は、送受信部３０２を介して、撮影画像３０上におけるアノテーション３８ｂの座標情報をＰＣ１の制御部１０１に送信し、当該制御部１０１は、アノテーション３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換し、変換された座標情報をプロジェクタ１０に送信するので、アノテーション３８ｂを、対象物１４を含む投影領域に正確な位置で投影することができる。

さらに、制御部３０１は、文書画像レイヤー３７に描画される文書及び実物ビューウインドウ３１１に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するので、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物と文書との対応関係を容易に判断することができる。

さらにまた、制御部３０１は、対象物１４の属性情報と、プロジェクタ１０及びビデオカメラ１１の属性情報とを取得し、記憶部３０４は、表示部３０５に表示されるデータ、実物ビューウインドウ３１１の属性情報、文書の属性情報、対象物の属性情報、並びにプロジェクタ１０及びビデオカメラ１１の属性情報を関連付けて記憶し、制御部３０１は、実物ビューウインドウ３１１の属性情報、文書の属性情報、対象物の属性情報、並びにプロジェクタ１０及びビデオカメラ１１の属性情報のうち、少なくともいずれか１つの属性情報に基づいて表示部３０５に表示されるデータを検索する。よって、各種の属性情報に基づいて表示部３０５に表示されるデータの検索を実行することができる。

（第２の実施の形態）
以下、第２の実施の形態について図面を参照しながら説明する。

本実施の形態では、文書領域３１２に記載されている文書（例えば、図面）を実物ビューウインドウ３１１にドラッグ＆ドロップすることで、プロジェクタ１０が対象物１４を含むテーブル１５上に当該文書を投影する。

尚、本実施の形態では、上記情報共有支援システム１００と同様の構成を使用するため、その説明は省略する。

図７は、表示部３０５の表示領域３１０に表示されるデータの例を示す図である。この例では対象物１４は複写機の操作パネルである。

同図において、文書領域３１２には、複写機の操作パネルの一部の構成図、複写機のボタンの説明が表示されており、実物ビューウインドウ３１１には、複写機の操作パネルの撮影画像が表示されている。

ここで、図７において、ユーザは、操作部３０３を介して、文書領域３１２に記載されている文書（ここでは、複写機の操作パネルの一部の構成図）の部分画像３１５を選択し、当該選択された部分画像３１５を実物ビューウインドウ３１１内にドラッグ＆ドロップすることができる。

図８は、文書領域３１２内の部分画像をプロジェクタ１０で対象物１４を含むテーブル１５上に投影する処理を示すフローチャートである。

まず、制御部３０１は、操作部３０３からのイベントを受け付け（ステップＳ１０１）、文書領域３１２内で部分画像の範囲が指定されているか否かを判別する（ステップＳ１０２）。ステップＳ１０２でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６に部分画像を指定するための矩形を描くドラッグ＆ドロップが終了したか否かを判別する（ステップＳ１０３）。尚、部分画像を指定するための範囲の形状は、矩形に限定されるものではなく、例えば、円形でも楕円形でもよい。

ステップＳ１０３でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６に部分画像を指定するための矩形を描くことを継続し（ステップＳ１０４）、ステップＳ１０２に戻る。一方、ステップＳ１０３でＹＥＳの場合には、制御部３０１は、矩形で選択された範囲に対応する文書画像レイヤー３７上の文書を使って、部分画像を作成し（ステップＳ１０５）、ステップＳ１０２に戻る。

上記ステップＳ１０２でＹＥＳの場合には、制御部３０１は、部分画像の実物ビューウインドウ３１１内へのドラッグ＆ドロップが終了したか否かを判別する（ステップＳ１０６）。ステップＳ１０６でＮＯの場合、即ち、部分画像のドラッグ中の場合には、制御部３０１は、不図示のマウスカーソルの位置に部分画像のサムネイルを表示し（ステップＳ１０７）、ステップＳ１０２に戻る。一方、ステップＳ１０６でＹＥＳの場合には、制御部３０１は、送受信部３０２及びネットワーク５を介して、部分画像のデータ及び当該部分画像が貼り付けられた（即ち、ドロップされた）、実物ビューウインドウ３１１内の撮影画像３０における座標情報をＰＣ１に送信し（ステップＳ１０８）、ステップＳ１０２に戻る。

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ１０９）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ１０９の処理は、ＰＣ３側の処理とは独立して実行される。

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３から部分画像のデータ及び当該部分画像が貼り付けられた（即ち、ドロップされた）、実物ビューウインドウ３１１内の撮影画像３０における座標情報の入力を受け付ける（ステップＳ１１０）。制御部１０１は、本処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ１１１）。

次に、制御部１０１は、上記部分画像のデータ及び座標情報の入力が終了したか否かを判別する（ステップＳ１１２）。

ステップＳ１１２でＹＥＳの場合には、本処理を終了する。一方、ステップＳ１１２でＮＯの場合には、制御部１０１は、当該部分画像の座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報、部分画像のデータ及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応する部分画像を投影する（ステップＳ１１３）。ビデオカメラ１１は、この部分画像が投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ１１４）。

制御部３０１は、この撮影画像を受信し、実物ビューウインドウ３１１の表示を更新する（ステップＳ１１５）。これにより、実物ビューウインドウ３１１に、部分画像が投影された、対象物１４を含むテーブル１５が表示される。尚、ステップＳ１１５の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ１１６）。

図９に、図８の処理に従って、プロジェクタ１０が対象物１４（複写機の操作パネル）を含むテーブル１５へ部分画像３１５を投影した例を示す。図９（Ａ）は、対象物１４に重ならないように部分画像３１５を投影した例を示し、図９（Ｂ）は、対象物１４に重なるように部分画像３１５を投影した例を示す。

図１０は、図８の変形例を示すフローチャートである。尚、図８と同一の処理を実行する場合には、同一のステップ番号を付し、その説明を省略する。

まず、制御部３０１は、操作部３０３からのユーザの入力に応じて、部分画像３１５を実物ビューウインドウ３１１内の撮影画像の対応箇所に重ね合わせる、又は実物ビューウインドウ３１１内に貼り付けられた部分画像３１５（この部分画像３１５はプロジェクタ１０により対象物１４を含むテーブル１５上に投影される）と実物ビューウインドウ３１１内の撮影画像の対応箇所とをアノテーションで連結する、のいずれかの設定を行い（ステップＳ１２０）、ステップＳ１０１に進む。

ステップＳ６でＹＥＳの場合には、制御部３０１は、実物ビューウインドウ３１１内に貼り付けられた部分画像３１５及び実物ビューウインドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行う（ステップＳ１２１）。

次いで、制御部３０１は、ステップＳ１２０での設定が、部分画像３１５の撮影画像の対応箇所への重ね合わせであるか、又は部分画像３１５と撮影画像の対応箇所との連結であるかを判別する（ステップＳ１２２）。

ステップＳ１２０での設定が、部分画像３１５の撮影画像の対応箇所への重ね合わせである場合には、制御部３０１は、マッチング処理により対応関係を持つ特徴点同士が重なりあうように、部分画像の貼り付け位置を補正し、送受信部３０２及びネットワーク５を介して、部分画像のデータ及び貼り付け位置の補正がなされている部分画像が貼り付けられた、実物ビューウインドウ３１１内の撮影画像３０における座標情報をＰＣ１に送信し（ステップＳ１２３）、ステップＳ１０２に戻る。

ステップＳ１２０での設定が、部分画像３１５と撮影画像の対応箇所との連結である場合には、制御部３０１は、送受信部３０２及びネットワーク５を介して、部分画像のデータ、実物ビューウインドウ３１１内の撮影画像３０における座標情報で且つ前記撮影画像の対応箇所と重ならない範囲で任意に選択される座標情報（好ましくは、テーブル１５上の空いた領域に対応する座標情報）、及び部分画像３１５と撮影画像の対応箇所とを連結するアノテーションの座標情報（即ち、両者の対応関係のある特徴点の少なくとも１組を連結するアノテーションの座標情報）をＰＣ１に送信し（ステップＳ１２４）、ステップＳ１０２に戻る。

ステップＳ１２０での設定が、部分画像３１５の撮影画像の対応箇所への重ね合わせである場合には、ステップＳ１１３では、上述した図８のステップＳ１１３と同様の処理が実行される。

一方、ステップＳ１２０での設定が、部分画像３１５と撮影画像の対応箇所との連結である場合には、ステップＳ１１３では、制御部１０１は、上記任意に選択される座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報、部分画像のデータ、アノテーションの座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応する部分画像とアノテーションを投影する。

図１１に、図１０の処理に従って、プロジェクタ１０が対象物１４（複写機の操作パネル）を含むテーブル１５へ部分画像３１５を投影した例を示す。図１１（Ａ）は、部分画像３１５を撮影画像の対応箇所への重ね合わせる設定により、対象物１４に重なるように部分画像３１５を投影した例を示す。図１１（Ｂ）は、部分画像３１５と撮影画像の対応箇所とを連結する設定により、対象物１４の対応箇所にアノテーションで連結されている部分画像３１５を投影した例を示す。

本実施の形態において、制御部３０１は、ビデオカメラ１１から撮影画像を受信する際に、ＰＣ１からプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）を受信して記憶部３０４に記憶するようにしてもよい。

制御部３０１は、表示部３０５の表示領域３１０に表示されるデータを記憶部３０４に保存する際には、記憶部３０４は、部分画像（座標情報を含む）、アノテーション（座標情報を含む）、実物ビューウインドウ３１１内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウインドウ３１１の属性情報（位置、範囲）、文書の属性情報（該当する文書ＩＤ、ページ番号、文書の表示範囲、文書の表示位置を含む）、対象物の属性情報（対象物の識別情報（ＩＤ））、及びプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）をメイン情報に関連付けて記憶するようにしてもよい。

これにより、制御部３０１は、対象物の識別情報等の属性情報に基づいて表示部３０５の表示領域３１０に表示されるデータの検索を実行することができる。また、制御部３０１は、記憶部３０４に保存された当該データを表示部３０５の表示領域３１０に表示させることができる。

以上詳細に説明したように、本実施の形態によれば、制御部３０１が、操作部３０３を介して、アノテーション３８の描画操作をイベント受信用ウインドウ３５に入力し、ビデオカメラ１１により撮影された、アノテーション３８の一部分であるアノテーション３８ｂを実物ビューウインドウ３１１に入力し、アノテーション３８のうちアノテーション３８ｂを除いたアノテーション３８ａをストローク描画レイヤー３６に入力し、文書を文書画像レイヤー３７に入力する。そして、制御部３０１は、文書の一部を部分画像として選択し、実物ビューウインドウ３１１に貼り付け、送受信部３０２を介して当該部分画像及び当該部分画像の座標情報をプロジェクタ１０に送信し、プロジェクタ１０は当該部分画像の座標情報に基づいて、対象物１４を含む投影領域に部分画像を投影する。

よって、投影領域側にいるユーザは、部分画像を閲覧することができ、対象物１４と文書との対応関係を認識することができる。特に、実物ビューウインドウ３１１において、部分画像が対象物１４と重なるように貼り付けられた場合、投影領域側にいるユーザは、部分画像と対象物１４との差違を認識することができる。また、ＰＣ３のユーザは、実物ビューウインドウ３１１に表示される撮影画像を観て、対象物１４の位置等を考慮しつつ、部分画像（即ち、文書の一部）を投影する位置を決定することができる。

なお、部分画像としては、ピクチャ画像のように視覚的にレンダリングできるものに限らず、音声、ビデオのようなマルチメディア情報も適用できる。

また、制御部３０１が、プロジェクタ１０により部分画像が投影された投影領域を撮影した撮影画像をビデオカメラ１１から送受信部３０２を介して受信し、表示部３０５は、実物ビューウインドウ３１１に制御部３０１で受信された撮影画像を割り当て、ストローク描画レイヤー３６におけるアノテーション３８ａ及び文書画像レイヤー３７における文書を重ね合わせて表示する。よって、ＰＣ３のユーザは、対象物１４を含む投影領域に部分画像がどのように投影されているかを確認することができる。

さらに、制御部３０１は、部分画像及び実物ビューウインドウ３１１に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士が重なりあうように、部分画像の位置を補正するので、部分画像を撮影画像に含まれる対応箇所に精度よく重ね合わせることができる。結果として、投影領域側にいるユーザは、部分画像と対象物１４と重ね合わせて観ることができ、これらの差違を認識することができる。

さらにまた、制御部３０１は、部分画像及び実物ビューウインドウ３１１に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結し、部分画像、当該部分画像の座標情報及び当該アノテーションの座標情報を送受信部３０２を介してプロジェクタ１０に送信し、プロジェクタ１０は、部分画像及びアノテーションの座標情報に基づいて、対象物１４を含む投影領域に部分画像及びアノテーションを投影する。よって、投影領域側にいるユーザは、実際の対象物と文書との対応関係を容易に判断することができる。さらに、マッチング処理としては、本実施の形態に記載の方法に限らず、SIFT等の周知のマッチング方法を採用することが可能である。

（第３の実施の形態）
以下、第３の実施の形態について図面を参照しながら説明する。

本実施の形態では、実物ビューウインドウ３１１の可視又は不可視の設定をすることができる。また、ＰＣ２のＵＩ１６を使って、表示部２０５の表示領域２１０に書き込まれた情報又はペン等を利用して、直接、対象物１４又はテーブル１５上に書き込まれた情報をＰＣ３のストローク描画レイヤー３６に反映させる。

尚、本実施の形態では、上記情報共有支援システム１００と同様の構成を使用するため、その説明は省略する。

図１２は、表示部３０５の表示領域３１０に表示されるデータの作成処理を示すフローチャートである。

ＰＣ３の制御部３０１は、初期化処理を実行する（ステップＳ２０１）。この初期化処理は、（１）文書画像レイヤー３７を全画面表示する（即ち、文書領域３１２に文書を表示する）、（２）実物ビューウインドウ３１１を表示する、（３）ストローク描画レイヤー３６を全画面表示する、（４）イベント受信用ウインドウ３５を全画面表示する、の４つの処理を含む。

次に、制御部３０１は、実物ビューウインドウ３１１のキャリブレーションを実行する（ステップＳ２０２）。ここで、実物ビューウインドウ３１１のキャリブレーションとは、実物ビューウインドウ３１１に表示されるデータのスケール（縮尺）と文書領域３１２に記載されている文書（例えば、図面）のスケール（縮尺）とを同一にし、さらに、実物ビューウインドウ３１１を、文書領域３１２に記載されている文書（例えば、図面）上の対応箇所に配置することである。これにより、実物ビューウインドウ３１１に表示されるデータが、文書領域３１２に記載されている文書（例えば、図面）と連続性を持つように表示される。

また、このキャリブレーションが実行されると、対象物１４を含むテーブル１５の撮影領域（撮影画像の撮影領域）と表示領域３１０との大きさ（サイズ）が一致する。

図１３は、キャリブレーション実行後の表示領域３１０の一例を示す図である。この例では、文書領域３１２に、複写機の操作パネルの図面が記載されており、複写機の表示部５００と重なる位置に実物ビューウインドウ３１１が配置されている。

この場合、対象物１４は複写機の操作パネルの実物又は設計図であり、これをビデオカメラ１１で撮影した撮影画像が、文書領域３１２内の複写機の操作パネルの図面と同一スケールで実物ビューウインドウ３１１内に表示されている。図１３に示すように、操作部３０３を介して複写機の表示部５００の外周部に沿って矩形のアノテーションが描画されると、ストローク描画レイヤー３６にアノテーション５０１が描画され、実物ビューウインドウ３１１内にアノテーション５０２が表示される。

図１４（Ａ）は、複写機の操作パネルの図面と移動前の実物ビューウインドウ３１１との配置関係を示す図であり、図１４（Ｂ）は、複写機の操作パネルの図面と移動後の実物ビューウインドウ３１１との配置関係を示す図である。

制御部３０１が、実物ビューウインドウ３１１のキャリブレーションを実行し、複写機の操作パネルの図面と実物ビューウインドウ３１１内のデータは同一スケールで表示されるので、図１４（Ａ）、（Ｂ）に示すように、実物ビューウインドウ３１１が移動されると、制御部３０１は、撮影画像３０上における実物ビューウインドウ３１１の座標情報を実物ビューウインドウ３１１の移動量に応じて変更する。

例えば、撮影画像３０の領域が、（ｘ、ｙ）座標において、（０，０）、（８００，０）、（０，６４０）、（８００，６４０）であり、移動前の実物ビューウインドウ３１１の座標情報が（４００，２００）、（５００，２００）、（４００、４００）、（５００、４００）であり、実物ビューウインドウ３１１をｘ方向に１００移動させた場合には、制御部３０１は、移動後の実物ビューウインドウ３１１の座標情報を（５００，２００）、（６００，２００）、（５００、４００）、（６００、４００）に設定する。これにより、実物ビューウインドウ３１１には移動先の撮影画像が表示される。

図１２に戻り、制御部３０１は、操作部３０３からのイベント（操作）の入力を受け付ける（ステップＳ２０３）。制御部３０１は、本データの作成処理が開始されると、操作部３０３からの実物ビューウインドウ３１１の可視又は不可視の指示や書き込みなどのイベント（操作）の入力を常時受け付ける（ステップＳ２０４）。

制御部３０１は、操作部３０３から実物ビューウインドウ３１１の可視／不可視のいずれの指示が入力されたかを判別する（ステップＳ２０５）。

ステップＳ２０５で、操作部３０３から実物ビューウインドウ３１１の可視の指示が入力されたと判別された場合には、後述するステップＳ２０７に進む。一方、ステップＳ２０５で、操作部３０３から実物ビューウインドウ３１１の不可視の指示が入力されたと判別された場合には、制御部３０１は、実物ビューウインドウ３１１の表示を削除し（ステップＳ２０６）、ステップＳ２０７に進む。具体的には、制御部３０１は、実物ビューウインドウ３１１のレイヤーを非表示に設定する。

次いで、ステップＳ２０７において、制御部３０１は、アノテーションが実物ビューウインドウ３１１の範囲内に記載されたか否かを判別する。具体的には、制御部３０１は、実物ビューウインドウ３１１の４角の座標情報で規定される領域にアノテーションの座標情報が含まれる場合に、アノテーションが実物ビューウインドウ３１１の範囲内に記載されたと判別する。

ステップＳ２０７でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６にアノテーションを描画し（ステップＳ２０８）、ステップＳ２０３に戻る。これにより、ストローク描画レイヤー３６は、実物ビューウインドウ３１１以外の範囲に記載されたアノテーションを描画する。

一方、ステップＳ２０７でＹＥＳの場合には、制御部３０１は、送受信部３０２を介して、実物ビューウインドウ３１１の範囲に記載されたアノテーションの、撮影画像３０上における座標情報をＰＣ１に送信し（ステップＳ２０９）、ステップＳ２０３に戻る。尚、実物ビューウインドウ３１１が不可視の場合には、ステップＳ２０９で、さらに、実物ビューウインドウ３１１の範囲に記載されたアノテーションもストローク描画レイヤー３６に描画する。

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ２１０）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ２１０の処理は、ＰＣ３側の処理とは独立して実行される。

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３からアノテーションの、撮影画像３０上における座標情報の入力を受け付ける（ステップＳ２１１）。制御部１０１は、本データの作成処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ２１２）。

次に、制御部１０１は、当該座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応するアノテーションを投影する（ステップＳ２１３）。ビデオカメラ１１は、このアノテーションが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ２１５）。

制御部３０１は、この撮影画像を受信し、実物ビューウインドウ３１１の表示を更新する（ステップＳ２１９）。これにより、実物ビューウインドウ３１１に対象物１４を含むテーブル１５と共にアノテーションが表示される。尚、ステップＳ２１９の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ２２０）。

制御部１０１は、ステップＳ２１１で受け付けた、アノテーションの、撮影画像３０上における座標情報を記憶部１０４に記憶する（ステップＳ２１４）。また、制御部１０１は、ステップＳ２１５で制御部３０１に出力される撮影画像（フレーム画像）を記憶部１０４に記憶する（ステップＳ２１６）。ステップＳ２１４におけるアノテーションの座標情報の記憶及びステップＳ２１５における撮影画像の記憶は、所定時間毎（例えば、０．５秒毎）に実行される。

その後、制御部１０１は、記憶部１０４に記憶された連続する撮影画像同士の差分を抽出し（ステップＳ２１７）、その差分抽出結果から、当該連続する撮影画像に対応するアノテーションの座標情報に基づいて、ステップＳ２１７の差分抽出結果からアノテーションを除去する（ステップＳ２１８）。上記ステップＳ２１４〜ステップＳ２１８の処理により、ＰＣ２のＵＩ１６を使って、表示部２０５の表示領域２１０に書き込まれた書込情報又はペン等を利用して、直接、対象物１４又はテーブル１５上に書き込まれた書込情報をアノテーションとして抽出することができる。

最後に、制御部１０１は、ステップＳ２１８でアノテーションの除去により得られた情報（即ち、ＰＣ２のＵＩ１６を使って、表示部２０５の表示領域２１０に書き込まれた書込情報又はペン等を利用して、直接、対象物１４又はテーブル１５上に書き込まれたアノテーションとしての書込情報）を送受信部１０２、ネットワーク５、送受信部３０２を介して制御部３０１に出力する（ステップＳ２１８→ステップＳ２０８）。

そして、制御部３０１は、ＰＣ２のＵＩ１６を使って、表示部２０５の表示領域２１０に書き込まれた書込情報又はペン等を利用して、直接、対象物１４又はテーブル１５上に書き込まれた書込情報をストローク描画レイヤー３６に描画する（ステップＳ２０８）。

以上のように、制御部３０１がキャリブレーションを実行し、対象物１４を含むテーブル１５の撮影領域（撮影画像の撮影領域）と表示領域３１０との大きさが一致した状態で、制御部１０１により書込情報が抽出され、制御部３０１が当該書込情報をストローク描画レイヤー３６に描画するので、書込情報を表示領域３１０の該当箇所に反映することができる。

尚、図１３のキャリブレーション実行後の表示領域３１０の状態において、制御部３０１は、実物ビューウインドウ３１１を文書領域３１２の複写機の操作パネルの図面と同列表示する設定を行えるようにしてもよい。この設定後の表示領域３１０の一例を図１５に示す。実物ビューウインドウ３１１内の点線は、撮影された複写機の操作パネルの一部を示す。

制御部３０１は、文書領域３１２の複写機の操作パネルの図面（文書画像レイヤー３７に記載された文書）及び実物ビューウインドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するようにしてもよい。

これにより、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物（即ち、複写機の操作パネルの実物又は設計図）と文書（文書領域３１２の複写機の操作パネルの図面）との対応関係を容易に判断することができる。

以上詳細に説明したように、制御部３０１は、表示部３０５による実物ビューウインドウ３１１の可視又は不可視を設定する。よって、実物ビューウインドウ３１１を不可視に設定することができる。結果として、ＰＣ３のユーザは、撮影画像を表示する実物ビューウインドウ３１１の存在を意識せずに、実物ビューウインドウ３１１に書き込んだアノテーションを、対象物を含む投影領域に自動的に投影することができる。

また、制御部３０１は、キャリブレーションの実行によりビデオカメラ１１の撮影領域と表示部３０５における表示領域３１０との大きさを一致させ、制御部１０１は、対象物又は投影領域に書き込まれた書込情報をアノテーションとして検出し、ＰＣ３に出力し、表示部３０５は、ビデオカメラ１１の撮影領域と表示部３０５における表示領域３１０との大きさを一致させた状態で、当該書込情報をストローク描画レイヤー３６に表示するので、対象物又は投影領域に書き込まれたアノテーションとしての書込情報を表示部３０５の該当箇所に反映することができる。

さらに、制御部１０１は、ビデオカメラ１１により撮影された、連続する撮影画像の差分を抽出し、当該抽出結果から上記連続する撮影画像に含まれるアノテーションを除去することにより、対象物又は投影領域に書き込まれた書込情報を検出するので、対象物又は投影領域に書き込まれた書込情報を精度良く検出することができる。

（第４の実施の形態）
以下、第４の実施の形態について図面を参照しながら説明する。

本実施の形態では、文書画像レイヤー３７に記載された文書を対象物１４に重ならないようにテーブル１５の空き領域に投影する。

尚、本実施の形態では、上記情報共有支援システム１００と同様の構成を使用するため、その説明は省略する。

図１６は、表示部３０５の表示領域３１０に表示されるデータの作成処理を示すフローチャートである。

まず、制御部３０１は、実物ビューウインドウ３１１のキャリブレーションを実行する（ステップＳ３０１）。実物ビューウインドウ３１１のキャリブレーションついては、上記第３の実施の形態において説明しているので、ここでは省略する。尚、キャリブレーションが実行されると、対象物１４を含むテーブル１５の撮影領域（撮影画像の撮影領域）と表示領域３１０との大きさ（サイズ）が一致する。

次いで、制御部３０１は、撮影画像３０上における実物ビューウインドウ３１１の座標情報を取得し（ステップＳ３０２）、実物ビューウインドウ３１１の範囲以外のストローク描画レイヤー３６、及び文書画像レイヤー３７に記載されている情報（アノテーション３８ａ、及び文書）を取得し（ステップＳ３０３）、取得した情報を送受信部３０２及びネットワーク５を介してＰＣ１に送信する（ステップＳ３０４）。このＰＣ１に送信される情報は、より具体的には、実物ビューウインドウ３１１の範囲を中抜きにした、表示領域３１０に表示されるデータの画像である。

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ３０５）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ８の処理は、ＰＣ３側の処理とは独立して実行される。

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３から実物ビューウインドウ３１１の範囲を中抜きにした、表示領域３１０に表示されるデータの画像の入力を受け付ける（ステップＳ３０６）。制御部１０１は、本データの作成処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ３０７）。

次に、制御部１０１は、実物ビューウインドウ３１１の範囲を中抜きにした、表示領域３１０に表示されるデータの画像の入力が終了したか否かを判別する（ステップＳ３０８）。

ステップＳ３０８でＹＥＳの場合には、データの作成処理を終了する。一方、ステップＳ３０８でＮＯの場合には、制御部１０１は、実物ビューウインドウ３１１の範囲を中抜きにした、表示領域３１０に表示されるデータの画像及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該画像を投影する（ステップＳ３０９）。ビデオカメラ１１は、このアノテーションが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ３１０）。

制御部３０１は、この撮影画像を受信し、実物ビューウインドウ３１１の表示を更新する（ステップＳ３１１）。これにより、実物ビューウインドウ３１１に対象物１４を含むテーブル１５と共にアノテーションが表示される。尚、ステップＳ３１１の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ３１２）。

本実施の形態では、第１の実施の形態と同様に、制御部３０１は、文書画像レイヤー３７に記載された文書（文字、図形、静止画像を含む）及び実物ビューウインドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するようにしてもよい。さらに、マッチング処理としては、本実施の形態に記載の方法に限らず、SIFT等の周知のマッチング方法を採用することが可能である。

これにより、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物１４と文書との対応関係を容易に判断することができる。

また、制御部３０１は、ビデオカメラ１１から撮影画像を受信する際に、ＰＣ１からプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）を受信して記憶部３０４に記憶するようにしてもよい。

制御部３０１は、表示部３０５の表示領域３１０に表示されるデータを記憶部３０４に保存する際には、記憶部３０４は、アノテーション（座標情報を含む）、実物ビューウインドウ３１１内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウインドウ３１１の属性情報（位置、範囲）、文書の属性情報（該当する文書ＩＤ、ページ番号、文書の表示範囲、文書の表示位置を含む）、対象物の属性情報（対象物の識別情報（ＩＤ））、及びプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）をメイン情報に関連付けて記憶するようにしてもよい。

これにより、制御部３０１は、対象物の識別情報等の属性情報に基づいて表示部３０５の表示領域３１０に表示されるデータの検索を実行することができる。また、制御部３０１は、記憶部３０４に保存された当該データを表示部３０５の表示領域３１０に表示させることができる。

以上詳細に説明したように、本実施の形態によれば、制御部３０１は、ビデオカメラ１１の撮影領域と表示部３０５における表示領域３１０との大きさを一致させ、その状態で、ストローク描画レイヤー３６に描画されたアノテーション３８ａ及び文書画像レイヤー３７に描画された文書をプロジェクタ１０に送信するので、投影領域にアノテーション３８ａ及び文書を投影することができ、投影領域と表示部３０５における表示領域３１０とで共通の情報（アノテーション３８ａ及び文書）を表示できる。つまり、投影領域側にいるユーザとＰＣ３のユーザとで互いに情報を共有することができる。

ＰＣ１〜ＰＣ４の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記第１〜第４の実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。

また、各ＰＣのＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記第１〜第４の実施の形態と同様の効果を奏する。

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

本発明の第１の実施の形態に係る情報共有支援システムの構成を示すブロック図である。 ＰＣ１〜４の機能構成を示す図である。 ＰＣ３のハードウエア構成を示すブロック図である。 表示部の表示領域に表示されるデータの構造を模式的に示す図である。 実際に表示部の表示領域に表示されるデータの例を示す図である。 表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。 第２の実施の形態に係る表示部の表示領域に表示されるデータの例を示す図である。 文書領域内の部分画像をプロジェクタで対象物を含むテーブル上に投影する処理を示すフローチャートである。 （Ａ）は、対象物に重ならないように部分画像を投影した例を示す図であり、（Ｂ）は、対象物に重なるように部分画像を投影した例を示す図である。 図８の変形例を示すフローチャートである。 （Ａ）は、部分画像を撮影画像の対応箇所への重ね合わせる設定により、対象物に重なるように部分画像を投影した例を示す図であり、（Ｂ）は、部分画像と撮影画像の対応箇所とを連結する設定により、対象物の対応箇所にアノテーションで連結されている部分画像を投影した例を示す図である。 第３の実施の形態に係る表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。 キャリブレーション実行後の表示領域の一例を示す図である。 （Ａ）は、複写機の操作パネルの図面と移動前の実物ビューウインドウとの配置関係を示す図であり、（Ｂ）は、複写機の操作パネルの図面と移動後の実物ビューウインドウとの配置関係を示す図である。 実物ビューウインドウを文書領域の複写機の操作パネルの図面と同列表示する一例を示す図である。 第４の実施の形態に係る表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。

符号の説明

１〜４ ＰＣ
１０ プロジェクタ
１１ ビデオカメラ
１４ 対象物
１５ テーブル
３０ 撮影画像
３５ イベント受信用ウインドウ３５
３６ ストローク描画レイヤー
３７ 文書画像レイヤー
１０１，２０１，３０１，４０１ 制御部
１０２，２０２，３０２，４０２ 送受信部
２０３，３０３，４０３ 操作部
１０４，２０４，３０４，４０４ 記憶部
２０５，３０５，４０５ 表示部
３１１ 実物ビューウインドウ

Claims (16)

1. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される第１の情報処理装置と、
   第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、
   前記第２の注釈画像を前記投影装置に送信する送信手段と、
   前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、
   前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備える第２の情報処理装置と
   を有することを特徴とする情報共有支援システム。
2. 前記第１の情報処理装置または前記第２の情報処理装置が、前記第２の注釈画像の座標情報を前記投影装置の投影領域の座標情報に変換する変換手段を備え、
   前記送信手段は、前記撮影画像上における前記第２の注釈画像の座標情報を前記変換手段に送信し、前記変換手段は、変換された座標情報を前記投影装置に送信することを特徴とする請求項１に記載の情報共有支援システム。
3. 前記第２の情報処理装置は、前記第４の層に描画される文書及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士を注釈画像で連結する連結手段とを備えることを特徴とする請求項１又は２に記載の情報共有支援システム。
4. 前記第２の情報処理装置は、前記対象物の属性情報と、前記撮像装置及び前記投影装置の属性情報を取得する取得手段と、
   前記表示手段に表示されるデータ、前記第２の層の属性情報、前記文書の属性情報、前記対象物の属性情報、並びに前記撮像装置及び前記投影装置の属性情報を関連付けて記憶する記憶手段と、
   前記第２の層の属性情報、前記文書の属性情報、前記対象物の属性情報、並びに前記撮像装置及び前記投影装置の属性情報のうち、少なくともいずれか１つの属性情報に基づいて前記表示手段に表示されるデータを検索する検索手段とを備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報共有支援システム。
5. 前記第２の情報処理装置は、前記表示手段による第２の層の可視又は不可視を設定する設定手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報共有支援システム。
6. 前記第２の情報処理装置は、前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させる一致手段を備え、
   前記第１の情報処理装置は、前記対象物又は前記投影領域に書き込まれた書込情報を前記第３の注釈画像として検出する検出手段と、当該検出手段で検出された前記第３の注釈画像としての書込情報を前記第２の情報処理装置に出力する出力手段とを備え、
   前記一致手段により前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させた状態で、前記表示手段は前記書込情報を前記第３の層に表示することを特徴とする請求項１乃至５のいずれか１項に記載の情報共有支援システム。
7. 前記検出手段は、前記撮影装置により撮影された、連続する撮影画像の差分を抽出し、当該抽出結果から前記連続する撮影画像に含まれる第２の注釈画像を除去することにより、前記対象物又は前記投影領域に書き込まれた書込情報を検出することを特徴とする請求項６に記載の情報共有支援システム。
8. 前記第２の情報処理装置は、前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させる一致手段を備え、
   前記一致手段により前記撮影装置の撮影領域と前記表示手段における表示領域との大きさを一致させた状態で、前記送信手段は、前記第３の層に描画された第３の注釈画像及び前記第４の層に描画された文書を前記投影装置に送信することを特徴とする請求項１に記載の情報共有支援システム。
9. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される第１の情報処理装置と、
   第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、
   前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段と、
   前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段とを備える第２の情報処理装置と有し、
   前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする情報共有支援システム。
10. 前記第２の情報処理装置は、前記投影装置により前記部分画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、
    前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備えることを特徴とする請求項９に記載の情報共有支援システム。
11. 前記第２の情報処理装置は、前記部分画像及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士が重なりあうように、前記部分画像の位置を補正する補正手段とを備えることを特徴とする請求項９又は１０に記載の情報共有支援システム。
12. 前記第２の情報処理装置は、前記部分画像及び前記第２の層に表示される撮影画像の特徴点をそれぞれ抽出する抽出手段と、当該抽出された特徴点同士のマッチング処理を行うマッチング手段と、対応関係を持つ特徴点同士を注釈画像で連結する連結手段とを備え、
    前記送信手段は、前記部分画像、当該部分画像の座標情報及び当該注釈画像の座標情報を前記投影装置に送信し、
    前記投影装置は、前記部分画像及び注釈画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像及び前記注釈画像を投影することを特徴とする請求項９又は１０に記載の情報共有支援システム。
13. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続される情報処理装置であって、
    第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、
    前記第２の注釈画像を前記投影装置に送信する送信手段と、
    前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段と、
    前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段とを備えることを特徴とする情報処理装置。
14. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続される情報処理装置であって、
    第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段と、
    前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段と、
    前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段とを備え、
    前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする情報処理装置。
15. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続されるコンピュータを、
    第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段、
    前記第２の注釈画像を前記投影装置に送信する送信手段、
    前記投影装置により前記第２の注釈画像が投影された投影領域を撮影した撮影画像を前記撮影装置から受信する受信手段、及び
    前記第２の層に前記受信手段で受信された撮影画像を割り当て、前記第３の層における前記第３の注釈画像及び前記第４の層における前記文書を重ね合わせて表示する表示手段として機能させることを特徴とする制御プログラム。
16. 対象物を含む投影領域に画像を投影する投影装置、及び前記画像が投影された、対象物を含む投影領域を撮影する撮影装置に接続される外部装置と通信網を介して接続されるコンピュータを、
    第１の層に第１の注釈画像の描画操作を入力し、第２の層に前記第１の注釈画像の一部分である第２の注釈画像を入力し、第３の層に前記第１の注釈画像のうち前記第２の注釈画像を除いた第３の注釈画像を入力し、第４の層に文書を入力する入力手段、
    前記文書の一部を部分画像として選択し、前記第２の層に貼り付ける貼付手段、及び
    前記第２の層に貼り付けられた部分画像及び当該部分画像の座標情報を前記投影装置に送信する送信手段として機能させ、
    前記投影装置は、前記部分画像の座標情報に基づいて、前記対象物を含む投影領域に前記部分画像を投影することを特徴とする制御プログラム。
    
    

Images