JP2009094817A - 情報共有支援システム、情報共有支援プログラム及び情報共有支援装置 - Google Patents

Abstract

【課題】 簡易な操作で、遠隔会議等で使用された資料の再現性が確保される情報共有支援システム、情報共有支援プログラム及び情報共有支援装置を提供することを目的とする。
【解決手段】 対象物１４を撮影するビデオカメラ１１で撮影された撮影画像を端末３０５に送信すると共に、該端末３０５でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像をプロジェクタ１０により対象物１４に投影させ得るＰＣ１〜４を有し、ＰＣ３は、注釈画像が投影された対象物１４の撮影画像を端末３０５に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成してＰＣ３に記憶することを特徴とする。
【選択図】 図１

Description

本発明は、情報共有支援システム、情報共有支援プログラム及び情報共有支援装置に関する。

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を大型表示装置等の端末に送信すると共に、端末において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する情報共有支援システムや指示システム等が知られている。

また、上述した情報共有支援システム等では、注釈画像が投影された対象物の撮像画像もまた同様に端末に送信される。そして、その端末において、設計図面等の電子文書が利用者の操作によって開かれ、受信した撮像画像内の実物体と比較されながら、その電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けられることもある。

ところで、画像等の対応付け等には種々の技術が知られている。例えば、特許文献１では、プリント基板の画像データと部品ごとの実装位置データとを対応づけ、不良部品が実装されたプリント基板が検出された場合に、プリント基板上の不良箇所に印をつけて表示部に表示させる技術が開示されている。また、特許文献２では、マウスポインタの電子文書上での動作とレーザーポインタの紙文書上での動作とを対応づけて連動させる技術が開示されている。

これらの技術以外にも、特許文献３に開示されるように、携帯端末から送信された手書きの画像情報等を位置情報と関連付け、作業者間で共有されている地図上に重畳させる技術や、特許文献４に開示されるように、会合の様子を撮影した動画像、そこで使用された資料、その他のメディアデータを時間軸上で同期をとりながら記録する技術がある。

特開平１０−２６９２９２号公報 特表２０００−１７２４０２号公報 特開２００１−１８８８３７号公報 特開２００５−２６０５１３号公報

ここで、上述した情報共有支援システムにおいて、電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けがなされた後、例えば会議議事録等としてこれらの状態が維持されるように記録しておきたい場合もある。

例えばビットマップ等のラスタイメージによってこれらの状態をそのまま記録することも考えられるが、再現性の観点から会議議事録としての利便性は必ずしも好適ではなく、また、対応付けがなされる度に記録作業が発生する可能性もあり操作性は好ましくない。

本発明は、このような事情に鑑みてなされたものであり、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される情報共有支援システム、情報共有支援プログラム及び情報共有支援装置を提供することを目的とする。

請求項１に記載の発明は、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援システムである。

請求項２に記載の発明は、請求項１に記載の発明において、制御手段は、連結情報を、指示に併せて記憶していくことを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段は、指示用画像が、撮影画像外の注釈画像で形成される領域内に含まれた場合に、該注釈画像に対応する撮影画像を連結情報に基づいて表示することを特徴としている。

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、制御手段は、注釈画像に対応する撮影画像の表示中に、指示用画像が、撮影画像外の注釈画像で形成される領域から外れた場合に、該注釈画像に対応する撮影画像の表示を停止することを特徴としている。

請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成することを特徴としている。

請求項６に記載の発明は、請求項５に記載の発明において、制御手段は、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成することを特徴としている。

請求項７に記載の発明は、コンピュータを、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援プログラムである。

請求項８に記載の発明は、対象物を撮像する撮影手段と、撮影手段の撮影領域内にその撮影画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶する制御手段と、を有することを特徴とする情報共有支援装置である。

請求項１に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。

請求項２に記載の発明によれば、本構成を有していない場合に比較して、連結情報の記憶を指示に連動できる。

請求項３に記載の発明によれば、本構成を有していない場合に比較して、対応関係を有する撮影画像外の領域に対応する撮影画像が表示される。

請求項４に記載の発明によれば、本構成を有していない場合に比較して、撮影画像の継続的な表示が抑制される。

請求項５に記載の発明によれば、本構成を有していない場合に比較して、明確な基準点に基づいて連結情報が生成されて記憶される。

請求項６に記載の発明によれば、本構成を有していない場合に比較して、明確な基準時刻に基づいて連結情報が生成された記憶される。

請求項７に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。

請求項８に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。

以下、本発明の実施形態について図面を参照して説明する。
図１は本発明の実施形態に係る情報共有支援システムの構成図である。
情報共有支援システム１００は、図１に示すように、指示システム１５０及び電子情報共有システム１５１を備え、ネットワーク５を介して互いに接続されている。

指示システム１５０は、サーバとして機能するパーソナルコンピュータ（ＰＣ）１、クライアントとして機能するＰＣ２を備えており、これらは、ネットワーク５を介して互いに接続されている。

ＰＣ１には、プロジェクタ１０及びビデオカメラ１１が接続されている。
プロジェクタ１０は、ＰＣ１からの制御コマンドに基づいて、テーブル１５上に載置された対象物１４に対して、ハーフミラー１２を介して単なる光線を照射する又は注釈画像（以下、アノテーション画像という。）等を投影する。
ビデオカメラ１１は、対象物１４を含むテーブル１５の反射画像をハーフミラー１２を介して撮影し、撮影画像をＰＣ１に出力する。
ＰＣ１は、撮影画像をＰＣ２に出力すると共に、ネットワーク５を介して電子情報共有システム１５１に出力する。

ＰＣ２には、表示部２０５が接続されている。
表示部２０５は、表示領域２１０及びユーザインターフェース（ＵＩ）１６を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。

ＵＩ１６は、ペン、テキスト、及び消去などのボタン群と、線種などを含む。タッチパネル方式であってもよい。
表示領域２１０は、ビデオカメラ１１で撮影された撮影画像が表示される。同図においては、表示領域２１０に対象物１４を含むテーブル１５を上方から撮影した画像が表示されている。また、例えば、ＵＩ１６のペンボタンが押下されて、表示領域２１０内の対象物１４上に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ１０に出力される。プロジェクタ１０は当該図形の情報に基づいて対象物１４上に図形を描く。

また、ＰＣ２では、例えば表示領域２１０内に表示される対象物１４の一部の範囲が選択される。即ち、対象物１４の全体図から一部の範囲が選択されると、後述するＰＣ２の制御部２０１は、少なくとも１つの対象物１４の部分拡大図を自動的に作成し、全体図内の選択された一部の範囲と自動作成された部分拡大図とをアノテーションで連結する。ＰＣ２が、アノテーションで連結された全体図及び部分拡大図の情報をプロジェクタ１０に送信すると、テーブル１５上に全体図、部分拡大図及び両者を連結するアノテーションを投影することができる。

また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ１０及びビデオカメラ１１の動作（例えば、ビデオカメラ１１の撮影角度やプロジェクタ１０の明るさなど）を制御することができる。

電子情報共有システム１５１は、ＰＣ３及びＰＣ４を備え、ネットワーク５を介して互いに接続されている。

ＰＣ３には、表示部３０５が接続されている。
表示部３０５の表示領域３１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ３１１及び文字、図形、静止画像などを表示する文書領域３１２を含む。
ＰＣ３は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部３０５の実物ビューウィンドウ３１１に出力する。

ＰＣ４には、表示部４０５が接続されている。
表示部４０５の表示領域４１０は、ビデオカメラ１１で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ４１１及び文字、図形、又は静止画像などを含む文書を表示する文書領域４１２を含む。
ＰＣ４は、ビデオカメラ１１で撮影された撮影画像をＰＣ１から受信し、表示部４０５の実物ビューウィンドウ４１１に出力する。

実物ビューウィンドウ３１１、４１１は、後述するように表示領域３１０，４１０に表示されるデータを構成するレイヤーとしての機能を有する。
ＰＣ３及びＰＣ４は、互いに情報を共有する機能を備え、リアルタイムで同一の情報をそれぞれの表示部に表示することができる。
尚、ＰＣ３，４も、それぞれ表示部３０５，４０５を備える一体型のパーソナルコンピュータで構成してもよい。

続いて上述したＰＣ１〜４の各機能等について図２及び図３を参照して説明する。
図２はＰＣ１〜４の要部構成を示す機能ブロック図である。
ＰＣ１は、装置全体を制御すると共にプロジェクタ１０及びビデオカメラ１１の動作を制御する制御部１０１と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部１０２と、制御プログラム、データ及び情報等を記憶する記憶部１０４と、バーコードリーダ又はＲＦＩＤタグリーダなどで構成される入力部１０５とを備えている。

入力部１０５は、対象物１４に付されたバーコード又はＲＦＩＤタグから対象物１４の識別情報（例えばＩＤ）を読み取るために使用される。
制御部１０１は、プロジェクタ１０、ビデオカメラ１１、送受信部１０２、記憶部１０４及び入力部１０５に接続されている。

ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク５を介して他のＰＣと情報やデータの送受信を行う送受信部２０２と、マウスやキーボードなどで構成される操作部２０３と、制御プログラム、データ及び情報等を記憶する記憶部２０４と、表示部２０５とを備えている。
制御部２０１は、送受信部２０２、操作部２０３、記憶部２０４及び表示部２０５に接続されている。

ＰＣ３，４は、ＰＣ１，２と同様に、それぞれ、制御部３０１，４０１、送受信部３０２，４０２、操作部３０３，４０３、記憶部３０４，４０４、及び表示部３０５，４０５を備えている。
制御部３０１は、送受信部３０２、操作部３０３、記憶部３０４及び表示部３０５に接続され、制御部４０１は、送受信部４０２、操作部４０３、記憶部４０４及び表示部４０５に接続されている。尚、上述した制御部１０１，２０１，３０１，４０１等から本発明の制御手段が構成され、また、上述した記憶部１０４，２０４，３０４，４０４等から本発明の記憶手段が構成される。これらは、分離されて配置されていても、一体形成されていてもよい。

ＰＣ１〜４は、各々が備える送受信部及びネットワーク５を介して互いに接続されている。

図３はＰＣ３のハードウェア構成を示す機能ブロック図である。
ＰＣ３は、図３に示すように、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、他のコンピュータと接続するためのネットワークインタフェース（Ｉ／Ｆ）２６、及び液晶モニタ又はＣＲＴ等で構成されるディスプレイ２７を備えている。ＣＰＵ２１はシステムバス２８を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインタフェース２６、及びディスプレイ２７と接続されている。

したがって、ＣＰＵ２１がＲＯＭ２２やハードディスクドライブ２４等に格納された所要の制御プログラムを読み込み、当該制御プログラムに従った演算を行うことにより、ＰＣ３内の各機能が実現される。尚、このような制御プログラムとしては後述するフローチャートに応じた制御プログラムとすることができる。

尚、ＰＣ２，４は、ＰＣ３と同様の構成を備えるので、その説明は省略する。ＰＣ１は、ＰＣ３の構成から、マウス及びキーボード２５、並びにディスプレイ２７を除外し、バーコードリーダ又はＲＦＩＤタグリーダを備える構成であるが、マウス及びキーボード２５、並びにディスプレイ２７を備えていてもよい。

制御部３０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部３０２は、ネットワークインタフェース２６に相当し、操作部３０３は、マウス及びキーボード２５に相当する。記憶部３０４は、ＲＯＭ２２やＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４等に相当し、表示部３０５は、ディスプレイ２７に相当する。

図４は表示部３０５の表示領域３１０に表示されるデータの構造を模式的に示す図である。
ＰＣ３の制御部３０１は、図４に示すように、送受信部３０２及びネットワーク５を介してＰＣ１からビデオカメラ１１で撮影された撮影画像３０を取得し、レイヤーとしての機能を有する実物ビューウィンドウ３１１に当該撮影画像３０の一部を表示する。実物ビューウィンドウ３１１は、そのサイズや位置（表示領域３１０内での位置）を操作部３０３（例えばマウス）の操作により変更することができる。

また、制御部３０１は、実物ビューウィンドウ３１１に表示されている画像の撮影画像３０上における位置及び当該実物ビューウィンドウ３１１に表示されている画像の大きさに関する情報を記憶部３０４に保存する。より具体的には、制御部３０１は、撮影画像３０の座標情報を基準とした、実物ビューウィンドウ３１１に表示されている画像の座標情報及び当該座標情報から求まる画像の大きさの情報を記憶部３０４に保存する。さらに、制御部３０１は、実物ビューウィンドウ３１１に表示されている画像のスケール（縮尺）も変更可能である。

制御部３０１は、イベント受信用ウィンドウ３５、ストローク描画レイヤー３６、実物ビューウィンドウ３１１及び文書画像レイヤー３７を重ね合わせて、表示部３０５の表示領域３１０に表示されるデータを作成し、表示部３０５に出力する。尚、イベント受信用ウィンドウ３５、ストローク描画レイヤー３６、及び文書画像レイヤー３７は、通常透明に設定されているが、操作部３０３の操作によりレイヤーに色付けをすることも可能である。

制御部３０１は、操作部３０３を介してアノテーションや文書などを記載するイベントが生じたときに、イベント受信用ウィンドウ３５に当該イベントを入力する。イベント受信用ウィンドウ３５は、当該イベントを受信する。同図において、イベント受信用ウィンドウ３５は、アノテーション画像３８のイベントを受信している。

制御部３０１は、操作部３０３を介して実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像をストローク描画レイヤー３６に入力する。ストローク描画レイヤー３６は、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像を描画する。同図において、ストローク描画レイヤー３６は、アノテーション画像３８の一部であり、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像３８ａを描画する。

制御部３０１は、操作部３０３を介して実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像を実物ビューウィンドウ３１１に入力する。実物ビューウィンドウ３１１は、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像を描画すると共に、撮影画像３０の一部を表示する。同図において、実物ビューウィンドウ３１１は、アノテーション画像３８の一部であり、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像３８ｂを描画する。

アノテーション画像３８ｂが実物ビューウィンドウ３１１の範囲に記載されると、制御部３０１は、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をＰＣ１に送信する。ＰＣ１は、当該座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上にアノテーション画像３８ｂを投影する。尚、ＰＣ１の制御部１０１は、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像３８ｂの座標情報をプロジェクタ１０に送信する。これは、撮影画像３０上におけるアノテーション画像３８ｂをプロジェクタ１０で正確な位置に投影させるためである。

尚、ＰＣ３の制御部３０１が、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像３８ｂの座標情報をＰＣ１を介してプロジェクタ１０に送信するようにしてもよい。

ビデオカメラ１１は、このアノテーション画像３８ｂが投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１及びネットワーク５を介してＰＣ３の制御部３０１に逐次出力する（例えば、０．５秒毎に出力する）。制御部３０１がこの撮影画像を受信することで、実物ビューウィンドウ３１１にアノテーション画像３８ｂが描画される。

制御部３０１は、操作部３０３を介して文書を文書画像レイヤー３７に入力する。文書画像レイヤー３７は、操作部３０３を介して記載された文書を描画する。

このように、表示部３０５の表示領域３１０に表示されるデータは、個別にアノテーション画像の範囲を指定可能なレイヤーを複数重ね合わす構造を持つことにより、連続かつ透過的なアノテーションを実現している。

図５は表示部３０５の表示領域３１０に実際に表示されるデータの例を示す図である。

同図において、文書領域３１２には、複合機の設計図、複合機の操作ボタン等の説明及びアノテーション３８の一部であるアノテーション３８ａが表示されており、実物ビューウィンドウ３１１には、実際にアノテーション３８ｂが投影された複合機の撮影画像が表示されている。

図６は、表示部３０５の表示領域３１０に表示されるデータの作成処理を示すフローチャートである。

まず、ＰＣ３の制御部３０１は、初期化処理を実行する（ステップＳ１）。この初期化処理は、（１）文書画像レイヤー３７を全画面表示する（即ち、文書領域３１２に文書を表示する）、（２）実物ビューウィンドウ３１１を表示する、（３）ストローク描画レイヤー３６を全画面表示する、（４）イベント受信用ウィンドウ３５を全画面表示する、の４つの処理を含む。

次に、制御部３０１は、操作部３０３からのイベント（操作）の入力を受け付ける（ステップＳ２）。制御部３０１は、本データの作成処理が開始されると、操作部３０３からの指示や書き込みなどのイベント（操作）の入力を常時受け付ける（ステップＳ３）。

次いで、制御部３０１は、操作部３０３からのイベント（操作）の入力が終了したか否かを判別する（ステップＳ４）。ステップＳ４でＹＥＳの場合には、本データの作成処理を終了する。一方、ステップＳ４でＮＯの場合には、制御部３０１は、アノテーション画像が実物ビューウィンドウ３１１の範囲内に記載されたか否かを判別する（ステップＳ５）。具体的には、制御部３０１は、実物ビューウィンドウ３１１の４角の座標情報で規定される領域にアノテーション画像の座標情報が含まれる場合に、アノテーション画像が実物ビューウィンドウ３１１の範囲内に記載されたと判別する。

ステップＳ５でＮＯの場合には、制御部３０１は、ストローク描画レイヤー３６にアノテーション画像を描画し（ステップＳ６）、ステップＳ２に戻る。これにより、ストローク描画レイヤー３６は、実物ビューウィンドウ３１１以外の範囲に記載されたアノテーション画像を描画する。

一方、ステップＳ５でＹＥＳの場合には、制御部３０１は、送受信部３０２を介して、実物ビューウィンドウ３１１の範囲に記載されたアノテーション画像の、撮影画像３０上における座標情報をＰＣ１に送信し（ステップＳ７）、ステップＳ２に戻る。

続いて、ＰＣ１、プロジェクタ１０、ビデオカメラ１１で実行される処理を説明する。

まず、ＰＣ１の制御部１０１は、初期化処理を実行すると共に入力部１０５により読み取られた対象物１４の識別情報（例えばＩＤ）を記憶部１０４に記憶する（ステップＳ８）。ここでの初期化処理は、プロジェクタ１０及びビデオカメラ１１へ制御コマンドを出力し、プロジェクタ１０の投影及びビデオカメラ１１での撮影画像の出力などがある。尚、ステップＳ８の処理は、ＰＣ３側の処理とは独立して実行される。

次いで、制御部１０１は、ネットワーク５及び送受信部１０２を介してＰＣ３からアノテーション画像の、撮影画像３０上における座標情報の入力を受け付ける（ステップＳ９）。制御部１０１は、本データの作成処理が開始されると、ＰＣ２からの指示や書き込みなどのイベント（操作）の入力も常時受け付ける（ステップＳ１０）。

次に、制御部１０１は、アノテーション画像の、撮影画像３０上における座標情報の入力が終了したか否かを判別する（ステップＳ１１）。

ステップＳ１１でＹＥＳの場合には、データの作成処理を終了する。一方、ステップＳ１１でＮＯの場合には、制御部１０１は、当該座標情報をプロジェクタ１０用の座標情報に変換し、当該変換後の座標情報及び制御コマンドを使ってプロジェクタ１０を制御し、プロジェクタ１０は、対象物１４を含むテーブル１５上に当該変換後の座標情報に対応するアノテーション画像を投影する（ステップＳ１２）。ビデオカメラ１１は、このアノテーション画像が投影された対象物１４を含むテーブル１５の撮影画像をＰＣ１、ネットワーク５、及び送受信部３０２を介してＰＣ３の制御部３０１に出力し、制御部１０１は、記憶部１０４に記憶された対象物１４の識別情報をＰＣ３の制御部３０１に出力する（ステップＳ１３）。

制御部３０１は、この撮影画像を受信し、実物ビューウィンドウ３１１の表示を更新する（ステップＳ１４）。これにより、実物ビューウィンドウ３１１に対象物１４を含むテーブル１５と共にアノテーション画像が表示される。尚、ステップＳ１４の表示の更新は逐次実行される。また、制御部３０１は、ＰＣ１から対象物１４の識別情報を取得し、記憶部３０４に保存する（ステップＳ１５）。

本実施形態において、制御部３０１は、文書画像レイヤー３７に記載された文書（文字、図形、静止画像を含む）及び実物ビューウィンドウ３１１内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーション画像で連結するようにしてもよい。この連結されたアノテーション画像のうち、実物ビューウィンドウ３１１以外の範囲に記載されるアノテーション画像の部分は、ストローク描画レイヤー３６に描画され、実物ビューウィンドウ３１１の範囲に記載されるアノテーション画像の部分は、上述した図６のフローチャートに従って、プロジェクタ１０の投影処理及びビデオカメラ１１の撮影処理を介して実物ビューウィンドウ３１１に描画される。

これにより、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物１４と文書との対応関係を容易に判断することができる。

また、制御部３０１は、ビデオカメラ１１から撮影画像を受信する際に、ＰＣ１からプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）を受信して記憶部３０４に記憶するようにしてもよい。

制御部３０１は、表示部３０５の表示領域３１０に表示されるデータを記憶部３０４に保存する際には、記憶部３０４は、アノテーション画像（座標情報を含む）、実物ビューウィンドウ３１１内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウィンドウ３１１の属性情報（位置、範囲）、文書の属性情報（該当する文書ＩＤ、ページ番号、文書の表示範囲、文書の表示位置を含む）、対象物の属性情報（対象物の識別情報（ＩＤ））、及びプロジェクタ１０及びビデオカメラ１１の属性情報（プロジェクタ１０の投影位置及び投影範囲の情報、ビデオカメラ１１の撮影位置及び撮影範囲の情報を含む）をメイン情報に関連付けて記憶するようにしてもよい。

これにより、制御部３０１は、対象物の識別情報等の属性情報に基づいて表示部３０５の表示領域３１０に表示されるデータの検索を実行することができる。また、制御部３０１は、記憶部３０４に保存された当該データを表示部３０５の表示領域３１０に表示させることができる。

以上詳細に説明したように、本実施形態によれば、制御部３０１が、操作部３０３を介して、アノテーション画像３８の描画操作をイベント受信用ウィンドウ３５に入力し、ビデオカメラ１１により撮影された、アノテーション画像３８の一部分であるアノテーション画像３８ｂを実物ビューウィンドウ３１１に入力し、アノテーション画像３８のうちアノテーション画像３８ｂを除いたアノテーション画像３８ａをストローク描画レイヤー３６に入力し、文書を文書画像レイヤー３７に入力する。そして、制御部３０１は送受信部３０２を介してアノテーション画像３８ｂをプロジェクタ１０に送信し、プロジェクタ１０によりアノテーション画像３８ｂが投影された投影領域を撮影した撮影画像をビデオカメラ１１から送受信部３０２を介して受信し、表示部３０５は、実物ビューウィンドウ３１１に制御部３０１で受信された撮影画像を割り当て、ストローク描画レイヤー３６におけるアノテーション画像３８ａ及び文書画像レイヤー３７における文書を重ね合わせて表示する。

このように、表示部３０５では、実物ビューウィンドウ３１１、ストローク描画レイヤー３６、及び文書画像レイヤー３７が重ね合わせて表示されるので、ＰＣ３のユーザは、対象物と文書とを繋ぐアノテーション画像が連続かつ透過的に表示され、対象物と文書との対応関係を容易に認識することができる。また、アノテーション画像３８ｂ及びアノテーション画像３８ａにより連続かつ透過的なアノテーション画像３８を実現することができる。

また、制御部３０１は、送受信部３０２を介して、撮影画像３０上におけるアノテーション画像３８ｂの座標情報をＰＣ１の制御部１０１に送信し、当該制御部１０１は、アノテーション画像３８ｂの座標情報をプロジェクタ１０の投影領域の座標情報に変換し、変換された座標情報をプロジェクタ１０に送信するので、アノテーション画像３８ｂを、対象物１４を含む投影領域に正確な位置で投影することができる。

さらに、制御部３０１は、文書画像レイヤー３７に描画される文書及び実物ビューウィンドウ３１１に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するので、ＰＣ３の表示部３０５を観るユーザは、撮影画像として表示される実際の対象物と文書との対応関係を容易に判断することができる。

次に、アノテーション画像による対応関係の記憶処理について図７から図１０を参照して詳細に説明する。
図７は対応関係の記憶処理の一例を示すフローチャート、図８は対応関係の記憶処理を説明するための図、図９は対応関係を記憶するテーブルの一例、図１０は分類済アノテーションを記憶するテーブルの一例である。

まず、ユーザは、上述したように表示部３０５上でキーボードやマウス２５等を用いてアノテーション画像３８ａ及びアノテーション画像３８ｂによって形成されるアノテーション画像３８の描画を指示する。

制御部３０１は、このような指示を受信すると、文書領域３１２と実物ビューウィンドウ３１１とのアノテーション画像３８上の境界点Ｐ０の座標を算出する（ステップＳ２１）。すなわち、この境界点Ｐ０は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する点となる。この座標の算出は、例えば、表示部３０５の左上隅を基準点Ｏ（０，０）、長手方向をＸ軸、短手方向をＹ軸とした場合における相対位置によって算出できる。本実施形態では、一例として図８に示すように境界点Ｐ０の座標を（２７０，１５０）としている。

制御部３０１は、次いで、文書領域３１２に表示されるアノテーション３８ａを細かく線分化（細線化）し、連結成分に分割する（ステップＳ２２）。また、撮影画像３１２に表示されるアノテーション３８ｂも細かく線分化（細線化）し、それぞれが連結された成分（連結成分）に分割する（ステップＳ２３）。アノテーション画像３８ａ，３８ｂの連結成分にはそれぞれを識別するためのラベルをすべてに付すようにしてもよい。これにより、アノテーション３８ａ，３８ｂは、仮想的に破線のようになる。

制御部３０１は、次いで、境界点Ｐ０から出発してアノテーション３８ａ上の最初の分岐点Ｐ１を算出する（ステップＳ２４）。例えば、図８においては、アノテーション画像３８ａの楕円状の部分と曲線状の部分との接点が分岐点Ｐ１となる。そして、制御部３０１は、アノテーション画像３８ａのうち境界点Ｐ０から分岐点Ｐ１までの間を除いた部分を覆う領域をアノテーション領域Ｒ１を生成して保持する（ステップＳ２５）。

制御部３０１は、次いで、境界点Ｐ０から出発してアノテーション３８ｂ上の最初の分岐点Ｐ２を算出する（ステップＳ２６）。例えば、図７においては、アノテーション３８ｂの楕円と曲線との接点が分岐点Ｐ２となる。そして、制御部３０１は、アノテーション３８ｂのうち境界点Ｐ０から分岐点Ｐ２までを除いた部分を覆う領域をアノテーション領域Ｒ２を生成して保持する（ステップＳ２７）。

したがって、アノテーション３８ａのうちの楕円部分はアノテーション領域Ｒ１に、アノテーション３８ｂのうちの楕円部分はアノテーション領域Ｒ２に覆われる。尚、アノテーション領域Ｒ１，Ｒ２の形状は、それぞれアノテーション３８ａ，３８ｂの楕円部分を覆うことができればよく、例えば円形や、アノテーション３８ａ，３８ｂの楕円部分に外接する図８に示すような矩形等であってもよい。

制御部３０１は、次いで、アノテーション領域Ｒ１，Ｒ２を取り除いたアノテーション画像３８に外接する矩形領域をアノテーション領域Ｒｘを生成して保持する（ステップＳ２８）。これにより、アノテーション領域Ｒ１とアノテーション領域Ｒ２との対応付用のアノテーション領域Ｒｘが保持される。

制御部３０１は、次いで、利用された文書領域３１２、撮影画像等の各種情報を連結情報として記憶装置に記憶する（ステップＳ２９）。文書領域３１２の情報（文書情報群）としては、例えば図９に示すように、文書ファイル名、文書のページ番号、文書の表示範囲、文書領域の縮尺等に関する情報がある。また、撮影画像の情報（撮影情報群）としては、画像ファイル名、表示範囲、画像の縮尺等に関する情報がある。このように、制御部３０１は、文書領域３１２と撮影画像、これらに関連するアノテーション領域Ｒ１，Ｒ２，Ｒｘ等を記憶装置に記憶することで、文書領域３１２上のアノテーション領域Ｒ１と撮影画像上のアノテーション領域Ｒ２との対応関係が、対応関係用アノテーション領域Ｒｘを介して適合し明確になる。

制御部３０１は、さらに、アノテーション領域Ｒ１，Ｒ２，Ｒｘに含まれるそれぞれのアノテーション画像について、これらの構成座標をそれぞれ算出し、図１０に示すように、アノテーション領域を構成する座標とともに、連結情報として記憶装置に記憶する（ステップＳ３０）。これにより、アノテーション領域Ｒ１等に含まれる各アノテーションの画像が点の集合としてそれぞれ表される。尚、アノテーション領域を構成する座標は、アノテーション画像３８の構成座標のうち、Ｘ座標、Ｙ座標のそれぞれの最小座標、最大座標の組み合わせで構成することができる。また、マウスポインタによる指示に併せて記憶装置に記憶していくようにしてもよい。さらに、図９及び図１０に示す各種情報は、正規形（Normal Form）により各項目の相関性を低くしてもよく、これにより、各項目の冗長性が減少する。

続いて、文書領域等の表示処理について図１１から図１４を参照して説明する。
図１１は制御部３０１の文書領域表示処理の一例を示すフローチャート、図１２は対応関係を有する文書領域表示の一例、図１３及び図１４は文書領域と撮影画像との対応関係を示す文書領域表示の一例である。

制御部３０１は、まず、キーボードやマウス等から文書ファイル等の文書領域３１２の開示要求の指示を受信すると（ステップＳ３１）、指示された文書領域３１２を開き、文書領域３１２上で対応関係を有する領域、すなわち、上述したアノテーション領域Ｒ１を表示する（ステップＳ３２）。例えば、上述したアノテーション領域Ｒ１以外のアノテーション領域が文書領域３１２上にある場合には、図１２に示すように、すべてのアノテーション領域（例えばアノテーション領域Ｒ１´，Ｒ１´´）を表示する

制御部３０１は、次いで、指示用画像としてのマウスポインタＰｔの表示部２０５内での位置座標を算出する（ステップＳ３３）。そして、制御部３０１は、マウスポインタＰｔの位置座標がアノテーション領域内か否かを判定する（ステップＳ３４）。尚、アノテーション領域に代えて、アノテーション画像で形成される領域を利用するようにしてもよい。

制御部３０１は、ここで、マウスポインタＰｔがアノテーション領域内に含まれたと判定した場合には、そのアノテーション領域に対応関係を有する実物ビューウィンドウ３１１を表示する（ステップＳ３５）。

例えば、図１２に示すマウスポインタＰｔの位置座標から図１３に示す位置座標にマウスポインタＰｔが移動した場合には、楕円状のアノテーション画像を有するアノテーション領域Ｒ１に対応する実物ビューウィンドウ３１１を表示し、ステップＳ３３に戻る。また、マウスポインタが図１２に示す位置座標から図１４に示す位置座標にマウスポインタＰｔが移動した場合には、矩形上のアノテーション画像を有するアノテーション領域Ｒ１´に対応する実物ビューウィンドウ３１１を表示する。この際、対応関係を明確にするため、指示されなかったアノテーション領域の表示を停止することが望ましい。

一方、制御部３０１は、ステップＳ３４の処理において、マウスポインタＰｔの位置座標がアノテーション領域Ｒ１等の範囲内から外れてその範囲内にないと判定した場合には、さらに、表示部２０５内に実物ビューウィンドウ３１１が表示されているか否かを判定する。

制御部３０１は、ここで、実物ビューウィンドウ３１１が表示中であると判定した場合には、その実物ビューウィンドウ３１１の表示を停止し、ステップＳ３３の処理に戻る。この際、実物ビューウィンドウ３１１の表示停止に併せて、再度、アノテーション領域Ｒ１やＲ１´等を表示するようにしてもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

また、上述した実施形態においては、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成したが、例えば、図１５に示すように、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成するようにしてもよい。

図１５においては、文書領域３１２側で最初のアノテーション画像の書き込み開始から終了までの時間帯を時間帯Ｔ１としている。同図においては、文書領域３１２上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ１とし、例えば時間帯Ｔ１は０秒〜２秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒ１とできる。

同様に、撮影画像上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ２とし、例えば時間帯Ｔ２は４秒〜６秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒ２とできる。

そして、描画中の対応付用のアノテーション画像が上述した基準点を通過する時刻を基準ｔ０（例えば８秒）とし、対応付用アノテーションを描画する際の描画開始時刻から描画終了時刻までが時間帯Ｔ０とし、例えば時間帯Ｔ０は７秒〜９秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Ｒｘとできる。このように、各アノテーション領域が求まることで、アノテーション画像同士の対応付けも可能となる。

また、上述した実施形態では、対応付用のアノテーション画像が撮影画像外のアノテーション画像と撮影画像内のアノテーション画像とを対応付けしているが、対応付けの際中に対応付用のアノテーション画像が断続的となった場合には、最初に断続的となった位置を上述した分岐点Ｐ１又はＰ２としてもよい。これにより、円滑なアノテーション画像の入力が行われなかった場合でも、記憶処理を停止させないで済むようになる。さらに、撮影画像を開いてからその撮像画像領域内のアノテーション画像で形成される領域にマウスポインタが含まれた場合に、対応関係を有する文書領域を開くようにしてもよい。

本発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保され、産業上の利用可能性が高い。

情報共有支援システムの構成図である。 各ＰＣの要部構成を示す機能ブロック図である。 ＰＣのハードウェア構成を示す機能ブロック図である。 表示部の表示領域に表示されるデータの構造を模式的に示す図である。 表示部の表示領域に実際に表示されるデータの例を示す図である。 表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。 アノテーションの対応関係の記憶処理の一例を示すフローチャートである。 対応関係の記憶処理を説明するための図である。 対応関係を記憶するテーブルの一例である。 分類済アノテーションを記憶するテーブルの一例である。 制御部の文書表示処理の一例を示すフローチャートである。 対応関係を有する文書表示の一例である。 文書と撮影画像との対応関係を示す文書表示の一例である。 文書と撮影画像との対応関係を示す文書表示の一例である。 対応関係の記憶処理を説明するための他の図である。

符号の説明

１〜４ ＰＣ
５ ネットワーク
１０ プロジェクタ
１１ ビデオカメラ
１２ ハーフミラー
１４ 対象物
１５ テーブル
１６ ＵＩ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ ＨＤＤ
２５ キーボード及びマウス
２６ Ｉ／Ｆ
２７ ディスプレイ
３０ 撮影画像
３５ イベント受信用ウィンドウ
３６ ストローク描画レイヤー
３７ 文書画像レイヤー
３８，３８ａ、３８ｂ アノテーション
１００ 情報共有支援システム
１０１，２０１，３０１，４０１ 制御部
１０２，２０２，３０２，４０２ 送受信部
１０４，２０４，３０４，４０４ 記憶部
１５０ 指示システム
１５１ 電子情報共有システム
２０３，３０３，４０３ 操作部
２０５，３０５，４０５ 表示部
２１０，３１０，４１０ 表示領域
３１１，４１１ 実物ビューウィンドウ
３１２，３１２ 文書領域
Ｒ１，Ｒ２，Ｒｘ アノテーション領域
Ｐｔ マウスポインタ

Claims (8)

1. 対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた前記撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
   前記制御手段は、前記注釈画像が投影された対象物の撮影画像を前記端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援システム。
2. 前記制御手段は、前記連結情報を、前記指示に併せて記憶していくことを特徴とする請求項１に記載の情報共有支援システム。
3. 前記制御手段は、指示用画像が、撮影画像外の注釈画像で形成される領域内に含まれた場合に、該注釈画像に対応する撮影画像を前記連結情報に基づいて表示することを特徴とする請求項１又は２に記載の情報共有支援システム。
4. 前記制御手段は、前記注釈画像に対応する撮影画像の表示中に、指示用画像が、撮影画像外の注釈画像で形成される領域から外れた場合に、該注釈画像に対応する撮影画像の表示を停止することを特徴とする請求項１から３のいずれか１項に記載の情報共有支援システム。
5. 前記制御手段は、前記撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に前記連結情報を形成することを特徴とする請求項１から４のいずれか１項に記載の情報共有支援システム。
6. 前記制御手段は、描画中の前記対応付用注釈画像が前記基準点を通過する時刻を基準に前記連結情報を形成することを特徴とする請求項５に記載の情報共有支援システム。
7. コンピュータを、
   対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた前記撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
   前記制御手段は、前記注釈画像が投影された対象物の撮影画像を前記端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援プログラム。
8. 対象物を撮像する撮影手段と、
   前記撮影手段の撮影領域内にその撮影画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、
   前記注釈画像が投影された対象物の撮影画像を前記端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶する制御手段と、
   を有することを特徴とする情報共有支援装置。
   
   
   

Images