JP2015073214A - 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム - Google Patents

Abstract

【課題】複数の拠点間で情報を共有するシステムにおいて、ユーザが情報入力ボードに入力した文字や図形と投影画像に含まれる文字や図形の位置関係のずれ量を容易に認識できるようにする。
【解決手段】ネットワークを介して接続された自拠点と他拠点との間で情報の共有を行なうシステムにおいて用いられる装置であって、自拠点の情報入力ボードを撮像する撮像手段と、前記自拠点の情報入力ボードに画像を投影する投影手段と、前記投影手段によって前記自拠点の情報入力ボードに投影される画像の表示を制御する表示制御手段と、を備え前記表示制御手段は、前記自拠点の情報入力ボードの過去の状態を撮像した画像を投影させる、ことを特徴とする。
【選択図】図９

Description

本発明は、各拠点に配置された情報入力ボードに入力された情報を複数拠点で共有する技術に関するものである。

従来より、ホワイトボードやスクリーン等に代表される情報入力ボードが会議等で利用されている。ユーザは、マーカペン等で文字や図形を書き込んだり、紙付箋やカード等の情報が記入されているシートを貼る等して情報入力ボードに情報を入力することができる。そして、このような情報入力ボードを複数の拠点に配置し、各拠点の情報入力ボードをカメラで撮像して得た撮像画像を他拠点の情報入力ボードにプロジェクタで投影することによって、複数拠点間で情報を共有するシステムが提案されている（特許文献１）。

上述のようなシステムにおいて、プロジェクタと投影面の位置関係がずれてしまうことがあり、そのような場合、ユーザがプロジェクタの脚の部分に備えたアジャスタや情報入力ボードの位置を手動で調整して復旧することになる。そこで、その調整量をユーザにガイドするプロジェクタも提案されている。例えば特許文献２には、情報入力ボードへの投影画像の歪みや傾き、位置ずれを判定して、歪みや傾き、位置ずれのない投影画像を得るためのプロジェクタの最適設置位置を示すガイド情報を表示する技術が開示されている。これによれば、ユーザは、情報入力ボードに投影画像の全体を投影でき、且つ、投影画像の傾きを解消する位置にプロジェクタ位置を変更することが可能である。

特開２０１０−６１４１１号公報 特開２００５−２４６６８号公報

上述のような情報共有システムにおいて、情報入力ボードに対するカメラやプロジェクタの位置関係が変化する場合がある。その場合、情報入力ボードに記入等された文字や図形と投影画像に含まれる文字や図形との位置関係も変化して、複数拠点間で正しく情報を共有できなくなってしまう。例えば、特許文献２におけるガイド情報は、上述のような情報共有システムにおける各拠点の情報入力ボード間の位置ずれを考慮することは想定されておらず、これを単に適用したとしても上記のような位置ずれを解消することは困難であった。

本発明に係る装置は、ネットワークを介して接続された自拠点と他拠点との間で情報の共有を行なうシステムにおいて用いられる装置であって、自拠点の情報入力ボードを撮像する撮像手段と、前記自拠点の情報入力ボードに画像を投影する投影手段と、前記投影手段によって前記自拠点の情報入力ボードに投影される画像の表示を制御する表示制御手段と、を備え、前記表示制御手段は、前記自拠点の情報入力ボードの過去の状態を撮像した画像を投影させる、ことを特徴とする。

本発明によれば、複数の拠点で利用される情報入力ボード間で位置ずれが生じた場合に、ユーザはそれを容易に認識し解消することができる。

実施例１に係る、複数の拠点間で情報を共有するためのシステムの構成の一例を示す図である。 ＰＣの内部構成の一例を示す図である。 情報入力ボードへの投影に用いる画像を説明する図である。 プロジェクタによって投影画像が情報入力ボードに投影され、その投影結果において位置ずれが発生する様子を説明する図である。 情報入力ボード上に表示される自拠点画像或いは他拠点画像を示す図である。 プロジェクタによって投影画像が情報入力ボードに投影され、その投影結果において位置ずれが解消していく様子を説明する図である。 実施例１に係る、ＰＣのソフトウェア構成を示す機能ブロック図である。 実施例１に係る、ＰＣの共有モード時における処理の流れを示すフローチャートである。 実施例１に係る、ＰＣの位置ずれ確認モード時における処理の流れを示すフローチャートである。 実施例２に係る、ＰＣのソフトウェア構成を示す機能ブロック図である。 実施例２に係る、ＰＣの共有モード時における処理の流れを示すフローチャートである。 実施例２に係る、ＰＣの位置ずれ確認モード時における処理の流れを示すフローチャートである。 実施例３に係る、ＰＣの共有モード時における処理の流れを示すフローチャートである。 共有モードで動作中の情報処理システムにおける情報入力ボードをカメラで撮像した撮像画像の一例を示す図である。 実施例４に係る、位置ずれ検出処理の詳細を示すフローチャートである。 時刻T2における撮像画像内の、共有領域の四隅座標を点線で繋ぎ、同様に対応共有領域の四隅座標を実線で繋いだ図である。 実施例４に係る、位置ずれ確認モード時における処理の流れを示すフローチャートである。 位置ずれ調整情報の一例を示す図である。

［実施例１］
以下、本発明を実施するための形態について図面を用いて説明する。

図１は、本実施例に係る、複数の拠点間で情報を共有するためのシステム（以下、情報共有システム）の構成の一例を示す図である。情報共有システム１００の各拠点には、情報入力システム１１０／１２０と情報入力ボード１１４／１２４とが存在する。本実施例の情報共有システム１００は２つの拠点からなり、情報処理システム１１０と情報入力ボード１１４とで構成される拠点を自拠点、情報処理システム１２０と情報入力ボード１２４とで構成される拠点を他拠点と呼ぶこととする。なお、合計の拠点数が３以上（つまり、他拠点の数が複数）でも構わないが、ここでは説明を簡単にするため他拠点の数を１箇所としている。

スクリーンやホワイトボードなどに代表される情報入力ボード１１４及び１２４は、文字や図形といった情報を様々な態様で記入等することができる。例えば、マーカペン等で直接手書きしたり、糊付の付箋を貼り付けたり、テープや磁石等で文書やカードなどを貼り付けたりすることによって、情報入力ボード１１４には様々な情報が入力される。本明細書では、情報入力ボードにユーザが入力した情報を「書込み情報」と呼ぶこととする。そして、自拠点の情報入力ボード１１４における書込み情報を「自拠点情報」と呼び、他拠点の情報入力ボード１２４における書込み情報を「他拠点情報」と呼ぶこととする。

情報処理システム１１０／１２０は、ＰＣなどに代表される情報処理端末１１１／１２１、プロジェクタ（投影装置）１１２／１２２、カメラ（撮像装置）１１３／１２３で構成される。情報処理システム１１０と１２０とは、ネットワーク１３０を介して相互に接続されている。

情報処理システム１１０／１２０においては、デジタルカメラ１１３／１２３で撮像した撮像画像内にプロジェクタ１１２／１２２の投影範囲が収まるような位置関係に配置されているものとする。

ＰＣ１１１は、カメラ１１３を制御して情報入力ボード１１４を撮像した撮像画像を取得し、取得した撮像画像から自拠点情報を含む画像領域（以下、自拠点画像）を抽出し、抽出した自拠点画像のデータを他拠点の情報処理システム１２０に送信する。また、ＰＣ１１１は、他拠点の情報処理システム１２０にて同様に抽出された他拠点画像のデータを、他拠点のＰＣ１２１から受信する。

ＰＣ１１１は、共有モードと位置ずれ確認モードの２つの動作モードを有する。詳細は後述するが、共有モードで動作する場合は他拠点画像データがプロジェクタ１１２によって情報入力ボード１１４に投影され、位置ずれ確認モードで動作する場合は自拠点画像データがプロジェクタ１１２によって情報入力ボード１１４に投影される。

ＰＣ１２１については、ＰＣ１１１と表裏一体の関係にあり、基本的に異なるところはないので説明を省略する。

なお、図１に示す情報処理システムは、ＰＣにプロジェクタとカメラが接続されているが、ＰＣ自体がプロジェクタやカメラの機能を有していてもよい。また、各拠点の情報処理システムはネットワークを介して接続される構成であるが、各拠点の情報処理システムがサーバを介して接続し、上述したＰＣにおける処理内容の一部を当該サーバで処理するような構成としてもよい。

図２は、本実施例における、ＰＣ１１１／１２１の内部構成の一例を示す図である。

ＰＣ１１１／１２１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ ２０５、ディスプレイＩ／Ｆ ２０６、外部メモリＩ／Ｆ ２０７、外部Ｉ／Ｆ ２０８、マウスＩ／Ｆ ２１１、ネットワークＩ／Ｆ ２１３を有する。これらはシステムバス２０４で相互に接続されている。

キーボードＩ／Ｆ ２０５にはキーボード２０９が接続され、マウスＩ／Ｆ ２１１にはマウス２１２が接続される。ＣＰＵ２０１は、キーボード２０９およびマウス２１２からユーザからの各種操作を受け付ける。また、ディスプレイＩ／Ｆ ２０６に接続されたプロジェクタ１１２／１２２を制御して、情報入力ボード１１４に自拠点画像若しくは他拠点画像を投影する。また、外部Ｉ／Ｆ ２０８に接続されたカメラ１１３／１２３で撮像した情報入力ボードの撮像画像のデータをＲＡＭ２０２や外部メモリ２１０に記憶する。また、ネットワークＩ／Ｆ ２１３を介して、他拠点の情報処理システムと情報入力ボードの撮像画像データを送受信する。

さらに、ＣＰＵ２０１は、ＰＣ１１１／１２１全体の制御を行い、ＲＯＭ２０３やＨＤＤ等の外部メモリ２１０などに記憶されたプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、ＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶し、ＲＡＭ２０２は、ワークメモリとして用いられる。

図３は、情報入力ボードへの投影に用いる画像（投影画像）を説明する図である。投影画像３００には、モード選択領域３０２、ステータス領域３０３、共有領域３０４を含んでいる。

モード選択領域３０２は、共有モードから位置ずれ確認モードへの移行、若しくは、位置ずれ確認モードから共有モードへの移行を行うための操作指示を入力する領域である。情報入力ボード上に投影画像３００が投影され、このモード選択領域３０２上にポインタ３０１がある状態でマウス２１２による操作入力をＣＰＵ２０１が検知すると上述のモード移行が実行される。また、モード選択領域３０２には、現在のモードが分かるように、例えば「共有モード」や「位置ずれ確認モード」といった現在のモードの状態を表す文字情報等が表示される。

ステータス領域３０３は、上記各モードにおける位置ずれの有無に関する情報が表示される領域である。

共有領域３０４は、共有モードにおいては他拠点画像が表示され、位置ずれ確認モードにおいては自拠点画像が表示される領域である。

次に、共有モードにおける情報入力ボードの状態を説明する。説明の便宜上、自拠点側の情報入力ボード１１４について説明することとするが、他拠点側の情報入力ボード１２４も同様である。

図４の（ａ）〜（ｅ）は、プロジェクタ１１２によって前述の投影画像３００が情報入力ボード１１４に投影され、その投影結果４０１において位置ずれが発生する様子を説明する図である。投影結果４０１のモード選択領域３０２には、現在のモードが共有モードであることが表示されている。そして、情報入力ボード１１４上の投影結果４０１における共有領域３０４が、カメラ１１３（不図示）による撮像画像から抽出され、所定の画像処理を施した後、自拠点画像データとしてＲＡＭ２０２や外部メモリ２１０に記憶される。図５の（ａ）〜（ｄ）は、図４の（ａ）〜（ｅ）のいずれかの状態において、情報入力ボード１１４上に表示される自拠点画像或いは他拠点画像を示している。

図４の（ａ）は、情報入力ボード１１４上の共有領域３０４に自拠点情報が無く、他拠点画像も表示されていない状態の図である。自拠点情報が無く、他拠点画像も表示されていないので、当然のことながら両者の間に生じ得る位置ずれも存在しない。そのため、ステータス領域３０３には、位置ずれが無い状態であること示す文字列「位置ずれ無し」が表示されている。図５の（ａ）は、この図４の（ａ）の状態において得られる自拠点画像を示している。

図４の（ｂ）は、情報入力ボード１１４上の共有領域３０４の中にユーザがマーカペンで書き込んだ「ABCDEF」の文字列４１１が自拠点情報として存在し、他拠点画像は表示されていない状態の図である。他拠点画像が表示されておらず、位置ずれは存在しないので、ステータス領域３０３には位置ずれが無い状態であること示す文字列「位置ずれ無し」が表示されている。図５の（ｂ）は、この図４の（ｂ）の状態において得られる自拠点画像を示しており、自拠点情報である「ABCDE」の文字列が存在している。

図４の（ｃ）は、情報入力ボード１１４上の共有領域３０４に自拠点情報は存在しないが、他拠点の情報入力ボード１２４においてマーカペンで入力された「⇒○×△□」の文字列４１２を含む他拠点画像（図５の（ｄ）を参照）が表示されている状態の図である。自拠点情報が無く、位置ずれは存在しないので、ステータス領域３０３には位置ずれが無い状態であること示す文字列「位置ずれ無し」が表示されている。図４の（ｃ）の状態において得られる自拠点画像は、自拠点情報がないので図５の（ａ）と同じである。

図４の（ｄ）は、情報入力ボード１１４上の共有領域３０４に自拠点情報として上述の「ABCDEF」の文字列４１１が存在し、かつ、「⇒○×△□」の文字列４１２を含む他拠点画像（図５の（ｄ））が表示されている状態の図である。自拠点情報としての「ABCDEF」の文字列４１１の下に、他拠点画像に含まれる「⇒○×△□」の文字列４１２が重なることなく表示されており、両文字列の間に位置ずれが無い状態である。よって、ステータス領域３０３には位置ずれが無い状態であること示す文字列「位置ずれ無し」が表示されている。図４の（ｄ）において得られる自拠点画像は、図５の（ｂ）と同じである。

図４の（ｅ）は、情報入力ボード１１４に対するカメラ１１３やプロジェクタ１１２の位置関係が変化したケースの一例であり、図４の（ｄ）の状態から情報入力ボード１１４が移動した状態を示している。この場合、情報入力ボード１１４上における共有領域３０４の相対的な位置が変化し、自拠点情報である「ABCDEF」の文字列４１１と重なるように、他拠点画像に含まれる「⇒○×△□」の文字列４１２が表示されている。これは、自拠点情報である「ABCDEF」の文字列４１１が、プロジェクタ１１２の座標を基準とすると、その位置、形状、大きさが変化するためである。その結果、図４の（ｅ）では、自拠点情報である「ABCDEF」の文字列４１１と他拠点画像に含まれる「⇒○×△□」の文字列４１２との間で位置ずれが発生している。よって、ステータス領域３０３には位置ずれが発生していることを示す文字列「位置ずれ有り」が表示されている。そして、図４の（ｅ）において得られる自拠点画像は、図５の（ｃ）に示すように、図５の（ｂ）と比べると「ABCDEF」の文字列の位置が右斜め下の方向にシフトした自拠点画像となる。これは、他拠点側において、情報入力ボード１２４に対するカメラ１２３やプロジェクタ１２２の位置関係が変化しなくても、情報入力ボード１２４上の他拠点情報との間で位置ずれが生じ得ることを意味している。

次に、位置ずれ確認モードにおける情報入力ボードの状態を説明する。ここでも、説明の便宜上、自拠点側の情報入力ボード１１４について説明することとするが、他拠点側の情報入力ボード１２４も同様である。

図６の（ａ）〜（ｃ）は、プロジェクタ１１２によって投影画像３００が情報入力ボード１１４に投影され、その投影結果４０１において位置ずれが解消していく様子を説明する図である。いま、投影結果４０１においては、現在のモードが位置ずれ確認モードであることを示す情報がモード選択領域３０２に表示されている。

図６の（ａ）は、前述の図４の（ｅ）で示した共有モードの状態から、位置ずれ確認モードに移行した直後の状態を示す図である。情報入力ボード１１４上の共有領域３０４には、自拠点情報としての「ABCDEF」の文字列４１１が存在し、そこに位置ずれ確認モードに移行する以前に記憶しておいた過去の自拠点画像（位置ずれが生じる以前の図５（ｂ）の自拠点画像）が重畳表示されている。６０１は、この過去の自拠点画像に含まれる「ABCDEF」の文字列を示している。そして、ステータス領域３０３には、自拠点情報としての「ABCDEF」の文字列４１１と過去の自拠点画像に含まれる「ABCDEF」の文字列６０１との間に位置ずれが発生していることを示す文字列「位置ずれ有り」が表示されている。これによりユーザは、位置ずれが生じていなかったときの「ABCDEF」の文字列６０１に対して、現在の自拠点情報としての「ABCDEF」の文字列４１１の位置がどの方向にどの程度ずれているのかを容易に認識することができる。

図６の（ｂ）は、図６の（ａ）の状態を参考にして、位置ずれ量が小さくなるように、ユーザが情報入力ボード１１４を移動させた状態を示す図である。図６の（ａ）と比較すると、図 ６の（ｂ） においては、過去の自拠点画像における「ABCDEF」の文字列６０１と自拠点情報としての「ABCDEF」の文字列４１１との位置ずれ量が小さくなっていることが分かる。なお、看過できない程度の位置ずれが依然として残っており、位置ずれが解消されたわけではないので、ステータス領域３０３には位置ずれが発生していることを示す文字列「位置ずれ有り」が表示されたままとなっている。

図６の（ｃ）は、図 ６の（ｂ）の状態から情報入力ボード１１４をさらに移動させ、位置ずれ量が所定の許容範囲内に収まった状態（位置ずれが解消された状態）を示す図である。図６の（ｃ）においては、文字列６０１と文字列４１１の大部分が重なっており「ABCDEF」の各文字が識別可能な程度の位置ずれ量に収まっているのが分かる。したがって、ステータス領域３０３には、位置ずれが発生していない（許容範囲に収まっている）ことを示す文字列「位置ずれ無し」が表示されている。

上述のように位置ずれが生じる以前の過去の自拠点画像を重畳表示することで、位置ずれ量をユーザは明確に認識することができ、それを容易に解消させることができる。

続いて、ＰＣ１１１／１２１のソフトウェア構成について説明する。ここでも、説明の便宜上、自拠点側のＰＣ１１１について説明することとするが、他拠点側のＰＣ１２１も同様である。

図７は、本実施例に係る、ＰＣ１１１のソフトウェア構成を示す機能ブロック図である。ＰＣ１１１は、初期化部７０１、送受信部７０２、自拠点画像生成部７０３、モード移行処理部７０４、表示制御部７０５、位置ずれ検出部７０６の各機能部を有する。

初期化部７０１は、各モード時における初期化処理を行なう。初期化処理の内容については後述する。

送受信部７０２は、他拠点側の情報処理システム１２０との間で各種データの送受信を行なう。

自拠点画像生成部７０３は、前述の自拠点画像の生成に伴う各種処理、例えば、自拠点情報を抽出する処理などを行なう。

モード移行処理部７０４は、共有モードと位置ずれ確認モードとの間のモード移行に伴う各種処理、例えば、共有モードから位置ずれ確認モードへの移行が可能かどうかを判定する処理などを行なう。

表示制御部７０５は、プロジェクタ１１２によって情報入力ボード１１４上に投影する画像の制御、例えば、前述の他拠点画像を投影するのか或いは自拠点画像を投影するのかなどの制御を行なう。

位置ずれ検出部７０６は、前述の位置ずれ（例えば過去の自拠点画像と現在の自拠点画像との間での位置ずれなど）を検出する処理を行なう。

なお、ＰＣ１１１は、本発明と直接の関係がない一般的な情報処理装置が有する上記機能以外の諸機能も当然有している。

（共有モード時における処理）
図８は、本実施例に係る、ＰＣ１１１の共有モード時における処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに記憶された制御コードを呼び出して実行することで実現される。

ステップ８０１において、初期化部７０１は、初期化処理を行う。具体的には、モード選択領域３０２に共有モードであることを示す情報として「共有モード」の文字列、ステータス領域３０３に位置ずれが無いことを示す情報として「位置ずれ無し」の文字列がそれぞれ表示されるように表示制御部７０５に指示する。これを受けて表示制御部７０５は、指示に従った表示を行う。

ステップ８０２において、自拠点画像生成部７０３は、自拠点画像を生成するか否か（生成条件を満たしているかどうか）を判定する。例えば、予め自拠点画像を生成する時間間隔（例えば１分毎）を設定しておき、当該時間に達しているかどうかで判定してもよいし、マウス２１２やキーボード２０９からの入力があった場合に生成するように制御してもよい。また、情報入力ボード１１４上の共有領域３０４への動体（例えば人間の身体）のフレームインとフレームアウトを検出した場合に生成するようにしてもよい。自拠点画像を生成するタイミングであると判定された場合はステップ８０３に進む。一方、自拠点画像を生成するタイミングではないと判定された場合はステップ８１０に進む。

ステップ８０３において、自拠点画像生成部７０３は、情報入力ボード１１４上の共有領域３０４内になされたユーザによる書込み情報を自拠点情報として抽出し、自拠点画像を生成する。具体的には以下のとおりである。まず、自拠点画像を得る直前に他拠点画像を非投影にして、自拠点画像に他拠点画像内の文字情報等を含まないように制御し、撮像画像を取得する。そして、得られた撮像画像から上述の共有領域３０４を特定する。この際、例えば投影画像３００中の共有領域３０４に対応する画像領域の四隅若しくは四辺を示す特徴画像を含ませ、撮像画像から該特徴画像を検出するといった手法により共有領域３０４を得ることができる。他にも、例えば投影結果４０１とそれ以外の領域の輝度差を利用して、撮像画像から投影結果４０１の辺やコーナーを検出し、検出した辺の長さやコーナーの位置関係を基準に所定の形状を抽出することによって共有領域３０４を得ることもできる。もちろん、その他の画像処理によって共有領域３０４を特定してもよい。そして、特定された共有領域３０４が矩形になるよう幾何補正した後にトリミングを行う。そして、トリミング後の撮像画像に対して、情報入力ボード１１４の下地色を除去する処理を行ない、さらに自拠点情報部分の色補正を行うことにより、自拠点画像が生成される。

ステップ８０４において、送受信部７０２は、生成された自拠点画像のデータを、他拠点の情報処理システム１２０に送信する。本実施例では、他拠点は１箇所のみであるので情報処理システム１２０だけに自拠点画像データが送られることになるが、２箇所以上の他拠点が存在する場合には、全ての他拠点の情報処理システムに送信される。これにより、共有モードで動作中の情報処理システムを利用しているユーザ間では、それぞれの情報入力ボードにおいて書込まれた情報を共有することができる。

ステップ８０５において、モード移行処理部７０４は、位置ずれ確認モードに移行可能か否かを判定する。例えば、１以上の自拠点画像のデータがＲＡＭ２０２や外部メモリ２１０などの記憶領域に格納されている場合に、位置ずれ確認モードに移行可能と判定することが考えられる。或いは、単に自拠点画像データが格納されただけではなく、自拠点情報の存在する自拠点画像データが格納された場合にのみ位置ずれ確認モードに移行可能と判定するようにしてもよい。この際は、例えば自拠点情報の無い画像のデータを予め用意しておき、これと比較して一定量の差分の有無を判定することで自拠点情報を含んでいるかどうかを判定することができる。また、自拠点画像中で情報入力ボード１１４の下地色と異なる特徴を持つ画素群が一定量連続する領域が有るかどうかによって自拠点情報を含んでいるかどうかを判定するようにしてもよい。１以上の自拠点画像（或いは一定量の差分等が確認され自拠点情報を含むと判定された１以上の自拠点画像）のデータが格納されており、位置ずれ確認モードに移行可能と判定した場合はステップ８０６に進む。一方、１以上の自拠点画像（或いは一定量の差分等が確認され自拠点情報を含むと判定された１以上の自拠点画像）のデータが格納されておらず、位置ずれ確認モードに移行不可能と判定した場合はステップ８１０に進む。

ステップ８０６において、位置ずれ検出部７０６は、ステップ８０３で生成した自拠点画像と過去の自拠点画像とを比較して、両者の間の位置ずれを検出する。ここで、「過去の自拠点画像」とは、前回（直近）の処理で生成した自拠点画像でもよいし、過去の一定期間中に生成された自拠点画像群の中からユーザが選択した任意の自拠点画像でもよい。後者の場合、例えば過去の自拠点画像群の中から任意の自拠点画像を選択するためのＵＩ画面（不図示）を用いて、ユーザが選択するようにしてもよい。ここでは、図５の（ｂ）で示した自拠点画像を過去の自拠点画像とし、図５の（ｃ）で示した自拠点画像をステップ８０３で生成した現在の自拠点画像として、両者の間の位置ずれを検出する場合について具体的に説明する。

まず、双方の自拠点画像内の入力情報としての「A」「B」「C」「D」「E」の各文字は、情報入力ボード１１４の下地画素とは異なる色の画素が連続した輪郭を形成している。そして、各輪郭は自拠点画像の例えば左上隅を原点する座標で位置を表現することができる。そこで、双方の自拠点画像に含まれる入力情報の各輪郭の対応点を、画像比較により検出する。この対応点検出にはSIFTやSURFといった既存の画像処理技術を適用すればよい。そして、検出された対応点間の幅方向および高さ方向の距離平均が所定の閾値以上であれば位置ずれ有り、所定の閾値未満であれば位置ずれ無しといったように判定する。なお、所定の閾値は、例えばあるサイズの文字が文字として認識可能かどうか等、ユーザにとって許容可能な程度のずれかどうかといった観点から予め設定しておけばよい。

ステップ８０７において、表示制御部７０５は、ステップ８０６での検出結果を表示する。具体的には、一定以上の位置ずれが検出された場合は位置ずれが有ることを示す情報を、一定以上の位置ずれが検出されなかった場合は位置ずれが無いことを示す情報を、ステータス領域３０３に表示する。

ステップ８０８において、モード移行処理部７０４は、位置ずれ確認モードに移行するか否かを判定する。例えば、ステップ８０６で一定以上の位置ずれが検出された場合に位置ずれ確認モードに移行すると判定することが考えられる。この他、ユーザがマウス２１２でモード選択領域をクリックするなど位置ずれ確認モードに移行する旨の明示の入力操作の有無によって、位置ずれ確認モードに移行するかどうかを判定するようにしてもよい。位置ずれ確認モードに移行すると判定された場合は、ステップ８０９に進む。一方、位置ずれ確認モードに移行しないと判定された場合は、ステップ８１０に進む。

ステップ８０９において、モード移行処理部７０４は、共有モードから位置ずれ確認モードにモードを移行する。

ステップ８１０において、送受信部７０２が他拠点画像データを他拠点から受信したか否かが判定される。他拠点画像データを受信していた場合は、ステップ８１１に進む。一方、他拠点画像データを受信していない場合は、ステップ８０２に戻る。

ステップ８１１において、表示制御部７０５は、受信した他拠点画像データを共有領域４０４に表示する。

以上が、本実施例に係る、共有モード時における処理の流れである。

（位置ずれ確認モード時における処理）
図９は、本実施例に係る、ＰＣ１１１の位置ずれ確認モード時における処理の流れを示すフローチャートである。この一連の処理も、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに記憶された制御コードを呼び出して実行することで実現される。

ステップ９０１において、初期化部７０１は、初期化処理を行う。具体的には、モード選択領域３０２に位置ずれ確認モードであることを示す情報として「位置ずれ確認モード」の文字列、ステータス領域３０３に位置ずれが有ることを示す文字列「位置ずれ有り」の文字列がそれぞれ表示されるように表示制御部７０５に指示する。これを受け表示制御部７０５は、指示に従った表示を行う。

ステップ９０２において、表示制御部７０５は、過去の自拠点画像を共有領域３０４に表示する。具体的には、位置ずれ確認モードに移行すると判定された直前のステップ８０６にて使用した「過去の自拠点画像」をＲＡＭ２０２や外部メモリ２０１から読み出し、これを共有領域３０４に表示する。すなわち、この段階で他拠点の情報処理システムから他拠点画像データを受信していても、共有領域３０４には当該他拠点画像は表示されない。

ステップ９０３において、位置ずれ検出部７０６は、ステップ９０２で表示した過去の自拠点画像における自拠点情報と、情報入力ボード１１４上の現在の自拠点情報との位置ずれを検出する。具体的には以下のとおりである。

まず、情報入力ボード１１４上の自拠点情報を含む、現在の自拠点画像を生成する。この際、自拠点画像を得る直前にステップ９０２で表示した過去の自拠点画像を非投影にして、自拠点画像に過去の自拠点画像を含まないように制御し、撮像画像を取得する。そして、得られた撮像画像から上述の共有領域３０４を特定した後（特定方法については前述のステップ８０３を参照）、特定された共有領域３０４が矩形になるよう幾何補正してからトリミングを行なう。そして、トリミング後の撮像画像に対して、情報入力ボード１１４の下地色を除去する処理を行ない、さらに自拠点情報部分の色補正を行うことにより、自拠点画像が生成される。ここでは、上述のような処理の結果、図５の（ｃ）で示す自拠点画像が生成されたものとし、過去の自拠点画像として図５の（ｂ）で示した自拠点画像が読み込まれているものとする。そして、前述のステップ８０６で説明した位置ずれ検出の方法を適用して、生成された現在の自拠点画像（図５の（ｃ））と読み込まれた過去の自拠点画像（図５の（ｂ））との間のずれを検出する。

ステップ９０４において、表示制御部７０５は、ステップ９０３での検出結果を表示する。具体的には、一定以上の位置ずれが検出された場合は位置ずれが有ることを示す情報を、一定以上の位置ずれが検出されなかった場合は位置ずれが無いことを示す情報を、ステータス領域３０３に表示する。

ステップ９０５において、モード移行処理部７０４は、共有モードに移行するか否かを判定する。例えば、ステップ９０３で一定以上の位置ずれが検出されなかった場合に共有モードに移行すると判定することが考えられる。この他、ユーザがマウス２１２でモード選択領域３０２をクリックするなど共有モードに移行する旨の明示の入力操作の有無によって、共有モードに移行するかどうかを判定してもよい。共有モードに移行すると判定された場合はステップ９０６に進む。一方、共有モードに移行しないと判定された場合はステップ９０３に戻る。ユーザによる情報入力ボード１１４、カメラ１１３、プロジェクタ１１２の位置関係の調整・変更に伴って、ステップ９０３〜９０５の処理が繰り返されることになる。すなわち、処理の繰り返しに伴って、図６の（ａ）の状態から図６の（ｂ）の状態へ、さらには図６の（ｃ）の状態へと変化し、最終的に位置ずれが解消される。

ステップ９０６において、モード移行処理部７０４は、位置ずれ確認モードから共有モードにモードを移行する。

以上が、本実施例に係る、位置ずれ確認モード時における処理の流れである。

本実施例によれば、位置ずれが生じていなかった過去の自拠点画像が、現在の情報入力ボードの自拠点情報と重なるように表示される。これにより、情報入力ボード上の各領域におけるずれの方向や程度を、ユーザは一目瞭然に認識することができる。情報入力ボードやプロジェクタはそれぞれ移動・回転が可能であるため、生じ得るずれは本来複雑である。したがって、それぞれの位置や方向をずれが無い状態に復元する操作は本来複雑であるが、本実施例では過去と現在の自拠点情報の表示が情報入力ボード上で重なるように移動させるだけでよく、ユーザは直感的にずれの無い状態を復元することができる。

［実施例２］
実施例１では、共有モード時において生成された自拠点画像のデータはすべての他拠点に送信していた。次に、他拠点における動作中のモードに応じて、自拠点画像データを他拠点に送信するかどうかを制御する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

図１０は、本実施例に係る、ＰＣ１１１（１２１）のソフトウェア構成を示す機能ブロック図である。本実施例のＰＣ１１１は、初期化部７０１、送受信部７０２、自拠点画像生成部７０３、モード移行処理部７０４、表示制御部７０５、位置ずれ検出部７０６に加え、他拠点モード判定部１００１を有する。

初期化部７０１、送受信部７０２、自拠点画像生成部７０３、モード移行処理部７０４、表示制御部７０５、位置ずれ検出部７０６の各機能部は、実施例１と同じである。ただし、本実施例におけるモード移行処理部７０３では、共有モードから位置ずれ確認モードへの移行時、及び位置ずれ確認モードから共有モードへの移行時に、移行後のモードを示す移行情報の生成も行なう。移行情報は、例えば、個々の情報処理システムを識別するための装置ＩＤを含むヘッダ情報と、移行後のモードが共有モードの場合「０」移行後のモードが位置ずれ確認モードの場合「１」のように移行後のモードを１か０で表した２値情報とで構成される。

他拠点モード判定部１００１は、上述の移行情報に基づき、他拠点における情報処理システムの動作中のモードを判定する。

図１１は、本実施例に係る、ＰＣ１１１の共有モード時における処理の流れを示すフローチャートである。

ステップ１１０１〜ステップ１１０３は、実施例１に係る図８のフローチャートのステップ８０１〜ステップ８０３にそれぞれ対応する。

ステップ１１０３で自拠点画像データが生成されると、ステップ１１０４において他拠点モード判定部１００１は、他拠点における情報処理システムの現在動作中のモードを判定する。具体的には、位置ずれ確認モードに移行したことを示す上述の移行情報を受信していれば、当該移行情報の送信元である他拠点の情報処理システムは位置ずれ確認モードであると判定し、それ以外は共有モードであると判定する。すなわち、位置ずれ確認モードに移行したことを示す上述の移行情報を受信していない限りは、他拠点の情報処理システムは共有モードで動作しているものと判定する。共有モードで動作中であると判定された場合は、ステップ１１０５に進む。一方、動作中のモードは位置ずれ確認モードであると判定された場合は、ステップ１１０６に進む。

ステップ１１０５において、送受信部７０２は、ステップ１１０３で生成した自拠点画像データを、共有モードで動作中であると判定された他拠点の情報処理システムに対し送信する。つまり、動作中のモードが共有モードである場合にのみ自拠点画像データが送信され、動作中のモードが位置ずれ確認モードである他拠点に対しては、自拠点画像データが送信されないことになる。なお、ステップ１１０４及びステップ１１０５の各処理は、他拠点が複数個所存在する場合には、すべての他拠点について実行される。

ステップ１１０６〜ステップ１１０９は、実施例１に係る図８のフローチャートのステップ８０５〜ステップ８０８にそれぞれ対応する。

ステップ１１０９で共有モードから位置ずれ確認モードに移行すると判定されると、ステップ１１１０において、モード移行処理部７０４は、位置ずれ確認モードへの移行を示す移行情報を、送受信部７０２を介して他拠点の情報処理システムに送信する。

ステップ１１１１〜ステップ１１１３は、実施例１に係る図８のフローチャートのステップ８０９〜ステップ８１１にそれぞれ対応する。

以上が、本実施例に係る、共有モード時における処理の流れである。

図１２は、本実施例に係る、ＰＣ１１１の位置ずれ確認モード時における処理の流れを示すフローチャートである。

ステップ１２０１〜ステップ１２０５は、実施例１に係る図９のフローチャートのステップ９０１〜ステップ９０５にそれぞれ対応する。

ステップ１２０５で位置ずれ確認モードから共有モードに移行すると判定されると、ステップ１２０６において、モード移行処理部７０４は、共有モードへの移行を示す移行情報を、送受信部７０２を介して他拠点の情報処理システムに送信する。

ステップ１２０７は、実施例１に係る図９のフローチャートのステップ９０６に対応する。

以上が、本実施例に係る、位置ずれ確認モード時における処理の流れである。

本実施例によれば、位置ずれ確認モードで動作中の他拠点の情報処理システムには自拠点画像データの送信を行わないので、ネットワーク通信量を抑えることができる。

［実施例３］
次に、すべての他拠点における動作中のモードが共有モードである場合にのみ、自拠点画像データをすべての他拠点に送信するように制御する態様について、実施例３として説明する。なお、実施例１及び２と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

本実施例に係るＰＣ１１１（１２１）のソフトウェア構成は実施例２と同じである。すなわち、初期化部７０１、送受信部７０２、自拠点画像生成部７０３、モード移行処理部７０４、表示制御部７０５、位置ずれ検出部７０６に加え、他拠点モード判定部１００１で構成される。この場合において、本実施例に係る表示制御部７０５は、いずれかの他拠点における情報処理システムが位置ずれ確認モードで動作中である旨を示す表示の制御も行なう。

図１３は、本実施例に係る、ＰＣ１１１の共有モード時における処理の流れを示すフローチャートである。

ステップ１３０１〜ステップ１３０３は、実施例２に係る図１１のフローチャートのステップ１１０１〜ステップ１１０３にそれぞれ対応する。

ステップ１３０３で自拠点画像データが生成されると、ステップ１３０４において他拠点モード判定部１００１は、すべての他拠点における情報処理システムの現在動作中のモードが共有モードであるか否かを判定する。具体的には、いずれかの他拠点の情報処理システムから、位置ずれ確認モードに移行したことを示す上述の移行情報を受信していないかどうかを判定する。どの他拠点からも、位置ずれ確認モードに移行したことを示す移行情報を受信していなければ、すべての他拠点における情報処理システムが共有モードで動作中であると判定する。すべての他拠点が共有モードで動作中であると判定された場合は、ステップ１３０５に進む。一方、すべての他拠点が共有モードで動作中ではない（位置ずれ確認モードで動作中の他拠点が存在する）と判定された場合は、ステップ１３０６に進む。

ステップ１３０５において、送受信部７０２は、ステップ１３０３で生成した自拠点画像データを、すべての他拠点の情報処理システムに対し送信する。

ステップ１３０６において、表示制御部７０５は、位置ずれ確認モードで動作中の他拠点が存在する旨のメッセージをステータス領域に表示する。その際、位置ずれ確認モードに移行したことを示す移行情報に含まれるヘッダ情報内の装置ＩＤに基づいて、どの他拠点が位置ずれ確認モードで動作中なのかを合わせて表示するようにしてもよい。このように本実施例では、動作中のモードが位置ずれ確認モードである他拠点が１つでもあると、すべての他拠点に対して自拠点画像データが送信されないことになる。

ステップ１３０７〜ステップ１３１４は、実施例２に係る図１１のフローチャートのステップ１１０６〜ステップ１１１３にそれぞれ対応する。

以上が、本実施例に係る、共有モード時における処理の流れである。上記のような処理により、位置ずれ確認モードで動作中のシステムで位置ずれが解消されるまでの間、共有モードで動作中のシステムにおける情報入力ボード上には古い他拠点画像の表示と共に位置ずれ確認モード中の他拠点の存在が表示されることになる。

本実施例によれば、位置ずれ確認モードで動作中のシステムの存在をすべてのユーザ間で共有できるので、位置ずれ確認モードが解消されるまでの間、他のユーザは情報入力ボードの書込みを停止する等して、より確実に情報をユーザ間で共有することができる。

［実施例４］
次に、位置ずれ確認モード時において、位置ずれを調整する際の参考となるガイド情報を情報入力ボード上に表示する態様について、実施例４として説明する。なお、実施例１〜３と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

本実施例においては、まず、共有モード時における位置ずれ検出処理の内容が、前述の実施例とは異なることになる。

図１４は、共有モードで動作中の情報処理システム１１０における情報入力ボード１１４をカメラ１１３で撮像した撮像画像の一例を示す図である。

図１４の（ａ）は、時刻T1における撮像画像１４００を示しており、位置ずれが無い状態の撮像画像である。撮像画像１４００には、情報入力ボード１１４上への投影画像３００の投影結果４０１を含んでいる。撮像画像１４００の原点（0,0）を左上隅とした時の情報入力ボード１１４の領域は、その四隅の位置を表す座標（以下、四隅座標）である(Pa,Qa)、(Pb,Qb)、(Pc,Qc)、(Pd,Qd)で特定される。また、投影結果４０１内の共有領域３０４は、四隅座標(Xa,Ya)、(Xb,Yb)、(Xc,Yc)、(Xd,Yd)で特定される。

図１４の（ｂ）は、時刻T2における撮像画像１４１０を示しており、位置ずれが有る状態の撮像画像である。撮像画像１４１０にも、情報入力ボード１１４上への投影画像３００の投影結果４０１を含んでいるが、撮像画像１４００と比べると右肩部分が下がった歪んだ画像となっているのが分かる。撮像画像１４１０の原点（0,0）を左上隅とした時の情報入力ボード１１４の領域は、四隅座標(Pr,Qr)、(Ps,Qs)、(Pt,Qt)、(Pu,Qu)で特定される。また、その投影結果４０１内の共有領域３０４は、四隅座標(Xr,Yr)、(Xs,Ys)、(Xt,Yt)、(Xu,Yu)で特定される。そして、撮像画像１４００の共有領域３０４の四隅座標(Xa,Ya)、(Xb,Yb)、(Xc,Yc)、(Xd,Yd)に対応する、撮像画像１４１０の四隅座標は、(Xa’,Ya’)、(Xb’,Yb’)、(Xc’,Yc’)、(Xd’,Yd’)である。

本実施例では、上述のような座標情報を用いて位置ずれの検出を行なう。

図１５は、本実施例に係る、位置ずれ検出処理の詳細を示すフローチャートである。この一連の処理は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに記憶された制御コードを呼び出して実行することで実現される。

ステップ１５０１において、位置ずれ検出部７０６は、過去の自拠点画像である時刻T1における撮像画像内の、情報入力ボード１１４の四隅座標(Pa,Qa)、(Pb,Qb)、(Pc,Qc)、(Pd,Qd)を取得する。具体的には、まず、時刻T1における撮像画像に対して二値化処理やエッジ抽出処理、直線近似処理を実行する。次に、所定の大きさや傾き、形状を有する領域を抽出して、情報入力ボード１１４の四隅座標(Pa,Qa)、(Pb,Qb)、(Pc,Qc)、(Pd,Qd)を特定する。

ステップ１５０２において、位置ずれ検出部７０６は、現在の自拠点画像である時刻T2における撮像画像内の、情報入力ボード１１４の四隅座標(Pr,Qr)、(Ps,Qs)、(Pt,Qt)、(Pu,Qu)を取得する。具体的な処理の内容は、ステップ１５０１と同様である。

ステップ１５０３において、位置ずれ検出部７０６は、過去の自拠点画像に含まれる情報入力ボード上の各画素を現在の自拠点画像に含まれる情報入力ボード上の対応する画素に変換するための変換行列を求める。この際、ステップ１５０１及び１５０２でそれぞれ取得した四隅座標のうち対応関係にある座標を用いて変換行列が求められる。すなわち、(Pa,Qa)と(Pr,Qr)、(Pb,Qb)と(Ps,Qs) 、(Pc,Qc)と(Pt,Qt)、(Pd,Qd)と(Pu,Qu)の各対応座標を用いて、上述の変換行列が求められる。

ステップ１５０４において、位置ずれ検出部７０６は、過去の自拠点画像である時刻T1における撮像画像内の、共有領域３０４の四隅座標 (Xa,Ya)、(Xb,Yb)、(Xc,Yc)、(Xd,Yd)を取得する。この共有領域３０４の四隅座標の特定に関しては、実施例１における図８のフローチャートのステップ８０３で説明した手法を適用可能である。

ステップ１５０５において、位置ずれ検出部７０６は、過去の自拠点画像である時刻T1における撮像画像内の共有領域３０４に対応する、現在の自拠点画像である時刻T2における撮像画像内の領域（以後、対応共有領域）の四隅座標を取得する。すなわち、ステップ１５０３で求めた変換行列を用いて、前述の四隅座標(Xa,Ya)、(Xb,Yb)、(Xc,Yc)、(Xd,Yd)に対応する四隅座標(Xa’,Ya’)、(Xb’,Yb’)、(Xc’,Yc’)、(Xd’,Yd’)を取得する。（図１４の（ｂ）参照）

ステップ１５０６において、位置ずれ検出部７０６は、現在の自拠点画像である時刻T2における撮像画像内の、共有領域３０４の四隅座標(Xr,Yr)、(Xs,Ys)、(Xt,Yt)、(Xu,Yu)を取得する。ステップ１５０４と同様、この共有領域３０４の四隅座標の特定に関しては、実施例１における図８のフローチャートのステップ８０３で説明した手法を適用可能である。

ステップ１５０７において、位置ずれ検出部７０６は、現在の自拠点画像である時刻T2における撮像画像内の共有領域３０４の四隅座標と、同じ時刻T2における撮像画像内の対応共有領域の四隅座標とのずれ量を導出する。すなわち、前述の四隅座標(Xr,Yr)、(Xs,Ys)、(Xt,Yt)、(Xu,Yu)と、対応共有領域の四隅座標(Xa’,Ya’)、(Xb’,Yb’)、(Xc’,Yc’)、(Xd’,Yd’)との間のずれ量を求める（図１４の（ｂ）参照）。図１６は、時刻T2における撮像画像内の、共有領域３０４の四隅座標を点線で繋ぎ、同様に対応共有領域の四隅座標を実線で繋いだ図である。具体的には、四隅座標(Xr,Yr)、(Xs,Ys)、(Xt,Yt)、(Xu,Yu)を点線で繋ぎ、四隅座標(Xa’,Ya’)、(Xb’,Yb’)、(Xc’,Yc’)、(Xd’,Yd’)を実線で繋いだ図である。求めるずれ量は、対応する座標間｛(Xr,Yr)と(Xa’,Ya’)、(Xs,Ys)と(Xb’,Yb’)、(Xt,Yt)と(Xc’,Yc’)、(Xu,Yu)と(Xd’,Yd’)｝の各距離で定義することができる。そして、例えば、対応座標間の距離の少なくとも１つが所定の閾値以上である場合に位置ずれ有り、対応座標間の距離の全てが所定の閾値未満であれば位置ずれ無し、といった具合に判定がなされる。なお、判定の方法は、対応する座標を元に定義するものであればよく、上述の例に限定されるものではない。

図１７は、本実施例に係る、位置ずれ確認モード時における処理の流れを示すフローチャートである。

ステップ１７０１は初期化処理であり、実施例１に係る図９のフローチャートのステップ９０１に対応する。

ステップ１７０２において、位置ずれ検出部７０６は、上述の図１５で示した方法による位置ずれ検出処理を行う。そして、上述した対応共有領域の四隅座標(Xa’,Ya’)、(Xb’,Yb’)、(Xc’,Yc’)、(Xd’,Yd’)と、共有領域の四隅座標(Xr,Yr)、(Xs,Ys)、(Xt,Yt)、(Xu,Yu)との位置ずれ量を求める（図１６を参照）。

ステップ１７０３において、位置ずれ検出部７０６は、位置ずれ調整情報を生成する。ここで、位置ずれ調整情報とは、検出された位置ずれの程度や方向などの情報（或いはそれを是正するための情報）を視覚的に表現したマーク等であって、位置ずれ解消のためにユーザがどのように調整すればよいのかを示すガイド情報である。この位置ずれ調整情報は、共有領域３０４の四隅の各座標から対応共有領域の四隅の各座標までの距離と角度を導出することにより生成される。図１８は、前述の図１６の場合において生成される位置ずれ調整情報の一例を示している。図１８では、位置ずれ調整情報として、矢印を円で囲んだマーク１８０１〜１８０４が存在し、各矢印の大きさと向きによって、位置ずれの量と方向が示されている。さらに、位置ずれ検出部７０６は、共有領域の各辺と対応共有領域の各辺の長さを求め、求めた各辺の長さの比に応じて、矢印を囲む円の大きさを決定する。この円の大きさは、情報入力ボード１１４からカメラ１１３までの投影距離の調整量を示しており、円が大きいほど投影距離を大きくすべきことを意味している。ここで、マーク１８０１及び１８０２における点線の円は、投影距離が適切であり調整の必要がないことを示している。本実施例では投影距離を変える必要がないことを、円を点線にすることで表しているが、例えば円表示自体を消す等で表すようにしてもよい。また、ここでは位置ずれ調整情報がマークの場合について説明したが、検出された位置ずれの程度や方向（或いは是正すべき程度や方向）等を文字や音声で表現してもよい。なお、図１８の例のように、投影領域と非投影領域の境界部分に位置ずれ調整情報を表示することは、ユーザが情報入力ボードを手動で移動させる際にユーザの視界に入りやすいという利点がある。生成された位置ずれ調整情報は、表示制御部７０５によって情報入力ボード１１４の共有領域３０４内に表示される。

ステップ１７０４及びステップ１７０５は、実施例１に係る図９のフローチャートのステップ９０５及びステップ９０６にそれぞれ対応する。

なお、本実施例で説明した内容を、実施例２や実施例３に適用してもよい。

本実施例によれば、位置ずれが検出された場合に位置ずれ調整情報が表示される。これにより、ユーザは、位置ずれの程度や方向を一目瞭然に認識することができ、さらに位置ずれ調整情報を参考にして、すばやく位置ずれが無い状態に戻すことができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (20)

1. ネットワークを介して接続された自拠点と他拠点との間で情報の共有を行なうシステムにおいて用いられる装置であって、
   自拠点の情報入力ボードを撮像する撮像手段と、
   前記自拠点の情報入力ボードに画像を投影する投影手段と、
   前記投影手段によって前記自拠点の情報入力ボードに投影される画像の表示を制御する表示制御手段と、
   を備え、
   前記表示制御手段は、前記自拠点の情報入力ボードの過去の状態を撮像した画像を投影させる、
   ことを特徴とする装置。
2. 前記自拠点の情報入力ボード上に投影された前記過去の状態を撮像した画像に含まれる当該自拠点の情報入力ボードに入力された入力情報の位置と、前記自拠点の情報入力ボードに入力されている現在の入力情報の位置とのずれを検出する位置ずれ検出手段をさらに備え、
   前記表示制御手段は、前記自拠点の情報入力ボード上に、前記位置ずれ検出手段での検出結果を投影させる
   ことを特徴とする請求項１に記載の装置。
3. 前記検出手段は、前記自拠点の情報入力ボードの現在の状態を撮像した画像に含まれる入力情報の輪郭と前記過去の状態を撮像した画像に含まれる入力情報の輪郭との対応点を検出し、検出された対応点間の距離に基づいて、前記ずれを検出することを特徴とする請求項２の装置。
4. 他拠点の装置と画像データを送受信する通信手段をさらに備え、
   前記他拠点の装置から受信した当該他拠点の情報入力ボードを撮像した画像を前記自拠点の情報入力ボードに投影する共有モードと、前記自拠点の情報入力ボードの過去の状態を撮像した画像を前記自拠点の情報入力ボードに投影する位置ずれ確認モードの、少なくとも２つの動作モードを有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の装置。
5. 前記共有モードと前記位置ずれ確認モードとの間のモード移行に関する処理を行なうモード移行処理手段をさらに備え、
   前記モード移行処理手段は、前記位置ずれ確認モードにおいて、前記位置ずれ検出手段で所定のずれが検出されなかった場合又はユーザから指示があった場合に、前記共有モードに移行する処理を行なうことを特徴とする請求項４に記載の装置。
6. 前記モード移行処理手段は、前記共有モードにおいて、前記自拠点の情報入力ボードを撮像した画像に前記入力情報が含まれる場合に、前記位置ずれ確認モードに移行可能と判定することを特徴とする請求項５に記載の装置。
7. 前記表示制御手段は、前記自拠点の情報入力ボードに、動作中のモードの情報を表示することを特徴とする請求項４乃至６のいずれか１項に記載の装置。
8. 前記表示制御手段は、前記位置ずれ確認モードで動作中、前記他拠点の装置から画像データを受信しても、前記自拠点の情報入力ボードに当該受信した画像を投影しないことを特徴とする請求項４乃至７のいずれか１項に記載の装置。
9. 前記他拠点の装置の動作中のモードを判定する他拠点モード判定手段をさらに備え、
   前記通信手段は、動作中のモードが共有モードであると判定された他拠点の装置に対して、自拠点の情報入力ボードを撮像した画像のデータを送信する
   ことを特徴とする請求項４乃至７のいずれか１項に記載の装置。
10. 前記他拠点の装置の動作中のモードを判定する他拠点モード判定手段をさらに備え、
    前記通信手段は、すべての他拠点の装置における動作中のモードが共有モードであると判定された場合に、当該すべての他拠点の装置に対して、自拠点の情報入力ボードを撮像した画像のデータを送信する
    ことを特徴とする請求項４乃至７のいずれか１項に記載の装置。
11. 前記モード移行処理手段は、前記共有モードから前記位置ずれ確認モードに移行する場合及び前記位置ずれ確認モードから前記共有モードに移行する場合に、当該移行に関する移行情報を、前記通信手段を介して前記他拠点の装置に送信し、
    前記他拠点モード判定手段は、前記移行情報に基づいて、前記他拠点の装置の動作中のモードを判定する
    ことを特徴とする請求項９又は１０に記載の装置。
12. 前記投影手段が前記自拠点の情報入力ボードに投影する画像には、
    前記自拠点の情報入力ボードの過去若しくは現在の状態を撮像した画像、又は前記他拠点の情報入力ボードを撮像した画像を表示するための第１の領域、
    前記位置ずれ検出手段での検出結果を表示するための第２の領域、及び
    前記動作中のモードの情報を表示するための第３の領域
    を有することを特徴とする請求項７乃至１１のいずれか１項に記載の装置。
13. 前記表示制御手段は、前記位置ずれ検出手段での検出結果に基づいて、ずれを調整するための位置ずれ調整情報を表示することを特徴とする請求項１乃至１２のいずれか１項に記載の装置。
14. 前記位置ずれ調整情報は、検出されたずれの程度及び方向に関する情報のうち少なくともいずれかを含むことを特徴とする請求項１３に記載の装置、
15. 前記位置ずれ調整情報は、検出されたずれの程度及び方向に関する情報のうち少なくともいずれかを示すマークによって表現されていることを特徴とする請求項１４に記載の装置。
16. 前記位置ずれ調整情報は、前記投影手段で画像が投影される領域と画像が投影されない領域との境界部分に表示されることを特徴とする請求項１４に記載の装置。
17. 前記位置ずれ調整情報は、検出されたずれの程度及び方向に関する情報のうち少なくともいずれかを、文字又は音声によって表現されていることを特徴とする請求項１４に記載の装置。
18. 請求項１乃至１７のいずれか１項に記載の装置を含む、自拠点と他拠点との間で情報の共有を行なうシステム。
19. ネットワークを介して接続された自拠点と他拠点との間で情報の共有を行なうシステムの制御方法であって、
    自拠点の情報入力ボードを撮像する撮像ステップと、
    前記自拠点の情報入力ボードに画像を投影する投影ステップと、
    前記投影ステップによって前記自拠点の情報入力ボードに投影される画像の表示を制御する表示制御ステップと、
    を含み、
    前記表示制御ステップでは、前記自拠点の情報入力ボードの過去の状態を撮像した画像を投影させる、
    ことを特徴とする制御方法。
20. コンピュータを、請求項１乃至１７のいずれか１項に記載の装置として機能させるためのプログラム。

Images