JP2018081149A - 画像出力装置、遠隔会議システム、および画像出力方法 - Google Patents

Abstract

【課題】撮像部により対象物を撮像して各種の情報とともに表示部に表示する際、表示画面全体を有効に利用しつつ、対象物が移動しても情報を適切に伝達できる画像出力装置を提供する。【解決手段】本発明の画像出力装置は、対象物を撮像する撮像部と、ユーザーにより入力された情報を受け付ける受付部と、受付部により受け付けられた情報を示す情報画像を撮像部の撮像領域内の所定の表示位置に投影表示する投影部と、撮像部により対象物を撮像して得られた撮像画像の画像データを出力する出力部と、対象物の移動を検出する検出部と、検出部により対象物の移動が検出された場合、対象物に対応する情報画像があるか否かを判断する判断部と、判断部により対象物に対応する情報画像があると判断された場合、当該情報画像が対象物に追従して移動するように情報画像の表示位置を変更する制御を行う表示制御部と、を有する。【選択図】図４

Description

本発明は、画像出力装置、遠隔会議システム、および画像出力方法に関する。

離れた場所にいる複数人が同じ画像を共有して参照しながら会議を進行する遠隔会議システムが知られている。

遠隔会議システムでは、試作品や図面等の対象物がカメラにより撮像され、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレット端末等の端末装置の表示部に表示される。そして、会議の参加者が、端末装置を用いて、表示位置を指定しつつ情報を入力すれば、入力された情報がカメラの撮像領域内の対応する表示位置にプロジェクターによって投影される。このような構成によれば、各種の情報が対象物とともに表示部に表示され、打ち合わせを効果的に行える。

ところで、各種の情報とともに対象物が端末装置の表示部に表示されている状態で、カメラにより撮像されている対象物が移動すれば、対象物の位置と情報の位置とがずれてしまう。対象物の位置と情報の位置がずれれば、会議の参加者に情報が適切に伝達されず、参加者間で誤解等が生じるおそれがあり、好ましくない。

これに関連して、下記の特許文献１には、記入用紙の位置をカメラにより検出して、プロジェクターにより記入用紙の近傍に支援情報を投影する際、記入用紙が移動すれば、支援情報の投影位置を変更する技術が開示されている。この技術によれば、遠隔会議中、カメラにより撮像されている対象物が移動した場合、対象物に追従して移動するように情報の表示位置を変更できる。

特開２０１４−１３２４７８号公報

しかしながら、端末装置の表示部に対象物とともに表示される情報には、対象物に関係する情報のみならず、打ち合わせ日時、出席者名、および検討事項のような対象物と無関係な情報が含まれる。対象物と無関係な情報は、表示画面の隅に表示されることが多い。

したがって、上記の技術では、対象物が移動した場合、対象物に追従して移動するように情報の表示位置を変更すれば、表示画面の隅に表示されている無関係な情報が、表示画面の外に出てしまう可能性がある。表示画面の外に情報が出れば、表示画面から情報が消えてしまい、好ましくない。表示画面の外に情報が出てしまうことを防止するためには、表示画面の隅に情報を入力しない等の利用制限を設けなければならず、不便である。

本発明は、上述した課題に鑑みてなされたものである。したがって、本発明の目的は、撮像部により対象物を撮像して各種の情報とともに表示部に表示する際、表示画面全体を有効に利用しつつ、対象物が移動しても情報を適切に伝達できる画像出力装置および画像出力方法を提供することである。

また、本発明の他の目的は、上記の画像出力装置を用いた遠隔会議システムを提供することである。

本発明の上記目的は、下記の手段によって達成される。

（１）対象物を撮像する撮像部と、ユーザーにより入力された情報を受け付ける受付部と、前記受付部により受け付けられた前記情報を示す情報画像を前記撮像部の撮像領域内の所定の表示位置に投影表示する投影部と、前記撮像部により前記対象物を撮像して得られた撮像画像の画像データを出力する出力部と、前記対象物の移動を検出する検出部と、前記検出部により前記対象物の移動が検出された場合、前記対象物に対応する前記情報画像があるか否かを判断する判断部と、前記判断部により前記対象物に対応する前記情報画像があると判断された場合、当該情報画像が前記対象物に追従して移動するように前記情報画像の表示位置を変更する制御を行う表示制御部と、を有する画像出力装置。

（２）前記撮像部は、前記投影部により投影表示される前記情報画像を光学フィルターにより除去して前記対象物を撮像し、前記画像出力装置は、前記撮像画像上の前記表示位置に前記情報画像が重ねて表示されるように前記撮像画像の画像データに前記情報画像の画像データを合成して表示用画像データを生成する画像合成部をさらに有し、前記出力部は、前記表示用画像データを出力する、上記（１）に記載の画像出力装置。

（３）前記判断部は、移動前の前記対象物と重なる前記情報画像があるか否かを判断することにより、前記対象物に対応する前記情報画像があるか否かを判断する、上記（１）または（２）に記載の画像出力装置。

（４）前記表示制御部は、前記対象物が移動して前記撮像領域から外れることによって、前記撮像部により前記対象物が撮像されなくなった場合、前記対象物に対応する前記情報画像を消去し、前記対象物がさらに移動して前記撮像領域内に戻ることによって、前記撮像部により前記対象物が再び撮像された場合、前記対象物に対応する前記情報画像を再び表示する制御をさらに行う、上記（１）〜（３）のいずれか１つに記載の画像出力装置。

（５）前記表示制御部は、前記撮像部の光軸方向に前記対象物が傾いた場合、前記情報画像の形状を変更する制御をさらに行う、上記（１）〜（４）のいずれか１つに記載の画像出力装置。

（６）前記対象物に対応する前記情報画像は、前記対象物の特定の面に対応しており、前記表示制御部は、前記撮像部の光軸方向に前記対象物が傾くことによって前記撮像部により前記特定の面が撮像されなくなった場合、前記対象物に対応する前記情報画像を消去し、前記対象物がさらに傾くことによって前記撮像部により前記特定の面が再び撮像された場合、前記対象物に対応する前記情報画像を再び表示する制御をさらに行う、上記（１）〜（５）のいずれか１つに記載の画像出力装置。

（７）前記撮像部により複数の前記対象物が同時に撮像される場合、前記複数の対象物のそれぞれについて、前記検出部は前記対象物の移動を検出し、前記判断部は前記対象物に対応する前記情報画像があるか否かを判断し、前記表示制御部は前記情報画像の表示位置を変更する制御を行う、上記（１）〜（６）のいずれか１つに記載の画像出力装置。

（８）前記複数の対象物の中の一の対象物が移動して前記撮像部と他の対象物との間に位置することによって、前記撮像部により前記他の対象物が撮像されなくなった場合、前記表示制御部は、前記他の対象物に対応する前記情報画像を消去し、前記一の対象物がさらに移動して前記撮像部と前記他の対象物との間から外れることによって、前記撮像部により前記他の対象物が再び撮像された場合、前記他の対象物に対応する前記情報画像を再び表示する制御をさらに行う、上記（７）に記載の画像出力装置。

（９）前記撮像部と前記投影部とは、同一の光軸を有するように一体的に構成されている、上記（１）〜（８）のいずれか１つに記載の画像出力装置。

（１０）上記（１）〜（９）のいずれか１つに記載の画像出力装置と、前記画像出力装置から出力された画像データに基づく画像を表示する表示部およびユーザー操作に基づいて情報を入力する入力部を有する端末装置と、を有する遠隔会議システム。

（１１）対象物を撮像部により撮像するステップ（ａ）と、ユーザーにより入力された情報を受け付けるステップ（ｂ）と、前記ステップ（ｂ）において受け付けられた前記情報を示す情報画像を投影部により前記撮像部の撮像領域内の所定の表示位置に投影表示するステップ（ｃ）と、前記撮像部により前記対象物を撮像して得られた撮像画像の画像データを出力するステップ（ｄ）と、前記対象物の移動を検出するステップ（ｅ）と、前記ステップ（ｅ）において前記対象物の移動が検出された場合、前記対象物に対応する前記情報画像があるか否かを判断するステップ（ｆ）と、前記ステップ（ｆ）において前記対象物に対応する前記情報画像があると判断された場合、当該情報画像が前記対象物に追従して移動するように前記情報画像の表示位置を変更する制御を行うステップ（ｇ）と、を有する画像出力方法。

本発明によれば、対象物が移動した場合、対象物に対応する情報画像の表示位置が変更される一方で、残りの情報画像の表示位置は変更されない。したがって、表示画面の隅に表示される無関係な情報が表示画面の外に出ることがなく、撮像部により対象物を撮像して各種の情報とともに表示部に表示する際、表示画面全体を有効に利用しつつ、対象物が移動しても情報を適切に伝達できる。

本発明の一実施形態に係る遠隔会議システムの概略構成を示す図である。 ＰＣの概略構成を示すブロック図である。 表示画像の一例を示す図である。 画像出力処理の手順を示すフローチャートである。 画像出力処理の効果を説明するための図である。 画像出力処理の効果を説明するための図である。 変形例に係る画像出力処理を説明するための図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態に係る遠隔会議システム１００の概略構成を示す図である。本実施形態の遠隔会議システム１００は、２つの拠点Ａ，Ｂを結んで会議を行う。

図１に示すとおり、遠隔会議システム１００は、カメラ１１０、プロジェクター１２０、ＰＣ１３０、およびタブレット端末１４０を備える。カメラ１１０、プロジェクター１２０、およびＰＣ１３０は、第１拠点Ａに備えられており、タブレット端末１４０は、第２拠点Ｂに備えられている。カメラ１１０およびプロジェクター１２０とＰＣ１３０とは電気的に接続されている。ＰＣ１３０とタブレット端末１４０とは、インターネット等のネットワーク２００を介して互いに通信可能に構成されている。カメラ１１０、プロジェクター１２０、およびＰＣ１３０は、画像出力装置を構成する。

なお、第１および第２拠点Ａ，Ｂには、拠点間での音声通信を可能にするマイクおよびスピーカーや、会議の参加者を撮像するための補助カメラが追加的に備えられる。また、遠隔会議を行う拠点の数は、２つに限定されるものではなく、３つ以上の拠点を結んで遠隔会議が行われてもよい。

カメラ１１０は、撮像部として、試作品や図面等の対象物３００を撮像する。カメラ１１０は、ＰＣ１３０に接続されており、カメラ１１０により対象物３００を撮像して得られる撮像画像の画像データは、ＰＣ１３０に送信される。また、本実施形態のカメラ１１０には、特定波長の光（色）を透過しない光学フィルターが備えられており、プロジェクター１２０により撮像領域内に投影表示される画像を除去して、対象物３００を撮像できる。

プロジェクター１２０は、投影部として、文字や図形等の情報を示す情報画像をカメラ１１０の撮像領域に投影表示する。プロジェクター１２０は、ＰＣ１３０に接続されており、ＰＣ１３０により生成される投影用画像データに基づいて、カメラ１１０の撮像領域に情報画像を投影表示する。本実施形態のプロジェクター１２０は、カメラ１１０の光学フィルターを透過しない波長の光に対応する色の情報画像を投影表示する。

ＰＣ１３０は、上記各部の制御および各種演算処理を行う。ＰＣ１３０は、タブレット端末１４０や自機の入力部１３４から入力される情報を受け付け、当該情報を投影表示するための投影用画像データを生成する。また、ＰＣ１３０は、撮像画像の画像データに投影用画像データを合成して、表示用画像データを生成する。

タブレット端末１４０は、端末装置として、各種の情報を入出力する。タブレット端末１４０は、表示用画像データに基づく画像を表示する表示部１４１と、ユーザー操作に基づいて情報を入力するための入力部１４２を有する。タブレット端末１４０の入力部１４２は、タッチパネルであり、表示部１４１と一体的に構成される。

次に、図２を参照して、ＰＣ１３０について詳細に説明する。

図２は、ＰＣ１３０の概略構成を示すブロック図である。ＰＣ１３０は、制御部１３１、記憶部１３２、表示部１３３、入力部１３４、および通信部１３５を備えており、これらは信号をやり取りするためのバス１３６を介して相互に接続されている。

制御部１３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、プログラムにしたがって上記各部の制御や各種の演算処理を行う。

記憶部１３２は、予め各種プログラムや各種データを格納しておくＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、作業領域として一時的にプログラムやデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、オペレーティングシステムを含む各種プログラムや各種データを格納するハードディスク等からなる。

表示部１３３は、たとえば、液晶ディスプレイであり、各種の情報を表示する。入力部１３４は、マウス等のポインティングデバイスやキーボードを含み、各種の入力を行うために使用される。通信部１３５は、ネットワーク２００を介して他の機器と通信するためのインターフェースである。

ＰＣ１３０の制御部１３１は、対応するプログラムをＣＰＵが実行することによって、検出部、判断部、表示制御部、および画像合成部として機能する。ここで、検出部は、対象物３００の移動を検出する。判断部は、対象物３００の移動が検出された場合、対象物３００に対応する情報画像があるか否かを判断する。表示制御部は、対象物３００に対応する情報画像があると判断された場合、情報画像が対象物３００に追従して移動するように情報画像の表示位置を変更する制御を行う。画像合成部は、撮像画像上の表示位置に情報画像が重ねて表示されるように撮像画像の画像データに投影用画像データ（情報画像の画像データ）を合成して表示用画像データを生成する。なお、各部の具体的な処理内容については後述する。また、ＰＣ１３０の入力部１３４および通信部１３５は、ユーザーにより入力された情報を受け付ける受付部として機能する。また、通信部１３５は、表示用画像データを出力する出力部として機能する。

以上のとおり構成される遠隔会議システム１００では、カメラ１１０により対象物３００が撮像され、撮像画像がＰＣ１３０およびタブレット端末１４０の表示部１３３，１４１に表示される。そして、会議の参加者が、ＰＣ１３０やタブレット端末１４０を用いて、表示位置を指定しつつ情報を入力すれば、ＰＣ１３０により投影用画像データが生成され、入力された情報を示す情報画像がプロジェクター１２０により撮像領域内の対応する表示位置に投影表示される。加えて、ＰＣ１３０により投影用画像データが撮像画像の画像データに合成され、表示用画像データが生成される。表示用画像データは、ＰＣ１３０からタブレット端末１４０に送信される。表示用画像データに基づく画像４００（図３参照）は、ＰＣ１３０およびタブレット端末１４０の表示部１３３，１４１に表示される。

図３は、ＰＣ１３０およびタブレット端末１４０の表示部１３３，１４１に表示される表示画像４００の一例を示す図である。

表示画像４００は、カメラ１１０により対象物３００を撮像して得られた撮像画像と、撮像画像上に重ねられた複数の情報画像４４１，４４２，４４３とを含む。表示画像４００を構成する表示用画像データは、情報画像４４１，４４２，４４３を含む投影用画像データが撮像画像の画像データ上に積層されたレイヤー構造を有する。

情報画像４４１，４４２，４４３は、会議の参加者により入力された情報を示す画像である。複数の情報画像４４１，４４２，４４３は、対象物３００に重なっている第１情報画像４４１と、対象物３００に重なっていない第２および第３情報画像４４２，４４３とを含む。図３において、第１情報画像４４１は「←穴径変更φ○○ｍｍ」という画像であり、当該画像４４１を構成する一連の文字および図形は１つのオブジェクトとして認識される。また、第２および第３情報画像４４２，４４３は、「×××××」および「△△△△△」という画像であり、当該画像４４２，４４３を構成する一連の文字は１つのオブジェクトとして認識される。第２および第３情報画像４４２，４４３は、表示画像４００の隅にそれぞれ形成されている。第２拠点Ｂにいる会議の参加者は、タブレット端末１４０の表示部１４１に表示される表示画像４００を見ながら、会議に参加する。また、第１拠点Ａにいる会議の参加者は、ＰＣ１３０の表示部１３３に表示される表示画像４００、または、プロジェクター１２０により情報画像４４１，４４２，４４３が投影表示されている状態の対象物３００を見ながら、会議に参加する。

そして、本実施形態の遠隔会議システム１００では、このような状況下で、カメラ１１０により撮像されている対象物３００が移動した場合、対応する情報画像４４１が対象物３００に追従して移動するように、情報画像４４１の表示位置が変更される。以下、図４〜図６を参照して、遠隔会議システム１００の動作について説明する。

図４は、ＰＣ１３０により実行される画像出力処理の手順を示すフローチャートである。なお、図４のフローチャートに示されるアルゴリズムは、記憶部１３２にプログラムとして記憶されており、制御部１３１によって実行される。

まず、ＰＣ１３０は、対象物３００の移動を検出する（ステップＳ１０１）。より具体的には、制御部１３１が、カメラ１１０により対象物３００を周期的に撮像して得られる撮像画像の画像データを解析して、対象物３００の移動を検出する。

次に、ＰＣ１３０は、対象物３００に対応する情報画像があるか否かを判断する（ステップＳ１０２）。より具体的には、制御部１３１が、まず、表示画像４００中の対象物３００の位置およびサイズを認識する。そして、制御部１３１が、投影用画像データに含まれる各情報画像の表示位置およびサイズに基づいて、移動前（たとえば、情報が入力された時点）の対象物３００と少なくとも一部分が重なる情報画像があるか否かを判断する。対象物３００に重なる情報画像があると判断される場合、対象物３００に対応する情報画像があると判断される。

対象物３００に対応する情報画像がないと判断する場合（ステップＳ１０２：ＮＯ）、ＰＣ１３０は、処理を終了する。

一方、対象物３００に対応する情報画像があると判断する場合（ステップＳ１０２：ＹＥＳ）、ＰＣ１３０は、対象物３００の移動量および移動方向を算出する（ステップＳ１０３）。より具体的には、制御部１３１が、撮像画像の画像データを解析して、対象物３００の移動量および移動方向を算出する。

そして、ＰＣ１３０は、対象物３００に追従するように情報画像を移動させ（ステップＳ１０４）、処理を終了する。より具体的には、まず、制御部１３１は、対応する情報画像が対象物３００に追従して移動するように、ステップＳ１０３に示す処理で算出した移動量および移動方向に基づいて、投影用画像データ中の情報画像の表示位置を変更する。そして、制御部１３１は、表示位置変更後の投影用画像データを撮像画像の画像データに合成して表示用画像データを生成し、タブレット端末１４０に送信する。また、制御部１３１は、表示位置変更後の投影用画像データをプロジェクター１２０に送信する。その結果、ＰＣ１３０およびタブレット端末１４０の表示部１３３，１４１に表示される表示画像４００中の情報画像の表示位置が変更される。また、プロジェクター１２０によりカメラ１１０の撮像領域内に投影表示される情報画像の表示位置が変更される。

以上のとおり、図４に示すフローチャートの処理によれば、対象物３００の移動が検出された場合、まず、移動前の対象物３００に対応する情報画像があるか否かが判断される。そして、対象物３００に対応する情報画像があると判断される場合、当該情報画像が対象物３００に追従して移動するように情報画像の表示位置が変更される。このような構成によれば、対象物３００が移動した場合、対象物３００に対応する情報画像の表示位置が変更される一方で、対象物３００に対応しない残りの情報画像の表示位置が変更されることなく維持される。

なお、上述した画像出力処理では、対象物３００に重なる情報画像があるか否かを判断することにより、対象物３００に対応する情報画像があるか否かが判断された。しかしながら、たとえば、情報の入力時に、対象物３００に対応するか否かを示す属性情報を情報画像に予め付与することにより、情報画像の属性情報に基づいて、対象物３００に対応する情報画像があるか否かが判断されてもよい。

また、上述した画像出力処理では、撮像画像の画像データを解析することによって、対象物３００の移動が検出され、対象物３００の移動量および移動方向が算出された。しかしながら、カメラ１１０とは別のセンサー（たとえば、ステレオカメラ）を追加的に設け、当該センサーを利用して、対象物３００の移動が検出され、対象物３００の移動量および移動方向が算出されてもよい。

次に、図５および図６を参照して、本実施形態の画像出力処理の効果についてより具体的に説明する。

図５および図６は、本実施形態に係る画像出力処理の効果を説明するための図である。

図５に示すとおり、たとえば、表示画像４００の中央に位置する対象物３００が斜め下方に移動したと仮定する。この場合、まず、複数の情報画像４４１，４４２，４４３の中に、対象物３００に対応する情報画像があるか否かが判断される。

そして、対象物３００に対応する情報画像４４１があると判断された場合、図６に示すとおり、情報画像４４１が対象物３００に追従して移動するように、対象物３００に対応する情報画像４４１の表示位置が斜め下方に変更される。その一方で、対象物３００に対応しない残りの情報画像４４２，４４３の表示位置は、変更されることなく維持される。

以上のとおり、本実施形態の画像出力処理によれば、対象物３００が移動した場合、対象物３００に対応する情報画像４４１の表示位置が変更され、対象物３００と情報画像４４１の位置関係が維持される。その結果、対象物３００が移動しても、情報が適切に伝達される。加えて、本実施形態の画像出力処理によれば、対象物３００が移動した場合、対象物３００に対応しない情報画像４４２，４４３の表示位置が維持され、情報画像４４２，４４３が表示画面から消えることが防止される。その結果、表示画面の隅に情報を入力することが可能になり、表示画面に対する利用制限を設ける必要がない。

したがって、本実施形態の遠隔会議システム１００によれば、カメラ１１０により対象物３００を撮像して各種の情報とともに表示部に表示する際、表示画面全体を有効に利用しつつ、対象物３００が移動しても情報を適切に伝達できる。

なお、本実施形態の遠隔会議システム１００では、対象物３００が移動してカメラ１１０の撮像領域から外れることによって、対象物３００がカメラ１１０により撮像されなくなった場合、制御部１３１は、対象物３００に対応する情報画像４４１を消去する制御を行う。また、対象物３００がさらに移動して撮像領域内に戻ることによって、対象物３００がカメラ１１０により再び撮像された場合、制御部１３１は、一度消去した情報画像４４１を再び表示する制御を行う。この場合、制御部１３１は、たとえば、撮像画像の画像データを解析して対象物３００の特徴点を抽出し、対象物３００の形状を予め記憶しておくことにより、対象物３００が撮像領域内に戻ったことを認識し得る。このような構成によれば、対象物３００を自由に入れ替えながら打ち合わせを行える。

また、本実施形態の遠隔会議システム１００では、カメラ１１０により複数の対象物３００が撮像される場合、すべての対象物３００の移動が検出される。そして、移動が検出された対象物３００に対応する情報画像があるか否かが判断され、対象物３００に対応する情報画像があれば、当該情報画像の表示位置が変更される。このような構成によれば、複数の対象物３００を表示部に表示しながら打ち合わせを行える。

さらに、複数の対象物３００の中の一の対象物が移動してカメラ１１０と他の対象物との間に位置することによって、カメラ１１０により他の対象物が撮像されなくなった場合、制御部１３１は、他の対象物に対応する情報画像を消去する制御を行う。そして、一の対象物がさらに移動してカメラ１１０と他の対象物との間から外れることによって、他の対象物がカメラ１１０により再び撮像された場合、制御部１３１は、一度消去した情報画像４４１を再び表示する制御を行う。このような構成によれば、複数の対象物３００を自由に移動させながら打ち合わせを行える。

さらに、本実施形態の遠隔会議システム１００では、カメラ１１０の光軸に垂直な平面内で対象物３００が回転した場合、制御部１３１は、対応する情報画像４４１を対象物３００と同様に回転させる制御を行う。このような構成によれば、対象物３００の平行移動のみならず、対象物３００の回転移動にも対応できる。

（変形例）
以下、図７を参照して、本実施形態の変形例について説明する。本変形例は、カメラ１１０により撮像される対象物３００がカメラ１１０の光軸方向に傾いた場合、対象物３００に対応する情報画像の形状が変更される。

図７（ａ）は、カメラ１１０の光軸方向に傾く前の対象物３００および対象物３００に対応する情報画像４４４の一例を示す図である。図７（ｂ）は、カメラ１１０の光軸方向に傾いた後の対象物３００および対象物３００に対応する情報画像４４４の一例を示す図である。

図７（ａ）に示すとおり、本変形例では、板状の対象物３００が正面から撮像されており、対応する情報画像４４４が対象物３００に重ねて表示されていると仮定する。ここで、情報画像４４４は、円を示す画像であり、対象物３００の正面側の平面３００ａに対応付けられている。

そして、図７（ｂ）に示すとおり、板状の対象物３００が左右に回転してカメラ１１０の光軸方向に傾いた場合、ＰＣ１３０の制御部１３１は、情報画像４４４の形状を変更する制御を行う。より具体的には、制御部１３１は、撮像画像の画像データを解析したり、別途のセンサー（たとえば、ステレオカメラ）を利用したりして、対象物３００の傾きを認識し、傾き量等を算出する。そして、制御部１３１は、傾いた後の対象物３００の撮像画像と整合性を有するように、情報画像４４４の形状を円から楕円に変更する。このような構成によれば、対象物３００と情報画像４４４の位置関係のみならず形状も維持されるため、より効果的に打ち合わせを行える。

そして、本変形例に係る遠隔会議システム１００では、板状の対象物３００が傾くことによって、対象物３００の平面３００ａがカメラ１１０により撮像されなくなった場合、制御部１３１は、情報画像４４４を消去する制御を行う。また、対象物３００がさらに傾くことによって、対象物３００の平面３００ａがカメラ１１０により再び撮像された場合、制御部１３１は、一度消去した情報画像４４４を再び表示する制御を行う。このような構成によれば、対象物３００を自在に動かしたり回したりしながら打ち合わせを行える。

本発明は、上述した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。

たとえば、上述した実施形態では、光学フィルター付きのカメラ１１０により、プロジェクター１２０により投影表示される情報画像を除去して、対象物３００が撮像された。そして、情報画像を含まない撮像画像の画像データに投影用画像データを合成することにより、撮像画像上に情報画像が重ねられた表示用画像データが生成され、表示用画像データがタブレット端末１４０に送信された。しかしながら、光学フィルターなしのカメラ１１０により、情報画像を除去することなく、対象物３００が撮像されてもよい。この場合、ＰＣ１３０は、表示用画像データを生成することなく、情報画像を含む撮像画像の画像データをタブレット端末１４０にそのまま送信する。このような構成によれば、表示用画像データを生成することなく、各種の情報が対象物とともに表示される表示画像を表示部に表示できる。

また、上述した実施形態では、カメラ１１０とプロジェクター１２０とが個別に設けられた。しかしながら、カメラとプロジェクターを同一光軸に組み合わせた撮像・投影一体型プロジェクターが用いられてもよい。このような構成によれば、情報画像の被投影領域と撮像領域との位置ずれが原理的になくなり、キャリブレーションが不要となる。

また、上述した実施形態では、第１拠点Ａに備えられたＰＣ１３０により、各種処理が実行され、投影用画像データや表示用画像データが生成された。しかしながら、ネットワーク２００上に備えられたサーバーにより、各種処理が実行され、投影用画像データや表示用画像データが生成されてもよい。この場合、カメラ１１０、プロジェクター１２０、およびサーバーが、画像出力装置を構成する。

上述した実施形態に係る画像出力装置における各種処理を行う手段および方法は、専用のハードウエア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像出力装置の一機能として画像出力装置のソフトウエアに組み込まれてもよい。

１００ 遠隔会議システム、
１１０ カメラ、
１２０ プロジェクター、
１３０ ＰＣ、
１３１ 制御部、
１３２ 記憶部、
１３３，１４１ 表示部、
１３４，１４２ 入力部、
１３５ 通信部、
１４０ タブレット端末、
２００ ネットワーク、
３００ 対象物、
４００ 表示画像、
４４１，４４２，４４３，４４４ 情報画像。

Claims (11)

1. 対象物を撮像する撮像部と、
   ユーザーにより入力された情報を受け付ける受付部と、
   前記受付部により受け付けられた前記情報を示す情報画像を前記撮像部の撮像領域内の所定の表示位置に投影表示する投影部と、
   前記撮像部により前記対象物を撮像して得られた撮像画像の画像データを出力する出力部と、
   前記対象物の移動を検出する検出部と、
   前記検出部により前記対象物の移動が検出された場合、前記対象物に対応する前記情報画像があるか否かを判断する判断部と、
   前記判断部により前記対象物に対応する前記情報画像があると判断された場合、当該情報画像が前記対象物に追従して移動するように前記情報画像の表示位置を変更する制御を行う表示制御部と、
   を有する画像出力装置。
2. 前記撮像部は、前記投影部により投影表示される前記情報画像を光学フィルターにより除去して前記対象物を撮像し、
   前記画像出力装置は、
   前記撮像画像上の前記表示位置に前記情報画像が重ねて表示されるように前記撮像画像の画像データに前記情報画像の画像データを合成して表示用画像データを生成する画像合成部をさらに有し、
   前記出力部は、前記表示用画像データを出力する、請求項１に記載の画像出力装置。
3. 前記判断部は、移動前の前記対象物と重なる前記情報画像があるか否かを判断することにより、前記対象物に対応する前記情報画像があるか否かを判断する、請求項１または２に記載の画像出力装置。
4. 前記表示制御部は、前記対象物が移動して前記撮像領域から外れることによって、前記撮像部により前記対象物が撮像されなくなった場合、前記対象物に対応する前記情報画像を消去し、前記対象物がさらに移動して前記撮像領域内に戻ることによって、前記撮像部により前記対象物が再び撮像された場合、前記対象物に対応する前記情報画像を再び表示する制御をさらに行う、請求項１〜３のいずれか１項に記載の画像出力装置。
5. 前記表示制御部は、前記撮像部の光軸方向に前記対象物が傾いた場合、前記情報画像の形状を変更する制御をさらに行う、請求項１〜４のいずれか１項に記載の画像出力装置。
6. 前記対象物に対応する前記情報画像は、前記対象物の特定の面に対応しており、
   前記表示制御部は、前記撮像部の光軸方向に前記対象物が傾くことによって前記撮像部により前記特定の面が撮像されなくなった場合、前記対象物に対応する前記情報画像を消去し、前記対象物がさらに傾くことによって前記撮像部により前記特定の面が再び撮像された場合、前記対象物に対応する前記情報画像を再び表示する制御をさらに行う、請求項１〜５のいずれか１項に記載の画像出力装置。
7. 前記撮像部により複数の前記対象物が同時に撮像される場合、前記複数の対象物のそれぞれについて、前記検出部は前記対象物の移動を検出し、前記判断部は前記対象物に対応する前記情報画像があるか否かを判断し、前記表示制御部は前記情報画像の表示位置を変更する制御を行う、請求項１〜６のいずれか１項に記載の画像出力装置。
8. 前記複数の対象物の中の一の対象物が移動して前記撮像部と他の対象物との間に位置することによって、前記撮像部により前記他の対象物が撮像されなくなった場合、前記表示制御部は、前記他の対象物に対応する前記情報画像を消去し、前記一の対象物がさらに移動して前記撮像部と前記他の対象物との間から外れることによって、前記撮像部により前記他の対象物が再び撮像された場合、前記他の対象物に対応する前記情報画像を再び表示する制御をさらに行う、請求項７に記載の画像出力装置。
9. 前記撮像部と前記投影部とは、同一の光軸を有するように一体的に構成されている、請求項１〜８のいずれか１項に記載の画像出力装置。
10. 請求項１〜９のいずれか１項に記載の画像出力装置と、
    前記画像出力装置から出力された画像データに基づく画像を表示する表示部およびユーザー操作に基づいて情報を入力する入力部を有する端末装置と、
    を有する遠隔会議システム。
11. 対象物を撮像部により撮像するステップ（ａ）と、
    ユーザーにより入力された情報を受け付けるステップ（ｂ）と、
    前記ステップ（ｂ）において受け付けられた前記情報を示す情報画像を投影部により前記撮像部の撮像領域内の所定の表示位置に投影表示するステップ（ｃ）と、
    前記撮像部により前記対象物を撮像して得られた撮像画像の画像データを出力するステップ（ｄ）と、
    前記対象物の移動を検出するステップ（ｅ）と、
    前記ステップ（ｅ）において前記対象物の移動が検出された場合、前記対象物に対応する前記情報画像があるか否かを判断するステップ（ｆ）と、
    前記ステップ（ｆ）において前記対象物に対応する前記情報画像があると判断された場合、当該情報画像が前記対象物に追従して移動するように前記情報画像の表示位置を変更する制御を行うステップ（ｇ）と、
    を有する画像出力方法。