JP2009130549A - 表示指示システム、表示指示装置、表示指示プログラム、表示制御装置、及び表示制御プログラム - Google Patents

Abstract

【課題】対象物を撮像した画像の特徴に基づいて修正された位置に対象物を注釈する画像を表示するよう指示できる表示指示装置、表示指示プログラム、及び表示指示システムを提供する。
【解決手段】
対象物を撮像した撮像画像を受信する受信手段と、受信手段が受信した撮像画像を特徴付ける特徴点を抽出する抽出手段と、対象物に対する注釈を表す注釈画像を表示する表示位置を、抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、撮像画像における修正手段が修正した表示位置に注釈画像を表示するよう指示する表示指示を送信する送信手段とを備える。
この構成によれば、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて表示位置を修正した上で、注釈画像の表示位置を指示できる。
【選択図】図１

Description

本発明は、表示指示システム、表示指示装置、表示指示プログラム、表示制御装置、及び表示制御プログラムに関する。

従来より、対象物を撮影した画像を用いて検出した対象物の特徴となるマーカの位置に合わせて、対象物のモデルを表す情報を変更して呈示できる情報呈示システムが知られている（例えば、特許文献１参照）。

この情報呈示システムは、マーカを付した対象物を撮像した画像を入力する画像入力手段と、画像入力手段が入力した画像上の特徴となるマーカの位置を用いて、対象物の位置及び姿勢を検出する位置姿勢関係検出手段と、位置姿勢関係検出手段が検出した位置及び姿勢に合わせて、対象物のモデルを表す情報を変更した上で表示する表示手段とを有することを特徴とする。

特開２００２−３２４２３９号公報

本発明の目的は、対象物を撮像した画像の特徴に基づいて修正された位置に対象物を注釈する画像を表示するよう指示できる表示指示装置、表示指示プログラム、及び表示指示システム、並びに指示に従って表示するよう制御できる表示制御装置及び表示制御プログラムを提供することにある。

本発明に係る表示指示装置は、対象物を撮像した撮像画像を受信する受信手段と、受信手段が受信した撮像画像を特徴付ける特徴点を抽出する抽出手段と、対象物に対する注釈を表す注釈画像を表示する表示位置を、抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、撮像画像における修正手段が修正した表示位置に注釈画像を表示するよう指示する表示指示を送信する送信手段とを備えることを特徴とする。

上記構成において、受信手段が受信した撮像画像における修正手段が修正した表示位置に注釈画像を重畳する重畳手段と、重畳手段が重畳した画像を表示するよう表示装置を制御する制御手段とを更に備える構成を採用できる。

本発明に係る表示制御装置は、対象物を撮像した撮像画像を送信する送信手段と、送信手段が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置に、対象物に対する注釈を表す注釈画像を表示するよう指示する表示指示を受信する受信手段と、受信手段が受信した表示指示に従って、撮像画像における表示位置に注釈画像を表示するよう表示装置を制御する制御手段とを備えることを特徴とする。

上記構成において、制御手段は、注釈画像を対象物に対して、表示位置に基づいた位置に投影するよう投影装置を制御すると共に、注釈画像が投影された対象物を撮像した撮像画像を表示するよう表示装置を制御する構成を採用できる。

上記構成において、撮像画像における表示位置に注釈画像を重畳する重畳手段を更に備え、制御手段は、重畳手段が重畳した画像を表示するよう表示装置を制御する構成を採用できる。

上記構成において、対象物を撮像した撮像画像を特徴付ける特徴点を抽出する抽出手段と、対象物に対する注釈を表す注釈画像を表示する表示位置を、抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、撮像画像における修正手段が修正した表示位置に、注釈画像を表示するよう指示する表示指示を送信する送信手段とを有する表示指示装置と、表示指示装置が送信した表示指示を受信する受信手段と、受信手段が受信した表示指示に従って、撮像画像における表示位置に注釈画像を表示するよう表示装置を制御する制御手段とを有する表示制御装置とを備える構成を採用できる。

本発明に係る表示指示プログラムは、コンピュータを、対象物を撮像した撮像画像を受信する受信手段と、受信手段が受信した撮像画像を特徴付ける特徴点を抽出する抽出手段と、対象物に対する注釈を表す注釈画像を表示する表示位置を、抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、撮像画像における修正手段が修正した表示位置に注釈画像を表示するよう指示する表示指示を送信する送信手段として機能させることを特徴とする。

本発明に係る表示制御プログラムは、コンピュータを、対象物を撮像した撮像画像を送信する送信手段と、送信手段が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置に、対象物に対する注釈を表す注釈画像を表示するよう指示する表示指示を受信する受信手段と、受信手段が受信した表示指示に従って撮像画像における表示位置に注釈画像を表示するよう表示装置を制御する制御手段として機能させることを特徴とする。

請求項１の構成によれば、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて表示位置を修正した上で、注釈画像の表示位置を指示できる。

請求項２の構成によれば、表示するよう指示する注釈画像の表示位置を容易に確認できる画像を表示するよう制御できる。

請求項３の構成によれば、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて定まる位置に注釈画像を表示するよう表示指示に従って制御できる。

請求項４の構成によれば、表示指示が指示する表示位置に注釈画像を投影できるだけでなく、注釈画像が投影された対象物を撮像した画像を表示するよう制御できる。

請求項５の構成によれば、表示指示が指示する表示位置に精度良く注釈画像を表示するよう制御できる。

請求項６の構成によれば、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて修正した上で指示された表示位置に注釈画像を表示するよう制御できる。

請求項７の構成によれば、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて表示位置を修正した上で、注釈画像の表示位置を指示できる。

請求項８の構成によれば、表示指示に従って、対象物を撮像した撮像画像を特徴付ける特徴点に基づいて定まる位置に注釈画像を表示するよう制御できる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。

図１は、本発明の表示制御装置及び表示指示装置で構成される表示指示システムの一実施形態を示す構成図である。

図１に示す表示システムは、通信網１００、通信網１００を挟んで対象物側１０００に設置される表示制御装置１１００、表示装置１２００、撮像装置１３００、投影装置１４００、ハーフミラー１５００、及び対象物１９００、並びに通信網１００を挟んで指示装置側２０００に設置される表示指示装置２１００、表示装置２２００、及び入力装置２３００で構成される。

通信網１００は、例えば、ＬＡＮ（Local Area Network ）、ＷＡＮ（Wide Area Network）、ＭＡＮ（Metropolitan Area Network）、又は公衆回線網で構成され、表示制御装置１１００及び表示指示装置２１００とを通信可能に接続する。

表示制御装置１１００は、例えば、パーソナル・コンピュータで構成され、通信網１００、表示装置１２００、撮像装置１３００、及び投影装置１４００に接続する。表示制御装置１１００は、表示指示装置２１００が送信する指示に従って表示装置１２００の表示を制御する。

ここで図２を参照して、表示制御装置１１００の一構成例について説明を行う。図２は、表示制御装置１１００の一構成例を表す機能ブロック図である。

表示制御装置１１００は、通信部１１１０及び制御部１１２０で構成される。制御部１１２０が有する機能は、表示制御装置１１００が実行するソフトウェア制御により実現される。

ここで図３を参照して、ソフトウェア制御を実行するために用いる表示制御装置１１００のハードウェア構成について説明する。図３は、ソフトウェア制御を実行するために用いる表示制御装置１１００のハードウェア構成の一例を表す図である。

表示制御装置１１００は、例えば、ＣＰＵ（Central Processing Unit）等の演算部１１０１、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の読み出し専用メモリであるＲＯＭ１１０２（Read-Only Memory ）、ＤＲＡＭ（Dynamic RAM）又はＳＲＡＭ（Static RAM）等の揮発性メモリ及びＮＶＲＡＭ（Non Volatile RAM）等の不揮発性メモリで構成されるＲＡＭ１１０３（Random Access Memory）、並びにハードディスク等で構成される外部記憶部１１０４で構成され、演算部１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、及び外部記憶部１１０４は互いにバス１１０５によって接続している。

ソフトウェア制御は、演算部１１０１が、ＲＯＭ１１０２又は外部記憶部１１０４に格納したプログラムを読み込み、読み込んだプログラムに従って演算を行うことにより実現される。なお、ＲＡＭ１１０３には、演算結果のデータが書き込まれ、特にＮＶＲＡＭには、電源オフ時にバックアップが必要なデータが保存される。

ここで、図２に戻り、表示制御装置１１００の構成について引き続き説明する。

通信部１１１０は、例えば、ネットワーク・カードで構成され、通信網１００に接続している。通信部１１１０は、受信部１１１１及び送信部１１１２で構成され、通信網１００を介して接続される表示指示装置２１００との間で情報を通信する。尚、通信部１１１０が通信する情報については後述する。

受信部１１１１は、通信網１００及び制御部１１２０に接続する。受信部１１１１は、後述する受信処理を実行することで、送信部１１１２が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置に、対象物１９００に対する注釈を表す注釈画像（以下、アノテーション画像ともいう）を表示するよう指示する表示指示（以下、指示コマンドともいう）を受信する。

尚、撮像画像とは、対象物１９００を撮像した撮像画像をいう。また、撮像画像を特徴付ける特徴点は、例えば、撮像画像に表された線分の端点、線分の交点、又は線分で表される図形の頂点を含む。本実施例において、特徴点は、撮像画像が表す対象物の稜線を構成する線分の端点、線分の交点、又は図形の頂点を含むとして説明するが、これに限定される訳ではない。

ここで、受信部１１１１が実行する受信処理の一例について説明する。先ず、受信部１１１１は、通信網１００を介して表示指示装置２１００から表示指示及び表示指示が表示するよう指示する注釈画像を受信する。

次に、受信部１１１１は、制御部１１２０へ、受信した表示指示を出力する。その後、受信部１１１１は、制御部１１２０へ、受信した注釈画像を出力する。次に、受信部１１１１は、受信処理の実行を終了する。

送信部１１１２は、通信網１００及び制御部１１２０に接続する。送信部１１１２は、後述する送信処理を実行することで、対象物１９００を撮像した撮像画像を送信する。

ここで、送信部１１１２が実行する送信処理の一例について説明する。先ず、送信部１１１２は、制御部１１２０から、撮像装置１３００が撮像した撮像画像を取得する。次に、送信部１１１２は、取得した撮像画像を、通信網１００を介して表示指示装置２１００へ送信する。その後、送信部１１１２は、送信処理の実行を終了する。

制御部１１２０は、表示装置１２００、撮像装置１３００、投影装置１４００、並びに通信部１１１０を構成する受信部１１１１及び送信部１１１２に接続している。制御部１１２０は、後述する制御処理を実行することで、受信部１１１１が受信した表示指示に従って、撮像画像における表示位置に注釈画像を表示するよう表示装置１２００を制御する。

ここで図４及び５を参照して、制御部１１２０が実行する制御処理について説明する。図４は、制御部１１２０が実行する制御処理の一例を表すフローチャートの一部であり、図５は、制御部１１２０が実行する制御処理の一例を表すフローチャートの他部である。

先ず、制御部１１２０は、撮像装置１３００から対象物１９００を撮像した撮像画像を取得する（ステップＳＴ０００１）。次に、制御部１１２０は、送信部１１１２へ、取得した撮像画像を出力する（ステップＳＴ０００２）。尚、送信部１１１２は、取得した撮像画像を表示指示装置２１００へ送信する。

その後、制御部１１２０は、表示装置１２００へ、撮像画像を出力することで、表示装置１２００が撮像画像を表示するよう制御する（ステップＳＴ０００３）。次に、制御部１１２０は、所定時間スリープする（ステップＳＴ０００４）。

その後、制御部１１２０は、例えば、図示を省略するが、ポインティング・ディバイス（以下単に、マウスという）、キーボード、又はタッチパネルで構成される入力装置が入力した、又は表示指示装置２１００が送信した終了を指示する命令（以下単に、終了コマンドという）を取得したか否かを判断する（ステップＳＴ０００５）。制御部１１２０は、終了コマンドを取得したと判断する場合には制御処理の実行を終了し、そうで無い場合にはステップＳＴ０００６の処理を実行する。

ステップＳＴ０００５において、制御部１１２０は、終了コマンドを取得していないと判断した場合には、受信部１１１１から、表示指示装置２１００が送信した表示指示（つまり、指示コマンド）を取得したか否かを判断する（ステップＳＴ０００６）。尚、ステップＳＴ０００６において受信部１１１１が受信する表示指示は、撮像画像を受信した表示指示装置２１００が、撮像対象とする対象物１９００の注釈を表す注釈画像を表示するよう指示するものである。

制御部１１２０は、表示指示を取得したと判断した場合にはステップＳＴ０００７の処理を、そうで無い場合にはステップＳＴ０００４に戻り、上記処理を繰り返す。

ステップＳＴ０００６において、制御部１１２０は、表示指示を取得したと判断した場合には、受信部１１１１から表示指示が表示するよう指示する注釈画像（つまり、アノテーション画像）を取得する（ステップＳＴ０００７）。

次に、制御部１１２０は、取得した表示指示から、注釈画像を表示するよう指示する位置を取得する（ステップＳＴ０００８）。この位置は、送信部１１１２が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置をいう。尚、特徴点については後述する。

その後、制御部１１２０は、投影装置１４００へ注釈画像を出力して、注釈画像を対象物１９００に対して特徴点に基づいて定まる表示位置に基づいた位置に注釈画像を投影するよう投影装置１４００を制御する（ステップＳＴ０００９）。

ここで、特徴点に基づいて定まる表示位置に基づいた位置とは、撮像装置１３００が撮像する撮像画像に映し出された注釈画像の位置が、撮像画像において特徴点に基づいて定まる表示位置となる位置をいう。尚、この位置は、投影装置１４００、撮像装置１３００、及び対象物１９００の位置に基づいて、制御部１１２０が算出する。

ステップＳＴ０００９を実行した後に、制御部１１２０は、撮像装置１３００から撮像画像を取得する（ステップＳＴ００１０）。尚、ステップＳＴ００１０において制御部１１２０が取得する撮像画像は、特徴点に基づいて定まる表示位置に投影された注釈画像を表す画像である。

次に、制御部１１２０は、表示装置１２００へ、ステップＳＴ００１０で取得した撮像画像を出力することで、受信部１１１１が受信した表示指示に従って、撮像画像における表示位置に注釈画像を表示するよう表示装置１２００を制御する（ステップＳＴ００１１）。その後、制御部１１２０は、ステップＳＴ０００４に戻って上記処理を繰り返す。

ここで図１に戻り、表示指示システム１０の構成について引き続き説明を行う。

表示装置１２００は、例えば、液晶ディスプレイ、プラズマディスプレイ、又はＣＲＴ（Cathode Ray Tube）で構成され、表示制御装置１１００に接続している。表示装置１２００は、表示制御装置１１００に制御されて、上記画像を表示する。

撮像装置１３００は、例えば、ビデオカメラ又はＷｅｂカメラで構成され、対象物１９００及び投影装置１４００が対象物１９００に投影した画像を、ハーフミラー１５００を介して撮像できる位置に設置されている。

尚、撮像装置１３００は、ハーフミラー１５００を透過した画像を撮像することで撮像画像を取得し、取得した撮像画像を表示制御装置１１００に出力する。

投影装置１４００は、例えば、液晶プロジェクタで構成され、ハーフミラー１５００を介した撮像装置１３００の光学的な主点と、投影装置１４００のハーフミラー１５００を介した光学的な主点とが略一致するように配置されている。また投影装置１４００は、表示制御装置１１００に接続している。

投影装置１４００は、表示制御装置１１００に制御されて、上記画像を対象物１９００の上記位置に、ハーフミラー１５００を介して投影する。つまり、投影された上記画像は、ハーフミラー１５００によって反射した後に対象物１９００へ投影される。

ハーフミラー１５００は、ビームスプリッターで構成される。ハーフミラー１５００は、投影装置１４００が投影した画像を表す光の反射光が対象物１９００に照射され、かつ対象物１９００で反射した光の透過光によって撮像装置が対象物１９００及び対象物１９００に投影された画像を撮像できるように配置されている。

本実施例では、対象物１９００は立方体として図示したが、これに限定される訳ではない。例えば、対象物１９００は、直方体、角柱、円柱、角錐、円錐、及び球体等の他の立体形状、並びにシート状の平面形状である構成を採用できる。

表示指示装置２１００は、例えば、パーソナル・コンピュータで構成され、通信網１００、表示装置２２００、及び入力装置２３００に接続している。

表示指示装置２１００は、表示制御装置１１００が送信した撮像画像を特徴付ける特徴点に基づいて定まる位置に修正された表示位置に注釈画像を表示するよう、表示制御装置１１００に指示する。

ここで図６を参照して、表示指示装置２１００の構成について説明する。図６は、表示指示装置２１００の一構成例を表す機能ブロック図である。

表示指示装置２１００は、通信部２１１０、制御部２１２０、抽出部２１３０、修正部２１４０、及び重畳部２１５０で構成される。制御部２１２０、抽出部２１３０、修正部２１４０、及び重畳部２１５０が有する各機能は、表示指示装置２１００が実行するソフトウェア制御により実現される。

尚、ソフトウェア制御を実行するために用いる表示指示装置２１００のハードウェア構成は、図３を参照して説明した表示制御装置１１００のハードウェア構成と同様であるので、説明を省略する。

通信部２１１０は、表示制御装置１１００を構成する通信部１１１０と同様に、ネットワーク・カードで構成される。通信部２１１０は、通信網１００及び制御部２１２０に接続している。通信部２１１０は、通信網１００を介して接続する表示制御装置１１００と情報の通信を行う。尚、通信部２１１０が通信する情報については後述する。

通信部２１１０は、受信部２１１１及び送信部２１１２で構成される。受信部２１１１は、通信網１００及び制御部２１２０に接続する。受信部２１１１は、後述する受信処理を実行することで、対象物を撮像した撮像画像を受信する。

ここで、受信部２１１１が実行する受信処理の一例について説明する。先ず、受信部２１１１は、表示制御装置１１００から撮像画像を受信する。次に、受信部２１１１は、受信した撮像画像を制御部２１２０へ出力する。その後、受信部２１１１は、受信処理の実行を終了する。

送信部２１１２は、通信網１００及び制御部２１２０に接続する。送信部２１１２は、後述する送信処理を実行することで、撮像画像における後述する修正部２１４０が修正した表示位置に注釈画像を表示するよう指示する表示指示を送信する。

ここで、送信部２１１２が実行する送信処理の一例について説明する。先ず、送信部２１１２は、制御部２１２０から、注釈画像と表示指示とを取得する。次に、送信部２１１２は、表示制御装置１１００へ注釈画像と表示指示とを送信する。その後、送信部２１１２は、送信処理の実行を終了する。

制御部２１２０について説明する前に、抽出部２１３０、修正部２１４０、及び重畳部２１５０について説明する。

抽出部２１３０は、制御部２１２０に接続する。抽出部２１３０は、後述する抽出処理を実行することで、受信部２１１１が受信した撮像画像を特徴付ける特徴点を抽出する。

ここで、抽出部２１３０が実行する抽出処理の一例について説明する。先ず、抽出部２１３０は、制御部２１２０から、撮像画像を取得する。次に、抽出部２１３０は、取得した撮像画像に対して、例えば、ハフ（Hough）変換処理等の画像処理を実行することで、対象物１９００の稜線を取得する。

その後、抽出部２１３０は、取得した稜線を構成する線分の端点、交点、及び頂点等を特徴点として抽出する。次に、抽出部２１３０は、制御部２１２０へ、特徴点を表す情報を出力する。その後、抽出部２１３０は、抽出処理の実行を終了する。尚、特徴点を表す情報は、例えば、特徴点を座標を用いて表す情報を含む。

修正部２１４０は、制御部２１２０に接続する。修正部２１４０は、後述する修正処理を実行することで、対象物１９００に対する注釈を表す注釈画像を表示する表示位置を、抽出部２１３０が抽出した特徴点に基づいて定まる位置に修正する。

ここで、修正部２１４０が実行する修正処理の一例について説明する。先ず、修正部２１４０は、制御部２１２０から、特徴点を表す情報、注釈画像を描く際に使用した制御点、及び表示指示装置２１００を使用する使用者が入力装置２３００を操作することで入力した注釈画像の表示位置（以下単に、指示位置という）を取得する。

尚、制御点とは、例えば、２次元ＣＡＤ（computer-aided design）において使用される制御点と同様に、注釈画像の形状を制御するため（つまり、定めるため）に使用される点である。線分を具体例として説明すると、線分は始点及び終点によって定まるため、線分の形状は、始点及び終点を定める少なくとも２つの点によって制御される。

その後、修正部２１４０は、指示位置を特徴点に基づいて定まる位置（以下単に、修正位置という）に修正する。本実施例において、修正部２１４０は、指示位置により表示位置を指定される注釈画像の制御点と、撮像画像を特徴付ける特徴点とが重なるように修正する。

尚、制御点と特徴点とが重なるように修正する処理は、「制御点が特徴点によって吸い付けられる処理」とも表現できるため、図面においては、修正部２１４０を吸着部とも表記する。

本実施例において、修正部２１４０は、制御点と特徴点とが重なるように指定位置を修正するとして説明したが、これに限定される訳ではなく、修正部２１４０は、指定位置を特徴点に基づいて定まる位置に修正すれば良い。

その後、修正部２１４０は、制御部２１２０へ、修正位置を表す情報を出力する。次に、修正部２１４０は、修正処理の実行を終了する。尚、修正位置を表す情報は、例えば、座標値で表される指示位置を修正した座標値である構成を採用できる。

重畳部２１５０は、制御部２１２０に接続する。重畳部２１５０は、後述する重畳処理を実行することで、受信部２１１１が受信した撮像画像における修正部２１４０が修正した表示位置（つまり、修正位置）に注釈画像を重畳する。

ここで、重畳部２１５０が実行する重畳処理の一例について説明する。先ず、重畳部２１５０は、制御部２１２０から、撮像画像と注釈画像と修正位置とを取得する。次に、重畳部２１５０は、撮像画像に対して注釈画像を修正位置に重畳する。その後、重畳部２１５０は、重畳処理の実行を終了する。

制御部２１２０は、通信部２１１０、抽出部２１３０、修正部２１４０、重畳部２１５０、表示装置２２００、及び入力装置２３００に接続する。制御部２１２０は、後述する制御処理を実行することで、重畳部２１５０が重畳した画像を表示するよう表示装置２２００を制御する。

ここで図７から９を参照して、制御部２１２０が実行する制御処理について説明する。図７は、制御部２１２０が実行する制御処理の一例を表すフローチャートの一部であり、図８及び９は、制御部２１２０が実行する制御処理の一例を表すフローチャートの他部である。

先ず、制御部２１２０は、所定時間スリープする（ステップＳＴ０１０１）。次に、制御部２１２０は、例えば、入力装置２３００から、終了コマンドを取得したか否かを判断する（ステップＳＴ０１０２）。制御部２１２０は、終了コマンドを取得したと判断する場合には制御処理の実行を終了し、そうで無い場合にはステップＳＴ０１０３の処理を実行する。

ステップＳＴ０１０２において、制御部２１２０は、終了コマンドを取得しなかったと判断した場合には、受信部２１１１から、撮像画像を取得する（ステップＳＴ０１０３）。次に、制御部２１２０は、表示装置２２００に撮像画像を出力することで、撮像画像を表示するよう表示装置２２００を制御する（ステップＳＴ０１０４）。その後、制御部２１２０は、抽出部２１３０へ、撮像画像を出力する（ステップＳＴ０１０５）。

次に、制御部２１２０は、出力した撮像画像から抽出された特徴点を、抽出部２１３０から取得する（ステップＳＴ０１０６）。次に、制御部２１２０は、入力装置２３００から描画情報を取得したか否かを判断する（ステップＳＴ０１０７）。制御部２１２０は、入力装置２３００から描画情報を取得したと判断した場合にはステップＳＴ０１０８の処理を、そうで無い場合にはステップＳＴ０１０１に戻り、上記処理を繰り返す。

ここで、描画情報は、表示指示装置２１００の使用者が描いた注釈画像、又は使用者が表示指示装置２１００に対して描くように指示する注釈画像に関する情報をいう。本実施例では、使用者が描いた注釈画像を特定する情報、及び使用者が表示指示装置２１００に対して描くように指示する注釈画像を特定する情報の１つ以上と、使用者が描いた注釈画像を表示するよう指示した表示位置(つまり、指示位置)を表す情報を含む。尚、注釈画像を特定する情報は、注釈画像を制御する制御点を含む。

ステップＳＴ０１０７において、制御部２１２０は、描画情報を取得したと判断した場合には、描画情報に基づいて制御点と制御点で制御される注釈画像とを取得する（ステップＳＴ０１０８）。次に、制御部２１２０は、描画情報に基づいて指示位置を取得する（ステップＳＴ０１０９）。

その後、制御部２１２０は、修正部２１４０へ、注釈画像の制御点と特徴点と指示位置とを出力する（ステップＳＴ０１１０）。尚、修正部２１４０は、指示位置を、注釈画像の制御点及び特徴点に基づいて定まる位置に修正する。

次に、制御部２１２０は、修正部２１４０から、修正位置を取得する（ステップＳＴ０１１１）。その後、制御部２１２０は、重畳部２１５０へ、修正位置と撮像画像と注釈画像とを出力する（ステップＳＴ０１１２）。次に、制御部２１２０は、重畳部２１５０から、注釈画像を撮像画像における修正位置へ重畳した重畳画像を取得する（ステップＳＴ０１１３）。

次に、制御部２１２０は、表示装置２２００へ、取得した重畳画像を出力することで、重畳画像を表示するよう表示装置２２００を制御する（ステップＳＴ０１１４）。その後、制御部２１２０は、入力装置２３００から、表示指示を送信するよう命じる送信命令を取得したか否かを判断する（ステップＳＴ０１１５）。制御部２１２０は、送信命令を取得したと判断する場合にはステップＳＴ０１１６の処理を実行し、そうで無い場合には、入力した注釈画像の投影を指示することを中止したと判断して、ステップＳＴ０１０１に戻り、上記処理を繰り返す。

ステップＳＴ０１１５において、制御部２１２０は、送信命令を取得したと判断した場合には、撮像画像における修正部２１４０が修正した表示位置に注釈画像を表示するよう指示する表示指示を作成する（ステップＳＴ０１１６）。

具体例として、表示指示は、修正された表示位置を座標を用いて表すバイナリ・データである構成例を採用できる。しかし、これに限定される訳ではなく、表示指示は、所定の色又は模様、若しくはこれらの組合せで構成され、かつ撮像画像の大きさを有する画像と、修正された表示位置に表された注釈画像とを重畳した画像によって修正された表示位置及び注釈画像を表すイメージ・データである構成を採用できる。

ステップＳＴ０１１６を実行した後に、制御部２１２０は、送信部２１１２へ、表示指示と注釈画像とを出力する（ステップＳＴ０１１７）。尚、送信部２１１２は、表示指示と注釈画像とを表示制御装置１１００へ送信する。次に、制御部２１２０は、ステップＳＴ０１０１へ戻り上記処理を繰り返す。

ここで図１に戻り、表示指示システム１０の構成について引き続き説明を行う。

表示装置２２００は、表示装置１２００と同様に、例えば、液晶ディスプレイ、プラズマディスプレイ、又はＣＲＴ（Cathode Ray Tube）で構成され、表示指示装置２１００に接続している。表示装置２２００は、表示指示装置２１００に制御されて、上記画像を表示する。

入力装置２３００は、例えば、マウス、キーボード、又はタッチパネルで構成され、表示指示装置２１００に接続している。入力装置２３００は、表示指示装置２１００の使用者に操作されて、上記の命令又は情報を表示指示装置２１００へ入力する。

本実施例においては、表示制御装置１１００を構成する受信部１１１１が表示制御装置の備える受信手段に相当し、送信部１１１２が表示制御装置の備える送信手段に相当し、制御部１１２０が表示制御装置の備える制御手段に相当する。また、本実施例においては、表示指示装置２１００を構成する受信部２１１１が表示指示装置の備える受信手段に相当し、送信部２１１２が表示指示装置の備える送信手段に相当し、制御部２１２０が表示指示装置の備える制御手段に相当し、抽出部２１３０が抽出手段に相当し、修正部２１４０が修正手段に相当し、重畳部２１５０が表示指示装置の備える重畳手段に相当する。

以下、本発明の第２の実施形態について説明する。

第２の実施例においては、表示指示が指示する位置に注釈画像を重畳した撮像画像を表示するよう表示装置を制御する表示制御装置で構成される表示システムについて説明する。

先ず、図１０を参照して、実施例２における表示指示システムについて説明する。図１０は、実施例２における表示指示システムの一実施形態を示す構成図である。

図１０に示す表示指示システム２０は、通信網２００、通信網２００を挟んで対象物側３０００に設置される表示制御装置３１００、表示装置３２００、撮像装置３３００、及び対象物３９００、並びに通信網２００を挟んで指示装置側４０００に設置される表示指示装置４１００、表示装置４２００、及び入力装置４３００で構成される。

実施例２における表示指示システム２０の構成については、実施例１における表示指示システム１０の構成とほぼ同様であるので、以下相違点について主に説明を行う。

表示指示システム２０は、投影装置及びハーフミラーを有しない点で、実施例１において説明した表示指示システム１０と異なる。

表示制御装置３１００は、投影装置に接続しない点、及び表示指示が指示する位置に注釈画像を重畳した撮像画像を表示するよう表示装置３２００制御する点で、実施例１において説明した表示制御装置１１００と異なる。

ここで図１１を参照して、表示制御装置３１００の構成について説明する。図１１は、表示制御装置３１００の一構成例を表す機能ブロック図である。

表示制御装置３１００は、受信部３１１１及び送信部３１１２で構成される通信部３１１０、制御部３１２０、及び重畳部３１３０で構成される。表示制御装置３１００は、重畳部３１３０を有する点で、実施例１において説明した表示制御装置１１００と異なる。

制御部３１２０は、重畳部３１３０に接続する点及び表示指示が指示する位置に注釈画像を重畳した撮像画像を表示するよう表示装置３２００を制御する制御処理を実行する点で、実施例１において説明した制御部３１２０と異なる。

ここで、図１２及び１３を参照して、実施例２において、制御部３１２０が実行する制御処理について説明する。図１２は、実施例２において、制御部３１２０が実行する制御処理の一例を表すフローチャートの一部であり、図１３は、実施例２において、制御部３１２０が実行する制御処理の一例を表すフローチャートの他部である。

先ず、制御部３１２０は、ステップＳＴ０２０１からＳＴ０２０８の処理を実行する（ステップＳＴ０２０１からＳＴ０２０８）。ここで、ステップＳＴ０２０１からＳＴ０２０８の処理は、図４及び５で説明したステップＳＴ０００１からＳＴ０００８の処理と同様であるので、説明を省略する。

ステップＳＴ０２０８の処理を実行した後に、制御部３１２０は、撮像装置３３００から撮像画像を取得する（ステップＳＴ０２０９）。次に、制御部３１２０は、重畳部３１３０へ、ステップＳＴ０２０８で取得した表示位置と、ステップＳＴ０２０７で取得した注釈画像とステップＳＴ０２０９で取得した撮像画像を出力する（ステップＳＴ０２１０）。

次に、制御部３１２０は、重畳部３１３０から、撮像画像における表示位置に注釈画像を重畳した撮像画像を取得する（ステップＳＴ０２１１）。その後、制御部３１２０は、ステップＳＴ０２１０で取得した画像を出力することで、重畳部３１３０が重畳した画像を表示するよう表示装置３２００を制御する（ステップＳＴ０２１２）。その後、制御部３１２０は、ステップＳＴ０２０４に戻り上記処理を繰り返す。

ここで図１１に戻り、表示制御装置３１００の構成について引き続き説明を行う。

重畳部３１３０は、後述する重畳処理を実行することで、撮像画像における位置であって、表示指示が指定する表示位置に注釈画像を重畳する。ここで、重畳部３１３０が実行する重畳処理の一例について説明する。

先ず、重畳部３１３０は、制御部３１２０から、表示指示によって指定された表示位置と注釈画像と撮像画像を取得する。次に、重畳部３１３０は、撮像画像に対して、撮像画像における表示位置に注釈画像を重畳する。その後、重畳部３１３０は、重畳した画像を制御部３１２０へ出力する。次に、重畳部３１３０は、重畳処理の実行を終了する。

尚、表示指示装置４１００は、実施例１で説明した表示指示装置２１００を構成する受信部２１１１及び送信部２１１２を有する通信部２１１０、制御部２１２０、抽出部２１３０、修正部２１４０、及び重畳部２１５０に相当する受信部４１１１及び送信部４１１２を有する通信部４１１０、制御部４１２０、抽出部４１３０、修正部４１４０、及び重畳部４１５０で構成される。

通信部４１１０、受信部４１１１、送信部４１１２、制御部４１２０、抽出部４１３０、修正部４１４０、及び重畳部４１５０の接続、構成、及び機能は、通信部２１１０、受信部２１１１、送信部２１１２、制御部２１２０、抽出部２１３０、修正部２１４０、及び重畳部２１５０の接続、構成、及び機能とほぼ同様であるので説明を省略する。

本実施例においては、表示制御装置３１００を構成する受信部３１１１が表示制御装置の備える受信手段に相当し、送信部３１１２が表示制御装置の備える送信手段に相当し、制御部３１２０が表示制御装置の備える制御手段に相当し、重畳部３１３０が表示制御装置の備える重畳手段に相当する。また、本実施例においては、表示指示装置４１００を構成する受信部４１１１が表示指示装置の備える受信手段に相当し、送信部４１１２が表示指示装置の備える送信手段に相当し、制御部４１２０が表示指示装置の備える制御手段に相当し、抽出部４１３０が抽出手段に相当し、修正部４１４０が修正手段に相当し、重畳部４１５０が表示指示装置の備える重畳手段に相当する。

表示制御装置１１００及び３１００、並びに表示指示装置２１００及び４１００は、演算部がＲＯＭ及びＲＡＭの少なくともひとつに格納されたプログラムを実行することによって実現される。また、このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供できる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の表示制御装置及び表示指示装置で構成される表示指示システムの一実施形態を示す構成図である。 表示制御装置の一構成例を表す機能ブロック図である。 表示制御装置のハードウェア構成の一例を表す図である。 表示制御装置を構成する制御部が実行する制御処理の一例を表すフローチャートの一部である。 表示制御装置を構成する制御部が実行する制御処理の一例を表すフローチャートの他部である。 表示指示装置の一構成例を表す機能ブロック図である。 表示指示装置を構成する制御部が実行する制御処理の一例を表すフローチャートの一部である。 表示指示装置を構成する制御部が実行する制御処理の一例を表すフローチャートの他部である。 表示指示装置を構成する制御部が実行する制御処理の一例を表すフローチャートの他部である。 実施例２における表示指示システムの一実施形態を示す構成図である。 実施例２における表示制御装置の一構成例を表す機能ブロック図である。 実施例２において表示制御装置を構成する制御部が実行する制御処理の一例を表すフローチャートの一部である。 実施例２において表示制御装置を構成する制御部が実行する制御処理の一例を表すフローチャートの他部である。

符号の説明

１０…表示指示システム １００…通信網
１０００…対象物側 １１００…表示制御装置
１１０１…演算部 １１０２…ＲＯＭ
１１０３…ＲＡＭ １１０４…外部記憶部
１１０５…バス １１１０…通信部
１１１１…受信部（表示制御装置が備える受信手段）
１１１２…送信部（表示制御装置が備える送信手段）
１１２０…制御部（表示制御装置が備える制御手段）
１２００…表示装置 １３００…撮像装置
１４００…投影装置 １５００…ハーフミラー
１９００…対象物 ２０…表示指示システム
２００…通信網 ２０００…指示装置側
２１００…表示指示装置 ２１１０…通信部
２１１１…受信部（表示指示装置が備える受信手段）
２１１２…送信部（表示指示装置が備える送信手段）
２１２０…制御部（表示指示装置が備える制御手段）
２１３０…抽出部（抽出手段） ２１４０…修正部（修正手段）
２１５０…重畳部（表示指示装置が備える重畳手段）
２２００…表示装置 ２３００…入力装置
３００…通信網 ３０００…対象物側
３１００…表示制御装置 ３１１０…通信部
３１１１…受信部（表示制御装置が備える受信手段）
３１１２…送信部（表示制御装置が備える送信手段）
３１２０…制御部（表示制御装置が備える制御手段）
３１３０…重畳部（表示制御装置が備える重畳手段）
３２００…表示装置 ３３００…撮像装置
３９００…対象物 ４０００…指示装置側
４１００…表示指示装置 ４２００…表示装置
４３００…入力装置

Claims (8)

1. 対象物を撮像した撮像画像を受信する受信手段と、
   前記受信手段が受信した撮像画像を特徴付ける特徴点を抽出する抽出手段と、
   前記対象物に対する注釈を表す注釈画像を表示する表示位置を、前記抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、
   前記撮像画像における前記修正手段が修正した表示位置に前記注釈画像を表示するよう指示する表示指示を送信する送信手段とを備えることを特徴とする表示指示装置。
2. 前記受信手段が受信した撮像画像における前記修正手段が修正した表示位置に前記注釈画像を重畳する重畳手段と、
   前記重畳手段が重畳した画像を表示するよう前記表示装置を制御する制御手段とを更に備えることを特徴とする請求項１に記載の表示指示装置。
3. 対象物を撮像した撮像画像を送信する送信手段と、
   前記送信手段が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置に、前記対象物に対する注釈を表す注釈画像を表示するよう指示する表示指示を受信する受信手段と、
   前記受信手段が受信した表示指示に従って、前記撮像画像における前記表示位置に前記注釈画像を表示するよう表示装置を制御する制御手段とを備えることを特徴とする表示制御装置。
4. 前記制御手段は、前記注釈画像を前記対象物に対して、前記表示位置に基づいた位置に投影するよう投影装置を制御すると共に、前記注釈画像が投影された前記対象物を撮像した撮像画像を表示するよう表示装置を制御することを特徴とする請求項３に記載の表示制御装置。
5. 前記撮像画像における前記表示位置に前記注釈画像を重畳する重畳手段を更に備え、
   前記制御手段は、前記重畳手段が重畳した画像を表示するよう前記表示装置を制御することを特徴とする請求項３に記載の表示制御装置。
6. 対象物を撮像した撮像画像を特徴付ける特徴点を抽出する抽出手段と、
   前記対象物に対する注釈を表す注釈画像を表示する表示位置を、前記抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、
   前記撮像画像における前記修正手段が修正した表示位置に、前記注釈画像を表示するよう指示する表示指示を送信する送信手段とを有する表示指示装置と、
   前記表示指示装置が送信した表示指示を受信する受信手段と、
   前記受信手段が受信した表示指示に従って、前記撮像画像における前記表示位置に前記注釈画像を表示するよう表示装置を制御する制御手段とを有する表示制御装置とを備えることを特徴とする表示指示システム。
7. コンピュータを、
   対象物を撮像した撮像画像を受信する受信手段と、
   前記受信手段が受信した撮像画像を特徴付ける特徴点を抽出する抽出手段と、
   前記対象物に対する注釈を表す注釈画像を表示する表示位置を、前記抽出手段が抽出した特徴点に基づいて定まる位置に修正する修正手段と、
   前記撮像画像における前記修正手段が修正した表示位置に前記注釈画像を表示するよう指示する表示指示を送信する送信手段として機能させることを特徴とする表示指示プログラム。
8. コンピュータを、
   対象物を撮像した撮像画像を送信する送信手段と、
   前記送信手段が送信した撮像画像を特徴付ける特徴点に基づいて定まる表示位置に、前記対象物に対する注釈を表す注釈画像を表示するよう指示する表示指示を受信する受信手段と、
   前記受信手段が受信した表示指示に従って前記撮像画像における前記表示位置に前記注釈画像を表示するよう表示装置を制御する制御手段として機能させることを特徴とする表示制御プログラム。

Images