JP2007226765A

JP2007226765A - 指示装置、指示システム、指示方法、及び指示プログラム

Info

Publication number: JP2007226765A
Application number: JP2006294927A
Authority: JP
Inventors: Atsushi Shingu; 淳新宮
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-01-26
Filing date: 2006-10-30
Publication date: 2007-09-06
Anticipated expiration: 2026-10-30
Also published as: JP4894458B2

Abstract

【課題】少ない計算量で、被写体の位置変化に追随してアノテーション画像を投影できる指示装置、指示システム、指示方法、及び指示プログラムを提供する。
【解決手段】被写体２００を撮像するビデオカメラ２０で撮像された撮像画像を端末１００に送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００に投影させ得るサーバ５０を有する指示システム１において、サーバ５０は、撮像画像に基づき被写体２００の特徴点を抽出し、抽出した被写体２００の特徴点の位置の変化に応じて被写体２００に投影するアノテーション画像を変換してプロジェクタ４０により被写体２００に投影させる。
【選択図】図１

Description

本発明は、指示装置、指示システム、指示方法、及び指示プログラムに関する。

遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて指示された注釈を表す注釈画像（投影描画図形）を実物体側でプロジェクタにより対象物へ投影する技術が知られている（特許文献１参照）。

また、他の従来技術としてスクリーンの凹凸を測定し、その凹凸にあわせてプロジェクタの投影図形を変化させる技術が提案されている（特許文献２参照）。
米国特許公開２００４／００７０６７４号公報特開平８−２０１９１３号公報

しかしながら、特許文献１記載の技術では、対象物が回転するなどして対象物の位置が変化した場合、対象物の位置の変化に追随して注釈画像を投影することができないという問題がある。また、特許文献２に記載の技術では、対象物の凹凸にあわせてプロジェクタの投影画像を変化させているが、対象物が移動することは考慮されていない。さらに、対象物の三次元形状を計測してその対象物の三次元形状に合った注釈画像を投影する技術が提案されているが、対象物の三次元形状を計測する場合、対象物の三次元形状の計測のための計算量が多く、三次元形状計測のための精度も問題がある。また、対象物が移動した場合、対象物の三次元形状から対象物が移動した距離を測定するのは困難である。

そこで、本発明は、上記問題点に鑑みてなされたもので、少ない計算量で、対象物の位置変化に追随して注釈画像を投影できる指示装置、指示システム、指示方法、及び指示プログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る指示システムは、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、前記制御手段は、前記撮像画像に基づき前記対象物の特徴点を抽出し、前記抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする。

前記制御手段は、前記撮像画像から抽出された線の端点及び線の交点の少なくとも一方を前記対象物の特徴点として抽出するとよい。前記制御手段は、前記撮像画像から抽出された特徴点のうち、それぞれの特徴点を結んでできる領域が前記注釈画像を囲むような複数の特徴点を、前記対象物の特徴点として抽出するとよい。前記制御手段は、それぞれの特徴点を結んでできる領域が前記注釈画像を囲むような複数の特徴点のうち、前記特徴点が囲む領域の面積が最小となる特徴点を前記対象物の特徴点として抽出するとよい。

前記制御手段は、前記撮像画像から抽出した特徴点のうち前記注釈画像内に含まれる特徴点を前記対象物の特徴点から除去するとよい。前記制御手段は、前記対象物に予め付与された被抽出画像を前記撮像画像から抽出し、該抽出した被抽出画像を前記対象物の特徴点として抽出するとよい。前記制御手段は、前記対象物の隅に付与された被抽出画像、前記対象物に格子状に付与された被抽出画像又は前記対象物の任意の位置に付与された被抽出画像を前記対象物の特徴点として抽出する。

前記制御手段は、前記抽出した対象物の特徴点の位置の変化が所定期間停止した後に前記対象物の前記所定期間の前後での特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させるとよい。本発明の指示システムは、前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備える。

本発明に係る指示方法は、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る投影工程と、前記撮像画像に基づき前記対象物の特徴点を抽出する抽出工程と、前記抽出工程で抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換する変換工程とを有し、前記投影工程が投影させ得る注釈画像は、前記変換工程で変換した注釈画像であることを特徴とする。

上記課題を解決するために、本発明に係る指示装置は、対象物を撮像する撮像手段と、前記撮像手段で撮像された撮像画像を受信する端末と、前記該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影する投影手段と、前記投影手段により前記注釈画像を前記対象物に投影させ得る制御手段とを有し、前記制御手段は、前記撮像画像に基づき前記対象物の特徴点を抽出し、前記抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする。

上記課題を解決するために、本発明に係る指示プログラムは、コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、撮像画像に基づき対象物の特徴点を抽出し、抽出した対象物の特徴点の位置の変化に応じて対象物に投影する注釈画像を変換して投影手段により対象物に投影させることを特徴としている。

請求項１の構成によれば、対象物の移動量を三次元形状計測によって計算する場合に比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項２の構成によれば、映像上のすべての画像特徴点の移動を計測する場合と比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項３の構成によれば、映像上のすべての画像特徴点の移動を計測する場合と比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項４の構成によれば、映像上のすべての画像特徴点の移動を計測する場合と比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項５の構成によれば、被抽出画像に基づいて容易に対象物の特徴点を抽出できる。

請求項６の構成によれば、被抽出画像に基づいて容易に対象物の特徴点を抽出できる。

請求項７の構成によれば、被抽出画像に基づいて容易に対象物の特徴点を抽出できる。

請求項８の構成によれば、対象物の位置の変化が多いときには注釈画像の変換を行わないようにすることで、注釈画像の変換に必要な計算量を削減できる。

請求項９の構成によれば、対象物の相対的な位置を変更することができる。

請求項１０の構成によれば、対象物の移動量を三次元形状計測によって計算する場合に比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項１１の構成によれば、対象物の移動量を三次元形状計測によって計算する場合に比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

請求項１２の構成によれば、対象物の移動量を三次元形状計測によって計算する場合に比べて、少ない計算量で対象物の移動に合わせた注釈画像の投影が可能となる。

以下、本発明を実施するための最良の形態について説明する。

図１は、本発明の指示システムの一実施形態を示す構成図である。この指示システム１は、図１に示すように、被写体側装置１０及び端末１００等を備えており、被写体側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等を有する。ビデオカメラ２０は、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体（対象物）２００を撮像すると共に、その撮像画像の情報をサーバ５０へ出力する。尚、ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、例えば液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈を表す注釈画像（以下単に、アノテーション画像と言う）２０１を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を正方向及び逆方向のいずれか１方向以上の方向に回転（以下単に、回転動作と言う）させることにより、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の位置を変更する。つまり、回転ステージ７０が回転動作することにより、被写体２００が三次元移動する。

サーバ５０は、ビデオカメラ２０、プロジェクタ４０及び回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。また、サーバ５０は、回転ステージ７０による被写体２００の回転動作（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。

端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を有する。表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回転動作による被写体２００の回転動作を指示するのに用いられる。

次に、上記構成の指示システムの動作について図２ないし図４を参照して説明する。図２は被写体側装置１０のサーバ５０における処理の一例を示すフローチャートであり、図３は端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は端末１００側の操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、端末１００の動作について説明する。先ず、図３に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像を投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像ＤＲを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。

例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。

次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

ここで、端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。

次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。

図５は本発明の指示システムが被写体の移動に合わせてアノテーション画像を投影するときの処理フローチャートである。図６は被写体２００の特徴点抽出処理を説明するための図である。図７は特徴点をピックアップするときの処理を説明するための図である。図８は特徴点の移動を追跡するときの処理を説明するための図である。図９は後述するステップＳ３６の処理を説明するための図である。

まず、サーバ５０は、ビデオカメラ２０が撮影した撮像画像２１を画像処理することにより特徴点をすべて抽出する（ステップＳ３１）。図６に示すように、サーバ５０は、撮像画像２１から抽出された線（エッジ）２１０の端点又は線２１０の交点を被写体の特徴点４０１として抽出する。次に、サーバ５０は、端末１００で描画が行われたかどうかを判断する（ステップＳ３２）。端末１００でアノテーション画像２０１の描画が行われた場合、サーバ５０は、撮像画像２１から抽出した特徴点のうちアノテーション画像２０１内に含まれる特徴点を除去特徴点４０２として被写体の特徴点から除去する。アノテーション画像２０１が撮像画像２１の中でどの位置にあるかはシステムが予め分かっている。

さらに、サーバ５０は、端末１００でアノテーション画像２０１の描画が行われた場合、図７に示すように、アノテーション画像２０１の周辺にある特徴点のみを追跡するため、撮像画像２１から抽出された特徴点４０１のうちアノテーション画像２０１を囲む特徴点を被写体の特徴点（ピックアップ特徴点４０３）として抽出する（ステップＳ３３）。これによりアノテーション画像２０１の周辺にある特徴点を抽出することができる。また、サーバ５０は、アノテーション画像２０１を囲む特徴点のうちその特徴点が囲む領域の面積を計算し、その面積が最小となる特徴点をここでは４つピックアップ特徴点４０３として抽出する。ピックアップ特徴点４０３は、アノテーション画像２０１と関連付けられる。

回転ステージ７０が回転すると、被写体２００が回転する。サーバ５０は、画像処理によりピックアップ特徴点４０３の位置が変化した場合（ステップＳ３４）、ピックアップ特徴点４０３の移動を追跡する（ステップＳ３５）。図８に示すように、サーバ５０は、被写体２００の移動により、被写体２００の特徴点が移動して新特徴点を抽出する。そして、サーバ５０は、ピックアップ特徴点４０３に対応する新特徴点を探索し新ピックアップ特徴点４０４とする。このとき、サーバ５０は、新特徴点のうちピックアップ特徴点４０３との距離が所定の閾値以内の特徴点を新ピックアップ特徴点４０４とする。

図９に示すように、サーバ５０は、ピックアップ特徴点４０３の位置の変化に応じて被写体２００に投影するアノテーション画像を変換する（ステップＳ３６）。サーバ５０は、例えばアフィン変換を用いてアノテーション画像の形を変換する。そして、サーバ５０は、アフィン変換されたアノテーション画像をプロジェクタ４０の座標系になおしてプロジェクタ４０により回転後のアノテーション画像２０２を被写体２００へ投影し（ステップＳ３７）、処理を終了する（ステップＳ３８）。

次に、指示システム１のアノテーション画像投影の変形例について説明する。図１０は、被写体の移動に合わせてアノテーション画像を投影するときの他の動作フローチャートである。図５の処理にステップＳ４６の処理が加えられている。サーバ５０は、ピックアップ特徴点の位置の変化が所定期間停止した後に（ステップＳ４６）、被写体の特徴点の位置の変化に応じて被写体２００に投影するアノテーション画像を変換してプロジェクタ４０により被写体２００に投影させる。このとき、ステップＳ４６で、変化が止まったかどうかの判断は、変化が予め定められた一定時間止まっているかどうかで判断する。

このように、サーバ５０は、ピックアップ特徴点の変化中は、ステップＳ４５の処理だけを行い、ピックアップ特徴点の変化が止まったときにステップＳ４７、Ｓ４８の処理を行ってアノテーション画像の追随を行う。

上記実施形態では、被写体が三次元移動する場合を例にとって説明したが、被写体が二次元移動する場合でもよい。図１１は、被写体である紙が机５０１上を二次元移動する場合の例を説明するための図である。サーバ５０は、図１１（ａ）に示すように、撮像画像２１の中から机５０１上に紙５０２の特徴点を抽出する。このとき、サーバ５０は、アノテーション画像２０１内に含まれる特徴点を除去特徴点４０２として被写体の特徴点から除去する。

さらに、サーバ５０は、アノテーション画像２０１を囲む特徴点をピックアップ特徴点４０３として抽出する。サーバ５０は、同図（ｂ）に示すように、紙５０２が回転すると、ピックアップ特徴点４０３が移動した新ピックアップ特徴点４０４を抽出する。そして、サーバ５０は、ピックアップ特徴点の位置の変化に応じて紙５０２に投影するアノテーション画像を変換してプロジェクタ４０により紙５０２に投影させる。図１１において、参照符号２０２は回転後のアノテーション画像を示している。

図１２は、特徴点を抽出し易いように被写体である紙５０３に被抽出画像であるマーカー６０１〜６０３を付加しておく場合の例であり、同図（ａ）は被写体である紙５０３の四隅にマーカー６０１を付加した場合の例を示す図、同図（ｂ）は紙５０３に格子状にマーカー６０２を付加した場合の例を示す図、同図（ｃ）は紙５０３にランダムにマーカー６０３を付加した場合の例である。

サーバ５０は、撮像画像から被写体５０３に予め付与されたマーカー６０１〜６０３を抽出し、この抽出したマーカー６０１〜６０３の位置を被写体の特徴点として抽出する。具体例としては、マーカーは、特定の色のシールや印刷で構成される。特定色のマーカーは、特定の波長の光を反射するために、撮像画像において特定色で表される。よって、サーバは、画像処理によって、特定の色の点を手がかりとしてマーカーを抽出する。また、シールや印刷を用いて赤外線反射素材を被写体に付加してもよい。この場合、赤外線カメラによって、赤外線反射素材の部分を抽出することができる。なお、三次元の被写体の場合には、被写体の一つの平面あたり４つ以上のマーカーを付加するとよい。

以下、本発明の第２の実施形態について説明する。
第２の実施例においては、被写体２００ではなく、撮像手段としてのビデオカメラ２０及び投影手段としてのプロジェクタ４０を移動させる実施形態について説明する。

実施例２における指示システムは、実施例１における指示システムとほぼ同一の構成、及び機能を有するため、相違点について主に説明する。

ここで、図１３を用いて第２の実施例における指示システムについて説明する。図１３は、第２の実施例における被写体側装置１０を説明するための図である。

図１３に示す被写体側装置１０は、ビデオカメラ２０、プロジェクタ４０、及びサーバ５０だけでなく更に固定台３０で構成される点で実施例１と異なる。また、ハーフミラー６０及び回転ステージ７０を有しない点でも実施例１と異なる。

固定台３０には、ビデオカメラ２０とプロジェクタ４０とが固定されている。本実施例において、ビデオカメラ２０、プロジェクタ４０、及び固定台３０で構成される複合装置は、指示システム１の使用者が移動させることができる重量、大きさ、及び形状を有している。

ここで、本実施例において説明する指示システムは、実施例１と異なり、回転ステージ７０を有しないため、回転ステージ７０を回転動作させてビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置を変更することはない。

しかし、複合装置を構成するプロジェクタ４０とビデオカメラ２０との位置関係が変化しないように指示システム１の使用者が複合装置を移動させることで、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置を変更する。
尚、プロジェクタ４０は、その光学系が、ビデオカメラ２０と光学的な主点が略一致するように配置されている点で実施例１と同様である。

本実施例では、ビデオカメラ２０及びプロジェクタ４０は固定台３０に固定されている場合について説明したが、これに限定される訳ではない。
例えば、指示システム１の使用者がビデオカメラ２０及びプロジェクタ４０をそれぞれ別々に移動させ、かつ撮像時におけるビデオカメラ２０と投影時におけるプロジェクタ４０の相対位置を変えないように移動させる構成を採用できる。

ここで、図１３及び１４を参照して、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置を変更する例について説明する。

尚、図１３は、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置の一例を説明するための図でもある。つまり、図１３に示すビデオカメラ２０及びプロジェクタ４０は、被写体２００の正面ＦＦと正対するよう配置されている。

また、図１４は、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置の他例を説明するための図である。

つまり、図１４に示すビデオカメラ２０及びプロジェクタ４０は、使用者がビデオカメラ２０及びプロジェクタ４０（つまり、複合装置）を移動させた結果、被写体２００の正面ＦＦに対して左斜め４５度の角度で向かい合うよう配置されている。

よって、使用者が複合装置を移動させた結果、図１３におけるビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置と、図１４における相対位置とが変化する。

次に、図１５を参照して、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の相対位置が変化した場合における撮像画像の変化について説明する。図１５は、撮像画像の変化について説明するための図である。

図１５（ａ）は、図１３で説明したようにビデオカメラ２０及びプロジェクタ４０と被写体２００の正面ＦＦとが正対する場合においてビデオカメラ２０が撮像した撮像画像２２を表す。

一方、図１５（ｂ）は、図１４で説明したように、ビデオカメラ２０及びプロジェクタ４０が、被写体２００の正面ＦＦに対して左斜め４５度の角度で向かい合うよう配置されている場合においてビデオカメラ２０が撮像した撮像画像２３を表す。

図１５に示した撮像画像２２及び２３が表す被写体２００の位置は、ビデオカメラ２０及びプロジェクタ４０に対して三次元移動する点で、二次元移動する図１１の撮像画像２１が表す被写体２００の位置と異なる。

しかし、サーバ５０が、撮像画像２２から被写体２００の特徴点を抽出する処理、抽出した特徴点の内の数点を除去特徴点４０２として除去する処理、アノテーション画像２０３を囲む特徴点をピックアップ特徴点４０３として抽出する処理、撮像画像２３から新ピックアップ特徴点４０４を抽出する処理、抽出した新ピックアップ特徴点４０４の位置の変化に応じて投影するアノテーション画像２０３をアフィン変換する処理、変換して得たアノテーション画像２０４をプロジェクタ４０により被写体２００に投影する処理については、実施例１において図１１を参照ながら説明した処理とほぼ同一であるので説明を省略する。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能である。

上記実施例２では、指示システム１の使用者がビデオカメラ２０及びプロジェクタ４０を移動させるとして説明したが、これに限定されるわけではない。例えば、相対位置変更手段としてのロボットがビデオカメラ２０及びプロジェクタ４０を移動させる構成を採用できる。

上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。

上記実施形態では、端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により端末１００をサーバ５０に接続することもできるし、また、端末１００を被写体２００の側に配置することも可能である。

また、サーバ５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、及び例えば、ハードディスク等の外部記憶装置等を用いて実現される。

サーバ５０は、機能的には、ＣＰＵがＲＯＭ、ＲＡＭ、外部記憶装置の少なくともひとつに格納されたプログラムを実行することにより実現できる。また、このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供できる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の指示システムの一実施形態を示す構成図である。被写体側装置のサーバにおける処理の一例を示すフローチャートである。端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。端末側の操作の一例を説明するための図である。本発明のシステムが被写体の移動に合わせてアノテーション画像を投影するときの処理フローチャートである。被写体の特徴点抽出処理を説明するための図である。特徴点をピックアップするときの処理を説明するための図である。特徴点の移動を追跡するときの処理を説明するための図である。ステップＳ３６の処理を説明するための図である。被写体の移動に合わせてアノテーション画像を投影するときの他の動作フローチャートである。被写体である紙が二次元移動する場合の例を説明するための図である。特徴点を抽出し易いように被写体にマーカーを付加しておく場合の例である。ビデオカメラ及びプロジェクタに対する被写体の相対位置の一例を説明するための図である。ビデオカメラ及びプロジェクタに対する被写体の相対位置の他例を説明するための図である。撮像画像の変化について説明するための図である。

符号の説明

１指示システム
１０被写体側装置
２０ビデオカメラ
２１〜２３撮像画像
３０固定台
４０プロジェクタ
５０サーバ
６０ハーフミラー
７０回転ステージ
１００端末
１１０表示装置
１１１表示画面
１２０コンピュータ
１３０ポインティングデバイス
２００被写体
２０１アノテーション画像
２０２回転後のアノテーション画像
２０３移動前のアノテーション画像
２０４移動後のアノテーション画像
２１０線（エッジ）
３００ネットワーク
４０１特徴点
４０２除去特徴点
４０３ピックアップ特徴点
４０４新ピックアップ特徴点
５０１机
５０２，５０３紙
６０１〜６０３マーカー
ＢＴボタン
Ｒ１，Ｒ２回転用ボタン
ＤＲアノテーション画像

Claims

対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、前記制御手段は、前記撮像画像に基づき前記対象物の特徴点を抽出し、前記抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する前記注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする指示システム。
前記制御手段は、前記撮像画像から抽出された線の端点及び線の交点の少なくとも一方を前記対象物の特徴点として抽出することを特徴とする請求項１に記載の指示システム。
前記制御手段は、前記撮像画像から抽出された特徴点のうち、それぞれの特徴点を結んでできる領域が前記注釈画像を囲むような複数の特徴点を、前記対象物の特徴点として抽出することを特徴とする請求項１又は請求項２に記載の指示システム。
前記制御手段は、それぞれの特徴点を結んでできる領域が前記注釈画像を囲むような複数の特徴点のうち、前記特徴点が囲む領域の面積が最小となる特徴点を前記対象物の特徴点として抽出することを特徴とする請求項３に記載の指示システム。
前記制御手段は、前記撮像画像から抽出した特徴点のうち前記注釈画像内に含まれる特徴点を前記対象物の特徴点から除去することを特徴とする請求項１から請求項４のいずれかに記載の指示システム。
前記制御手段は、前記対象物に予め付与された被抽出画像を前記撮像画像から抽出し、該抽出した被抽出画像を前記対象物の特徴点として抽出することを特徴とする請求項１から請求項５のいずれかに記載の指示システム。
前記制御手段は、前記対象物の隅に付与された前記被抽出画像、前記対象物に格子状に付与された前記被抽出画像又は前記対象物の任意の位置に付与された前記被抽出画像を前記対象物の特徴点として抽出することを特徴とする請求項６に記載の指示システム。
前記制御手段は、前記抽出した対象物の特徴点の位置の変化が所定期間停止した後に前記対象物の前記所定期間の前後での特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする請求項１から請求項７のいずれかに記載の遠隔支援システム。
前記投影手段及び前記撮像手段に対する前記対象物の相対的な位置関係を変更する相対位置変更手段をさらに備えることを特徴とする請求項１から請求項８のいずれかに記載の指示システム。
対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る投影工程と、
前記撮像画像に基づき前記対象物の特徴点を抽出する抽出工程と、
前記抽出工程で抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換する変換工程とを有し、
前記投影工程が投影させ得る注釈画像は、前記変換工程で変換した注釈画像であることを特徴とする遠隔指示方法。
対象物を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像を受信する端末と、
前記該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影する投影手段と、
前記投影手段により前記注釈画像を前記対象物に投影させ得る制御手段とを有し、
前記制御手段は、前記撮像画像に基づき前記対象物の特徴点を抽出し、前記抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする指示装置。
コンピュータを、対象物を撮像する撮像手段で撮像された撮像画像を端末に送信すると共に、該端末でなされた前記撮像画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、前記制御手段は、前記撮像画像に基づき前記対象物の特徴点を抽出し、前記抽出した対象物の特徴点の位置の変化に応じて前記対象物に投影する注釈画像を変換して前記投影手段により前記対象物に投影させることを特徴とする指示プログラム。