JP2008294684A - 遠隔指示システム及びサーバ装置 - Google Patents

Abstract

【課題】 対象物の細部に対するアノテーションを容易に行うことができると共に、サーバ装置側でもアノテーション画像を容易に参照又は指示できる遠隔指示システムを提供することを目的とする。
【解決手段】 ビデオカメラ２０で撮像された対象物２００の撮像画像を遠隔端末１００に送信すると共に、遠隔端末１００でなされた当該撮像画像に基づく指示に応じた第１の注釈画像をプロジェクタ４０により対象物２００に投影させるサーバ５０を含み、前記サーバ５０は、前記撮像画像の領域内に対する指定領域を拡大して撮像するＰＴＺビデオカメラ３０で撮像された拡大画像を遠隔端末１００に送信すると共に、遠隔端末１００でなされた当該拡大画像に基づく指示に応じた第２の注釈画像をビデオカメラ２０の撮像領域内にプロジェクタ４０により投影させることを特徴としている。
【選択図】 図１

Description

本発明は、遠隔指示システム及びサーバ装置に関する。

会議システム等ではサーバ装置側で立体物等の対象物をビデオカメラ等の撮像装置で撮影し、遠隔地にあるクライアント装置にその画像を送信し、クライアント装置では、送信された画像にアノテーションなどの指示を行い、その対象物画像に対する指示を示す指示画像をアノテーション画像としてサーバ装置側に送信して、投影装置により立体物にアノテーション画像を投影するものがある（例えば、特許文献１参照）。また、複数のクライアント装置に対してそれぞれ所望の撮像画像を提供するカメラ制御システムも知られている（例えば、特許文献２参照）。
特開２００５−３３７５６号公報 特開平１１−２７５７０号公報

本発明は、対象物の細部に対するアノテーションを容易に行うことができると共に、サーバ装置側でもアノテーション画像を容易に参照又は指示できる遠隔指示システムを提供することを目的とする。

上記課題を解決するために本発明の第１の態様の遠隔指示システムでは、第１の撮像手段で撮像された対象物の撮像画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該撮像画像に基づく指示に応じた第１の注釈画像を投影手段により対象物に投影させる制御手段を含み、制御手段は、撮像画像の領域内に対する指定領域を拡大して撮像する第２の撮像手段で撮像された拡大画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該拡大画像に基づく指示に応じた第２の注釈画像を第１の撮像手段の撮像領域内に投影手段により投影させることを特徴としている。

本発明の第２の態様の遠隔指示システムでは、請求項１に記載の発明において、制御手段は、第２の注釈画像と当該拡大画像とを重畳した画像を対象物の背後を避けた当該対象物の周辺領域に投影手段で投影することを特徴としている。

本発明の第３の態様の遠隔指示システムでは、請求項２に記載の発明において、制御手段は、第２の注釈画像と当該拡大画像とを重畳した画像を表示枠内に表示し、当該表示枠の移動、当該表示枠のサイズの変更、表示枠の開閉、及び拡大画像に対する書込みの内、少なくとも一つの処理を３次元ポインタによる指示に基づいて制御することを特徴としている。

本発明の第４の態様の遠隔指示システムでは、請求項１に記載の発明において、対象物の後ろに背景板が設けられ、制御手段は、投影手段に第２の注釈画像を背景板に投影させることを特徴としている。

本発明の第５の態様の遠隔指示システムでは、請求項４に記載の発明において、背景板は、ホワイトボード及びスクリーンの内、少なくとも一つを含むことを特徴としている。

本発明の第６の態様の遠隔指示システムでは、請求項１に記載の発明において、第１の撮像手段及び投影手段はほぼ同画角となるように配置されることを特徴としている。

本発明の第７の態様のサーバ装置では、対象物を第１の撮像手段で撮像された撮像画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該撮像画像に基づく指示に応じた第１の注釈画像を投影手段により対象物に投影させる制御手段を含み、制御手段は、撮像画像の領域内に対する指定領域を拡大して撮像する第２の撮像手段で撮像された拡大画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該拡大画像に基づく指示に応じた第２の注釈画像を第１の撮像手段の撮像領域内に投影手段により投影させることを特徴としている。

本発明の第１の態様によれば、対象物の細部に対する注釈を容易に行うことができる。

本発明の第２の態様によれば、注釈者が意図する拡大画像との関係で注釈画像を容易に参照できる。

本発明の第３の態様によれば、対象物側（サーバ装置側）でも注釈画像を容易に参照又は指示できる。

本発明の第４の態様によれば、特別な表示装置がなくても容易に対象物の細部に対する注釈画像を参照できる。

本発明の第５の態様によれば、背景板で容易に対象物の細部に対する注釈画像を参照できる。

本発明の第６の態様によれば、違和感なく、対象物や対象物の細部にも注釈することができる。

本発明の第７の態様によれば、対象物の細部に対する注釈を容易に行うことができる。

以下、本発明の最良の実施形態について図面を参照して説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。この遠隔指示システム１は、図１に示すように、被写体側装置１０及び遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ装置（以下、単にサーバという。）５０へ接続可能である。

被写体側装置１０は、第１の撮像手段としてのビデオカメラ２０、第２の撮像手段としてのＰＴＺ（パン・チルト・ズーム）ビデオカメラ３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等から構成されている。

ビデオカメラ２０は、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。

ＰＴＺビデオカメラ３０は、被写体２００に対してパン・チルト・ズームが可能なカメラであり、遠隔端末１００により撮像画像内の所定の領域が選択されたときに被写体２００上の選択された所定の領域を拡大して撮像する。ビデオカメラ２０とＰＴＺビデオカメラ３０は予め位置関係のキャリブレーションの対応が出来ている。尚、ビデオカメラ２０及びＰＴＺビデオカメラ３０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像２０１を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して被写体２００へ投影される。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を回動させることにより、ビデオカメラ２０、ＰＴＺビデオカメラ３０及びプロジェクタ４０に対する被写体２００の位置を変更する。

サーバ５０は、ビデオカメラ２０、ＰＴＺビデオカメラ３０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。さらにサーバ５０は、ＰＴＺビデオカメラ３０で撮像された撮像画像を遠隔端末１００に送信すると共に、遠隔端末１００でなされたＰＴＺビデオカメラ３０で撮像された撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００に投影させる。

また、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。

遠隔端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。

表示装置１１０は、その表示画面に被写体側装置１０から送信されるビデオカメラ２０による撮像画像及びＰＴＺカメラ３０による撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。

次に、上記構成の遠隔指示システムの基本的な動作について図２ないし図４を参照して説明する。
図２は被写体側装置１０のサーバ５０におけるビデオカメラ２０を用いた処理の一例を示すフローチャート、図３は遠隔端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は遠隔端末１００側の操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、遠隔端末１００の動作について図３を参照して説明する。
先ず、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、遠隔端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーションを投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながらアノテーション画像２０１ａを描画する。

例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。

次いで、コンピュータ１２０は、遠隔端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。

次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。

次に、ビデオカメラ２０とＰＴＺビデオカメラ３０を用いた遠隔指示システム１の特徴的な処理について説明する。
図５は、遠隔指示システム１の特徴的な動作フローチャートである。図６（ａ）は、ビデオカメラ２０の撮像画像２１上で指定するズーム指定領域３５０を説明する図、同図（ｂ）はＰＴＺビデオカメラ３０の撮像画像３１を説明する図、同図（ｃ）はＰＴＺビデオカメラ３０の撮像画像３１上に描画したアノテーション画像２０２ａを説明する図、同図（ｄ）はアノテーション画像２０１及び２０２が投影された被写体２００を説明する図、同図（ｅ）はアノテーション画像２０１及び２０２が投影された被写体２００をビデオカメラ２０で撮像した撮像画像２１を示す図である。図７は、ズーム指定領域３５０の座標とＰＴＺビデオカメラ３０のパン・チルト・ズーム値の変換を説明するための図である。

図８は、遠隔端末の画面（ユーザーインターフェイス）を示す図である。
図８に示すように、遠隔端末１００の画面１１１ａ上に、ビデオカメラ２０による撮像画像２１とＰＴＺビデオカメラ３０による撮像画像３１を同時に表示する。ユーザーは、ポインティングデバイス１３０などで描画選択ボタン４２２を操作して、描画方法を選択し、ビデオカメラ２０による撮像画像２１かＰＴＺビデオカメラ３０による撮像画像２１上にアノテーション画像２０１ａを描画する。描画選択ボタン４２２内に、ズーム指定ボタン４２３が設けられており、このズーム指定ボタン４２３を選択すると矩形（ズーム指定領域３５０）をビデオカメラ２０による撮像画像２１上に描けるようになる。

図５を用いて動作を説明すると、被写体２００をビデオカメラ２０で撮影する。サーバ５０は、ビデオカメラ２０による撮像画像をネットワーク３００を介して遠隔端末１００に常時送信し続ける。ユーザーが遠隔端末１００で、ビデオカメラ２０の撮像画像２１上に描画アノテーション画像２０１ａを色Ａで描画したとする。サーバ５０は、ビデオカメラ２０による撮影画像２１上で描画アノテーション画像２０１ａの描画が行われた事を検出すると（ステップＳ３１）、遠隔端末１００から受信したアノテーション画像をビデオカメラ２０の座標系からプロジェクタ４０の座標系に変換して、変換後のアノテーション画像をプロジェクタ４０により被写体２００に投影する（ステップＳ３２）。これにより被写体２００上にはアノテーション画像２０１が実際に投影される。

遠隔端末１００は、ユーザーが遠隔端末１００上でズーム指定領域３５０をポインティングデバイス１３０により指定した場合、ズーム指定領域の座標（ｘ_０,ｙ_０, ｘ_１, ｙ_１）をサーバ５０に送信する。ここで、図７に示すように、（ｘ_０, ｙ_０）はズーム指定領域３５０の左上の座標、（ｘ_１, ｙ_１）はズーム指定領域３５０の右下の座標をそれぞれ示す。

次に、サーバ５０は、ビデオカメラ２０による撮影画像２１上で、ズーム指定領域３５０が選択された場合（ステップＳ３３）、遠隔端末１００から受信したズーム指定領域（選択された所定の領域）３５０の座標を、ＰＴＺビデオカメラ３０によるパン・チルト・ズーム値（拡大に必要な値）に変換し、ＰＴＺビデオカメラ３０を制御する（ステップＳ３４）。具体的には、サーバ５０は、ズーム指定領域３５０をＰＴＺビデオカメラ３０の撮像画像３１の縦横比に修正するため、ズーム指定領域３５０の座標（ｘ_０, ｙ_０, ｘ_１, ｙ_１）をもとに、対応するＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p, t, z）を計算する。ここで、ズーム指定領域３５０の座標（ｘ_０, ｙ_０, ｘ_１, ｙ_１）とＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p, t, z）の変換式を式（１）に示す。

関数ｆは、ビデオカメラ２０とＰＴＺビデオカメラ３０による固有の関数で、あらかじめ測定されている。
なお、関数ｆによる変換は、サーバ５０上で行われてもよいが、遠隔端末１００で変換を行い、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p,t,z）をサーバ５０に送信してＰＴＺビデオカメラ３０を制御するようにしてもよい。

そして、サーバ５０は、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p, t, z）値をＰＴＺビデオカメラ３０に送信し、ＰＴＺビデオカメラ３０を制御する。実際には、ＰＴＺビデオカメラ３０が制御可能なパン・チルト・ズーム値は限られているため、パン・チルト・ズーム値（p, t, z）に最も近い、パン・チルト・ズーム制御値（p’, t’, z’）で制御される。次に、サーバ５０は、ＰＴＺビデオカメラ３０による撮像画像３１を取り込み、ネットワーク３００を介して遠隔端末１００に常に送信し続ける。遠隔端末１００は、サーバ５０からＰＴＺビデオカメラ３０による撮像画像を受信すると、これを表示装置１１０上に表示する。遠隔端末１００は、ユーザーがＰＴＺビデオカメラ３０による撮像画像３１上でアノテーション画像２０２ａを描画すると、描画されたアノテーション画像２０２ａの描画情報をサーバ５０に送信する。
パン・チルト・ズーム制御値（p’, t’, z’）により、実際のズーム領域は座標（ｘ’_０, ｙ’_０, ｘ’_１, ｙ’_１）になる。
これは、

により計算される。

サーバ５０は、ＰＴＺビデオカメラ３０による撮像画像３１上で、アノテーション画像の描画が行われた事を検出すると（ステップＳ３５）、ＰＴＺビデオカメラ３０で撮像された撮像画像に基づく指示に応じたアノテーション画像２０２ａを、ズーム指定領域３５０に基づいてビデオカメラ２０による撮像画像２１上の座標系に変換を行う（ステップＳ３６）。具体的には、サーバ５０は、ＰＴＺビデオカメラ３０の撮像画像の座標系（ｘ_b, ｙ_b）から、ビデオカメラ２０の撮像画像の座標系（ｘ_a, ｙ_a）へ変換を行う。このときの変換式を式（２）に示す。

ここで、関数gは、 実際のズーム領域の座標（ｘ’_０, ｙ’_０, ｘ’_１, ｙ’_１）と、ＰＴＺビデオカメラ３０による撮像画像の画像サイズ（ｗ, ｈ）より、式（３）（４）のアフィン変換により求められる（図７参照）。

このような処理により、ＰＴＺビデオカメラ３０による撮像画像３１上のアノテーション画像２０２ａは、ビデオカメラ２０の撮像画像２１上の座標系でのアノテーション画像２０３ａに変換される。そして、サーバ５０は、ＰＴＺビデオカメラ３０の撮像画像２１に基づくアノテーション画像２０２を、ビデオカメラ２０の撮像画像２１の座標系から、プロジェクタ４０の座標系に変換して変換後のアノテーション画像を被写体２００に投影する（ステップＳ３７）。これによりＰＴＺビデオカメラ３０による撮像画像３１に基づくアノテーション画像２０２が被写体２００上に投影される。なお、（ｘ_b, ｙ_b）から（ｘ_a, ｙ_a）への変換は、サーバ５０で行ってもよいが、遠隔端末１００で変換してサーバ５０にネットワークで送信してもよい。このようにして、ビデオカメラ２０の撮像画像内での矩形の位置に対する、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値を測定し、これをもとにＰＴＺビデオカメラ３０の制御と、ＰＴＺビデオカメラ３０の撮像画像３１上で指示されたアノテーションをプロジェクタ４０により被写体２００に投影できる。

図９は、遠隔端末１００上でのユーザーインターフェイスの変形例を示す図である。遠隔端末１００は、遠隔端末の画面１１１ｂ上に撮像画像２１のみを表示する。ユーザーはポインティングデバイス１３０などを用いて描画選択ボタン４２２を操作して描画方法を選択し、撮像画像２１上にアノテーション画像を描画する。描画選択ボタン４２２内にズーム指定ボタン４２３が設けられており、このズーム指定ボタン４２３を選択するとズーム指定領域３５０を撮像画像２１上に描けるようになり、撮像画像２１上にズーム指定領域３５０を描くとポップアップウィンドウ１１２ｂが自動的に開くようになっている。ポップアップウィンドウ１１２ｂ上にはＰＴＺビデオカメラ３０の撮像画像３１が表示され、描画選択ボタン４２２で描画方法を選択してＰＴＺビデオカメラ３０に基づくアノテーション画像２０２ａを描画する。ポップアップウィンドウ１１２ｂに、閉じるボタン１１３ｂが設けられており、ユーザーはこの閉じるボタン１１３ｂを操作することによりポップアップウィンドウ１１２ｂを閉じることができる。これにより、画面上の領域を節約することができる。

図１０は、遠隔端末１００上でのユーザーインターフェイスの変形例を示す図である。ユーザーインターフェイス１１１ｃは、描画選択ボタン１１３ｃがポップアップウィンドウ１１２ｃ上にも設けられており、この描画選択ボタン１１３ｃにより描画選択ボタン４２２と異なるボタン配置やボタンの選択ができるようになっている。また、ポップアップウィンドウ１１２ｃ上にはＰＴＺカメラ制御ボタン１１４ｃが設けられており、ユーザーはこのＰＴＺカメラ制御ボタン１１４ｃを操作する事で、ポップアップウィンドウ１１２ｃ上で、遠隔地に設置されているＰＴＺビデオカメラ３０を上下左右に動かすことができる。遠隔端末１００は、ポップアップウィンドウ１１２ｃを開くときに、ＰＴＺビデオカメラ３０の撮像画像３１の送受信を開始し、ポップアップウィンドウ１１２ｃを閉じるときには送受信を停止する。これによってＰＴＺビデオカメラ３０による撮像画像３１が表示されていないときに、無駄にネットワーク帯域を使うことを防ぐ事が出来る。

図１１は、ＰＴＺビデオカメラ３０の撮像画像上のアノテーション画像の描画に関する変形例である。遠隔端末１００で拡大されたＰＴＺビデオカメラ３０の撮像画像上でアノテーション画像の描画を行う際、ＰＴＺビデオカメラ３０の拡大率が大きいほど、精度も落ち、またプロジェクタ４０で表示できる解像度も限られる。そのため、ＰＴＺビデオカメラ３０の撮像画像の拡大率に応じて、ＰＴＺビデオカメラ３０の撮像画像上でアノテーション画像を描画できる最小単位を定めるようにする。ここではこの最小単位を半径rとする。なお、この最小単位をr×r pixelとしてもよい。半径ｒは拡大率によって定まり、拡大率が大きくなるほど半径ｒも大きくなる。

図１１に示すように、ユーザーが拡大率の小さいズーム指定領域３５１を指定した場合、ＰＴＺビデオカメラ３０の撮像画像３２上で描画できる最小単位は半径ｒ１となる。また、ユーザーが拡大率の大きいズーム指定領域３５２を指定した場合、ＰＴＺビデオカメラ３０の撮像画像３３で描画できる最小単位は、半径ｒ１よりも大きい半径ｒ２となる。また半径ｒはＰＴＺビデオカメラ３０のズームパラメータｚから計算される。なお半径ｒの計算は遠隔端末１００で行ってもよいし、サーバ５０で行ってもよい。

上記本実施形態によれば、ビデオカメラ２０による広角映像から領域を選択してＰＴＺビデオカメラ３０をコントロールして拡大しているが、ＰＴＺビデオカメラ３０を用いず、ビデオカメラ２０で領域を指定された部分をビデオカメラ２０の映像をデジタルズームすることで拡大してもよい。

上記本実施形態によれば、ビデオカメラ２０による広角映像から領域を選択してＰＴＺビデオカメラ３０をコントロールする技術、および遠隔端末の映像上にアノテーション画像を描画してそのアノテーション画像を被写体に投影する技術を組み合わせ、ズーム指定領域の情報によってビデオカメラ２０上でＰＴＺビデオカメラ３０がどの領域を表示しているかを知ることにより、ＰＴＺビデオカメラ３０の撮像画像上で描画されたアノテーション画像をプロジェクタ４０により被写体２００に投影することができる。また、ＰＴＺビデオカメラ３０のパン・チルト・ズームおよび映像座標と、プロジェクタ４０の映像座標との対応を測定する必要が無いため、計算量も少なくて済む。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザー光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、相対位置変更手段として回転ステージ７０を例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体２００を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ２０及び投影手段としてのプロジェクタ４０を移動させる構成とすることも可能である。

上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

上記実施形態では、ビデオカメラ２０、ＰＴＺカメラ３０の映像は、サーバ５０ではなく、別のハードウェアによってネットワーク３００を介して遠隔地に送信してもよい。

なお、本発明によるサーバ装置は、被写体側装置１０のサーバ５０によって実現されている。そして、サーバ５０や上述したコンピュータ１２０、後述するサーバ４５０やコンピュータ５２０等は、図１７に示すように、ＣＰＵ５０ａ等の処理装置、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory) ５０ｃ、被写体側装置１０又は遠隔端末１００等の外部装置と入出力を行うＩ／Ｆ（インタフェース）５０ｄ、図示しないハードディスク等の磁気ディスク等がバス５０ｅにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０ａがＲＯＭ５０ｃやハードディスク等に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、サーバ５０やコンピュータ１２０の各機能が実行される。そして、所要のプログラムとしては図２、図３、図５、図１６を参照して説明したフローチャートに応じたプログラムとすることができる。

次に本発明の本実施形態における二つのカメラによるアノテーションにおいてサーバ側でＰＴＺ画像によるアノテーション画像を背景板に表示（投影）する場合について説明する。
図１２は、この場合での遠隔指示システムの実施形態を示す構成図である。この遠隔指示システム１ａは、同図に示すように、アノテーション（注釈）の対象物（被写体）が設置されるサーバ側に設けられた被写体側装置４００及び遠隔地等、サーバの設置場所と異なる場所に設置されるクライアント側に設けられた遠隔端末５００等を備えており、被写体側装置４００と遠隔端末５００とはネットワーク６００により相互に通信可能に接続されている。尚、図１２においては、遠隔端末５００を一台のみ示しているが、複数の遠隔端末５００のクライアント（コンピュータ（ＰＣ））をネットワーク６００を通じて後述する被写体側装置４００のサーバ（ＰＣ）４５０へ接続可能である。

被写体側装置４００は、第１の撮像手段としてのビデオカメラ４２０、第２の撮像手段としてのＰＴＺ（パン・チルト・ズーム）ビデオカメラ４３０、投影手段としてのプロジェクタ４４０、制御手段としてのサーバ４５０、ビデオカメラ４２０とプロジェクタ４４０の画角と光軸を一致させるハーフミラー４６０、立体被写体（対象物）を載せる台としてのステージ４７０及びステージ４７０の背面に置かれた背景板４８０等から構成されている。

ビデオカメラ４２０は、例えばＣＣＤカメラで構成され、ステージ４７０上に置かれた被写体（対象物）２００を撮像可能に配置されていると共に、その撮像画像はサーバ４５０に取り込まれる。尚、ビデオカメラ４２０は、ハーフミラー４６０を透過した画像を撮像する。

プロジェクタ４４０は、液晶プロジェクタ等で構成され、遠隔端末５００でなされた撮像画像に基づく指示に応じたアノテーション（注釈）画像を被写体２００に投影すると共に被写体２００に関する拡大画像（ＰＴＺカメラ画像）２１０ｓを投影する。本実施形態ではサーバ４５０の制御により、ビデオカメラ４２０による撮像画像に対する注釈画像は、被写体２００に投影されると共に、ＰＴＺビデオカメラ４３０による拡大画像に対する注釈画像としての拡大画像２１０ｓは背景板４８０に投影され、背景板の被写体２００によって隠れる背後を避けた位置に投影される。このプロジェクタ４４０は、サーバ４５０の制御によってビデオカメラ４２０と同画角で画像を投影する。プロジェクタ４４０は、サーバ４５０から送信されたアノテーション画像をその光学系を通じハーフミラー４６０を介して被写体２００へ投影する。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

サーバ４５０は、ビデオカメラ４２０、ＰＴＺカメラ４３０及びプロジェクタ４４０の動作を制御すると共に、ネットワーク６００を介して遠隔端末５００との間で各種情報を授受する。また、サーバ４５０は、ビデオカメラ４２０、ＰＴＺビデオカメラ４３０が撮像した撮像画像、拡大画像を取り込み、これらのデータ（情報）をネットワーク６００を介してクライアント側の遠隔端末５００へ送信すると共に、遠隔端末５００でなされた撮像画像に基づく指示に応じた、図示しない、アノテーション（注釈）画像をプロジェクタ４４０により被写体２００上に投影させる。さらに、サーバ４５０は、遠隔端末５００で指示された被写体２００の拡大画像に対する注釈画像が被写体２００上に投影された注釈画像に重ならないよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０により投影できる。このとき、サーバ４５０は拡大画像に対する注釈画像を被写体２００以外の領域に投影するよう投影画像の情報を生成する。これにより被写体２００の細部に対する注釈画像が被写体２００に重ならない位置で拡大して容易に見ることができる。拡大画像及びその注釈画像を投影する領域は、利用者がサーバ４５０、コンピュータ５２０に接続されたマウスやキーボード等を用いることにより遠隔端末５００または被写体側装置４００の双方から変更することができる。同図の実施形態では、ステージ４７０を回転テーブルとして図１に示す実施形態と同様に回転を制御してもよい。

クライアント側の遠隔端末５００は、液晶表示装置やＣＲＴ等からなる表示装置５１０、ネットワーク６００に接続されたコンピュータ（ＰＣ）５２０、コンピュータ５２０に接続されたマウスやペン等のポインティングデバイス（図示せず）等から構成されている。表示装置５１０は、ユーザーインターフェイス（ＵＩ）画面を表示し、その表示画面５１１に被写体側装置４００から送信される画像を表示する。ポインティングデバイスは、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示をする。クライント（コンピュータ（ＰＣ））５２０は、サーバ４５０から送られた画像を表示装置５１０の表示画面（ＵＩ画面）５１１上に表示し、その画像に加えた注釈画像を生成し、サーバ４５０へ送信すると共に、サーバ４５０を介してＰＴＺビデオカメラ３０への命令を制御することにより、ＰＴＺビデオカメラ４３０への拡大すべき位置の命令をサーバ４５０に出し、その位置や拡大率を制御する。

図１３は、図１２に示す表示装置５１０の表示画面５１１に対するアノテーションによる変化を示す図である。図１２における表示画面５１１には、被写体２００に対する撮影画像２００ｃ表示されると共に、その傍らにＰＴＺカメラ画像２１０ｓに対応した画像２１０ｃがウインドウ等の表示枠に表示され、更にそのアノテーションためのウインドウ（表示枠）２１２ｃが被写体２００の撮影画像２００ｃの上層に画像２１０ｃの表示枠より大きいサイズで表示され、その表示枠内に拡大画像２１１ｃが表示枠２１２のサイズに応じて拡縮されて表示される。図１３では、拡大画像２１１ｃにアノテーションが施された注釈画像２１１ｃ１が表示され、被写体２００の撮影画像２００ｃにも直接アノテーションが描画された注釈画像２００ｃ１となり、これらの描画された注釈画像２１１ｃ１及び２００ｃ１がコンピュータ５２０からネットワーク６００を介してサーバ４５０に送られ、サーバ４５０の制御により、これらの注釈画像に応じ投影画像がサーバ４５０により作成され、作成された投影画像がプロジェクタ４４０により被写体（対象物）２００及び背景板４８０上に拡大画像の注釈画像２１０ｓ１として投影される。

次に説明する遠隔指示システム１ｂは、図１２の遠隔指示システム１ａに対し、被写体（実物の立体対象物）２００が配置されているサーバ側（実物側）で３次元ポインタで注釈を行うことが可能なものであり、図１４はその変形例を示すシステム構成図である。
図１２、図１３の構成図と異なる点は、３次元ポインタ４９０と、ポインタ４９０と有線又は無線で接続され、ポインタ４９０が指し示す位置の３次元位置（座標）を計算するコンピュータ（ＰＣ）４９５とを含み、コンピュータ４９５で計算された座標値がＬＡＮ等の伝送路４９６を介して接続されたサーバ４５０に転送される。３次元ポインタ４９０は、ジャイロなどを内蔵した相対座標を指示するものや、ポインタからのレーザー光等の光源からの発光した光を画像処理して絶対座標の算出を行うものなど公知の技術が利用できる。

３次元ポインタ４９０で指示した座標値がサーバ（ＰＣ）４５０へ送られ、サーバ（ＰＣ）４５０ではその座標値を利用して、アノテーション（注釈）画像の生成やＰＴＺカメラ画像２１０ｓの表示枠２１２ｓの位置などを処理し，表示画像へ追加してプロジェクタ４４０から投影する。３次元ポインタ４９５を用いてＰＴＺカメラ画像２１０ｓの表示枠２１２ｓ内へのアノテーション及び表示枠の操作（移動，拡大，縮小）ができる。表示画面上５１１上で対象物２００に対応する画像２００ｃに対する注釈画像（手書きの軌跡）２００ｃ１は通常の注釈（アノテーション）であり、対象物２００に投影され、表示枠２１２ｃ内の拡大画像２１１ｃの注釈画像（手書きの軌跡）２１１ｃ１は、背景板４８０上の表示枠２１２ｓ内の拡大画像２１０ｓにアノテーション（注釈）される。この結果、対象物２００の注目領域（拡大箇所）では、細かい注釈が不可能又は煩雑な場合にも明瞭かつ容易に注釈することが出来る。
なお、注釈が簡単な内容の場合には、図１の実施形態と同様に対象物にもアノテーションするように制御することも可能である。

図１５（ａ）はカメラ側から見た被写体（対象物）２００及び背景板４８０を示し、被写体２００には、プロジェクタ４４０によりアノテーション（注釈）画像２００ｃ１が投影され、背景板４８０の右上の位置にＰＴＺカメラ画像（拡大画像）を表示（投影）させるためのボタン２１３が表示されている。このボタン２１３はサーバ４５０により管理されているので、３次元ポインタ４９０により指示され、その座標値がＰＣ４９５を介してサーバ４５０が受け取ると、サーバ４５０は、図１５（ｂ）に示すように、拡大画像の表示枠２１２ｓを表示すると共に、３次元ポインタ４９０により、拡大位置を矩形枠等の注目領域２１７で指示すると、その位置にＰＴＺビデオカメラ４３０を制御し、注目領域２１７に対応する拡大画像をＰＴＺビデオカメラ４３０より取得し、解像度変換して表示枠２１２ｓ内に表示する。なお、表示枠２１２ｓには、図１５（ｂ）に示すように、ズーム倍率表示２１５や、表示枠２１２を閉じるためのボタン２１４が示される。

図１５（ｃ）は図１５（ｂ）に対応するクライアント側の表示装置５１０の表示画面５１１を示す図である。拡大画像を表示するための表示枠２１２ｃがポップアップ表示され、その枠の中に拡大画像２２１ｃが描画表示される。

次に、本発明の本実施形態に係るシステムの動作フローチャートについて説明する。図１６は、本発明の実施形態に係るシステムの動作フローチャートである。まず、被写体側装置側のサーバ４５０は、プロジェクタ４４０から初期画像を投影させると共に、ビデオカメラ４２０で撮像した撮像画像をネットワーク６００を介して遠隔端末５００に常時送出する処理を開始する（ステップＳ４１）。サーバ４５０は、メッセージ待ちループを開始する（ステップＳ４２）。そして、サーバ４５０は、遠隔端末５００から描画コマンド及び描画情報を受領すると、（ステップＳ４３）、描画コマンドに沿った画像の投影処理を行い、ＰＴＺカメラ表示の命令であれば、ＰＴＺビデオカメラ４３０から指示位置の拡大画像を取得し、解像度変換して投影画像を作成する。即ち、プロジェクタ４４０に投影させたとき、背景板４８０上の投影画像２１０ｓを被写体２００の傍らの表示枠内に表示されるように投影画像の情報を生成する（ステップＳ４４）。サーバ４５０は、投影画像をプロジェクタ４４０より投影させる。上記描画情報には、被写体２００上に投影するアノテーション（注釈）画像２００ｃ１の情報と被写体２００の指示位置の拡大画像２１０ｃ（及び拡大画像に対する注釈がある場合には注釈情報も含む）の情報が含まれる。サーバ４５０は、処理が終了されるまで（ステップＳ４５）、次のコマンド受領の待ち状態となる。

次に、コンピュータ５２０側の動作について説明すると、コンピュータ５２０は、サーバ４５０に対して接続要求を行う。次いで、コンピュータ５２０は、接続が完了した後、例えば、図１２に示すように、被写体側のサーバ４５０から伝送される撮像画像を表示装置５１０の表示画面５１１に表示する。そして、コンピュータ５２０は、利用者のポインティングデバイス及びキーボードの操作を監視して、利用者によるアノテーションの指定、拡大画像（ＰＴＺカメラ画像）表示の指示及び拡大位置（注目領域）の指示を検出する。このとき、コンピュータ５２０は、表示装置５１０の表示画面５１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し、注目領域の指示がある場合には、指示に応じた処理を行う。

遠隔端末５００の操作者は、図１２に示すような表示装置５１０の表示画面５１１の画像を見ながら、表示されている画像に拡大画像による注釈を投影したい領域がある場合には、ポインティングデバイスを操作して表示画面５１１上の図示しないポインタを移動させながら注目領域２０７を指示する。注目領域２０７は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域２０７に投影するアノテーション画像に関する情報を指示する。例えば、ポインティングデバイスを用いて表示画面５１１上に形成された各種ボタン等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイスの動作を反映するポインタ自体等である。

コンピュータ５２０を操作する利用者は、図示しない、ポインティングデバイスやキーボードを利用して遠隔端末５００側で被写体２００の拡大表示位置（注目領域）の指示と、拡大画像の表示を選択すると、ＰＴＺカメラコマンドが発行される。コンピュータ５２０は、コンピュータ５２０を操作する利用者が入力するコマンドを受け付け（ステップＳ５１）、受け付けたコマンドがＰＴＺカメラコマンドかどうかを調べ（ステップＳ５２）、ＰＴＺカメラコマンドでない場合にはステップＳ５５に進む。コンピュータ５２０は、ステップＳ５２でコマンドが画像処理（アノテーションなど）コマンドの場合にはステップＳ５６に進む。ステップＳ５２で、コンピュータ５２０は、受け付けたコマンドがＰＴＺカメラコマンドの場合、表示装置５１０の表示画面５１１上に所定のサイズの表示枠２１２を表示する（ステップＳ５３）。

次に、コンピュータ５２０は、サーバ４５０を介してＰＴＺビデオカメラ４３０を制御して注目領域２０７の拡大画像をサーバ４５０より取得し、表示画面５１１上に解像度変換して表示枠２１２内に拡大画像２１１ｃを表示する描画処理を行う（ステップＳ５４）。そして、コンピュータ５２０は、ステップＳ５６で、画像描画処理を行い、アノテーション（注釈）画像の情報、拡大画像及びその拡大画像に対する注釈画像の情報に基づいて描画情報を生成する。コンピュータ５２０は、描画コマンド及び描画情報をサーバ４５０に送出する。コンピュータ５２０は、処理を終了しない場合、ステップＳ５１に戻り上記処理を繰り返す。拡大画像の表示領域表示枠２１２ｃはＵＩ画面からマウスやペン等のポインティングデバイスの操作などで位置変更や大きさの変更が可能である。

また、コンピュータ５２０の利用者は、マウス等を用いて背景板４８０に投影されている拡大画像２１０ｃの一部の領域を指定すると、コマンド及び指定した領域の情報がサーバ４５０に送出され、サーバ４５０で投影画像の情報が生成され、生成された投影画像がプロジェクタ４４０から投影される。これにより、図１５（ｃ）に示したような画面が表示装置５１０に表示される。

また、利用者がサーバ４５０及びコンピュータ５２０に接続されたマウスを操作することにより画像を投影する領域を変更する指示を行うと、指示に応じたコマンドが発行され、サーバ４５０は、拡大画像を投影する領域を変更する指示に応じて拡大画像を投影する領域を変更するよう投影画像の情報を生成し、この投影画像をプロジェクタ４４０から投影させる。これにより文書画像を投影する領域を変更することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明に係る遠隔指示システム及びサーバ装置は、遠隔地間での会議システム等に利用できる。

本発明の遠隔指示システムの一実施形態を示す構成図である。 被写体側装置のサーバにおけるビデオカメラを用いた処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 遠隔端末側の操作の一例を説明するための図である。 遠隔指示システムの特徴的な動作フローチャートである。 ビデオカメラによる撮像画像、ＰＴＺビデオカメラによる撮像画像及びズーム指定領域などを説明するための図である。 ズーム指定領域の座標とＰＴＺビデオカメラのパン・チルト・ズーム値の変換を説明するための図である。 遠隔端末上でのユーザーインターフェイスを示す図である。 遠隔端末上でのユーザーインターフェイスの変形例を示す図である。 遠隔端末上でのユーザーインターフェイスの他の変形例を示す図である。 ＰＴＺビデオカメラの撮像画像上のアノテーション画像の描画に関する変形例である。 本発明の遠隔指示システムの別の実施形態を示す構成図である。 図１２の実施形態で注釈の状態を説明する図である。 図１２の変形例を示す構成図である。 図１３の動作説明図である。 図１２及び図１４の実施形態における処理フローを示すフローチャートである。 サーバのハードウェア構成を示すブロック図である。

符号の説明

１、１ａ、１ｂ 遠隔指示システム
１０、４００ 被写体側装置
２０、４２０ ビデオカメラ（第１のカメラ）
２１、３１、３２、３３ 撮像画像
３０、４３０ ＰＴＺビデオカメラ（第２のカメラ）
４０、４４０ プロジェクタ
５０、４５０ サーバ（ＰＣ）
５０ａ ＣＰＵ
５０ｂ ＲＡＭ
５０ｃ ＲＯＭ
５０ｄ Ｉ／Ｆ
５０ｅ バス
６０、４６０ ハーフミラー
７０、４７０ 回転テーブル（回転ステージ）
１００、５００ 遠隔端末（装置）
１１０、５１０ 表示装置
１１１、１１１ａ、１１１ｂ、１１１ｃ、５１１ 表示画面
１２０、５２０ コンピュータ（ＰＣ）
１３０ ポインティングデバイス
２００ 被写体（対象物）
２００ｓ１、２０１、２０２ 対象物上のアノテーション画像
２００ｃ１、２０１ａ、２０２ａ、２０３ａ、２１１ｃ１ 撮像画像上のアノテーション画像
３００、６００ ネットワーク
３５０、３５１、３５２ ズーム指定領域
４８０ 背景板
４９０ ３次元ポインタ

Claims (7)

1. 第１の撮像手段で撮像された対象物の撮像画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該撮像画像に基づく指示に応じた第１の注釈画像を投影手段により前記対象物に投影させる制御手段を含み、
   前記制御手段は、前記撮像画像の領域内に対する指定領域を拡大して撮像する第２の撮像手段で撮像された拡大画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該拡大画像に基づく指示に応じた第２の注釈画像を第１の撮像手段の撮像領域内に前記投影手段により投影させることを特徴とする遠隔指示システム。
2. 前記制御手段は、前記第２の注釈画像と当該拡大画像とを重畳した画像を前記対象物の背後を避けた当該対象物の周辺領域に前記投影手段で投影することを特徴とする請求項１記載の遠隔指示システム。
3. 前記制御手段は、前記第２の注釈画像と当該拡大画像とを重畳した画像を表示枠内に表示し、当該表示枠の移動、当該表示枠のサイズの変更、前記表示枠の開閉、及び拡大画像に対する書込みの内、少なくとも一つの処理を３次元ポインタによる指示に基づいて制御することを特徴とする請求項２記載の遠隔指示システム。
4. 前記対象物の後ろに背景板が設けられ、前記制御手段は、前記投影手段に第２の注釈画像を背景板に投影させることを特徴とする請求項１記載の遠隔指示システム。
5. 前記背景板は、ホワイトボード及びスクリーンの内、少なくとも一つを含むことを特徴とする請求項４記載の遠隔指示システム。
6. 前記第１の撮像手段及び投影手段はほぼ同画角となるように配置されることを特徴とする請求項１記載の遠隔指示システム。
7. 対象物を第１の撮像手段で撮像された撮像画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該撮像画像に基づく指示に応じた第１の注釈画像を投影手段により前記対象物に投影させる制御手段を含み、
   前記制御手段は、前記撮像画像の領域内に対する指定領域を拡大して撮像する第２の撮像手段で撮像された拡大画像を遠隔端末装置に送信すると共に、遠隔端末装置でなされた当該拡大画像に基づく指示に応じた第２の注釈画像を第１の撮像手段の撮像領域内に前記投影手段により投影させることを特徴とするサーバ装置。

Images