JP2006352496A - 遠隔指示システム及びその方法 - Google Patents

Abstract

【課題】アノテーション画像による指示を的確で容易にすることができる遠隔指示システムを提供する。
【解決手段】撮像画像を遠隔端末１００に送信すると共にアノテーション画像を被写体２００へ投影させる遠隔指示システムであって、アノテーション画像として被写体２００へ投影すべく、被写体２００の撮像画像に基づく被写体の複製画像を形成する手段を備える。これによれば、ビデオカメラ２０の撮像画像をアノテーション画像として利用できるので、アノテーション画像の実質的な種類や内容が大幅に増加し、遠隔からの指示が的確化されると共に容易化される。
【選択図】図１

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

ところで、上記のような遠隔指示システムにおいては、アノテーション画像を形成するための描画信号は、遠隔側で用意したものに限られている。このため、描画できるアノテーション画像の種類や内容もある程度限られており、遠隔側から実物体側への指示をアノテーション画像のみでは的確に行えない可能性がある。このような場合には、画像以外の音声等による指示が必要となるため、遠隔側における作業負担が大きく、円滑な指示作業ができない可能性があった。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、被写体の撮像画像を遠隔端末に送信すると共に遠隔端末からの撮像画像に基づく指示に応じたアノテーション画像を被写体へ投影させる遠隔指示システムにおいて、アノテーション画像による指示を的確で容易にすることができる遠隔指示システムを提供することにある。

本発明に係る遠隔指示システムは、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させ得る制御手段を有する遠隔指示システムであって、アノテーション画像として投影手段により被写体へ投影すべく、被写体の撮像画像に基づく被写体の複製画像を形成する形成手段を有する、ことを特徴としている。
この構成によれば、撮像手段の撮像画像をアノテーション画像として利用できるので、アノテーション画像の実質的な種類や内容が大幅に増加し、遠隔からの指示が的確化されると共に容易化される。

上記構成において、制御手段は、撮像手段が撮像した撮像画像に含まれる、被写体に投影された複製画像を視認可能にすべく、被写体を撮像手段により撮像する通常撮像時と複製画像を形成するために被写体を撮像する複製撮像時とで、撮像手段の露出条件を変更する、構成を採用できる。
この構成によれば、複製画像を被写体に投影すると、被写体上での投影領域は投影されていなかった状態より明るくなるため、投影前と同一の露出設定では撮像画像中の複製画像部分の識別が困難になる可能性があるが、複製画像を形成する際の撮像手段の露出条件を最適化することにより、撮像画像中の被写体に投影された複製画像が視認可能となる。したがって、遠隔端末の表示画面においても、被写体に投影された複製画像が視認可能となる。

上記構成において、制御手段は、通常撮像時において、撮像手段の露出条件を自動露出にする、構成を採用できる。
この構成によれば、被写体に投影されるアノテーション画像の明るさに応じて露出が調整されるので、撮像画像中のアノテーション画像の内容が明瞭に視認できる。

上記構成において、複製画像は、遠隔端末の表示画面に表示された被写体の撮像画像に対する複製のための操作に基づいて形成される、構成を採用できる。
この構成によれば、遠隔端末の表示画面を見ながら複製画像を形成することができる。

本発明に係る遠隔指示方法は、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を投影手段により被写体へ投影させることにより遠隔指示を行う遠隔指示方法であって、被写体の撮像画像に基づいて被写体の複製画像を形成し、複製画像をアノテーション画像として投影手段により被写体へ投影する、ことを特徴としている。

上記構成において、被写体の複製画像の形成に際して、撮像手段が撮像した被写体の撮像画像中に存在する複製画像を視認可能にすべく、被写体を撮像手段により撮像する通常撮像時と複製画像を形成するために被写体を撮像する複製撮像時とで、前記撮像手段の露出条件を変更する、構成を採用できる。

本発明によれば、被写体の撮像画像を遠隔端末に送信すると共に遠隔端末からの撮像画像に基づく指示に応じたアノテーション画像を被写体へ投影させる遠隔指示システムにおいて、アノテーション画像による指示を的確で容易にすることができる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。
この遠隔指示システムは、図１に示すように、被写体側装置１０、遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。また、本実施形態では、被写体２００としてホワイトボードを用いた場合を例に説明する。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０等から構成されている。

ビデオカメラ２０は、例えば、ＣＣＤカメラで構成され、被写体２００を撮像可能な位置に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。

プロジェクタ４０は、ビデオカメラ２０に隣接して設置されており、その画角が被写体２００上でビデオカメラ２０の画角に略一致するように配置されている。このプロジェクタ４０には、液晶プロジェクタ等が使用される。

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。
さらに、サーバ５０は、被写体２００の撮像画像に基づく被写体２００の複製画像をアノテーション画像としてプロジェクタ４０により被写体２００へ投影する。複製画像に関しては、サーバ５０は、ビデオカメラ２０が撮像した撮像画像に含まれる、被写体２００に投影された複製画像を視認可能にすべく、被写体２００をビデオカメラ２０により撮像する通常撮像時と、複製画像を形成するために被写体２００を撮像する複製撮像時とで、ビデオカメラ２０の露出条件を変更するように制御する。尚、ビデオカメラ２０の具体的な露出制御処理については後述する。
尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。
ポインティングデバイス（マウス）１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成するのに用いられる。

次に、上記構成の遠隔指示システムの動作について図２ないし図６を参照して説明する。
ここで、図２は遠隔端末のコンピュータにおける処理の一例を示すフローチャート、図３は被写体側装置のサーバにおける処理の一例を示すフローチャート、図４は図３の制御信号処理の一例を示すフローチャート、図５は被写体に複製画像が投影された状態を説明するための図、図６及び図７は遠隔端末における指示作業の一例を説明するための図である。

先ず、遠隔端末１００のコンピュータ１２０の処理について説明すると、図２に示すように、コンピュータ１２０は、被写体側装置１０のサーバ５０に対して接続要求を行う（ステップＳＴ１）。
次いで、コンピュータ１２０は、サーバ５０との接続が完了した後、サーバ５０から伝送される被写体２００の撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳＴ２）。
ここで、例えば、図５（ａ）に示すように、ホワイトボードである被写体２００に掲示物ＲＭが貼り付けられているような場合には、表示装置１１０の表示画面１１１には、図６（ａ）に示すように、掲示物ＲＭの画像ＩＭを含むホワイトボードの画像が映し出される。また、表示画面１１１には、アノテーション画像の描画等の指示をするためにポインタにより選択、操作される各種のボタンＢＴも同時に表示される。尚、掲示物ＲＭは被写体２００の一部を構成している。

次いで、コンピュータ１２０は、遠隔端末１００の操作者によりアノテーション画像の描画等の指示がされたのか、あるいは、被写体２００の複製画像の形成指示がされたのかを判断する（ステップＳＴ３）。
コンピュータ１２０は、アノテーション画像の描画等の指示がされたと判断した場合には、遠隔端末１００の操作者による描画指示の処理を行う（ステップＳＴ４）。
操作者は、描画指示において、例えば、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。アノテーション画像に関する情報とは、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより描画される矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。
例えば、遠隔端末１００の操作者は、掲示物ＲＭをアノテーション画像により指し示したい場合には、例えば、図６（ｂ）に示すようなアノテーション画像ＤＲがプロジェクタ４０で表示されるように表示画面１１１上で指示操作する。

そして、コンピュータ１２０は、ステップＳＴ４で特定された各種情報を描画信号としてサーバ５０へ伝送する（ステップＳＴ５）。
アノテーション画像ＤＲに関する描画信号がサーバ５０に伝送されと、被写体２００には、図５（ｂ）に示すようなアノテーション画像ＤＲがプロジェクタ４０により投影され、被写体２００の撮像画像は、図６（ｂ）に示すように、アノテーション画像ＤＲを含む画像として遠隔端末１００の表示画面１１１に映し出される。

次いで、コンピュータ１２０は、アノテーション画像の描画等の指示が終了したかを判断し（ステップＳＴ６）、終了していない場合は、ステップＳＴ２に戻って上記の処理を繰り返し、終了した場合には、被写体側装置１０のサーバ５０に対して切断を要求する（ステップＳＴ７）。

コンピュータ１２０は、ステップＳＴ３において、被写体２００の複製画像の形成指示がされたと判断した場合には、操作者による複製画像の形成指示に関する処理を行う（ステップＳＴ８）。
遠隔端末１００の操作者は、例えば、被写体２００の一部を構成する掲示物ＲＭの画像を複製したい場合には、図７（ａ）に示すように、表示画面１１１に映し出された掲示物ＲＭの画像ＩＭの複製領域を指示する。
次いで、コンピュータ１２０は、操作者の上記指示を受けて、複製開始信号をサーバ５０に伝送する（ステップＳＴ９）。複製開始信号は、サーバ５０に画像複製の開始を知らせるための信号である。後述するように、サーバ５０では、複製開始信号を受信すると、画像複製のためにビデオカメラ２０の露出条件を変更する。

次いで、コンピュータ１２０は、サーバ５０から露出条件設定終了信号を受信したかを判断する（ステップＳＴ１０）。この露出条件設定終了信号は、後述するように、複製画像を形成する際に、サーバ５０がビデオカメラ２０の露出条件を複製時用の露出条件に変更したことを知らせる信号である。
コンピュータ１２０は、露出条件設定終了信号を受信すると、露出条件の変更後にビデオカメラ２０の撮像画像から、ステップＳＴ８において指定した複製領域の画像を切り出す（ステップＳＴ１１）。これにより、複製画像の形成が完了する。例えば、掲示物ＲＭの画像ＩＭの画像が切り出されると、アノテーション画像として用いるべく、ビットマップ画像としてコンピュータ１２０に保存される。

次いで、コンピュータ１２０は、複製画像の形成が完了すると、複製終了信号をサーバ５０へ伝送する（ステップＳＴ１２）。
ここで、コンピュータ１２０により形成された掲示物ＲＭの複製画像をアノテーション画像として被写体２００へ投影させたい場合には、上記したステップＳＴ３において、掲示物ＲＭの複製画像を選択することにより、掲示物ＲＭの複製画像の描画信号がサーバ５０へ送られ、例えば、図５（ｃ）に示すように、被写体２００に掲示物ＲＭの複製画像ＤＲ１が投影される。掲示物ＲＭの複製画像ＤＲ１を含む被写体２００の撮像画像は、
コンピュータ１２０に伝送され、例えば、図７（ｂ）に示すように、遠隔端末１００の表示画面１１１に映し出される。

次に、サーバ５０における処理について説明すると、図３に示すように、先ず、ビデオカメラ２０に対して露出条件の初期設定を行う（ステップＳＴ２１）。通常撮像時の露出条件の初期設定としては、例えば、ビデオカメラ２０に備わる自動露出機能を動作させるように設定する。尚、自動露出機能は、ビデオカメラ２０が撮像する画像のうち一番明るい部分ができる限り明るく写し出されるようにレンズ内の虹彩絞り(アイリス)、シャッタスピードなどを調整する機能である。
このように、ビデオカメラ２０に備わる自動露出機能を使用することにより、被写体２００上に投影される画像の明るさに応じて露出が変更され、最適な状態で被写体２００を取り込むことができる。

次いで、サーバ５０は、ビデオカメラ２０が撮像した画像の取り込みを開始する（ステップＳＴ２２）。
そして、サーバ５０は、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳＴ２３）。コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送する（ステップＳＴ２４）。

次いで、サーバ５０は、遠隔端末１００のコンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳＴ２５）。この制御信号は、上記した描画信号、複製開始信号及び複製終了信号からなる。
サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて後述する制御信号処理をする（ステップＳＴ２６）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳＴ２７）、切断要求が無い場合には、ステップＳＴ４に戻って新たな画像データをネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳＴ２８）。
そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳＴ２９）、終了要求がない場合には、ステップＳＴ２３に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、上記したステップＳＴ２６における制御信号処理について説明する。
サーバ５０は、図４に示すように、先ず、遠隔端末１００から上記した描画信号を受信したかを判断する（ステップＳＴ３１）。
サーバ５０は、描画信号を受信した場合には、プロジェクタ４０を駆動して描画信号の内容に応じたアノテーション画像を被写体２００へ投影させる（ステップＳＴ３２）。

サーバ５０は、描画信号を受信しない場合には、複製開始信号を受信したかを判断する（ステップＳＴ３３）。
サーバ５０は、複製開始信号を受信した場合には、ビデオカメラ２０の露出条件を複製撮像時の露出条件に設定する（ステップＳＴ３４）。すなわち、サーバ５０は、複製画像を被写体２００へ投影したときのビデオカメラ２０の撮像画像に含まれる複製画像を視認可能にするためにビデオカメラ２０の露出条件を変更する。複製画像の形成に用いる撮像画像の露出条件が明るすぎると、この複製画像が投影された被写体２００の撮像画像において、複製画像の内容が識別できなくなるからである。

ビデオカメラ２０の具体的な露出条件としては、例えば、プロジェクタ４０が何も投影していない状態で最も好適となる露出条件に設定することが好ましい。このような露出条件に設定することにより、被写体２００の周囲の光の条件が変わらない限り、遠隔端末１００において被写体２００に対する明るさを変化させることなく画像を複製することができる。例えば、上記した掲示物ＲＭの複製画像ＤＲ１を、遠隔端末１００の表示画面１１１に映し出したときに、複製画像を形成する際の露出条件を最適に設定することにより、複製画像ＤＲ１の内容を明確に識別することができる。
サーバ５０は、複製時用の露出条件の設定を完了したところで、上記の露出条件設定終了信号を遠隔端末１００へ伝送し（ステップＳＴ３５）、処理を終了する。

サーバ５０は、ステップＳＴ３３において、複製開始信号を受信していない場合には、複製終了信号を受信したかを判断し（ステップＳＴ３６）、複製終了信号を受信した場合には、露出条件を初期設定に戻し（ステップＳＴ３７）、処理を終了する。

以上のように、本実施形態によれば、ビデオカメラ２０の撮像画像をアノテーション画像として利用できるので、アノテーション画像の実質的な種類や内容が大幅に増加し、遠隔からの指示が的確化されると共に容易化される。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、被写体にアノテーション画像を形成することができれば、他の手段を用いることも可能である。

上記実施形態では、遠隔端末１００で複製画像を形成する形成手段を構成して遠隔端末１００に保存する場合について説明したが、これに限定されるわけではなく、遠隔端末１００から複製に必要な指示のみをサーバ５０へ送り、サーバ５０側で複製画像の形成及び保存を行う形成手段を構成とすることも可能である。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

本発明の一実施形態に係る遠隔指示システムの構成図である。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 被写体側装置のサーバにおける処理の一例を示すフローチャートである。 図３の制御信号処理の一例を示すフローチャートである。 被写体に複製画像が投影された状態を説明するための図である。 遠隔端末の表示画面の一例を示す図である。 遠隔端末の表示画面の他の例を示す図である。

符号の説明

１０…被写体側装置
２０…ビデオカメラ（撮像手段）
４０…プロジェクタ（投影手段）
５０…サーバ（制御手段）
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１２０…コンピュータ
１３０…ポインティングデバイス
２００…被写体
３００…ネットワーク
ＤＲ…アノテーション画像
ＤＲ１…複製画像（アノテーション画像）

Claims (6)

1. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体へ投影させ得る制御手段を有する遠隔指示システムであって、
   前記アノテーション画像として前記投影手段により前記被写体へ投影すべく、前記被写体の撮像画像に基づく前記被写体の複製画像を形成する形成手段を有する、
   ことを特徴とする遠隔指示システム。
2. 前記制御手段は、前記撮像手段が撮像した撮像画像に含まれる、前記被写体に投影された前記複製画像を視認可能にすべく、前記被写体を前記撮像手段により撮像する通常撮像時と、前記複製画像を形成するために前記被写体を撮像する複製撮像時とで、前記撮像手段の露出条件を変更する、
   ことを特徴とする請求項１に記載の遠隔指示システム。
3. 前記制御手段は、前記通常撮像時において、前記撮像手段の露出条件を自動露出にする、
   ことを特徴とする請求項２に記載の遠隔指示システム。
4. 前記複製画像は、前記遠隔端末の表示画面に表示された前記被写体の撮像画像に対する複製のための操作に基づいて形成される、
   ことを特徴とする請求項１ないし３のいずれかに記載の遠隔指示システム。
5. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を投影手段により前記被写体へ投影させることにより遠隔指示を行う遠隔指示方法であって、
   前記被写体の撮像画像に基づいて前記被写体の複製画像を形成し、
   前記複製画像を前記アノテーション画像として前記投影手段により前記被写体へ投影する、
   ことを特徴とする遠隔指示方法。
6. 前記被写体の複製画像の形成に際して、前記撮像手段が撮像した前記被写体の撮像画像中に存在する前記複製画像を視認可能にすべく、前記被写体を前記撮像手段により撮像する通常撮像時と、前記複製画像を形成するために前記被写体を撮像する複製撮像時とで、前記撮像手段の露出条件を変更する、
   ことを特徴とする請求項５に記載の遠隔指示方法。
   

Images